手把手教你用 Hugging Face 运行Llama-3.1

最新的Llama🦙(Large Language Model Meta AI) 3.1是由Meta AI开发的一个强大的人工智能模型,在自然语言处理(NLP)社区中引起了广泛关注。它是迄今为止最强大的开源大语言模型。在这篇博客中,我将指导您如何从Hugging Face🤗克隆Llama 3.1模型,并使用Python在本地机器上运行它。之后,您就可以将其集成到任何AI项目中。

前提条件

• 本地机器上安装了Python 3.8或更高版本
• 安装了Hugging Face Transformers库(pip install transformers)
• 本地机器上安装了Git
• 拥有一个Hugging Face账户

步骤1:获取模型访问权限

• 点击此链接打开Meta的Llama-3.1-8B-Instruct模型在Hugging Face上的官方仓库(您可以用同样的方式使用其他llama 3.1模型)。

Meta-llama-3.1-8b-Instruct hugging face模型

• 一开始您应该看到这个:

Meta-llama-3.1-8b-Instruct模型

• 提交下面的表单以获得模型的访问权限

访问meta llama 3.1模型

• 一旦您看到 “You have been granted access to this model”,就说明您已经可以开始了…

hugging face中的受限模型

步骤2:创建ACCESS_TOKEN

• 进入 “Settings” (下图右下角):

hugging face设置

• 进入 “Access Tokens” 点击 “Create new token”(图片右上角):

创建hugging face令牌

• 给予读写权限并选择仓库,如图所示:

创建hugging face令牌

• 复制令牌并将其保存在安全的地方,因为将来会需要它。(注意: 一旦您复制了它,就无法再次复制,所以如果您忘记了密钥,就必须重新创建一个:))

huggingface令牌

步骤3:克隆LLaMA 3.1模型

现在在您喜欢的终端上运行以下命令。

ACCESS_TOKEN是您复制的令牌,``是您Hugging Face账户的用户名。

git clone https://<huggingface-user-name>:<ACCESS_TOKEN>@huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct

这可能需要很长时间,取决于您的网络速度。

步骤4:安装所需的库

克隆完成后,进入克隆的文件夹并从requirements.txt安装所有依赖项。(您可以使用conda(推荐)或virtualenv创建虚拟环境) 您可以在下面资源部分提供的我的GitHub中找到requirements文件。

使用conda:

cd Meta-Llama-3.1-8B-Instruct
conda install --yes --file requirements.txt

使用pip:

cd Meta-Llama-3.1-8B-Instruct
pip install -r requirements.txt

步骤5:运行Llama 3.1模型

创建一个新的Python文件(例如,test.py),并将您刚刚克隆的模型仓库的位置粘贴为model_id(例如,"D:\\Codes\\NLP\\Meta-Llama-3.1-8B-Instruct")。这里是一个例子:

import transformers
import torch

## 在这里粘贴您克隆的仓库位置
model_id = "D:\\Codes\\NLP\\Meta-Llama-3.1-8B-Instruct" 

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

如果您想使用GPU,可以设置device_map=cuda。

步骤6:运行Python脚本

python test.py

输出