大语言模型(LLMs)对自然语言处理(NLP)的影响是非常深远的,不仅提高了任务效率,还催生出新能力,推动了模型架构和训练方法的创新。尽管如此强大,但LLMs也有局限,有时需要针对特定任务进行特别优化。
通过对LLMs进行微调来大幅提升模型的性能,同时降低训练成本,获得更贴近实际应用的上下文结果。
LLM微调就是对预训练的大型语言模型进行针对性的再训练,使其更适应特定领域的任务。这一过程能大幅提高模型的适用性,同时减少数据和计算资源的消耗。
微调的主要步骤包括:
LLM微调适用于需要精准理解和流畅表达的NLP任务,如情感分析、命名实体识别等,能充分发挥预训练模型的潜力,适应专业领域的需求。
LLM主要有两种方法:
LoRa是一种微调技术,它不改变大语言模型(LLM)的所有权重,而是通过调整两个小矩阵来近似整个权重矩阵,形成LoRa适配器。这样,原始LLM保持不变,而适配器体积小,通常只有几MB。
在实际使用中,LoRa适配器与原始LLM一起工作,多个适配器可以共享一个LLM,减少了内存需求。
QLoRA是LoRA的内存优化版,通过将适配器权重量化为4位,进一步减少内存和存储需求。虽然精度有所降低,但效果与LoRA相当。
本教程将展示如何用QLoRA在单个GPU上微调LLM,步骤如下:
这里将用Kaggle笔记本演示,你也可以使用其他Jupyter环境。Kaggle每周提供免费GPU时间,足够我们使用。打开新笔记本,设置好标题,连接到运行环境,并选择GPU P100作为加速器。
此外,用HuggingFace库来下载和训练模型,需要访问令牌,已注册用户可以在设置中获取。
安装以下库以进行实验:
- !pip install -q -U bitsandbytes transformers peft accelerate datasets scipy einops evaluate trl rouge_score
-
这些库的主要功能包括:
接下来,导入所需库:
- from datasets import load_dataset
- from transformers import (
- AutoModelForCausalLM,
- AutoTokenizer,
- BitsAndBytesConfig,
- HfArgumentParser,
- AutoTokenizer,
- TrainingArguments,
- Trainer,
- GenerationConfig
- )
- from tqdm import tqdm
- from trl import SFTTrainer
- import torch
- import time
- import pandas as pd
- import numpy as np
- from huggingface_hub import interpreter_login
-
- interpreter_login()
-
本文不使用Weights and Biases跟踪训练指标,如需使用,请自行设置环境变量:
- import os
- # 禁用Weights and Biases
- os.environ['WANDB_DISABLED']="true"
-
使用HuggingFace的DialogSum数据集来微调模型,这个数据集包含一万多个对话及其摘要和主题。你也可以用其他数据集来尝试。
加载数据集的代码如下:
- huggingface_dataset_name = "neil-code/dialogsum-test"
- dataset = load_dataset(huggingface_dataset_name)
-
加载数据集后,我们就可以查看数据集,了解其中包含的内容:
数据集样本
数据集中每条记录包括:
在加载模型之前,需要设置一个配置类来指定量化的方式。这里使用BitsAndBytesConfig,以4位格式加载模型,这样可以显著减少内存使用,但会牺牲一些准确性。
- import torch
-
- compute_dtype = torch.float16
- bnb_config = BitsAndBytesConfig(
- load_in_4bit=True,
- bnb_4bit_quant_type='nf4',
- bnb_4bit_compute_dtype=compute_dtype,
- bnb_4bit_use_double_quant=False,
- )
-
微软新开源的Phi-2模型,参数达27亿,性能领先。这里用它进行微调,从HuggingFace以4位量化方式加载。
- model_name='microsoft/phi-2'
- device_map = {"": 0}
- original_model = AutoModelForCausalLM.from_pretrained(model_name,
- device_map=device_map,
- quantization_config=bnb_config,
- trust_remote_code=True,
- use_auth_token=True)
-
为了在训练时节省内存,现在来设置标记器。
- tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True, padding_side="left", add_eos_token=True, add_bos_token=True, use_fast=False)
- tokenizer.pad_token = tokenizer.eos_token
-
用一些样本输入来测试刚才加载的模型性能。
- from transformers import set_seed
- set_seed(42) # 确保结果可复现
-
- # 选取测试集中的一个样本
- prompt = dataset['test'][10]['dialogue']
- summary = dataset['test'][10]['summary']
-
- # 构造输入格式
- formatted_prompt = f"Instruct: Summarize the following conversation.\n{prompt}\nOutput:\n"
-
- # 生成摘要
- res = gen(original_model, formatted_prompt, 100)
- output = res[0].split('Output:\n')[1]
-
- # 显示结果
- print("-" * 100)
- print(f'INPUT PROMPT:\n{formatted_prompt}')
- print("-" * 100)
- print(f'BASELINE HUMAN SUMMARY:\n{summary}')
- print("-" * 100)
- print(f'MODEL GENERATION - ZERO SHOT:\n{output}')
-
基本模型输出
测试结果显示,尽管模型在对话摘要任务上仍有提升空间,但其已能从文本中提取关键信息,表明微调能进一步提升性能。