# 1️⃣ 拉取基础模型
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "meta-llama/Llama-2-13b"
model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.bfloat16,
        device_map='auto')
tokenizer = AutoTokenizer.from_pretrained
# 2️⃣ 准备指令数据
from datasets import load_dataset
data = load_dataset
# 3️⃣ 装载 LoRA/QLoRA
from peft import LoraConfig, get_peft_model
config = LoraConfig(
        r=64, lora_alpha=32,
        target_modules=,
        lora_dropout=0.05,
        bias='none',
        inference_mode=False)
model = get_peft_model
# 4️⃣ 开始训练
from unsloth import FastTrainer   # 假设Yi装好
trainer = FastTrainer(
        model=model,
        tokenizer=tokenizer,
        train_dataset=data,
        per_device_train_batch_size=4,
        max_steps=2000,
        learning_rate=1e-4)
trainer.train
# 5️⃣ PTQ – GPTQ/AutoGPTQ → INT4
from auto_gptq import AutoGPTQForCausalLM
quantized = AutoGPTQForCausalLM.from_pretrained(
        "./lora_finetuned",
        quantize_config={"bits":4,"group_size":128})
quantized.save_pretrained
# 6️⃣ 导出 GGUF 并使用 llama.cpp 推理
!python convert_to_gguf.py --input ./int4_model --output ./model.gguf
# 7️⃣ 本地部署示例
!./llama-cli -m ./model.gguf -p "请解释一下什么是 LoRA？"

六、实战经验谈：别让细节拖慢了你的进度 🚀

数据质量至上：a/b test 表明，同等算力下高质量指令集Ke以让模型性Neng提升近 20%。务必Zuo清洗、去噪并加入负样本提升鲁棒性。

LORA 秩 r 的选取技巧：Larger r 带来geng好的适配Neng力，但显存消耗呈线性增长。一般来说 r∈ Yi足够覆盖大多数业务需求；若出现收敛慢，可适当提升至 256 再观察效果。

P-Tuning vs LORA：Ru果你需要让模型记住大量长文本，Ke以考虑 P‑Tuning v2，它在嵌入层加入可学习软提示，与 LORA 相辅相成。

评估指标不要单一：BLEU/ROUGE Neng反映生成质量，但对于问答系统，geng应关注 Faithfulness 与 Hallucination Rate，这两个指标往往决定客户是否愿意付费使用。 li>

混合量化策略可玩性hen高：比如将注意力层 INT8、前馈层 INT4，这样既保留关键路径精度，又Zui大程度压缩体积。 li>

部署前Zuo好基准测试：使用 `torch.utils.benchmark` 或 `vLLM benchmark` 对比不同位宽下吞吐与延迟，在保证 QPS 达标的前提下再决定Zui终位宽。 li>

从Zui初的大规模预训练，到如今只需几 GB 显存就Neng跑出千亿参数模型，这一路走来离不开两股力量：**高效微调** 为模型注入行业知识；**激进量化** 为硬件撑起了腾飞的平台。Ru果你正处于项目起步阶段，不妨先尝试 LoRA+Unsloth 的组合，以Zui小成本验证业务价值；随后根据预算和性Neng目标，引入 QLoRA + INT4/AWQ 完成Zui终压缩；Zui后挑选 vLLM 或 llama.cpp 把成果送到线上服务中去。