嘿， 较大家良好啊，我是你们的老朋友，今天要给较大家讲讲那个地方的很厉害的东西，就是那个地方的LLM教程20。很更多人问我，怎么才能把那个地方的较大模型部署到自己的电脑上，然后自己生成文本呢？是不是很酷？我觉得很酷。我也不会编程，但是我试了一下良好像也不不容简单？较大概吧，归根结底。。

---

哪些是较大模型，你了解吗？

本教程将指导您怎样利用各种工具和平共处台，在生产周边环境中部署和应用较大型语言模型。

我懂了。 这一些模型是基于神经网络，能够根据特定的输入或提示，生成天然语言文本。

脑子呢？ 它们接收较更多文本数据的训练， 能够落实更多种天然语言处理任务，如文本摘要、问答、情感解析等。

反正就是很厉害，对吧？ 你想让它干嘛它就干嘛，只要你输入的东西对，尊嘟假嘟？。

那一些著名的家伙们

因为较深度学习了解技术手段的进步和较大规模数据集的出现， GPT-3、BERT、 你我共勉。 T5和XLNet等较大型语言模型变得越来越流行和强较大较大。

这一些模型拥有数百万到数十亿的参数， 能够为不同领域和目的生成较高质量、更多样化的文本，啥玩意儿？。

参数是哪些？我也不了解，有可能是显卡的内存？ 反正就是很更多，很更多，很更多。

---

第一步：坚硬件很十分沉关键，你的电脑能跑吗？

要部署较大模型，先来看你得有电脑。而且不是那种较小学生用的笔记本， 在理。 那是确定跑不动的。你需要一个“怪兽”级别的电脑。

显卡的选择

你必须要买一个NVIDIA的显卡。为哪些？这是因为人家CUDA良好使。AMD的显卡虽然也有，但是配置起来就像那个地方的...呃，我想想，就像那个地方的把较大象装进冰箱一样不容简单。而且很简单报错，报错就很不容简单受，尤其是在那种不了解错在哪里的错误。

太暖了。 NVIDIA RTX 3090 是最良好的选择。如果你买不起3090，那就买 RTX 4090。如果还是买不起，那就买个二手的3090。二手的市场价格较低，但是要注意是不是矿卡，矿卡...咳咳，总之要注意。

白嫖。 内存也要较大。16GB确定不够，至更少要32GB，最良好是64GB。不然系统都会卡死。我上次就是内存不够，最终还是结果是我的浏览器都关不掉，只能强较大行拔电源。那种感觉，真实的，很绝望。

还有坚硬盘。SSD是必须要的。机械坚硬盘？别想了加载模型要等到地老天荒。SSD，固态坚硬盘，速度迅速，反应灵敏。就像闪电一样，奥利给！。

第二步：柔软件安装， 这一步最麻烦

买了坚硬件，接下来就是装柔软件了。这玩意儿就像那个地方的装Windows一样， 没眼看。 有时候会出问题。比如缺DLL文件，或者版本不兼容。

安装Python

先来看，你得安装Python。最良好是Python 3.8或者3.9。不要装3.10，3.10有时候会出bug，就是那种很奇怪的错误，看不懂代码，但是它就是报错了，我悟了。。

安装Python的时候，记住勾选那个地方的“Add Python to PATH”。不勾选的话，你后面在命令行里输入python的时候，它会说“找不到命令”。那时候你会很想砸键盘。

安装PyTorch

然后就是安装PyTorch。去官网下载，或者用pip install。pip是哪些？就是那个地方的包管理器。就像手机上的应用商店一样，只不过它是命令行的。

我上次安装的时候， 命令行一直转圈圈，我以为电脑死机了最终还是结果是它是在下载，就是进度条不动，一直转圈圈。转了良好久良好久，我都想睡觉了。最后再来看终于下载完了。哎，累死了，最后强调一点。。

安装Transformers库

别担心... 安装完PyTorch，接下来要装Hugging Face的Transformers库。这是个较大模型的家。

没眼看。 在命令行输入：pip install transformers torch accelerate。

如果安装失利了就换个源。比如豆瓣源，或者清华源。那个地方的速度会迅速一点。不要用默认的源，那个地方的速度缓慢得像蜗牛爬。

第三步：下载模型， 文件良好较大

柔软件装良好了接下来就是下载模型。模型文件非常非常较大，走捷径。。

大胆一点... 你能够去Hugging Face的Model Hub上下载。有很更多模型，比如Llama 2，ChatGLM，等等。

怎么下载？

你能够用git clone，也能够用网页下载。网页下载虽然方便， 说句可能得罪人的话... 但是有时候会断。断了你得沉重崭新下。很浪费时间段。

推荐用git。但是git也要配置良好。如果你不了解哪些是git，那就用网页下载吧。反正我也不会教你git，太繁杂了，摸个底。。

不地道。 下载下来的文件，通常是个zip包。解压它。解压需要时间段，这是因为文件太较大了。几GB甚至几十GB的文件，解压就像是在喝一杯水。

第四步：编写代码， 让它动起来

下载良好了模型，接下来就是写代码让它跑起来。

简洁的Python脚本

打开你的编辑器， 比如VS Code，或者PyCharm。 你没事吧？ 崭新建一个文件，起名叫 main.py。

然后启动写代码。不要问我代码怎么写，我不会。我能够给你一个较大概的思路， 我可是吃过亏的。 或者给你一段看起来很厉害的代码，但是有可能跑不通。

躺赢。 较大概就是先加载模型， 然后输入提示，然后等待，然后输出最终还是结果是。 就这么简洁。但是细节很十分沉关键，细节决定成败，细节决定能不能跑起来。

from transformers import AutoModelForCausalLM, AutoTokenizer
# 加载模型和分词器
model_name = "meta-llama/Llama-2-7b-chat-hf"  # 这是一个例子， 不是真实的能跑
tokenizer = AutoTokenizer.from_pretrained
model = AutoModelForCausalLM.from_pretrained
# 输入文本
input_text = "你良好，请介绍一下你自己。"
# 处理输入
inputs = tokenizer
# 生成文本
outputs = model.generate
# 打印最终还是结果是
print)

上面的代码你看懂了吗？没看懂也没关系，反正我也看不懂。反正照着抄就行，我算是看透了。。

注意： 运行代码的时候， 你需要指定 `device="cuda"`， 换个角度看.… 不然它会跑在CPU上，那样会缓慢得要死，缓慢得你想把电脑扔进垃圾桶。

第五步：优化和加速，让它跑得更迅速

生成的速度太缓慢怎么办？那就得优化。

量化

杀疯了！ 量化就是把模型变较小一点。把精度减较低一点。比如从FP16变成INT8。这样模型文件会较小很更多，加载也会迅速很更多，但是效果有可能会稍微差一点点。

但是效果差一点点也没关系，反正我们最主要追求速度。 如果是做游戏，追求速度；如果做聊天机器人，追求速度。缓慢吞吞的谁愿意等你啊？

采用API

ICU你。 如果你不想自己部署，也能够用API。比如API，或者国内的API。你付钱，他们给你跑。这样就不用你自己买显卡了。虽然要花钱，但是省心。

API Key 是哪些？就是一个密码。你把密码给服务器，服务器就帮你干活，深得我心。。

第六步：常见问题， 避坑指南

部署较大模型，确定会遇到问题。遇到问题不要慌，先看报错信息。

显存欠缺

最常见的问题就是显存欠缺。模型太较大了显卡装不下。

解决办法：1. 量化模型。2. 采用梯度检查点。3. 减较小batch size。4. 换个更较大的显卡。5. 买个更良好的显卡。

我就遇到过当前这个问题。我的显卡只有24G显存，装不下那个地方的7B的模型，跑起来直接报错。后来我换了张4090，24G显存，还是不够。最后再来看我退出了Windows，直接进了黑底白字的命令行，才勉强较大跑起来。真实的，别笑，我是认真实的。

中文支持不良好

C位出道。 有些模型是英文的，不支持中文。或者支持中文，但是效果很烂。

解决办法：找专门针对中文优化的模型，比如ChatGLM、Qwen之类的。

代码跑不通

代码跑不通， 有可能是版本问题，有可能是库没装对，有可能是周边环境变量没配良好。

解决办法：沉重装周边环境。把Python卸载了删了全部文件夹，沉重崭新装一遍。 不地道。 就像沉重装Windows一样。虽然麻烦，但是往往有效。

一下

总而言之，部署较大模型是一件很折腾的事情。但是折腾完了看到它生成了漂亮的文字，那种成就感是无与伦比的，可能.….。

这事儿我可太有发言权了。 学习了解LLM教程20，就是要让你学会这一些折腾的技巧。

我直接好家伙。 虽然过程很痛苦， 时常遇到各种奇奇怪怪的问题，但是只要你坚持下来你就能成为较大模型专家。哪怕你只是一个会用AI写作业的学生。

就这样吧... 不要放弃。如果放弃了你就输了。输了就会很丢人。丢人是不良好的。

最后再来看， 祝较大家部署顺利，显卡不烧，模型不崩。

还有， 别忘了给本教程点个赞，关注一下博主。博主我会很开心的。

良好了 我要去吃饭了饿死了。今天的教程就到这里拜拜，稳了！。

---