大家好， 今天我们来聊聊大模型和显卡

大模型这个东西，现在特别火。火得不得了。真的。你打开手机，满屏都是大模型。如果你不懂硬件，你肯定跑不通大模型。跑不通就完了。模型就是一堆代码， 稳了！ 代码跑不起来那就是一堆废纸。所以选硬件非常重要。这就像盖房子，地基没打好，楼盖得再高也会塌。硬件就是地基。显卡就是砖头。

我们要选什么样的显卡呢？是选贵的，还是选便宜的？这是个问题。便宜没好货，好货不便宜。这话虽然老套，但是真理。但是有时候我们没钱啊。没钱怎么办？没钱也得买。这就涉及到精准选型了。精准选型，听起来很高大上。其实就是算账。算算你有多少钱，算算你要跑什么模型。

先说说 我们要搞清楚什么是推理，什么是训练

我跟你交个底... 很多人搞不清楚这两个概念。训练就是学习。就像我们上学一样。老师给你一本书，你读啊读，背啊背，再说说你懂了。大模型训练也是这样。给它海量的数据，让它自己找规律。这个过程很慢。很慢很慢。需要很多很多的显卡一起工作。就像很多个学生在同一个教室里刷题。

推理呢？推理就是考试。学会了就会做了。你让大模型回答问题，这就是推理。推理比训练快多了。但是也需要显卡。只不过推理对显卡的要求和训练不太一样。 另起炉灶。 训练需要很大的显存，主要原因是要存很多东西。推理有时候需要很快的速度，主要原因是要马上回答。

所以选硬件不能一概而论。你要，你得买那种大显存、强算力的卡。你要是只是跑模型，那你可能不需要那么贵的卡。 白嫖。 这就是精准选型的第一步：分清楚你是要训练还是要推理。

H100 比 A100 快多少？这是个大问题

现在市面上最火的显卡是什么？当然是英伟达的。H100和A100。这两款卡大家都在讨论。H100比A100强。这个不用问。肯定是H100强。但是强多少呢？强得有点离谱。资料上说了H100 比 A100 快多少？

16-bit 推理快约 3.5 倍，16-bit 训练快约 2.3 倍。

我给跪了。 听到这个数字，你什么感觉？是不是觉得H100是神器？确实。3.5倍。这是什么概念？就是以前你跑一个模型要一天现在你半小时就跑完了。省下来的时间你可以干嘛？你可以去睡觉，可以去打游戏，可以去谈恋爱。反正就是省时间。

但是H100也很贵。贵得吓人。买一张H100，可能够买好几套房。或者买好几辆法拉利。所以不是每个人都有机会用H100。 你想... 大部分人还是得用A100。或者更低端的显卡。但是A100也不便宜了。现在A100也是一卡难求。

既然H100这么快，为什么还有人用A100？主要原因是H100太贵了。而且有时候A100的生态更好。软件支持更全面。万一你的代码在H100上跑不起来怎么办？那就麻烦了。所以选硬件还要看生态。兼容性很重要。兼容性就是生命线，何苦呢？。

为什么要看16-bit？

泰酷辣！ 你可能会问，为什么要提16-bit？现在的显卡不是都支持更高的精度吗？比如FP32，比如BF16。其实对于大模型16-bit已经够用了。甚至更低精度的INT8都有人用。精度低了速度快了。这就叫权衡。

H100在16-bit下的表现特别好。这就说明H100的设计理念是对的。它针对16-bit做了优化。所以如果你要用H100跑模型，一定要用16-bit或者更低精度。这样才能发挥出H100的威力。如果你用H100跑32-bit，那你可能就亏了。性能浪费了。就像开着法拉利去跑泥地。这不对。

参考资料

上面那段话就是我看到的资料。挺实在的。没有吹牛。数据摆在那里你信不信由你。反正我觉得这数据是靠谱的。毕竟H100是英伟达的旗舰产品。旗舰产品总是有旗舰产品的水平的，大胆一点...。

选型的时候要注意什么？

选硬件不是只看速度。还要看很多其他的东西。比如你的机房带得动吗？显卡很费电。很费电。H100的功耗很高。一张H100的功耗可能就几百瓦。如果你有100张卡，那就是几百千瓦。这可不是闹着玩的。电费也是钱啊。电费也是钱。

探探路。 还有散热。显卡发热量很大。如果你机房的空调不好，显卡可能会降频。降频了速度就慢了。慢了就等于没买。所以散热也很重要。水冷？风冷？怎么弄？这都是问题。

还有网络。大模型训练的时候，多张显卡之间要通信。如果网络带宽不够，显卡就闲着。通信慢了整体速度就慢了。这就涉及到R娱乐，InfiniBand这些东西。这些技术很复杂。我也就不详细说了。反正就是网络要快，要稳。

预算问题，永远的痛

钱。钱是最大的问题。我们搞技术的，最怕听到的词就是“预算不够”。 盘它。 老板说预算有限，尽量搞。预算有限怎么搞？这就需要技巧了。

技巧就是：少买点贵的，多买点便宜的。或者买点二手的。二手的显卡怎么样？二手的显卡便宜。但是二手的显卡风险大。 整起来。 会不会烧？会不会有暗病？这些都是未知数。万一买回来一堆板砖，那就欲哭无泪了。

所以精准选型还要考虑性价比。性价比不是越便宜越好。也不是越贵越好。是在你的预算范围内，买到最适合你的东西。如果你只有10万块钱，你就别想买H100。 等..…. 你只能买几张A800，或者几张4090。4090现在也能跑大模型了。虽然比H100慢，但是便宜啊。便宜就是王道。

有时候，为了省钱，我们甚至可以用CPU来跑模型。虽然慢得像蜗牛，但是它便宜。它不要电费。它只要有电就行。这叫穷则思变。办法总比困难多。

大模型性能到底怎么提升？

选好了硬件，性能就能提升吗？不一定。硬件只是基础。软件也很重要。你买了最好的显卡，但是代码写得烂， 也许吧... 优化不到位，性能也上不去。这就好比你有最好的跑车，但是你开得很慢。或者是车坏了。

所以提升大模型性能，需要软硬件结合。硬件是底座，软件是上层建筑。 嚯... 底座打好了上层建筑才能盖得高。底座没打好，盖得再高也会塌。

我破防了。 软件怎么优化呢？有很多方法。比如模型压缩。把模型变小，变瘦。这样跑起来就快了。比如剪枝。剪掉一些不重要的神经元。比如量化。把数值的精度降低。这些都是手段。都是为了在有限的硬件上跑出更好的效果。

还有并行计算。大模型太大了一张显卡装不下。怎么办？拆开跑。数据并行，模型并行，流水线并行。这些并行技术很复杂。但是很有用。用好了速度能翻倍。

不要盲目追求新硬件

有些朋友，特别喜欢买最新的硬件。H100一出来就买。A100一出来就换。这样不好。太浪费了。 也许.… 硬件更新换代很快。今天你是最新款，明天就是旧款了。就像手机一样，用了一年就不香了。

意味着.… 其实很多旧硬件还能用。只要稍微优化一下就能发挥余热。不要把旧硬件扔了。旧硬件可以用来做推理。推理不需要那么强的算力。旧硬件跑推理完全没问题。这就是废物利用。环保。省钱。

所以选硬件要务实。不要跟风。要根据自己的实际需求来选。你需要什么就买什么。不要看到别人买，你也买。别人买H100是主要原因是他有几十亿的项目。你没有，你买来干嘛？打游戏吗？还是当摆设，雪糕刺客。？

一下

总而言之，提升大模型性能，第一步就是选好硬件。选好硬件要看很多方面。速度、显存、功耗、散热、网络、价格。这些都是要考虑的因素。

H100很快，很快很快。H100 比 A100 快多少？16-bit 推理快约 3.5 倍，16-bit 训练快约 2.3 倍。这个数据很震撼。如果你有预算，一定要上H100。如果没有预算，A100或者4090也是不错的选择，到时候…..。

人间清醒。 选型要精准。精准就是好。精准就是省钱。精准就是高效。不要搞大水漫灌。不要搞一刀切。要具体问题具体分析。每个项目的情况都不一样。每个项目的需求都不一样。所以没有最好的硬件，只有最适合的硬件。

再说说希望我的文章能帮到你。虽然我写得很烂，也没有什么逻辑。但是这都是我的真心话。真心话最难得。希望你能看懂。看不懂也没关系。反正大模型那么复杂，看不懂也正常，琢磨琢磨。。

大模型时代已经来了。我们都要跟上时代的步伐。虽然有时候会感到迷茫，不知道该买什么卡。 给力。 但是没关系，慢慢摸索。总会找到适合自己的路。加油！奥利给！