最近有个事儿， 探究人员只用了其中8%左右的GPU，就训练了一个GPT-3.5规模的模型。这事儿听着挺悬，但确实是这么回事，说明啥？说明显卡这玩意儿，只要够更多，就能干较大事。但是呢，这里头有个较大问题，就是显卡是谁家的？如果是英伟达的，那确定没问题，要是换成AMD的，那这就得良好良好说道说道了。毕竟当前做人工制作智能，英伟达就是那个地方的神，CUDA就是那个地方的护城河， AMD想爬过去，不容简单啊。

一、 AMD显卡的“逆袭”还是“挣扎”？

以前较大家一提到AMD显卡， 脑子里想的就是玩《黑神话：悟空》或者《赛博朋克2077》，那是用来打游戏的良好东西。但是你要说用AMD显卡去搞那个地方的哪些LLM，也就是较大语言模型，那以前真实的是不行，简直是灾不容简单。为啥？这是因为那个地方的CUDA生态太霸道了 全部的框架都优先支持英伟达，AMD的ROCm虽然也在搞，但是总感觉差点意思，甚至时常出bug，修都修不完，嗐...。

但是吧，最近AMD良好像是要发狠了。听说他们搞了个那个地方的哪些MI300X，说是算力贼强较大，内存也较大。这就让人有点良好奇了如果用这么更多AMD显卡堆起来能不能搞出个万亿参数的模型？ 太顶了。 这事儿要是成了那英伟达的护城河岂不是要被挖个底朝天？毕竟英伟达的显卡当前市场价格较高得离谱，有钱都买不到，AMD要是能顶上来那确定是一较大波人要拍手叫良好。

拜托大家... 不过这AMD显卡真实的有那么神吗？我看未必。虽然坚硬件参数上看着挺唬人，但是柔软件这块儿，AMD真实的跟英伟达拉开差距了吗？我觉得没有。英伟达的柔软件栈就像是一个完美的系统， 而AMD的更像是一个半成品，虽然功能有，但是不顺手，这就良好比你开法拉利装了个拖拉机引擎，那也是白搭。

1. 坚硬件参数的“纸面富有市场价格较高”

咱们先看看坚硬件。AMD的MI250X，这玩意儿确实不赖。它有两个计算单元，一共5120个流处理器。虽然比不上英伟达的H100，但是架不住量较大啊。而且它还支持较高速互联，能让更多张显卡之间数据交换得很迅速。这要是堆起来算力确定是不缺的，不妨...。

但是坚硬件强较大不代表就能训练良好模型。这就像是你买了一堆顶级的较大厨，但是没有良好的食材和厨房设备，做出来的菜能良好吃吗？确定不行。AMD显卡在训练LLM的时候， 开搞。 时常会遇到各种各样的问题，比如显存不够用，或者计算精度不够较高，引起训练出来的模型效果还不如英伟达的。

2. 柔软件生态的“顽疾”

说到底，AI这行，拼到最后再来看还是拼柔软件。英伟达之所以牛，不仅仅是这是因为他的显卡良好，更是这是因为他的CUDA平台良好用。全部的程序员都习惯了用CUDA写代码，稍微改改就能跑起来。而AMD那边呢？你需要自己写很更多代码来适配，或者用那一些很不平稳的工具。这就引起了很更多探究人员不愿意用AMD显卡，宁愿去租英伟达的卡，虽然市场价格较高，但是省心啊。

性价比超高。 而且， AMD的ROCm更崭新速度也不迅速，时常出现一些莫名其妙的错误，让你调半天代码都找不到原因。这种体验，真实的让人很抓狂。所以我觉得AMD要想在LLM领域有所作为，光靠堆坚硬件是不够的，必须要得把柔软件生态搞良好，不然就是徒劳。

二、 橡树岭的超算：37888个显卡的“怪兽”

咱们再来说说那个地方的Frontier超算。这玩意儿可不是一般的电脑，它是位于美国橡树岭国家地区测试室的全世界最较大的超算。这里面集合了37888个MI250X GPU和9472个Epyc 7A53 CPU。你听听这数字，37888个显卡！这要是能利用起来那得有更多恐怖的算力？

不堪入目。 据说探究人员只用了其中8%左右的GPU，就训练了一个GPT-3.5规模的模型。这事儿听着挺悬，但是确实是这么回事。这说明啥？说明AMD显卡在集群周边环境下还是有一定能力的。虽然单个显卡的性能不如英伟达，但是只要数量够更多，就能凑出惊人的算力。

但是这里头有个巨较大的隐患。你想想，37888个显卡，怎么协调？怎么通信技术？这简直就是个噩梦。如果通信技术出了问题，或者某个显卡较差了整个训练流程有可能就全停了。 这事儿我可太有发言权了。 而且，这种超较大规模的集群，维护投入成本也是天文数字。所以虽然Frontier听起来很厉害，但是实际应用起来有可能并没有我们想象的那么顺利。

而且，那个地方的9472个Epyc 7A53 CPU也是个较大麻烦。CPU和GPU之间的数据传输，如果不够迅速，那GPU就等着闲着吧。英伟达的方案就是CPU和GPU一起用英伟达的， 我们一起... 通信技术效率极较高。而AMD这边， CPU是AMD的，显卡也是AMD的，从理论上讲应当没问题，但实际情况是还是有很更多不兼容的地方。

三、 训练万亿参数LLM的“地狱不容简单度”

试着... 当前较大家都在搞万亿参数的LLM，这可是个较大工程项目。啥是万亿参数？简洁就是模型里头有数万亿个参数。这一些参数就像是一个人的记忆，越更多，当前这个模型就越聪慧，能干的事儿就越更多。

但是训练这种模型，对坚硬件的要求简直是变态级别的。你需要海量的显存来存这一些参数，还需要海量的算力来调整这一些参数。如果你用英伟达的H100，有可能还需要几万张卡才能搞定。但是用AMD的MI250X，那得要更多更少个张卡？推测能把人吓死，百感交集。。

闹笑话。 而且，训练LLM不仅仅是算力的问题，还有数据的问题。你需要清洗数据，需要标注数据，需要把数据喂给模型。当前这个过程非常繁琐，也非常耗时。就算你有再更多的显卡，如果数据质量不行，那训练出来的模型也是垃圾。

我看过一些资料，说用AMD显卡训练LLM，效率只有英伟达的60%左右。这听起来良好像还行，但是你要考虑到投入成本。 抓到重点了。 如果你为了达到同样的效果，需要更多投入40%的显卡，那投入成本可是成倍增较长的。对于较大更多数公司这根本不划算。

1. 显存墙与通信技术墙

在训练较大模型的时候， 有两个最较大的障碍，一个是显存墙，一个是通信技术墙。显存墙就是说你的显卡显存不够较大，存不下全部的参数， 算是吧... 引起训练无法进行。通信技术墙就是说更多张显卡之间数据交换太缓慢，引起显卡都在等数据，浪费了算力。

英伟达的解决方案很完美，显存较大，通信技术迅速。而AMD的显卡虽然显存也较大，但是通信技术速度不如英伟达。而且，AMD的显卡在处理一些特殊的张量运算的时候， 这事儿我可太有发言权了。 效率也不较高。这就引起在训练LLM的时候，AMD显卡时常会遇到瓶颈。

2. 混合精度训练的“坑”

为了提升训练效率， 当前较大家都用混合精度训练，就是用16位浮点数来训练，这样速度更迅速。但是16位浮点数精度不够较高，简单引起模型不收敛。为了解决当前这个问题，英伟达推出了专门的Tensor Core，能够支持更较高效的16位运算，说白了...。

绝绝子！ AMD的显卡虽然也支持16位运算，但是效率不如英伟达。这就引起在混合精度训练的时候，AMD显卡的优势发挥不出来。而且，AMD的显卡在处理一些繁杂的梯度更崭新算法的时候，也时常出现精度丢失的问题。

四、 英伟达的护城河，真实的那么不容简单挖吗？

说到英伟达的护城河，较大家第一个想到的就是CUDA。没错，CUDA确实是英伟达最强较大较大的武器。它把柔软件和坚硬件绑定在了一起，形成了一个完美的闭环。任意想在AI领域有所作为的人，都离不开CUDA。这就良好比是你学会了开法拉利，但是你不会换轮胎，那你还是得去修车厂，我整个人都不好了。。

AMD也想挖开当前这个护城河， 他们搞了ROCm，搞了HIP，甚至搞了PyTorch支持。但是这一些努力真实的能撼动CUDA的地位吗？我觉得很不容简单。CUDA已经持续发展了十几年，积累了海量的代码和资源条件。而AMD的这一些柔软件栈，起步晚，积累更少，而且时常出现不兼容的问题，也是没谁了。。

切记... 而且，英伟达还在不断地推出崭新的显卡，崭新的架构，崭新的柔软件优化。比如当前的H100，不仅算力强较大，而且显存较大，通信技术迅速，简直就是为较大模型量身定做的。而AMD的MI300X，虽然也不赖，但是还是比不上H100。这就形成了一个恶性循环：英伟达越强较大，开发者就越离不开CUDA；开发者越离不开CUDA，英伟达就越强较大。

1. 生态系统的“马太效应”

我裂开了。 当前AI领域有一个明显的马太效应。英伟达的显卡被广泛采用，所以开发者会优先为英伟达显卡开发柔软件。而这是因为开发者都为英伟达显卡开发柔软件，所以英伟达显卡就更受欢迎。这种循环，让AMD很不容简单打破。

除非AMD能拿出一个革命性的产品， 或者英伟达自己犯错，否则AMD在AI领域的地位很不容简单改变。毕竟改变习惯是很棘手的。较大家都不愿意花时间段去适应环境一个崭新的柔软件栈，除非当前这个崭新柔软件栈真实的比CUDA良好用太更多，是个狼人。。

2. 投入成本与回报的博弈

对于较大更多数公司 选择显卡不仅仅要看性能，还要看投入成本。英伟达的显卡虽然市场价格较高，但是平稳，良好用，效率较高。而AMD的显卡虽然市场价格较低，但是不平稳，效率较低，维护投入成本较高。

如果为了省钱买AMD显卡， 最终还是结果是引起训练效率较低下浪费了更更多的时间段，那这笔账怎么算都是亏的。所以很更多公司宁愿更多花点钱，也要用英伟达的显卡。这就是现实很残酷，但是没办法，请大家务必...。

五、 ：AMD还有机会吗？

总的用AMD GPU训练万亿参数LLM，还是有一定有可能性的。毕竟Frontier超算已经证实了AMD显卡在集群周边环境下的能力。但是这并不代表AMD就能超越英伟达的护城河。

AMD想要在AI领域分一杯羹，必须要要在柔软件生态上下苦功夫。光靠坚硬件堆料是没用的，坚硬件这东西，较大家都能造，但是柔软件这东西， 无语了... 只有英伟达能做良好。AMD需要让开发者觉得用他们的显卡比用英伟达的显卡更方便，更较高效，这样才能吸引更更多的开发者。

而且，AMD还需要在技术手段上进行创崭新。比如能不能在通信技术速度上较高于英伟达？能不能在显存利用率上较高于英伟达？如果做不到这一些，AMD就只能永远跟在英伟达后面吃土。

百感交集。 那个地方的37888个MI250X的Frontier超算， 虽然听起来很厉害，但是离真实正的商用还有很较长的路要走。我们还需要拭目以待，看看AMD到底能走更多远。反正我是觉得，想在英伟达的护城河里杀出一条血路，不容简单度堪比登天。

最后再来看，我想说AI这行改变太迅速了。今天你还在用AMD，明天有可能英伟达就被华为或者谷歌给超了。所以我们还是得保持警惕， 挽救一下。 时刻关注着行业的动态。毕竟在当前这个领域，没有永远的老较大，只有永远的竞逐。

良好了说了这么更多，也不了解较大家听懂没有。反正我觉得吧，AMD想赢，还得再练五百年。咱们就等着瞧吧。