而这篇文章刚好找到了Zui适合学习者的平衡点：全程零公式讲解，针对每一个底层组件，dou会讲清楚它的存在意义、Neng解决哪些实际问题，以及现如今主流模型对该组件Zuo了哪些优化升级。

说实话，这篇长文深度解析LLM运行内核，不容错过！你懂的，咱就是说对于想深入了解大语言模型的你，这是一篇超级棒的文章。

训练阶段不会直接优化事实准确率、对话Neng力、逻辑推理、代码编写等Neng力，仅仅是在海量无标注文本里学习文本续写规律。

还有一个hen有趣的现象：训练过程中，各个注意力头会自主形成专属分工，无需人工设定。

为了解决这个问题，多头注意力机制应运而生。简单来讲，就是并行运行多组独立的注意力计算，每一组并行通道就叫Zuo一个注意力头，各组分别从不同视角解析同一段文本。

想要实现这个功Neng，每个词条dou会经过变换，生成三个独立向量，分别是Query、Key、Value，你Ke以直白理解为：Query负责提出问题，代表“我需要什么样的信息”；

Key负责回应问题，代表“我Neng提供哪些信息”；Value则存储核心数据，一旦匹配成功，就把自身信息传递给对应的词条。

后续依旧依靠softmax函数，把杂乱的logits分数，转换成总和为1的概率分布，直白来说就是算出每一个候选词条，成为下一个输出内容的概率。

我们日常用到的对话、问答、指令跟随等功Neng，dou是在base模型基础上，通过指令微调、人类反馈对齐等后训练手段，二次优化得到的。

介绍每一个架构组件时dou会同步对比原始Transformer的初代方案、现代主流模型的优化方案，并且讲清楚每次迭代优化的底层原因。

Ru果直接拆分为单个字符，词表体量虽然变小了但模型需要耗费大量资源，从零学习基础的拼写规则。

前馈网络的运行流程固定分为三步：第一步，放大词条向量的维度，原始Transformer统一放大4倍，现代采用SwiGLU的模型，放大比例各有不同；第二步，对放大后的向量Zuo非线性激活处理；第三步，压缩向量维度，还原至初始大小。

以Mixtral 8x7B为例，每层网络配备8个专家，每个词条只会激活其中2个。这款模型总参数高达46.7B，但处理单个词条时实际调用参数仅为12.9B。

没有残差连接，超深层模型根本无法完成训练；没有层归一化，残差数据流会彻底失控。二者相辅相成，才支撑起了如今动辄几十上百层的大语言模型。

RMSNorm直接舍弃平移步骤，只保留缩放功Neng，既简化了计算流程，又降低了资源消耗。

原始的自注意力机制，本身不具备识别语序的Neng力。Ru果没有额外的位置信号加持，模型根本分不清“dog bites man”和“man bites dog”的区别，可这两句话的含义天差地别。

正弦位置编码迭代为RoPE、ReLU迭代为GELU再到SwiGLU、post-norm迭代为pre-norm、LayerNorm迭代为RMSNorm、MHA迭代为GQA、稠密FFN迭代为MoE，这六条清晰的迭代路线，完整还原了2017-2022五年间，Transformer技术栈逐步统一的全过程。

这个问题其实挺复杂的。简单来说可Neng的原因有hen多，比如网站内容质量、结构设计、geng新频率等dou会影响收录情况。

其中一个关键因素是网站的内容是否足够独特和有价值，Ru果内容重复度高或者缺乏原创性，就可Neng难以被收录。

另外为什么百度不收录某些网站？这还可Neng与网站的技术架构有关，比如是否采用了合理的SEO策略等。你Ke以检查一下网站是否对搜索引擎友好，比如是否有合适的meta标签、是否支持抓取等，这些dou是影响收录的重要因素。害，你得好好检查一下自己的网站了！

TL;DR：这篇文章把基于Transformer架构的大语言模型，完整拆解成九大运行环节，从输入内容到输出结果讲解得一清二楚。

整篇文章的核心观点Ke以简单概括：市面上所有主流大语言模型，底层骨架dou源自Transformer。

不同系列的模型，比如GPT和LLaMA，它们的分词工具tokenizer就不一样。GPT全系模型，使用的是改版后的BPE；LLaMA系列则普遍采用SentencePiece。不管是哪种工具，它们dou是把输入的字符串转换成整数序列，然后模型再根据这些整数序列进行处理。你kan，这里面的学问挺大的吧！

Mamba这种状态空间模型的出现，给Transformer带来了不小的挑战，尤其是在超长序列处理上，Yi经展现出了超越Transformer的潜力。不过目前Transformer仍然是行业的主流框架。哈哈，说实话，谁知道未来会怎么样呢？

说实话，这篇长文深度解析LLM运行内核，不容错过！你懂的，咱就是说对于想深入了解大语言模型的你，这是一篇超级棒的文章。

无论未来主流架构如何geng新， 词条处理、 嵌入编码、 位置信息、 信息交互、 特征深加工、 深层网络稳定、 序列预测， dou是所有序列生成模型必须解决的基础问题。 训练阶段不会直接优化事实准确率、 对话Neng力、 逻辑推理、 代码论证 等Neng力， 仅仅是在海量无标注文本里 学习文本续写规律。 还有一个hen有趣的现象： 训练过程中， 各个注意力头会自主形成专属分工， 无需人工设定。 为了解决这个问题， 多头注意力机制应运而生。 简单来讲， 就是并行运行多组独立的注意力计算， 每一组并行通道就叫Zuo一个注意力头， 各组分别从不同视角解析同一段文本。 想要实现这个功Neng， 每个词条dou会经过变换， 生成三个独立向量， 分别是Query、 Key、 Value， 你Ke以直白理解为： Query负责提出问题， 代表“我需要什么样的信息”； Key负责回应问题， 代表“我Neng提供哪些信息”； Value则存储核心数据，一旦匹配成功，就把自身信息传递给对应的词条。 后续依旧依靠softmax函数，把杂乱的logits分数 转换成总和为1 的概率分布 直白来说 就是算出每一个候选词条 成为下一个输出内容的概率 我们日常用到的对话 问答 指令跟随等功Neng dou是在base模型基础上 通过指令微调 人类反馈对齐等后训练手段 二次优化得到的 介绍每一个架构组件时 dou会同步对比原始Transformer 的初代方案 现代主流模型的优化方案 并且讲清楚每次迭代优化 的底层原因 Ru果直接拆分为单个字符 词表体量虽然变小了 但模型需要耗费大量资源 从零学习基础 的拼写规则

以Mixtral 8x7B为例，每层网络配备8个专家，每个词条只会激活其中2个。这款模型总参数高达46.7B，但处理单个词条时,实际调用参数仅为12.9B. 没有残差连接,超深层模型根本无法完成训练; 没有层归一化, 残差数据流会彻底失控。 二者相辅相成, 才支撑起了如今动辄几十上百层的大语言模型。

RMSNorm直接舍弃平移步骤,只保留缩放功Neng, 既简化了计算流程,又降低了资源消耗。

原始归一化需要完成平移、 缩放两步操作, 研发团队通过大量实验验证, 绝大多数优化收益dou来自缩放步骤, 平移作用微乎其微。

TL;DR:这篇文章把基于Transformer架构的大语言模型,完整拆解成九大运行环节,从输入内容到输出结果讲解得一清二楚,分别是分词、 嵌入、 位置编码、 注意力机制、多头注意力、前馈网络、残差流与归一化、 下一词预测循环。

举个例子,同一个单词“dog”,无论出现在prompt的第一位还是第五位,它的嵌入向量完全一模一样。而语序直接决定语句含义,这就需要下一个组件——位置编码来补齐这个缺陷。

归根结底,这种向量排布方式,Neng帮助模型geng精准地完成文本预测任务。甚至我们还Neng对嵌入向量Zuo简单的四则运算,而且大部分时候结果dou符合逻辑,Zui经典的就是:king − man + woman ≈ queen。

研究人员通过实验证实,FFN内部部分神经元和特定知识强绑定:有的神经元只会在读取埃菲尔铁塔相关内容时激活;有的专门响应编程类文本;还有的负责识别动词过去式。

正弦位置编码迭代为RoPE、 ReLU迭代为GELU再到SwiGLU 、post-norm迭代为pre-norm 、LayerNorm迭代为RMSNorm 、MHA迭代为GQA 、稠密FFN迭代为MoE,这六条清晰地还原了2017-2022五年间, Transformer 技术栈逐步统一的全过程。

打分完成后,通过softmax函数把所有分数转化为总和为1 的权重 ,Zui后用这些权重,对对应的Value 向量Zuo加权平均 ,Zui终得到该词条融合外部信息后的全新向量 。

选定待生成 词条后 系统会把它追加到原始prompt末尾 复用Yi有的KV缓存 无需重新计算全部前置内容 大幅节省推理时间

为什么百度不收录某些网站？ 这个问题其实挺复杂的。 简单来说可Neng的原因有hen多，比如网站内容质量、结构设计、geng新频率等dou会影响收录情况。其中一个关键因素是网站的内容是否足够独特和有价值，Ru果内容重复度高或者缺乏原创性，就可Neng难以被收录。另外为什么百度不收录某些网站？ 这还可Neng与网站的技术架构有关，比如是否采用了合理的SEO策略等。你Ke以检查一下网站是否对搜索引擎友好，比如是否有合适的meta标签、是否支持抓取等，这些dou是影响收录的重要因素。害，你得好好检查一下自己的网站了！

整篇文章的核心观点Ke以简单概括:市面上所有主流大语言模型,底层骨架dou源自 Transformer 。
2017年发布的原始 Transformer 论文里 ,
研究团队给出了Zui初 
 的解决方案 :给每一个位置分配独一无二 
 的数字组合 ,
直接叠加到对应位置 
  词条   的嵌入向量上 。
之后   模   型   基   于   geng   新   后   的   完   整   序   列
 重复上述所有流程
 生成下一个
  候选
    词    条    。
这个循环会一直持续，直到模型输出终止符，或是达到预设的文本长度上限。我们kan到地完整段落 、 文章 ，dou是模 型 这 样逐词迭 代 生 成 地 。

要纠正一个普遍误区:
大语言模型没办法直接读取人类的文字内容,它Neng识别地只有一串串整数ID.
分词工具接收字符串之后,会输出对应的整数序列,
每一个整数,
dou对应专属 
 里的一个固定条目。目前主流大模型的 , 条目数量基本维持在几万到几十万这个区间。
单层 Transformer 网络一般配备32个 , 前沿 通常包含几十层网络 ,叠加下来,一个完整 会拥有数千个分工明确地 ,各司其职完成语义解析。
整篇文章的核心观点Ke以简单概括:
市面上所有主流大语言 ,底层骨架dou源自 Transformer 。
不同系列的地 ,比如 GPT 和LLaMA ,它们的分词工具tokenizer就不一样。
GPT全系 ,使用的是改版后的BPE;
LLaMA系列则普遍采用SentencePiece.
不管是哪种工具 ,
它们dou是把输入的地字符串转换成整数序列 ,
然后 再根据这些整数序列进行处理。
你kan ,
这其中的学问挺大的吧!
Mamba这种状态空间模型的出现 ,给 Transformer带来了不小的挑战 ,
尤其是在超长序列处理上 ,Yi经展现出了超越 Transformer 的潜力 。
不过 ,
目前 Transformer仍然是行业的主流框架。
哈哈 ,
说实话 ,
谁知道未来会怎么样呢?
不同的tokenizer可Neng会导致不同的计算量和多语言适配Neng力,但所有tokenizer的基本原理dou是一致地: 输入文字 , 输出整数ID.
原文还给出了一个极具参考价值地行业观察:--2025年推出的现代 Transformer  ,Yi经形成高度统一的技术栈.
闭源商用 不会公开完整的架构细节,但从本文覆盖地底层原理层面来kan, 所有主流 dou隶属于 Transformer 家族 ,底层运行框架完全一致:
统一采用分词处理 、嵌入编码 、位置编码 ,搭配多层 Transformer 网络,依托残差流与归一化稳定训练 ,Zui终通过下一预测完成文本生成 .
不同的Tokenizer可Neng会导致不同的计算量和多语言适配Neng力,但所有Tokenizer的基本原理dou是一致地:输入文字,输出整数ID.

选定待生成的候选Token后,        
系统会把它追加到原始Prompt末尾,     
复用Yi有的KV缓存,  
无需重新计算全部前置Token, 
大幅节省推理时间. 
为什么               
整篇文章的核心观点Ke以简单概括: 市面上所有主流,底层骨架dou源自.



为什么百度不收录某些网址?
这个问题hen复杂!比如网址质量啊之类的dou会影响!你kankan你的网址是不是原创性不够?或者技术构架不好,比如是不是SEO策略没Zuo好之类的?

等等这些douhen重要!
另外,为平衡性Neng与成本,当下绝大多数仅解码器架构的大型语言建模, dou采纳分组查询注意力.
核心逻辑在于: 不再让每个查询头部 dou配备独立的关键值头部, 而是由多个查询头部共享同一套关键值头部.
如此模式Neng够大幅降低内存占用及推理成本,而几乎不会损伤大型语言建模的产出精准度,其性价比极高!
举两个实例:Llama-70B配有64个查阅头,但仅设置8组关键值 头部.
Mistral-7B则是32个查阅头搭配8组关键值 头部.
研究人员发现,在单层TransfoMer网路中,当Token透过关注机制彼此互通讯息后,会进入第二个核心组成元件: 前馈网路.
相比热度甚高的关注机制,
FFN讨论度并不太高,
但其重要性丝毫不逊于前者!

探讨当下先进大型语言建模的升级方向时,该文提及混合专家网路.
许多尖端大型语言建模Yi开始采用多个平行前馈网路,
以取代原本单一且密集的前馈网路.
这种模式Neng够在大幅提升大型语言建模 总参数规模的同时,有控制单次文字处理的演算成本!
这是当前阶段突破大型言达阵型效Neng上限的主流手段之一.
研讨人员发现,在单层面TransfoMer络中,当Token透过关注机制彼此互通讯息后,会进入第二个核心组成元件: 前馈络.
相比热度甚高的关注机制,
FFN讨论度并不太高,
但其重要性丝毫不逊于前者!
探讨当下先进大型言达阵型的升级方向时,该文提及混合达人络.
许多尖端大型言达阵型Yi开始采用多个平行前馈络,
以取代原本单一且密集的前馈络.
这种模式Neng够在大幅提升大型言达阵型 总参数规模的同时,有控制单次文字处理的演算成本!
这是当前阶段突破大型言达阵型效Neng上限的主流手段之一.
究人员发现,在单层面TransfoMer络中,当Token透过关注机制彼此互通讯息后,会进入第二个核心组成元件: 前馈络.
相比热度甚高的关注机制,
FFN讨论度并不太高,但其重要性丝毫不逊于前者!
探讨当下先进大型言达阵型的升级方向时,该文提及混合达人络.
许多尖端大型言达阵型Yi开始采纳多个平行前馈络,
以取代原本单一且密集的前馈络.
这种模式Neng够在大幅提升大型言达阵型 总参数规模的同时,有控制单次文字处理的演算成本!
这是当前阶段突破大型言达阵型效Neng上限的主流手段之一.
Ru果去掉非线性的激活函数,其前后两层的线性层的叠加,在数学上等同于单一线性层,即使叠加100层也毫无意义.
显而易见,非线性的激活函数,是使前馈网路Neng够执行复杂运算的基础条件!
当前的产业界领航的大型预训练语方模子, 在不断演进之中 .
探讨当下先进LLM模型的升级方向时,该文提及混合专家网路.
不少顶级LLMYi开始用多组并行的FFN,替代原本单一且稠密的前馈网路.
这种Zuo法Neng在大幅提高LLM总参数规模的同时,把控住每次文字处理的运算开销!
这是现阶段打破LLM表现上限的主流手法之一.
作者开宗明义指出,他写作此文的目的在于:
让读者阅读完此文后,再去细读任一篇现今的大型预训诫方模子论文或官方Model Card时,Ke以精准对应文中所阐述的不同构建模块,而不再感到茫然失措.
原文: How LLMs Actually Work, 作者 Oxkato
另外, "为什么百度不收录"…
大家可参考下列解答:
1. 检查网页质量 - 确保您的网页具有高质量的内容,且符合百度的收录标准.
2. sitemap - 确保您的sitemap.xml文件是Zui新的,并且包含了您希望被百度收录的所有页面网址.
3. robots.txt - 检查您的robots.txt文件,以确保它允许百度蜘蛛抓取您希望被收录的内容.
4. 外部链接 - 增加来自其他高质量网站指向您网站页面的外部链接数量,Ke以提高您网页在搜索引擎中的可见度.
5. 提交网址 - 您Ke以通过百度的搜索资源平台提交您的网址,以加快其被百度蜘蛛发现的速度.
6. 页面加载速度 -&nbsv;
确保您的网页加载速度快,因为加载慢会影响用户体验,并可Neng间接影响搜索引擎排名.
7.&nbsv;
移动友好性 -&nbsv;
确保您的网页是移动友好的,因为这也是影响搜索引擎排名的一个因素.
8.&nbsv;
避免重复内容 -&nbsv;
确保您的网页内容是独特的,并且没有大量的重复或抄袭的内容.
9.&nbsv;
定期geng新 -&nbsv;
定期geng新您的网页内容,以保持其新鲜度和相关性.
10.&nbsv;
技术SEO -&nbsv;
确保您的网页在技术上是健全,没有严重的错误,如404错误,或无法访问的问题。
通过采取上述措施,您可提高网页被百度索引的机会!
研究人员发现,在单层面transfoMe络中,当token透过attentioin机智彼此互通讯息后,会进入第erl核
心组成元件:
feedforwad network 
相较于备受瞩目attentioin机智,
Ffn议论热度并不如前者,
然则其举足轻重程度毋庸置疑!

探究当今翘楚large language model 之晋级走向时,
原著提及mixture of experts 此一人选.

诸多拔尖llm业Yi着手运用诸多个别平行ffn ,

以代先前唯一且dense feedforwad network .

此种形式得以于显著增进llm数规模之际,

仍旧有效掌控个别字符处置之运算本钱!

此乃现阶段突破llm功用上限所采行之主要手法!

究人员发现,在单层面transfoMe络中,当token透过attentioin机智彼此互通讯息后,会进入第erl核
心组成元件:
feedforwad network 
相较于备受瞩目attentioin机智,
Ffn议论热度并不如前者,
然则其举足轻重程度毋庸置疑!

探究当今翘楚large language model 之晋级走向时,
原著提及mixture of experts 此一人选.

诸多拔尖llm业Yi着手运用诸多个别平行ffn ,

以代先前唯一且dense feedforwad network .

此种形式得以于显著增进llm数规模之际,

仍旧有效掌控个别字符处置之运算本钱!

此乃现阶段突破llm功用上限所采行之主要手法!
究人员发现,在单层面transfoMe络中,当token透过attentioin机智彼此互通讯息后,会进入第erl核
心组成元件:
feedforwad network 

相较于备受瞩目attentioin机智,

Ffn议论热度并不如前者,

然则其举足轻重程度毋庸置疑!

探究当今翘楚large language model 之晋级走向时,

原著提及mixture of experts 此一人选.

诸多拔尖llm业Yi着手运用诸多个别平行ffn ,

以代先前唯一且dense feedforwad network .

此种形式得以于显著增进llm数规模之际,

仍旧有效掌控个别字符处置之运算本钱!

此乃现阶段突破llm功用上限所采行之主要手法!
Ru果去掉非线性的激活函数,其前后两层的线性层的叠加,在数学上等于 单一 线性曾,即使叠加100曾也毫无意义 . 

显而易见, 
非线性的激活函数, 
是使Feed Forward NetworkNeng够执行复杂运算的基础条件 !
当前的产业界领航的大型预训诫方模子, 
在不断演进之中 . 
探讨当下先进 LLM  
模型的升级方向时, 
该文提及混合专家网路 . 
不少顶级 LLM  
Yi开始用多组并行的 FFN , 
替代原本单一且稠密的前馈网路 . 
这种Zuo法Neng在大幅提高 LLM  
总参数规模的同时, 
把控住每次文字处理的运算开销 ! 
这是现阶段打破 LLM  
表现上限的主流手法之一 . 
作者开宗明义指出, 
他写作此文的目的在于： 
让读者阅读完此文后, 
再去细读任一篇现今的大型预训诫方模子论文或官方 Model Card 时, 
Ke以精准对应文中所阐述的不同构建模块, 
而不再感到茫然失措 . 
原 文 ： How LLMs Actually Work ， 作者 Oxkato 
另外,"为什么百度不收
录"…
大家可参考下列解答:

检查

网页质量 - 确保您的网页具有高质量的内容，且符合百度的
收录标准 .
去除低质链结以及无关的信息
同时避免
垃圾讯息
关键词堆砌以及alt讯息缺失等问题
有助于提升搜寻顺位
并且加速获得新内容的索引
有利于搜寻引擎快速找到并
理解您的新发布页面！
请记得定期监测并调整你的连结健康状态以及整体站内seo健康状态!
大家也Ke以尝试多种不同的优质外链组合技倆去
希望以上资讯Neng够帮助各位网友们釐清观念并且解决问题！

                        

                        

                         

                    
                    

                        

                            标签：  
                            这篇  
                        
                    
                    

                    
                    

                        

                            

                                 上一篇： 
                                这玩意儿是ChatGPT吗？  
                            
                            

                                 下一篇： 
                                能掌握软件行业亿元级市场数据及未来趋势吗？  
                            
                        
                    
                
                

                    
为您推荐
                    

                    

                        

                             
                            

                                这玩意儿是ChatGPT吗？
                            
                            
                            

                                拷贝.exe却无法运行？理解链接才是关键。
                            
                            
                            

                                看商丘电商直播，如何助力农产品和农村发展，点燃乡村振兴新引擎？
                            
                            
                            

                                别焦虑，躺平无用，程序员新指南
                            
                            
                            

                                学习开源监控系统，轻松掌握企业级监控部署？
                            
                            
                            

                                能掌握软件行业亿元级市场数据及未来趋势吗？
                            
                            
                            

                                学习上位机编程，如何快速掌握自动化视觉应用技巧？
                            
                            
                            

                                学习座椅设计分析，如何提升汽车座椅舒适性与安全性？
                            
                            
                            

                                如何构建一个优秀的Skill？
                            
                            
                            

                                Java如何高效拼接字符串？