Transformer已成为大模型时代的核心架构取代了RNN、LSTM等旧技术。它通过自注意力机制实现并行计算有效解决长距离依赖问题并易于规模化扩展。BERT、GPT等模型是基于Transformer的变体分别擅长理解与生成任务。Transformer不仅限于NLP还扩展到视觉、语音等多模态领域。大模型的训练涉及预训练、微调和对齐等阶段Transformer作为底层骨架贯穿始终。LoRA、后训练等新范式进一步提升了Transformer的实用价值。理解Transformer有助于把握AI从单模态走向多模态、从特定任务走向通用大模型的演进脉络。一、为什么今天的大模型几乎都绕不开 Transformer如果你最近持续关注 AI会发现 GPT、Claude、Gemini、DeepSeek 这类主流模型几乎都建立在 Transformer 这一技术体系之上。它并不是某个单点功能而是一整套面向序列建模的统一架构。自 2017 年提出之后Transformer 逐步取代了过去 NLP 中以 RNN、LSTM 为主的技术路线并进一步扩展到视觉、语音、多模态等多个方向成为今天大模型时代的底层基础设施。如果想真正理解大模型是如何工作的仅仅知道“它很强”远远不够更关键的是理解它为什么能替代过去的架构它在大模型中具体承担什么角色以及它如何与 BERT、GPT、LoRA、RLHF 等概念串联起来。二、在 Transformer 出现之前AI 主要依赖什么架构在 Transformer 出现之前处理文本、语音、序列任务的主流路线主要是RNN、LSTM、GRU、CNN 以及 Seq2Seq。1. RNN最早的序列建模主力RNN循环神经网络的核心思路是当前时刻的计算依赖前一个时刻的隐藏状态因此它天然适合处理语言、时间序列等“有顺序”的数据。但它的问题也很明显• 必须按时间步顺序计算难以并行训练速度慢。• 随着序列变长容易出现梯度消失或梯度爆炸。• 对长距离依赖建模能力较弱前文信息容易在传播过程中衰减。2. LSTM / GRU对 RNN 的改良LSTM长短期记忆网络和 GRU门控循环单元本质上都是对 RNN 的升级版。它们通过门控结构让模型可以“选择性记住”和“选择性遗忘”信息缓解了普通 RNN 的长期依赖问题。但注意缓解不等于彻底解决。它们依然保留了顺序计算的本质因此在并行效率和超长序列建模上仍然存在明显瓶颈。3. CNN局部特征提取能力强但不擅长全局语言依赖CNN 在图像领域非常成功因为它擅长提取局部模式。在 NLP 中也曾出现过 TextCNN 这类方案用卷积窗口抽取局部语义特征。但文本理解并不只是“看局部窗口”。很多语言现象需要跨越很长距离来建立关联例如指代消解、长句因果关系、上下文约束等。CNN 可以做局部建模但对全局依赖并不天然友好。4. Seq2Seq早期机器翻译的关键架构在 Transformer 之前机器翻译等任务最常见的结构是Seq2Seq序列到序列。它通常由两部分组成•Encoder把输入序列编码成一个中间表示。•Decoder根据这个表示逐步生成输出序列。最早的 Seq2Seq 常常使用 RNN/LSTM 作为编码器和解码器。它确实推动了翻译、摘要等任务的发展但很快暴露出一个关键问题信息瓶颈。如果把整个输入序列压缩成一个固定长度向量那么当句子足够长时前面的信息就容易丢失。5. 注意力机制Transformer 之前最重要的过渡步骤为了解决 Seq2Seq 的信息瓶颈问题研究者在 2014—2015 年逐步引入了注意力机制。其核心思想是解码器在生成每个词时不必只依赖一个固定向量而是可以动态查看输入序列中不同位置的信息。这一步非常关键。因为它第一次明确提出序列建模不一定非要把所有信息压缩进单一状态也可以通过“选择性关注”来做动态信息读取。可以说Transformer 并不是凭空出现的它是在“RNN/Seq2Seq Attention”这条演化路径上进一步把注意力机制推到了中心位置。三、Transformer 为什么能替代旧架构Transformer 的革命性不在于“做了更多层网络”而在于它直接放弃了循环结构把建模核心从“按顺序传递状态”改成了“通过注意力直接建立任意位置之间的关系”。相比 RNN/LSTMTransformer 有三点决定性优势1. 可并行计算RNN 必须先算完第一个词才能算第二个词再算第三个词Transformer 则可以在一个层内同时处理整个序列。这意味着它更适合 GPU / TPU 的并行计算范式因此在大规模训练时效率优势极其明显。2. 长距离依赖建模更直接RNN 的信息需要沿时间步一层层传递距离越远信号越容易衰减。Transformer 则通过注意力机制让任意两个位置可以直接建立连接。也就是说在理论上“第一个词”和“最后一个词”的交互不再需要经过几十甚至上百步状态传递而是一次注意力计算就能完成。3. 更适合规模化扩展大模型时代最核心的一个关键词就是scaling。模型参数更大、训练数据更多、上下文更长、模态更丰富。Transformer 在这一点上比 RNN 更容易扩展因此才成为后续基础模型和大语言模型的共同底座。四、Transformer 的输入到底是什么在解释内部结构之前先要明确模型并不直接“看懂文字”它看到的是向量。完整流程如下1 原始文本 → Tokenize切分词元→ Embedding嵌入为向量→ 加入位置编码最终输入会变成一个[N × d_model] 的二维矩阵•N序列长度也就是输入 token 的个数。•d_model每个 token 的表示维度例如 512、768、1024。这里有一个容易混淆的点输入一开始不是[N × d_k]而是[N × d_model]。只有在进入多头注意力之后模型才会把总维度拆分到不同的头中每个头内部使用的是d_k d_model / h。此外Transformer 本身没有循环结构所以它天然不知道“谁在前、谁在后”。因此必须额外加入位置编码Positional Encoding用来告诉模型每个 token 的相对或绝对位置信息。这也是为什么 Transformer 虽然摆脱了 RNN 的顺序计算方式但仍然能够理解序列顺序。五、核心机制自注意力Self-Attention到底是什么Transformer 的核心不在卷积也不在循环而在于自注意力Self-Attention。所谓“自注意力”本质上就是当模型处理某个 token 时它会动态计算这个 token 与序列中所有其他 token 的相关性并据此聚合信息。数学形式给定输入矩阵 模型通过三组可学习参数把它映射成•Query查询•Key键•Value值随后进行如下计算这个过程可以拆成四步理解相似度计算 计算每个 token 对其他 token 的关注分数。缩放除以 避免数值过大导致 softmax 过度尖锐。归一化softmax 把分数转成概率。加权聚合用这些概率对 做加权求和形成新的表示。直觉理解如果一句话里有代词“it”模型在计算这个位置时往往会给真正被指代的名词更高权重而不会平均对待每个词。这就是自注意力最核心的价值不是机械地逐词传递信息而是动态地决定“当前这个词应该重点参考谁”。六、多头注意力为什么要分成多个头如果只做一次注意力计算模型可能只能学到一种关系模式。于是 Transformer 引入了多头注意力Multi-Head Attention。它的本质不是“每个头提取一个维度”而是把原本的表示空间拆成多个低维子空间让多个注意力机制并行工作从不同视角建模关系。假设•• 头数那么每个头的维度就是维度流转可以理解为1 2 3 4 5 6 7 8 9 10 11 12 13 输入 X: [N, 512] ↓ 映射到 Q/K/V: [N, 512] ↓ reshape 成 8 个头: [8, N, 64] ↓ 每个头独立计算注意力 ↓ 得到 8 份 [N, 64] 输出 ↓ 拼接回 [N, 512] ↓ 再经过线性投影得到最终结果需要纠正的几个常见误区•头数 h 不是序列长度 N。•每个头不是只输出 1 个特征。•每个头学习的不是“二维向量空间”而是在 d_k 维子空间中学习 token 间关系。•二维的是注意力矩阵 [N × N]表示“谁关注谁”。所以更准确地说每个头学习的是在一个低维子空间里序列元素之间的两两关联模式。七、Transformer 层内部到底由什么组成一个标准的 Transformer 层通常由两类功能模块组成多头自注意力子层负责全局信息交互。前馈网络FFN / MLP子层负责对每个位置做独立的非线性变换。而每个子层外面还会包上•残差连接Residual Connection•层归一化LayerNorm整体可以表示为1 2 3 4 5 6 7 8 输入 x ├──→ 多头自注意力 → F_attn(x) └──→ 残差捷径 ───────┘ ↓ 相加 → LayerNorm ├──→ MLP/FFN → F_mlp(x) └──→ 残差捷径 ───────┘ ↓ 相加 → LayerNorm 输出1. MLP 的作用是什么很多人以为注意力已经完成了主要建模MLP 只是“附带处理”其实不是。注意力做的是让 token 之间交换信息。MLP 做的是让每个 token 在拿到上下文信息后再对自身表示做非线性加工。它不负责学习 token 与 token 的关系那是注意力层的任务它负责的是每个位置内部的特征映射与表达增强。一句话概括注意力负责“互相看”MLP 负责“各自想”。2. 残差连接是什么残差连接的公式是这里有个特别常见的误解残差不是做减法而是做加法。子层学习的并不是“完整输出”而更像是“在原始输入基础上需要修改多少”。这会让深层网络更容易训练也能让梯度更顺畅地回流。3. LayerNorm 是做什么的LayerNorm 的作用不是“防止遗忘远程信息”。它的核心作用是• 稳定每层输出的分布• 降低训练过程中的数值波动• 提升收敛稳定性真正帮助模型保留原始信息、缓解梯度消失问题的是残差连接LayerNorm 的职责是稳定训练而不是承担记忆功能。八、BERT 是什么它和 Transformer 是什么关系理解 Transformer 之后就可以进一步理解 BERT。1. BERT 是什么BERT 全称是Bidirectional Encoder Representations from Transformers可以直译为“基于 Transformer 的双向编码器表示”。它是 Google 在 2018 年提出的预训练语言模型也是 Transformer 在 NLP 理解任务上的一个关键落地成果。BERT 的核心特征有三个•只使用 Transformer 的 Encoder 部分。•通过双向上下文建模来理解语言。•采用预训练 微调的范式。2. 为什么说 BERT 是“理解型模型”BERT 的典型预训练任务是Masked Language ModelingMLM。也就是随机遮住输入中的一部分词让模型根据上下文把它预测出来。由于被遮住的词左右两边的信息都可以被利用所以 BERT 建立的是双向上下文表示。这使得它在分类、语义匹配、命名实体识别、问答等理解任务上非常强。3. BERT 与 Transformer 的关系最简单的理解方式是1 2 3 Transformer一种通用架构 BERT基于 Transformer Encoder 构建的具体模型 GPT基于 Transformer Decoder 构建的具体模型也就是说•Transformer 是“架构层”的概念。•BERT / GPT 是“模型层”的概念。更进一步说BERT 证明了一件事只使用 Transformer 的 Encoder也可以通过大规模预训练获得非常强的语言理解能力。这直接开启了后续“预训练语言模型”时代。九、Transformer 在大模型中的使用情况不是只有 GPT很多人一提到 Transformer第一反应就是 ChatGPT。这个关联没有错但不完整。Transformer 在大模型中的使用实际上可以分成几种不同路线。1. Encoder-only以 BERT 为代表的“理解型”路线这一类模型只保留 Transformer 的编码器部分重点是对输入进行深层语义建模而不是逐 token 生成文本。典型场景包括• 文本分类• 语义相似度匹配• 命名实体识别• 检索与重排序• 问答中的表示学习这一类模型通常更适合“判别型任务”或“表征学习任务”。2. Decoder-only以 GPT 为代表的“生成型”路线GPT 系列采用的是Transformer Decoder-only结构。它的核心特征是自回归生成每一步只看前面的 token预测下一个 token。也正因为这种因果掩码机制GPT 天然适合文本生成、对话、代码补全、推理展开等任务。今天我们常说的“大语言模型LLM”主流商业产品大多属于这一条路线。3. Encoder-Decoder以 T5 等为代表的“输入到输出转换”路线还有一类模型会同时保留编码器和解码器即原始 Transformer 更完整的形态。这类模型更适合“把一种文本转换成另一种文本”的任务例如• 机器翻译• 摘要生成• 文本改写• 问答生成从结构上说它们更接近 Transformer 最初在机器翻译中的设计目标。4. Transformer 不只服务 NLP也在扩展到视觉和多模态Transformer 的影响力早已超出纯文本领域。在视觉方向ViTVision Transformer把图像切成 patch再把每个 patch 当成视觉 token 输入 Transformer实现了把图像建模也“序列化”的思路。在多模态方向模型会分别对文本、图像、音频、视频做 token 化或模态特定编码然后通过 Transformer 进行跨模态融合与对齐。这也是为什么今天越来越多的模型被称为MLLMMultimodal Large Language Model它们底层往往依然延续 Transformer 的统一建模思想。十、Transformer、BERT、GPT在大模型时代分别处于什么位置如果用“层级关系”来理解会更清晰1 2 3 4 5 6 机器学习 └── 深度学习 └── Transformer架构 ├── Encoder-only → BERT 类模型偏理解 ├── Decoder-only → GPT 类模型偏生成 └── Encoder-Decoder → T5 / 翻译摘要类模型偏转换这说明三者并不是同一层面的概念。•Transformer底层结构与方法论。•BERTTransformer 在“语言理解”方向的典型实践。•GPTTransformer 在“语言生成”方向的主流实现。进一步说今天的大模型并不是“脱离 Transformer 又重新发明一套体系”而是大多在 Transformer 的基础上进行规模化训练、工程优化和后训练增强。也就是说Transformer 是地基BERT 和 GPT 是不同的建筑形态而今天的大模型则是在这套地基上向超大规模持续演化的结果。十一、大模型是怎么把 Transformer 用起来的理解“Transformer 在大模型中的使用情况”还需要再补上一层它并不是单独存在而是嵌入在完整训练流水线里。今天主流大模型通常采用多阶段训练流程1 2 3 4 5 6 7 8 9 10 11 12 13 14 阶段1预训练Pre-training - 学习方式自监督学习 - 目标预测下一个 token / 掩码恢复等 - 结果得到具备通识知识的基础模型 阶段2监督微调SFT - 学习方式监督学习 - 目标学会指令跟随、对话格式、任务适配 - 结果得到更“会说话”的模型 阶段3对齐训练RLHF / DPO / RLVR 等 - 学习方式强化学习或偏好优化 - 目标让输出更符合人类偏好、更安全、更稳定 - 结果形成可直接面向用户的产品模型在这个过程中Transformer 承担的是底层表示学习与生成能力的核心骨架。预训练阶段它负责从海量数据中学习语言统计规律与知识表示SFT 阶段它被进一步塑造成可执行指令的助手对齐阶段则是在原有 Transformer 表征能力的基础上继续优化输出行为。因此讨论 Transformer 在大模型中的使用不能只看“架构长什么样”还要看它处在整个工业级训练链路的什么位置。十二、LoRA、后训练与新范式Transformer 之上的工程演进当基础模型足够大之后业界真正关注的问题已经不只是“架构能不能跑”而是• 如何更便宜地微调• 如何更稳定地对齐• 如何让模型在推理任务上表现更强1. LoRA让大模型微调变得现实LoRALow-Rank Adaptation本质上不是替代 Transformer而是在不改动大部分原始权重的前提下用低秩矩阵近似权重更新量从而显著降低微调成本。因此它解决的是Transformer 太大、全量微调太贵怎么办答案不是换掉 Transformer而是在 Transformer 上做更高效的参数适配。2. 后训练让基础模型变成产品模型预训练解决的是“模型有没有知识”后训练解决的是“模型能不能被用”。所谓Post-Training后训练通常指预训练之后的一整套优化过程包括• 监督微调SFT• 偏好优化DPO• 人类反馈强化学习RLHF• 可验证奖励强化学习RLVR也就是说大模型真正成为产品往往不是因为架构突然改变而是因为后训练把它从“基础能力”打磨成了“可交互能力”。3. RLVR可验证任务上的新趋势在数学、代码、逻辑推理等可验证任务上近年的一个重要方向是RLVR可验证奖励强化学习。它与传统 RLHF 的差异在于奖励不再主要来自人工主观偏好而是来自规则验证、程序执行、答案对错等客观信号。这意味着在部分任务上模型可以减少对大量人工 SFT 数据的依赖转而通过强化学习去探索更优的推理路径。但这并不意味着 SFT 被淘汰。更准确的说法是在可验证任务上RLVR 正在强化后训练的重要性而在开放式对话、安全对齐、通用交互场景中SFT 仍然是不可替代的基础环节。十三、最后建立一张完整认知图如果把本文所有概念串起来可以得到下面这张认知地图1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 旧时代序列建模RNN / LSTM / GRU / Seq2Seq Attention ↓ Transformer 出现用自注意力替代循环解决并行与长依赖问题 ↓ 核心结构Embedding Positional Encoding ↓ 多头自注意力全局交互 ↓ MLP/FFN局部非线性变换 ↓ 残差连接 LayerNorm稳定深层训练 ↓ 模型分化 - Encoder-only → BERT理解 - Decoder-only → GPT生成 - Encoder-Decoder → T5/翻译摘要转换 ↓ 大模型训练预训练 → SFT → 对齐训练 ↓ 工程增强LoRA / QLoRA / DPO / RLHF / RLVR ↓ 扩展方向视觉 Transformer、语音 Transformer、多模态 Transformer到这里再回头看会发现 Transformer 的价值并不只是“某个注意力公式”。它真正改变的是整个 AI 系统的建模方式• 从“按顺序传递状态”转向“全局动态建立关系”• 从“任务特定模型”转向“统一架构适配多任务、多模态”• 从“单模型能力”转向“架构 训练 后训练 工程优化”的整体体系。这也是为什么当我们讨论今天的大模型时几乎始终绕不开 Transformer。最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容最后1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】