本文档系统讲解大语言模型LLM训练流程中的核心概念从预训练到微调从理论到实践。一、预训练Pre-training——让模型读万卷书1.1 什么是预训练预训练Pre-training 是大模型在大规模通用数据集上进行的初始训练阶段。目标是让模型学习语言的基本结构、常识知识、语法、语义关系等通用能力而不是针对某个特定任务。1.2 预训练的核心特点特点说明数据规模使用数千亿甚至数万亿词的海量文本学习方式自监督学习无需人工标注训练目标学习语言的通用规律和知识输出结果具备通用能力的基座模型1.3 常见的预训练任务1.4 通俗理解预训练就是让大模型读万卷书先成为通才再通过后续步骤成为专才。GPT-3 先在数千亿词语料上预训练学会像人类一样生成连贯文本之后可通过少量标注数据微调用于客服对话、代码生成等具体场景二、Embeddings——将文字变成数字向量2.1 什么是 EmbeddingsEmbeddings嵌入 是将离散的符号如单词、句子转换为连续的、低维的实数向量的技术。这些向量能捕捉语义、语法或上下文信息让计算机可以理解人类语言。2.2 直观示例假设三个词经过 Embedding 后词语向量表示简化说明猫[0.8, -0.2, 0.5]狗[0.75, -0.18, 0.48]与猫向量接近都是宠物汽车[-0.3, 0.9, -0.6]与猫向量差别大不同类别2.3 Embeddings 的关键特点特点说明离散转连续文字符号变成可计算的数值向量语义编码向量间的距离反映语义相似度支持推理国王 - 男人 女人 ≈ 女王2.4 静态 vs 动态 Embeddings2.5 应用场景自然语言处理文本分类、语义搜索、机器翻译推荐系统用户和商品的向量化表示多模态CLIP 将图像和文本映射到同一向量空间三、词表与向量的关系——字典与语义地图3.1 核心概念概念作用类比词表Vocabulary定义模型能认识的基本语言单元字典的词条列表Embedding为每个词表项提供语义向量表示每个词条的详细解释3.2 两者的紧密关系词表和 Embedding 就像字典的目录页和正文页——目录告诉你词在第几页正文给你详细解释。关系一一一对应数量绑定词表中有多少个词Embedding 矩阵就有多少行。关系二查表流程使用绑定模型处理文本时必须先用词表找到编号再用编号去 Embedding 矩阵查向量。关系三训练中的角色分工组件训练前训练中作用词表固定不变始终不变提供索引系统Embedding预训练权重加载不断调整优化学习语义含义3.3 Embedding 矩阵结构3.4 关键要点一一对应词表中每个 token 对应 Embedding 矩阵的一行查表机制输入文本 → 分词 → 获取 ID → 从矩阵中取出对应向量覆盖范围词表决定了模型能处理哪些词超出词表的词需要子词切分共同演化词表通常固定Embedding 向量在训练中不断优化3.5 总结没有词表Embedding 无从索引没有 Embedding词表只是符号无法被模型计算。二者共同构成了大模型理解语言的字典 语义地图。四、前向传播与反向传播——模型如何学习4.1 用做菜比喻理解4.2 前向传播Forward Propagation“先做一遍看看味道怎么样”关键点数据从输入层 → 隐藏层 → 输出层单向流动目的是得到预测值并计算损失不改变模型参数只是试做4.3 反向传播Backpropagation“分析哪里调料放多了/少了然后调整”关键点信息从输出层 → 隐藏层 → 输入层反向流动目的是计算每个参数的梯度即该参数对损失的责任梯度用于更新参数优化器如 SGD、Adam4.4 完整的训练循环4.5 一句话总结过程核心作用通俗理解前向传播计算预测和损失“跑一遍模型看看错在哪”反向传播计算参数梯度“搞清楚谁该为错误负责”参数更新调整模型权重“告诉它怎么改”五、PEFT——参数高效微调5.1 什么是 PEFTPEFTParameter-Efficient Fine-Tuning 是一类微调技术核心思想是保持预训练模型大部分参数冻结仅训练少量额外参数实现高效、低成本的模型适配。5.2 为什么需要 PEFT全参数微调的痛点问题说明显存消耗巨大需存储所有参数的梯度和优化器状态计算成本高训练时间长算力开销大存储成本高每个任务都要保存完整模型副本5.3 常见的 PEFT 方法5.4 PEFT 的核心优势优势说明节省资源消费级 GPU 可微调百亿模型避免灾难性遗忘主干参数冻结保留预训练知识便于部署每个任务只存几百 MB 增量文件多任务切换加载不同 PEFT 权重即可切换功能5.5 实际案例LoRA7B 参数的 LLaMA 模型5.6 总结PEFT 是四两拨千斤的微调策略——不动大模型主体只训练一小撮聪明的附加参数就能让大模型快速适应新任务。如今PEFT尤其是 LoRA已成为大模型应用落地的标配技术。六、模型格式对比——safetensors vs GGUF6.1 两种格式概述格式开发者主要用途safetensorsHugging Face训练、微调、Python 推理GGUFllama.cpp (Georgi Gerganov)CPU/GPU 本地推理含量化6.2 核心区别对比6.3 详细对比特性safetensorsGGUF是否包含量化❌ 原生不支持 ✅ 可配合 bitsandbytes✅ 原生支持多种量化依赖环境Python safetensors 库无需 PythonC/C 友好文件内容纯权重张量需配合 config.json自包含 架构 权重 分词器典型文件model-00001.safetensorsadapter_model.safetensorsllama-3-8b.Q4_K_M.gguf6.4 格式转换关系6.5 使用场景场景推荐格式用 LoRA 微调 LLaMAsafetensors输出 adapter在 Mac 上用 LM Studio 运行GGUF手机/树莓派本地推理GGUF量化版本服务器端 Python 推理safetensors6.6 总结safetensors 和 GGUF 是兄弟不是父子。它们分别服务于两个主流技术栈safetensors → Hugging Face 生态训练/微调/Python 推理GGUF → llama.cpp 生态本地/边缘设备/C 推理 量化在实际工作中两者经常前后衔接使用先用 safetensors 训练再转为 GGUF 部署。这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容