大模型发展史

人工智能是一场跨越数十年、由一系列关键突破所驱动的波澜壮阔的史诗。回顾其历程我们可以清晰地看到三个特征鲜明的阶段每一阶段都以前一阶段的理论和实践为基础最终引爆了今天我们所见到的AI革命。一、 萌芽期1950-2005为了方便码友未来于同事吹水我将只列几个关键事件。1.11950年:图灵测试图灵测试由英国数学家艾伦·图灵于1950年在他的论文《计算机与智能》中提出。核心内容目的为了回答“机器能否思考”这个问题图灵设计了一个模仿游戏来测试机器的智能。测试方式一位人类评判员通过文字与两个“对象”一个人类一台机器进行对话。如果评判员无法可靠地区分哪个是机器、哪个是人类则视为机器通过了测试。意义它绕开了“思考”这个难以定义的概念转而关注机器能否在行为上模拟人类成为人工智能领域的奠基性思想实验。1.21956年: 人工智能元年(约翰麦卡锡)这一年约翰·麦卡锡John McCarthy在达特茅斯学院组织了一场为期约8周的研讨会并首次提出了“Artificial Intelligence”这个词。核心意义这场会议正式确立了人工智能作为一门独立学科。麦卡锡后来还发明了AI编程语言Lisp因此被誉为“人工智能之父”之一。一句话总结1950年图灵给出了思想1956年麦卡锡正式为AI命名并立了门户二、 探索沉淀期2006-20192.12012年AlexNet辛顿2012年由杰弗里·辛顿Geoffrey Hinton及其学生设计的 AlexNet 在 ImageNet 图像识别大赛中以绝对优势夺冠被视为深度学习引爆现代人工智能的元年。核心突破大幅降低错误率将图像识别错误率从 25.8% 直接降至 16.4%震惊学术界验证GPU的作用证明了使用图形处理器GPU训练深层神经网络是可行的为此后所有AI算力发展指明了方向2.22015年: res-net152(何凯明)2015年何恺明和他的团队凭借152层深度残差网络ResNet-152在ImageNet图像识别大赛中击败谷歌、英特尔、高通等业界团队以显著优势夺得冠军。其3.57%的错误率首次超越了人类在图像分类任务上的表现震惊了整个学术界。 何恺明团队提出的深度残差学习使神经网络能够达到前所未有的深度获得以前难以实现的能力促成了多个突破性的成果——包括AlphaGo、AlphaFold和ChatGPT为人工智能做出了基础性贡献。2.32017年Transformer谷歌2017年谷歌大脑团队在论文《Attention Is All You Need》中提出了 Transformer 架构。核心突破抛弃循环神经网络RNN和卷积神经网络CNN首次完全基于注意力机制Self-Attention来处理序列数据支持并行计算大幅提升了训练效率解决了此前模型处理长文本时的瓶颈Transformer 是今天所有大语言模型的“祖师爷”ChatGPT、GPT-4、BERT 等全部建立在这个架构之上。2.42018年BERT 和 GPT-12018年两个基于 Transformer 的经典模型相继诞生谷歌的 BERT 和 OpenAI 的 GPT-1。BERT来自谷歌核心创新采用“双向编码”训练方式让模型同时看到一句话中某个词左侧和右侧的上下文擅长任务文本分类、问答、命名实体识别等“理解类”任务意义在11项自然语言处理任务中刷新纪录成为自然语言处理领域的“全能理解工具”GPT-1来自 OpenAI核心创新采用“单向自回归”训练方式让模型根据已生成的内容逐个预测下一个词擅长任务文本生成、故事续写、代码生成等“生成类”任务意义证明了“先在海量无标注数据上预训练再在特定任务上微调”这一范式的有效性2018年是自然语言处理领域“分岔口”的一年——BERT 走通了“理解”这条路GPT 走通了“生成”这条路两条路线共同奠定了现代大语言模型的基础。2.52019年GPT-22019年OpenAI 发布了 GPT-2是 GPT-1 的升级版本。核心突破规模升级参数量从 GPT-1 的 1.1 亿增加到 15 亿训练数据更加庞大多样零样本学习能力在没有针对特定任务进行微调的情况下也能完成翻译、问答、摘要等多种任务生成质量大幅提升生成的文本更加流畅、连贯甚至让 OpenAI 一度担心“滥用风险”而选择分阶段发布GPT-2 是 GPT 系列从“学术实验”走向“实用工具”的关键一步它向世界展示了“更大规模 更多数据 更强的能力”这一缩放规律直接为 GPT-3 的爆发铺平了道路。三、 迅猛发展期2020-至今3.12020年GPT-32020年OpenAI 发布了 GPT-3是 GPT-2 的后续版本。核心突破规模飞跃参数量从 GPT-2 的 15 亿大幅提升到 1750 亿增长了超过 100 倍训练数据使用了约 45TB 的文本数据涵盖网页、书籍、维基百科等几乎公开可获取的文本来源上下文学习能力首次展示了“少样本学习”能力只需要在提示词中给几个例子就能完成新任务无需额外微调任务泛化在翻译、问答、编程、数学推理等数十种任务上均表现出色很多任务甚至达到或超过当时专门训练的模型GPT-3 的发布是大型语言模型发展史上的分水岭。它让学术界和工业界同时意识到单纯扩大模型规模和训练数据就能带来此前无法想象的能力跃升。此后“规模法则”成为各大AI实验室追逐的核心方向。3.22022年GPT-3.5ChatGPT2022年OpenAI 在 GPT-3 的基础上进行优化推出了 GPT-3.5 系列模型并于当年 11 月以 ChatGPT 的形式面向公众开放。核心突破训练方式升级引入了“指令微调”和“基于人类反馈的强化学习”让模型更好地理解和遵循人类的指令对话能力优化专门针对多轮对话场景进行优化能够记住上下文、主动追问、承认错误、拒绝不合理请求对齐能力通过人类反馈训练让模型的输出更符合人类的价值观和偏好减少了有害、偏见或不相关的回答ChatGPT 上线后 5 天用户突破 100 万2 个月月活用户达到 1 亿成为历史上用户增长最快的消费级应用。它第一次让普通大众无需任何技术背景就能通过自然对话与大型语言模型交互真正意义上将人工智能从“实验室工具”变成了“全民应用”。3.32023年GPT-42023年OpenAI 正式发布了 GPT-4是 GPT-3.5 的后续版本。核心突破多模态能力首次支持图像输入能够理解图片中的内容、布局、文字等信息并据此回答问题或完成任务推理能力大幅提升在律师资格考试、美国高考、生物奥赛等标准化测试中成绩从 GPT-3.5 的后10%跃升至前10%长上下文支持上下文窗口从 GPT-3.5 的 4096 个 token 扩展到 32000 个 token约 25000 个中文字符能够一次性处理整本书或长文档安全性与可控性通过更精细的对齐训练大幅减少了有害输出和幻觉现象同时支持用户自定义模型的行为风格GPT-4 的发布标志着大型语言模型从“能聊”迈向了“能用”。它在复杂推理、专业考试、多模态理解等方面的表现让很多此前被认为只有人类才能完成的任务开始被大模型逐步替代。同时GPT-4 也推动了全球范围内对人工智能安全、监管和伦理问题的深入讨论。3.42024年DeepSeek V32024年中国公司深度求索DeepSeek发布了 DeepSeek V3 模型。核心突破混合专家架构采用了 MoE 设计虽然总参数量庞大但每次推理只激活其中一部分参数兼顾了模型能力和计算效率训练成本控制以远低于 GPT-4 等主流模型的训练成本据称约 500 万美元达到了与国际顶尖模型相当的性能开源策略模型权重对外开源全球开发者可以免费下载、本地部署、二次开发中文能力优化在中文理解、写作、知识问答等任务上表现尤为突出部分评测中超过同期的 GPT-4 版本DeepSeek V3 的出现打破了“只有科技巨头才能训练顶尖大模型”的固有认知。它以极低的成本实现了接近顶级闭源模型的性能并且选择了开源路线极大降低了全球开发者和中小公司进入大模型领域的门槛。3.52025年DeepSeek R12025年深度求索在 V3 的基础上发布了 DeepSeek R1 模型。核心突破推理能力专项强化专门针对数学、编程、逻辑推理等需要多步骤思考的任务进行优化思维链透明化模型在执行复杂任务时会显式输出中间推理步骤让用户能够看到它是如何一步步得出结论的自我反思与纠错模型具备在推理过程中发现错误并主动修正的能力提升了复杂任务的准确率效率优化在保持与 V3 相近性能的前提下进一步降低了推理时的计算资源消耗DeepSeek R1 专注于提升模型的“慢思考”能力。在数学竞赛、编程竞赛、科学推理等需要深度分析的场景中R1 的表现显著优于通用的对话模型。它与 V3 形成了互补V3 擅长快速响应和通用对话R1 擅长复杂推理和深度分析。两者结合使 DeepSeek 系列能够覆盖更广泛的应用场景。聊完了发展史接下来聊大模型的常见问题: 幻觉 这一定是幻觉四、大模型的幻觉问题4.1什么是大模型幻觉大模型幻觉指的是大语言模型在生成内容时输出看起来合理、语法通顺、逻辑自洽但事实上是错误、不真实或与输入无关的信息。简单说就是模型“一本正经地胡说八道”。幻觉这个词很形象就像人产生的幻觉一样模型“看到”或“说出”的东西并不真实存在但模型本身却对此深信不疑并以非常自信的方式表达出来。4.2幻觉的常见表现形式事实性错误模型给出了具体的错误信息。例如问“周杰伦是哪一年出生的”模型回答“周杰伦出生于1980年”。实际上周杰伦出生于1979年但模型给出的答案听起来完全合理容易被误信。捏造信息模型编造了完全不存在的内容。例如问“请介绍《红楼梦》中贾宝玉的第三个妹妹”模型可能会编造出一个名字和背景。事实上《红楼梦》中并不存在这个人物但模型会煞有介事地描述出来。逻辑矛盾模型在同一段回答中出现前后不一致。例如先说“法国的首都是柏林”后文又说“从巴黎到柏林需要乘坐国际航班”。模型没有意识到自己已经写了两个矛盾的信息。与上下文脱节模型忽略了用户提供的上下文或约束条件。例如用户要求“请用中文回答”模型却用英文给出了完整的回答或者用户提供了某段需要引用的资料模型完全忽略这些资料自行发挥。指令误读模型错误理解了用户的真实意图。例如用户问“请告诉我今天不适合出门的理由”模型却列出了今天适合出门的种种好处完全理解反了方向。4.3幻觉产生的根源原因训练数据的局限模型从海量互联网数据中学习这些数据本身就包含错误、过时、矛盾的信息。模型没有能力判断哪些是真实的只能学习其中的统计规律。当训练数据中某个错误信息出现频率足够高时模型就会认为它是“正确的”。生成机制的本质大模型本质上是“下一个词的概率预测器”。它在生成每一个词时都是在计算“接下来最可能出现的词是什么”而不是在查询一个“事实数据库”。这种机制天生不区分“合理”和“真实”只区分“常见”和“罕见”。缺乏真正的理解模型没有意识、没有信念、没有对世界的真实理解。它不知道什么是“真实”也不知道自己在“说谎”。它只是在做数学计算给定前文下一个词的概率分布是什么。这种“不理解”是幻觉问题的根本原因之一。位置与注意力的局限虽然现代大模型的上下文窗口已经很大如GPT-4支持128K token但当输入信息很长、很复杂或很分散时模型仍然可能“丢失”早期的重要信息或者无法在所有信息之间建立正确的关联导致生成的回答与用户提供的事实相矛盾。对抗性压力在某些场景下用户会故意给出前后矛盾、逻辑混乱或充满误导的输入。模型为了“维持对话”或“给出一个答案”可能会在压力下产生幻觉内容而不是主动指出用户的输入有问题。4.4幻觉的危害信息传播与误导如果用户不具备鉴别能力很可能把模型编造的内容当作事实接受并传播出去。在医疗、法律、金融等专业领域这种误导可能造成严重后果。信任侵蚀频繁的幻觉会让用户逐渐丧失对大模型的信任。当用户无法判断模型输出的哪一句是真实的、哪一句是编造的时整个系统的可用性就会大打折扣。决策风险如果用户基于模型的错误输出做出实际决策可能导致经济损失、法律纠纷甚至人身安全风险。例如模型提供了错误的药物剂量、错误的法律条文解释或错误的安全操作指南。系统性偏见放大模型在编造信息时往往会放大训练数据中已有的偏见和刻板印象。这不仅是一个“对错”问题更是一个“公平”和“伦理”问题