面试官你好关于预训练数据去重这个问题我先说个结论去重是数据清洗里最容易被考察的环节因为它直接决定了模型训练的质量和效率。下面我从为什么去重、去重方法两个维度详细展开。一、为什么预训练数据去重这么重要很多人可能觉得去重就是个简单的清理步骤但你要是深入思考会发现它的重要性体现在三个层面第一防止模型记忆重复内容大模型的原理说白了就是大力出奇迹但这个大力是有讲究的。如果训练数据里充斥着大量重复内容模型会过度拟合这些重复模式。你有没有发现过一些模型会在特定话题上反复生成相似的内容很可能就是训练数据去重不彻底导致的。举个例子Common Crawl里很多网页会互相抄袭一篇文章被复制几十上百次如果不处理模型会花大量精力学习这些重复内容而不是有用的知识。第二提升训练效率节省计算资源这个很好理解——重复数据没有任何信息增量但照样消耗GPU算力。你花100万美元训练发现数据里有30%是重复的那相当于白烧了30万美元。实际上现代预训练的数据压缩比大概在几十比一到上百比一去重是这里面很关键的一步。我之前参与过一个项目发现做过去重之后同样的token数能训练更多epoch模型收敛效果反而更好。第三减少偏见和噪声网上内容天然存在大量模板化、套路化的东西。比如很多网站底部都有版权所有、未经许可禁止转载这种 boilerplate text还有导航栏、页脚、隐私政策声明等等。这些内容重复出现会导致模型形成奇怪的偏见觉得这些模板化的东西是正常文本。你去重做干净了模型学到的东西才会更纯净。二、常见去重方法有哪些这是面试的重点部分一般会问到具体实现。我从简单到复杂说三层第一层Exact去重精确去重这是最基础的一层就是找完全相同的文档。方法也很直接URL去重爬虫阶段记录已经抓过的URL直接跳过SHA256哈希去重对文档内容做哈希相同哈希值的文档只保留一份这步速度很快O(n)复杂度适合作为去重流程的第一步。但它的局限也很明显——只能找一模一样的文档找不到近似重复的。第二层Fuzzy去重模糊去重/近似去重这才是真正的技术活儿。网上很多内容是近似重复而不是完全相同——可能就差了个标点、换个说法、加了几句废话。Exact去重拿它们没办法就得靠模糊去重。这里最常用的就是MinHash LSH组合MinHash是什么它是一种 locality-sensitive hashing局部敏感哈希技术用来快速估计两个集合的Jaccard相似度。原理是把文档切成n-gram比如单词或字符的n元组然后用MinHash函数计算一个签名。相似文档的MinHash签名大概率相同或接近。**LSHLocality-Sensitive Hashing**则是对MinHash签名做分桶把可能相似的文档hash到同一个桶里然后只在桶内做两两比较大幅减少计算量。实际使用时一般会设置一个Jaccard相似度阈值比如0.8超过这个值的文档对就被视为近似重复。这一步计算量比Exact去重大多了所以通常的pipeline是先做Exact再做Fuzzy。有个坑得提醒你MinHash去重会显著增加计算时间和内存消耗。处理PB级数据时你可能需要分布式计算框架来跑。我之前做过一个估算MinHash去重的时间复杂度接近O(n²)所以必须配合LSH做剪枝。第三层段落级去重这层处理的是文档内部的重复——比如一篇文章里反复出现的句子、模板化的段落。这些内容信息量极低通常是导航栏、版权声明、常见问题解答之类的。常用方法是后缀数组Suffix Array或者句子嵌入相似度后缀数组可以找到文档中最长的重复子串适合找连续重复的段落句子嵌入则是把每个句子向量化成embedding然后计算两两相似度这层去重比较耗资源一般只针对高质量数据源比如Wikipedia做因为普通网页内容本身就杂去重意义不大。三、工程实践中的经验最后说几个我踩过的坑去重阈值要慎选。阈值太高会漏掉近似重复太低会误杀有用内容。主流做法是先在子集上做实验确定最佳阈值再全量跑。不要全局去重要分dump去重。这是FineWeb团队提出的经验——他们发现全局去重太狠会把一些有价值的内容干掉尤其是一些经典文档可能被误判为重复。每个dump单独去重效果更好。多阶段去重pipeline。工业界一般不会只用一种去重方法而是组合使用URL去重 → SHA256哈希 → MinHash LSH → 段落级去重层层递进。总结去重为什么重要因为它防记忆、防偏见、省算力、提升数据质量。常见方法分三层Exact去重哈希、Fuzzy去重MinHashLSH、段落级去重suffix array。面试时能把这个pipeline讲清楚说明你对数据处理有实战理解不只是纸上谈兵。如果面试官追问可以再深入聊聊MinHash的原理、为什么用LSH加速、或者你实际项目中遇到的具体问题和解决方案。只要你真的动手跑过去重 pipeline这些问题都不难回答。