1. 中文文本预处理的必要性刚接触NLP项目时我拿到了一份爬取的电商评论数据。打开文件一看就傻眼了——文本里混杂着HTML标签、表情符号、错别字甚至还有乱码。这让我深刻认识到原始语料就像刚从矿场挖出来的原石必须经过精细打磨才能成为模型可用的玉料。中文文本预处理之所以关键主要因为三个痛点噪声干扰严重电商评论常包含亲~包邮哦等口语化表达网页爬取数据则带有等标签语言特性复杂英文有空格分隔单词而中文需要分词。南京市长江大桥可以切分为南京/市长/江大桥或南京市/长江/大桥表达形式多样同一商品可能有iPhone13苹果13爱疯十三等多种写法我曾用未清洗的数据直接训练情感分析模型准确率只有58%和瞎猜差不多。经过系统预处理后同样的模型结构准确率提升到82%。这个教训让我明白模型效果的天花板在数据预处理阶段就已经决定了。2. 数据清洗实战技巧2.1 基础清洗三板斧处理电商评论这类文本我总结了一套正则三板斧import re import html def basic_clean(text): # 第一斧去除HTML标签和转义字符 text html.unescape(text) text re.sub(r[^], , text) # 第二斧处理特殊符号 text re.sub(r[^\w\u4e00-\u9fa5], , text) # 保留中文、英文、数字 # 第三斧标准化空白字符 text re.sub(r\s, , text).strip() return text实测中发现几个易错点HTML实体编码如nbsp;需要先用html.unescape转换中文标点范围\u4e00-\u9fa5要包含在保留字符中\w会匹配下划线可能需要单独处理2.2 高级清洗策略对于更复杂的场景我通常会建立清洗流水线from pinyin import get_pinyin def advanced_clean_pipeline(text): # 繁简转换 text convert_to_simplified(text) # 拼音归一化 if contains_pinyin(text): text pinyin_to_chinese(text) # 错别字修正 text correct_spelling(text, custom_dict[蓝牙,数据线]) # 数字归一化 text normalize_numbers(text) # 二百五→250 return text其中错别字修正最考验业务理解。比如在手机评论中平果→苹果荣曜→荣耀象素→像素建议维护领域词典用相似度算法如编辑距离辅助修正。我曾用Levenshtein距离实现了一个自动修正器将华韦/为耀等变体统一为华为使后续分析的品牌提及率统计准确度提升37%。3. 中文分词工具选型指南3.1 主流工具横向评测在电商评论场景下我对比了四大分词工具的效果工具优点缺点电商适配建议jieba轻量快速支持自定义词典未登录词识别弱加载手机型号词典HanLP精度高支持多任务内存占用大适合服务端部署LTP学术性强分词标准统一速度较慢需做领域适配THULAC词性标注准确不支持增量更新适合离线分析实测案例text 华为Mate50Pro的昆仑玻璃耐摔吗 # jieba默认切分 [华为, Mate50Pro, 的, 昆仑, 玻璃, 耐摔, 吗, ] # 加载手机词典后的jieba [华为Mate50Pro, 的, 昆仑玻璃, 耐摔, 吗, ]关键结论没有绝对最好的工具只有最适合场景的方案。我最终选择jieba自定义词典的组合因为可以动态添加AirPodsProType-C等电商热词支持用jieba.suggest_freq调整词频内存占用小适合批量处理千万级评论3.2 分词效果优化技巧针对电商场景的特殊需求我总结了这些优化方法import jieba # 添加领域词典 jieba.load_userdict(mobile_terms.txt) # 强制调整词频 jieba.suggest_freq((昆仑,玻璃), True) # 处理英文混写 def mixed_cut(text): english re.findall(r[a-zA-Z0-9-], text) chinese re.sub(r[a-zA-Z0-9-], , text) return english list(jieba.cut(chinese))对于iPhone14ProMax这类长串英文建议保持原样不作切分。而像充电头Type-C接口则需要保留Type-C作为整体。4. 停用词过滤的学问4.1 停用词表的陷阱新手常犯的错误是直接使用通用停用词表。有次我过滤后发现情感分析效果反而下降排查发现通用词表删除了不没有等否定词但电商评论中不是很流畅差评没有瑕疵好评还误删了超巨等程度副词超好用巨划算解决方案保留否定词和程度副词添加电商特有停用词亲客服快递区分长文本和短评短评每个词都重要4.2 动态停用词发现我常用TF-IDF自动发现无效词from sklearn.feature_extraction.text import TfidfVectorizer corpus [手机很好用,手机不好用,手机一般般] vectorizer TfidfVectorizer() X vectorizer.fit_transform(corpus) print(vectorizer.get_feature_names_out()) # [一般般, 不好, 好用, 手机]通过分析发现手机在所有文档中都出现IDF低但直接过滤会导致手机膜等组合词失效更好的做法是保留名词过滤纯高频助词5. 词性标注与实体识别5.1 词性标注实战在分析产品特性时我常用词性标注提取关键形容词import jieba.posseg as pseg text 拍照清晰度超出预期夜景模式也很强大 words pseg.cut(text) for word, flag in words: if flag a: # 形容词 print(f产品特性: {word}) # 输出: 清晰度 强大中文词性标注需要注意不同工具标签体系不同jieba用北大标准LTP用863标准形容词重叠形式清清楚楚/干干净净要特殊处理领域新词可能被误标快充容易被标为动词5.2 电商实体识别针对手机评论我设计了一套实体提取规则from ltp import LTP ltp LTP() text 华为P50的徕卡镜头和麒麟9000芯片确实强 result ltp.pipeline([text], tasks[ner]) print(result.ner) # [[(华为P50, product, 0, 3), # (徕卡镜头, component, 4, 7), # (麒麟9000, chip, 9, 12)]]实际应用中要注意品牌型号需要合并识别华为P50≠华为P50组件词存在同义表述前置摄像头自拍摄像头新发布的产品要及时更新词典6. 文本向量化方案6.1 传统方法对比在资源受限的场景下我仍会使用TF-IDFfrom sklearn.feature_extraction.text import TfidfVectorizer corpus [ 电池续航时间长, 充电速度很快, 屏幕显示效果差 ] vectorizer TfidfVectorizer(tokenizerjieba.cut) X vectorizer.fit_transform(corpus) print(vectorizer.get_feature_names_out())关键参数优化经验max_features5000限制特征维度ngram_range(1,2)捕捉续航时间等短语min_df5过滤低频词6.2 深度学习向量化对于重要项目我优先选用预训练模型from transformers import BertTokenizer, BertModel tokenizer BertTokenizer.from_pretrained(bert-base-chinese) model BertModel.from_pretrained(bert-base-chinese) inputs tokenizer(手机拍照效果很棒, return_tensorspt) outputs model(**inputs)使用技巧短文本用[CLS]向量作为句向量长文本可以分段处理再平均领域适配时先做MLM预训练7. 完整Pipeline示例最后分享一个我实际使用的预处理流水线class TextPreprocessor: def __init__(self): self.stopwords load_stopwords() jieba.load_userdict(mobile_terms.txt) def process(self, text): text html.unescape(text) text re.sub(r[^], , text) text convert_to_simplified(text) words [ word for word, flag in pseg.cut(text) if word not in self.stopwords and flag[0] not in [x, u] ] return .join(words)这个流水线在百万级电商评论上测试相比原始文本存储空间减少42%训练速度提升3倍模型准确率提升18个百分点预处理就像做菜前的备料过程刀工火候决定了最终味道的上限。建议大家在项目初期就投入足够精力构建健壮的预处理流程这比后期调参带来的收益大得多。