1. 为什么需要RAGAS评估当你第一次搭建RAG系统时可能会遇到这样的困惑明明检索到了看似相关的文档生成的答案却总是跑偏或者答案看起来合理但仔细核对发现与原文不符。这些问题就像做菜时火候掌握不好——食材检索内容和调味生成过程任何一个环节出问题都会影响最终味道答案质量。RAGAS就是专门解决这类问题的厨房秤和温度计。它能从四个维度给你客观反馈context_relevancy衡量检索到的内容是否真的切题避免问苹果答橘子context_recall检查有没有漏掉关键信息就像考试时是否漏看了题目条件faithfulness验证答案是否忠实于原文防止AI自己加戏编造answer_relevancy判断答案是否直接回应问题杜绝答非所问我去年帮一家电商客户优化客服机器人时就深有体会。初期系统总是给出类似您问的是商品材质我们推荐购买会员卡的诡异回答。用RAGAS评估才发现context_relevancy只有0.3检索器把促销信息当成了相关上下文。2. 快速搭建可评估的RAG系统2.1 基础环境准备先确保你的Python环境有这些核心组件pip install langchain openai ragas chromadb建议使用Python 3.9太老的版本可能会遇到依赖冲突。我习惯用conda创建独立环境conda create -n ragas_demo python3.10 conda activate ragas_demo2.2 构建最小可行RAG我们用最简单的本地向量数据库Chroma演示。假设要搭建一个产品FAQ问答系统先准备测试数据from langchain.document_loaders import CSVLoader loader CSVLoader(faq.csv) documents loader.load()接着建立检索系统from langchain.embeddings import OpenAIEmbeddings from langchain.vectorstores import Chroma # 建议在.env文件配置OPENAI_API_KEY embeddings OpenAIEmbeddings() vectorstore Chroma.from_documents(documents, embeddings) retriever vectorstore.as_retriever(search_kwargs{k: 3}) # 取前3个结果关键来了——必须用特定格式封装问答链RAGAS才能解析from langchain.chains import RetrievalQA from langchain.chat_models import ChatOpenAI qa_chain RetrievalQA.from_chain_type( llmChatOpenAI(temperature0), retrieverretriever, return_source_documentsTrue # 必须保留原文引用 )3. 实施全方位评估3.1 初始化评估器RAGAS采用模块化设计可以按需选择评估指标from ragas.metrics import ( faithfulness, answer_relevancy, context_relevancy, context_recall ) from ragas.langchain.evalchain import RagasEvaluatorChain # 创建四个评估链 faithfulness_chain RagasEvaluatorChain(metricfaithfulness) answer_rel_chain RagasEvaluatorChain(metricanswer_relevancy) context_rel_chain RagasEvaluatorChain(metriccontext_relevancy) context_recall_chain RagasEvaluatorChain(metriccontext_recall)3.2 执行单问题评估模拟用户提问并获取完整评估报告question 你们产品的退货政策是怎样的 result qa_chain({query: question}) # 需要人工标注正确答案才能计算context_recall ground_truth 支持7天无理由退货需保留完整包装 result_with_truth {**result, ground_truths: [ground_truth]} # 执行评估 metrics { faithfulness: faithfulness_chain(result), answer_relevancy: answer_rel_chain(result), context_relevancy: context_rel_chain(result), context_recall: context_recall_chain(result_with_truth) }典型输出结果示例{ faithfulness: 0.85, answer_relevancy: 0.92, context_relevancy: 0.67, context_recall: 0.75 }3.3 批量评估技巧实际项目中更需要批量测试。这里有个效率优化技巧questions [退货政策?, 运费多少?, 如何注册会员?] predictions qa_chain.batch([{query: q} for q in questions]) # 准备标准答案 ground_truths [ 7天无理由退货, 满99包邮, 官网填写手机号注册 ] results [{**pred, ground_truths: [gt]} for pred, gt in zip(predictions, ground_truths)] # 批量评估特定指标 faithfulness_scores faithfulness_chain.evaluate(results)4. 诊断与调优实战4.1 低context_relevancy的解决之道当这个指标低于0.6时说明检索器在乱枪打鸟。我常用的改进方案优化嵌入模型换用text-embedding-3-large比默认的ada-002效果提升明显embeddings OpenAIEmbeddings(modeltext-embedding-3-large)调整检索策略混合搜索往往比纯向量搜索更稳定retriever vectorstore.as_retriever( search_typemmr, # 最大边际相关性 search_kwargs{k: 5, fetch_k: 20} )添加查询改写在检索前用LLM优化问题表述from langchain.chains import LLMChain from langchain.prompts import PromptTemplate rewrite_prompt PromptTemplate.from_template( 将用户问题改写为更适合检索的版本:\n原问题:{query}\n改写后: ) rewriter LLMChain(llmChatOpenAI(), promptrewrite_prompt) def enhanced_retriever(query): revised rewriter.run(query) return retriever.get_relevant_documents(revised)4.2 提升faithfulness的方案这个指标低通常意味着LLM在自由发挥。最近帮一个法律咨询项目调优时我们通过以下方法将faithfulness从0.4提升到0.82改进prompt模板明确限制回答范围qa_chain RetrievalQA.from_chain_type( llmChatOpenAI(), retrieverretriever, chain_type_kwargs{ prompt: PromptTemplate( template仅根据以下上下文回答不知道就说不知道: 上下文:{context} 问题:{question} 答案:, input_variables[context,question] ) } )启用引用验证让LLM标注答案来源qa_chain.combine_documents_chain.return_refs True # 显示引用段落调整温度参数降低随机性llm ChatOpenAI(temperature0.1) # 0-1范围越小越确定4.3 answer_relevancy优化技巧当答案总是绕弯子时比如问是否支持信用卡却回答我们接受多种支付方式可以设置回答格式强制要求直接回答qa_chain.chain_type_kwargs[prompt].template \n请用是或否开头回答启用思维链让模型先理清逻辑from langchain.prompts import ChatPromptTemplate prompt ChatPromptTemplate.from_messages([ (system, 先分析问题类型再回答), (human, {question}) ])5. 进阶评估策略5.1 自定义评估指标RAGAS允许扩展评估维度。比如添加合规性检查from ragas.metrics.base import Metric from typing import List, Dict class ComplianceMetric(Metric): name compliance def score(self, row: Dict) - float: answer row[answer] # 检查是否包含免责声明 return 1.0 if本回答仅供参考 in answer else 0.0 compliance_chain RagasEvaluatorChain(metricComplianceMetric())5.2 评估结果可视化用pandasmatplotlib生成雷达图更直观import pandas as pd import matplotlib.pyplot as plt def plot_radar(scores: dict): df pd.DataFrame([scores]) categories list(df.columns) N len(categories) angles [n / float(N) * 2 * 3.14159 for n in range(N)] angles angles[:1] fig plt.figure(figsize(6,6)) ax fig.add_subplot(111, polarTrue) values df.values.flatten().tolist() values values[:1] ax.plot(angles, values, linewidth1, linestylesolid) ax.fill(angles, values, b, alpha0.1) ax.set_xticks(angles[:-1]) ax.set_xticklabels(categories) plt.show() plot_radar(metrics)5.3 持续评估流水线在实际业务中我推荐建立自动化评估流程在CI/CD管道中加入评估步骤设置质量阈值如faithfulness0.7时阻断部署每次迭代保留评估结果用于对比示例GitHub Actions配置片段- name: Evaluate RAG run: | python -c from evaluation import run_full_evaluation scores run_full_evaluation() if scores[faithfulness] 0.7: exit(1)