1. 项目概述从检索到校准检索的范式演进最近在构建和优化基于大语言模型的智能体系统时我遇到了一个非常典型且棘手的问题系统在信息检索环节表现得“过于自信”。具体来说当我的智能体从知识库中检索到一段相关信息时它总是倾向于以极高的确定性将这段信息作为最终答案的依据而忽略了检索过程本身固有的不确定性——比如知识库可能不完整、检索到的文档相关性可能不高、或者存在多个相互矛盾的证据。这种“自信的幻觉”在需要高可靠性的应用场景如医疗咨询、金融分析、法律辅助中是致命的。这促使我开始深入研究如何为检索过程本身引入“不确定性量化”和“风险控制”的机制。正是在这个背景下“从检索到校准检索”这个课题进入了我的视野。其核心思想是我们不能简单地将检索视为一个“是/否”或“相关/不相关”的二元判断而应该将其视为一个会产生概率性输出的过程。我们需要对这个过程的输出进行“校准”使其预测的置信度水平能够真实地反映其在实际应用中的错误率。例如如果系统声称“我有90%的把握这个答案是正确的”那么在100次这样的声明中我们期望大约有90次它确实是正确的。如果实际正确率只有70%那就说明系统的置信度被高估了是“未校准”的。而实现这种校准的有力数学工具就是保形预测。Conformal Prediction 不是一个新的机器学习模型而是一个“模型无关”的框架它可以将任何黑盒预测器比如我们的检索模型的输出转化为具有统计保证的预测集合。简单来说它不直接给你一个单一的、可能过于自信的答案而是给你一个“答案集合”并告诉你“以90%的概率真实答案就在这个集合里”。这个概率保证是严格的、非渐近的只要满足某些温和的交换性假设。因此“From Retrieval to Calibrated Retrieval: Conformal Prediction on Agent Base Rates”这个标题精准地概括了我们要做的事情利用保形预测技术对智能体系统的检索基础概率进行校准从而将传统的、点估计式的“检索”升级为具有不确定性量化和统计保证的“校准检索”。这不仅仅是给检索结果加个置信度分数那么简单而是从根本上改变了我们使用和信任检索结果的方式。2. 核心概念拆解保形预测与智能体基础概率在深入实操之前我们必须把几个核心概念掰开揉碎理解它们是如何串联起来的。这是后续所有工作的理论基础。2.1 保形预测为任意预测穿上“统计保险”保形预测的核心魅力在于其简洁性和强大的理论保证。它不关心你的模型内部是如何工作的无论是BERT、GPT还是简单的TF-IDF它只关心模型的“非一致性分数”。1. 核心流程假设我们有一个训练好的模型f和一个校准集{ (x_i, y_i) }这些数据没有参与模型训练。对于一个新的输入x_new我们想知道其可能的输出y。步骤一定义非一致性分数s(x, y)。这个函数衡量“假设y是真实标签”这个命题与模型f的匹配程度。分数越高说明这个假设越“不一致”越不可能。一个常见的例子是对于分类模型s(x, y)可以是1 - f(x)[y]即1减去模型预测y类别的概率。步骤二计算校准集分数。对于校准集中的每一个样本(x_i, y_i)我们计算其真实标签对应的非一致性分数s_i s(x_i, y_i)。步骤三确定分位数。我们选择一个期望的误差容忍水平α例如α0.1表示我们允许10%的错误率。然后我们计算校准集分数{s_i}的(1-α)分位数记作q_hat。你可以理解为有(1-α)比例的校准样本其非一致性分数都小于等于q_hat。步骤四构建预测集合。对于新样本x_new我们遍历所有可能的候选标签y。只有当s(x_new, y) q_hat时我们才将y纳入最终的预测集合C(x_new)。最终保证在数据满足交换性的假设下简单理解新数据和校准数据来自同一分布且顺序可互换我们有严格的概率保证P( y_true ∈ C(x_new) ) 1 - α。这意味着长期来看我们构建的预测集合以至少1-α的概率覆盖了真实答案。注意这里的“集合”是关键。对于分类任务集合可能包含多个类别对于回归任务集合是一个区间对于检索任务我们则需要巧妙地定义什么是“标签”y和“非一致性分数”s(x, y)。2.2 智能体的基础概率检索的不确定性之源在检索增强生成系统中智能体的“基础概率”指的是其核心检索组件在理想条件下的性能表现概率分布。这不仅仅是“准确率”一个数字而是一个更丰富的统计量。点估计的局限传统评估会汇报“Top-1准确率85%”。但这85%是全局平均。对于某个特定查询模型可能输出一个0.95的置信度但这个置信度与实际的正确概率可能毫无关系。模型可能对简单问题过度自信实际概率0.8置信度0.99对难题信心不足实际概率0.9置信度0.6。基础概率的构成检索相关性概率给定查询q返回的文档d与q相关的概率P(rel|q, d)。这通常由检索模型如双编码器的相似度分数经过某种转换如sigmoid得到但这个分数本身可能是未校准的。答案支持概率在相关文档d中是否存在能回答查询q的答案片段a的概率P(sup|q, d, a)。这可能由阅读器模型或直接由LLM判断。综合置信度智能体最终对外呈现的答案置信度通常是上述概率的某种组合但组合方式可能引入新的偏差。校准检索的目标就是要让智能体对外宣称的“我对这个答案有1-α的把握”与“这个答案在1-α的情况下确实是正确的”这两个概率对齐。保形预测为我们提供了一种不依赖于模型内部概率输出是否校准就能实现这一目标的方法。2.3 二者结合校准检索的工作框架将保形预测应用于检索我们需要进行问题转化。这里的“标签”y不再是简单的分类类别而可能是方案A文档级校准将“返回的文档列表”作为预测对象。y可以是一个二值标签是否存在相关文档或者是一个排序列表。非一致性分数s(q, D)可以定义为最佳文档的相关性得分的负值或者排序质量的某种逆度量。方案B答案级校准这是我们更关注的。将“最终生成的答案”作为预测对象。y是答案文本本身。但答案空间是无限的无法遍历。因此我们通常将问题转化为给定一个候选答案由智能体生成我们能否以1-α的置信度判断这个答案是否可靠一种实用的框架是“答案验证保形预测”智能体像往常一样接收查询q检索文档D生成答案a。我们设计一个验证器V(q, D, a) - v它输出一个标量分数衡量答案a基于检索内容D的可信度。这个验证器可以是一个训练好的自然语言推理模型一个通过提示让LLM打分的函数或者一个基于文本匹配和统计的规则模型。验证器分数v就是我们保形预测所需的“非一致性分数”的基础。我们可以定义s -v因为分数越高越可信非一致性越低或者s 1/(1v)等。我们在一个校准集上计算每个样本查询、检索结果、智能体答案、人工标注的真实性的验证器分数并得到分位数q_hat。在线应用时对于新的查询智能体生成答案a后我们计算其验证器分数v_new。如果s_new q_hat即v_new足够高我们就接受这个答案并以1-α的置信度宣称其可靠否则我们拒绝回答并返回“不确定”或要求人工干预。这样我们就将“检索-生成”系统升级成了一个具有可控制错误率的“校准检索-生成”系统。3. 实操构建一个基于保形预测的校准检索智能体理论讲完了我们来看如何动手搭建一个这样的系统。我将以一个基于开源LLM和向量数据库的问答智能体为例演示全流程。3.1 系统架构与组件选型我们的校准检索智能体包含以下核心模块模块选型与说明选型理由检索器Sentence-BERT (all-MiniLM-L6-v2) FAISS向量数据库轻量高效足以演示核心流程。工业级可用更大型的嵌入模型如bge-large和专用向量库如Weaviate, Pinecone。生成器Llama 3.2 3B Instruct (4-bit量化)在消费级GPU上可运行具备指令跟随和推理能力。验证其对检索内容的利用能力。验证器DeBERTa-v3-base微调 规则后处理DeBERTa在NLI任务上表现出色。规则后处理用于处理验证器模型的边界情况。这是校准的关键。保形预测引擎自定义Python类实现灵活便于理解和调试。核心是计算分位数和决策逻辑。环境准备# 创建环境 conda create -n calibrated_agent python3.10 conda activate calibrated_agent # 安装核心库 pip install torch transformers sentence-transformers faiss-cpu pip install datasets accelerate bitsandbytes # 用于LLM加载 pip install scikit-learn # 用于评估 # 如果使用GPU版的FAISS # pip install faiss-gpu3.2 验证器模型的训练与设计验证器是校准的“尺子”其质量直接决定校准效果。我们将其构建为一个文本蕴含三分类模型支持/矛盾/中立。1. 数据准备 我们需要一个包含(query, retrieved_context, agent_answer, gold_label)的数据集。gold_label是人工标注的答案质量标签例如正确、部分正确但需斟酌、错误。如果没有现成数据可以按以下步骤构建使用未校准的智能体在目标领域数据上跑一批结果。人工标注一批例如500-1000条答案的正确性。将“正确”映射为支持“错误”映射为矛盾“部分正确”或“上下文无关”映射为中立。2. 模型微调from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer from datasets import Dataset import torch # 假设我们有一个pandas DataFrame df包含query, context, answer, label列 def preprocess_function(examples): # 将query, context, answer拼接成NLI的标准格式 premises examples[query] hypotheses [fBased on the context: {ctx}. The answer is: {ans} for ctx, ans in zip(examples[context], examples[answer])] # Tokenize model_inputs tokenizer(premises, hypotheses, truncationTrue, paddingmax_length, max_length256) model_inputs[labels] examples[label] # 标签应为0,1,2 return model_inputs model_name microsoft/deberta-v3-base tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels3) # 准备数据集 dataset Dataset.from_pandas(df) tokenized_dataset dataset.map(preprocess_function, batchedTrue) # 定义训练参数 training_args TrainingArguments( output_dir./verifier_model, evaluation_strategyepoch, save_strategyepoch, learning_rate2e-5, per_device_train_batch_size16, per_device_eval_batch_size16, num_train_epochs5, weight_decay0.01, load_best_model_at_endTrue, metric_for_best_modelaccuracy, ) trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset[train], eval_datasettokenized_dataset[test], tokenizertokenizer, ) trainer.train()3. 验证器分数计算 训练完成后验证器对一个新的(query, context, answer)三元组会输出三个类别的逻辑值。我们设计一个将逻辑值转化为单一可信度分数v的函数def compute_verifier_score(query, context, answer, verifier_model, verifier_tokenizer): premise query hypothesis fBased on the context: {context}. The answer is: {answer}. inputs verifier_tokenizer(premise, hypothesis, return_tensorspt, truncationTrue, max_length256) with torch.no_grad(): outputs verifier_model(**inputs) logits outputs.logits[0] probs torch.softmax(logits, dim0) # [支持 矛盾 中立] # 设计分数支持的概率减去矛盾的概率确保分数在[-1, 1]区间且越高越好 score probs[0].item() - probs[1].item() return score这个score就是我们保形预测中“非一致性分数”s的基础。我们可以定义s 1 - score这样s越小代表越可信。3.3 保形预测校准流程实现现在我们实现保形预测的核心逻辑。假设我们已经有了一个标注好的校准集与训练验证器的数据独立。import numpy as np from typing import List, Tuple class ConformalCalibrator: def __init__(self, alpha: float 0.1): alpha: 允许的错误率即 significance level。 我们期望的覆盖概率是 1 - alpha。 self.alpha alpha self.q_hat None # 计算得到的分位数阈值 self.calibration_scores None # 存储校准分数 def calibrate(self, calibration_data: List[Tuple[float, bool]]): 在校准集上进行校准。 calibration_data: 列表每个元素是 (verifier_score, is_correct) is_correct: 根据人工标注该答案是否正确布尔值 # 第一步计算非一致性分数。对于正确的样本我们希望分数低错误样本分数高。 # 我们使用一个简单的映射非一致性分数 s 1 - verifier_score # 这样verifier_score越高越可信s越低。 nonconformity_scores [] for v_score, is_correct in calibration_data: s 1 - v_score nonconformity_scores.append(s) self.calibration_scores np.array(nonconformity_scores) # 第二步计算 (1-alpha) 分位数。 # 使用校正分位数q_hat ceil((n1)*(1-alpha)) / n 分位数以获得更保守的覆盖保证。 n len(self.calibration_scores) level np.ceil((n 1) * (1 - self.alpha)) / n level min(level, 1) # 确保不超过1 self.q_hat np.quantile(self.calibration_scores, level, methodhigher) # 使用higher方法更保守 print(f校准完成。校准集大小: {n}, 目标错误率 alpha{self.alpha}) print(f计算得到非一致性分数分位数 q_hat {self.q_hat:.4f}) # 这意味着对于新样本如果其 s_new {self.q_hat:.4f}我们将接受该答案。 def predict(self, verifier_score: float) - Tuple[bool, float]: 对新样本进行预测。 返回: (accept_flag, adjusted_confidence) accept_flag: True表示接受该答案即认为其可靠False表示拒绝。 adjusted_confidence: 根据保形预测调整后的置信度近似值。 if self.q_hat is None: raise ValueError(Calibrator must be calibrated before prediction.) s_new 1 - verifier_score accept s_new self.q_hat # 调整后的置信度可以估算为校准集中分数优于当前分数的样本比例 # 这是一个对真实覆盖概率的近似。 p_value (np.sum(self.calibration_scores s_new) 1) / (len(self.calibration_scores) 1) adjusted_confidence 1 - p_value return accept, adjusted_confidence # 使用示例 # 假设我们有校准集数据 calib_data [ (0.8, True), # verifier_score0.8, 答案正确 (0.3, False), # verifier_score0.3, 答案错误 (0.9, True), (0.5, False), # ... 更多数据 ] calibrator ConformalCalibrator(alpha0.1) calibrator.calibrate(calib_data) # 对新答案进行决策 new_verifier_score 0.75 should_accept, conf calibrator.predict(new_verifier_score) print(f新答案验证器分数: {new_verifier_score:.2f}) print(f决策: {接受 if should_accept else 拒绝}) print(f调整后置信度: {conf:.2%})3.4 端到端智能体工作流集成最后我们将所有模块串联起来形成完整的校准检索智能体工作流。class CalibratedRetrievalAgent: def __init__(self, retriever, generator, verifier, calibrator, knowledge_base): self.retriever retriever self.generator generator self.verifier verifier self.calibrator calibrator self.kb knowledge_base def answer_query(self, query: str, top_k: int 3): 处理用户查询的核心流程 # 1. 检索 retrieved_docs self.retriever.search(query, top_ktop_k) context \n\n.join([doc[content] for doc in retrieved_docs]) # 2. 生成 prompt f基于以下上下文信息请回答问题。如果上下文不包含答案请明确说明“根据已知信息无法回答”。 上下文 {context} 问题{query} 答案 answer self.generator.generate(prompt) # 3. 验证 verifier_score compute_verifier_score(query, context, answer, self.verifier.model, self.verifier.tokenizer) # 4. 保形预测决策 accept, adjusted_confidence self.calibrator.predict(verifier_score) # 5. 组装返回结果 result { query: query, retrieved_context: retrieved_docs, raw_answer: answer, verifier_score: verifier_score, calibrated_decision: ACCEPT if accept else REJECT, adjusted_confidence: adjusted_confidence, final_answer: answer if accept else f[系统置信度不足] 基于现有信息我无法给出一个足够可靠的答案。建议您提供更多背景或咨询领域专家。\n原始生成仅供参考{answer} } return result # 初始化各个组件此处省略具体初始化代码 # retriever ... FAISS检索器 # generator ... Llama 3.2 模型 # verifier ... 加载训练好的DeBERTa模型 # calibrator ... 已加载校准数据的ConformalCalibrator实例 # knowledge_base ... 向量数据库连接 agent CalibratedRetrievalAgent(retriever, generator, verifier, calibrator, knowledge_base) response agent.answer_query(爱因斯坦哪一年获得了诺贝尔奖) print(response[final_answer]) print(f验证分数: {response[verifier_score]:.3f}, 决策: {response[calibrated_decision]}, 校准后置信度: {response[adjusted_confidence]:.1%})4. 关键参数、评估与避坑指南构建好系统只是第一步让它可靠工作更需要精细的调优和对细节的把握。4.1 核心参数调优与影响分析参数典型值/范围影响分析调优建议保形预测错误率α0.05, 0.1, 0.2直接控制系统的风险容忍度。α越小预测集合越保守可能更易拒绝回答但统计保证越强。根据应用场景的容错率决定。医疗诊断建议α0.01-0.05通用客服可用α0.1。校准集大小n_calib500 - 2000影响分位数q_hat估计的稳定性。太小则方差大覆盖概率波动大太大则可能因数据分布漂移影响效果。至少500条。可绘制覆盖概率随校准集大小的学习曲线选择增长平缓的拐点。验证器分数设计probs[支持] - probs[矛盾]决定了非一致性分数s的分布。设计不佳会导致分数无法有效区分正负样本校准失效。务必在验证集上检查分数分布。好的分数分布应使正负样本的分数分布有显著差异。可尝试log(probs[支持] / probs[矛盾])等变体。检索返回文档数top_k3 - 10影响生成答案的质量和验证器判断的上下文完整性。k太小可能遗漏关键信息k太大可能引入噪声降低验证器分数。通过实验评估不同k下答案的准确率和验证器分数的区分度。通常5是一个不错的起点。生成器温度参数0.1 - 0.7影响答案的确定性和多样性。温度越低答案越确定但可能缺乏创造性温度越高答案越多样但可能不一致。对于事实性问答建议使用低温0.1-0.3以保证答案稳定性便于验证。4.2 系统评估不仅仅是准确率评估校准检索系统需要一套组合指标超越传统的准确率。覆盖概率这是保形预测的核心保证。在独立的测试集上计算被接受的答案中真实答案正确的比例。这个值应该大于等于1 - α。如果显著低于说明校准失败可能是数据交换性假设被破坏如果显著高于说明系统过于保守。def evaluate_coverage(test_results): test_results 是列表每个元素包含 calibrated_decision 和 is_correct accepted [r for r in test_results if r[calibrated_decision] ACCEPT] if not accepted: return 0.0 coverage sum([r[is_correct] for r in accepted]) / len(accepted) return coverage效率答案接受率。即测试集中被系统接受的查询比例。效率 接受的查询数 / 总查询数。在相同的覆盖概率下效率越高越好。它衡量了系统在保证可靠性的前提下有多大能力回答问题。校准曲线绘制“预测置信度 vs. 实际正确率”曲线。理想情况下应该是一条对角线。如果曲线在对角线下方说明系统过度自信在上方说明系统信心不足。保形预测的目标就是让调整后的置信度 (adjusted_confidence) 对应的曲线尽可能贴近对角线。分类评估仅针对被接受的答案在被系统接受的子集上计算精确率、召回率、F1值。这反映了系统在“敢回答”的时候回答得有多好。4.3 常见问题与实战避坑指南问题1校准集和测试集覆盖概率不达标。可能原因1数据分布不一致。校准集和测试集或线上数据的查询分布、文档分布差异太大破坏了交换性假设。排查对比校准集和测试集的基本统计特征查询长度、关键词分布、答案类型分布。解决确保校准集是从线上真实数据流中随机采样的并定期更新校准集如每周以适应数据分布漂移。可能原因2验证器模型泛化能力差。在校准集上过拟合无法泛化到新数据。排查在验证器模型的保留测试集上评估其性能。如果性能骤降则是过拟合。解决收集更多样化的训练数据使用数据增强或采用更简单的验证器模型如基于规则的启发式方法轻量模型。问题2系统拒绝率过高效率太低。可能原因1α设置过小。过于保守的阈值导致很多其实可用的答案被拒绝。解决适当调大α或在业务允许的情况下对“拒绝”的答案提供低置信度的版本作为参考。可能原因2验证器过于严格。验证器打分普遍偏低导致非一致性分数s普遍偏高。排查分析验证器分数的分布。如果正确和错误答案的分数都很低可能是验证器设计有问题。解决重新设计验证器分数函数。例如尝试s -log(probs[支持])或结合检索相似度分数进行加权。问题3保形预测在流式数据或分布漂移下失效。挑战保形预测的统计保证依赖于数据交换性但线上数据流是时变的。解决方案自适应保形预测。这是进阶技术。核心思想是使用一个随时间衰减的权重让最近的校准数据拥有更高权重。或者定期如每处理N个新样本后用新标注的数据更新校准集和分位数q_hat。实现时需注意更新频率要与数据漂移速度匹配。问题4验证器对“中立”或“部分正确”答案处理不佳。场景答案并非完全错误但也不完全正确验证器可能给出中等分数导致系统难以决策。解决这是一个业务定义问题。需要在标注校准集时明确规则。例如定义“可接受答案”的标准如关键事实正确即可。在验证器训练时可以将“部分正确”样本根据业务规则归入“支持”或“矛盾”或者单独作为一个类别并在保形预测决策时特殊处理例如对于“中立”类强制要求人工复核。一个重要的实操心得保形预测的校准效果严重依赖于校准集的质量和代表性。投入时间构建一个高质量、无偏的校准集比后期调任何参数都重要。校准集应尽可能模拟线上真实场景包含各种难度的查询和典型的错误类型。在系统上线初期可以设置一个“影子模式”在不影响用户体验的情况下收集查询和人工反馈快速积累校准数据。