Heretic: 全自动的语言模型审查去除工具随着人工智能技术的快速发展语言模型在许多应用场景中扮演着越来越重要的角色。然而许多这些模型都采用了某种形式的“安全对齐”即审查机制限制了它们在特定领域的表现。为了解决这个问题Heretic应运而生这是一款能自动去除语言模型审查的工具。Heretic的功能特点Heretic结合了先进的方向性消融技术即“去审查”以及基于TPE的参数优化器彻底简化了语言模型的去审查过程。使用Heretic我们可以在不进行昂贵的后期训练的情况下生成去审查模型。以下是Heretic的一些核心功能全自动化无须用户具备任何特殊的机器学习背景只需简单的命令行操作即可使用Heretic来去除模型审查。高质量去审查Heretic通过共同最小化拒绝次数和与原模型的KL散度找出高效的去审查参数。生成的模型能够保持原有智能同时降低拒绝率。广泛支持多种模型Heretic支持大多数密集型语言模型以及多个多模态模型同时也兼容不同的MoE架构。模型对有害提示的拒绝次数对无害提示的KL散度google/gemma-3-12b-it (原始)97/1000(按定义)mlabonne/gemma-3-12b-it-abliterated-v23/1001.04huihui-ai/gemma-3-12b-it-abliterated3/1000.45p-e-w/gemma-3-12b-it-heretic (我们的版本)3/1000.16上述表格展示了Heretic去审查的效果尽管是自动化生成的版本其拒绝率与人类专家手动处理的版本不相上下同时表现出更低的KL散度显示出对原有模型能力的较小损害。使用Heretic的步骤使用Heretic进行去审查的流程十分简单。用户只需先准备一个支持Python 3.10及以上版本的环境并安装PyTorch 2.2以上版本。安装Heretic包pipinstall-Uheretic-llm运行去审查命令替换模型名为你想去审查的模型名heretic Qwen/Qwen3-4B-Instruct-2507该过程全自动进行无需任何额外的配置。Heretic会在运行开始时对系统进行基准测试以确定最优批处理大小。以RTX 3090为例使用默认配置去审查Llama-3.1-8B-Instruct大约需要45分钟。另外Heretic支持模型量化可以显著减少处理模型所需的显存。用户只需将quantization选项设置为bnb_4bit即可启用量化。研究功能Heretic不仅能去除审查还提供了一系列支持模型内部语义研究的功能。用户可以通过安装带有可选research组件的Heretic来使用这些功能。生成残差向量图通过传递--plot-residuals标志运行时Heretic将生成残差向量的可视化图像。该功能详尽描绘了“有害”与“无害”提示下模型残差向量的差异。打印残差几何细节使用--print-residual-geometry标志用户可以获取有关残差向量之间关系的详细定量分析。这些数据可用于深入了解模型的内部行为。Heretic的工作原理Heretic采用了一种参数化的方向性消融技术。在去审查过程中Heretic识别每个变换器组件在每层的相关矩阵并对其进行正交化以抑制所需方向的表现。Heretic通过一系列可优化参数控制消融过程包括direction_index拒绝方向的索引或特殊值“per layer”表示每层应使用与该层相关的拒绝方向。max_weight等参数描述消融权重内核在不同层上的形状和位置。主要创新Heretic的主要创新之处在于其灵活的消融权重内核形状配合自动参数优化提升合规性和质量的平衡。此外拒绝方向的索引被设置为浮动值这样可以实现更高效的优化。同类项目概览在去除模型审查的领域还有一些其他公开可用的实现方案包括AutoAbliterationabliterator.pyErisForgeRemoving refusals with HF Transformers这些项目虽然提供了类似的功能但Heretic凭借其全自动化和高效参数优化的特点展示了更强的使用便捷性和性能。Heretic的设计目的在于提供一个经济有效的解决方案帮助用户在不同应用场景下充分发挥语言模型的潜力无需担心审查机制的限制。通过简单易用的接口和自动化的流程Heretic无疑将是许多研究者和开发者的首选工具。