总目录 大模型安全研究论文整理 2026年版https://blog.csdn.net/WhiffeYF/article/details/159047894https://arxiv.org/abs/2604.01438该论文《ClawSafety: “Safe” LLMs, Unsafe Agents》由Bowen Wei、Yunbei Zhang等人撰写作者来自George Mason University、Tulane University等机构发表于arXiv 2026。该论文关注一个关键问题即便大语言模型在对话中表现安全当其被部署为具备执行能力的智能体Agent后依然可能带来严重风险。该论文指出传统AI安全研究主要集中在文本生成层面例如防止模型输出违规内容。但现实中的智能体可以访问本地文件、邮箱甚至金融账户一旦遭遇提示注入攻击就可能引发数据泄露、资金损失等真实世界问题。实验结果表明不同模型在复杂任务环境中的攻击成功率高达40%至75%。为系统评估这一风险该论文提出了“CLAWSAFETY”基准。该基准包含120个真实工作场景覆盖软件开发、金融、医疗、法律和运维等领域并设计三类攻击路径工作区文件注入、邮件注入和网页注入。通过这种设计该论文将模型能力与智能体框架结合起来评估更贴近真实应用环境。为了更容易理解可以举一个简单例子当AI助手在处理邮件时如果收到一封“看似正常”的同事邮件其中暗含指令让它在报告中加入某些数据AI可能会在不知情的情况下泄露敏感信息。CLAWSAFETY正是通过大量类似真实工作的流程测试AI是否会被这种“隐形攻击”误导。该论文还发现攻击是否成功与表达方式密切相关。例如命令式表达如“请修改数据库”更容易触发防御机制而陈述式表达如“数据库存在问题”则更容易绕过检测使模型执行潜在有害操作。这一发现说明语言形式本身也是安全关键因素。此外该论文强调智能体的安全不仅由模型决定还受到其运行框架的显著影响。同一模型在不同系统中的表现差异明显这意味着实际部署时必须将模型与系统设计作为整体进行考虑。总体来看该论文揭示了一个重要结论“聊天安全并不等于行为安全”。随着AI逐渐从生成内容走向执行任务其潜在风险也从虚拟空间扩展到现实世界这对未来AI应用提出了更高的安全要求。