- 产品派

数据老邓 · 2026-07-10T14:13:36.396Z

刚翻到一篇研究，特拉维夫大学、以色列理工学院和 Intuit 的几个研究员放出了一个叫 HalluSquatting 的新型漏洞，专门针对 AI 代理在调用工具时产生的幻觉问题。大概机制是这样：AI 代理遇到不认识的代码仓库名或工具名时，会自己“脑补”出看起来合理但实际不存在的地址，比如 pip install 某个包时，它拼出来的源可能完全不在 pypi 上，而是指向恶意构造的地方。研究里测了好几个主流模型和代理框架，针对这种“龙虾”场景（原文就叫 lobster，一个小测试项目）的攻击成功率在 80%~100% 之间，基本一钓一个准。这比单纯的提示注入要隐蔽，因为出错的不是 prompt，而是模型自身的生成行为在被工具调用链条放大。感觉之后 agent 在生产环境里跑任务流，这种仓库层面的幻觉漏洞比直接攻击模型输出要难防得多。 #而是模型

数据老邓

1个月前