OpenAI“莉莉计划”曝光：人工审核ChatGPT对话

OpenAI内部一项名为“莉莉计划”（Project Lily）的评估机制近日被披露。该项目会安排人工查看经过匿名化处理的真实ChatGPT对话，以判断模型回答是否切题、自然，并改进后续表现；但匿名处理并非万无一失，审核人员仍可能接触到用户隐私。

相关资料包括项目操作指南、Slack工作群记录、真实对话样本及评分体系。参与者被称为“提示词审核员”，主要检查回答是否存在明显的AI式套话、说教口吻、表情符号或过度迎合等问题，也会排斥拟人化表达和虚构个人经历。例如，模型可以说“我查到了一些相关信息”，但不应自称厨师并描述个人喜好，也不应声称自己“明白这种感受”。

一名审核员称，这项工作机械且重复，但时薪据称超过50美元，按报道所列汇率约合336.3元人民币。项目指南会持续修改，不同版本之间还可能互相矛盾。该人员认为，多数用户并不知道自己的聊天可能被其他人阅读，尤其是那些把聊天机器人当作倾诉或心理疏导对象、分享私密信息的用户。

对话在交给审核员前会经过匿名化，通常不会显示用户名，但过滤程序可能漏掉个人数据，短对话出现这种情况的概率更高。部分用户还会明确要求保密，而审核材料可能附带“用户记忆摘要”，汇总提问、兴趣偏好和上下文，甚至包含位置信息。

莉莉计划并不专门核实答案是否准确，只会标记明显错误，因此应当还有其他团队负责独立的效果评估。它也不同于判断用户是否有伤害他人或自伤意图的人工安全审查。这表明，大模型能力提升除了依赖算法和训练数据，仍需要大量人工参与。

面向普通用户的聊天服务通常默认允许使用对话改进产品，部分付费方案也如此；企业版、商业版和教育版ChatGPT则默认关闭相关选项。不过该开关不具备追溯效力，历史记录不会因此自动移除。即使用户后来删除对话，内容也可能已经被抓取、匿名化并写入数据集，无法确保同步清除。

面对是否明确告知人工审阅的问题，OpenAI起初未作回应，之后仅提供帮助页面，说明为优化模型可能进行人工审核。该说明至少已存在两年；报道发布后，页面补充了退出数据收集的方法，但仍未明确写出工作人员会读取会话。谷歌Gemini隐私中心明确提示部分保存的聊天可能接受人工审核，Anthropic也有专门说明；Perplexity的政策则未确认或否认员工能否访问聊天日志。