【新人露脸】大厂在职 AI PM，分享一个能让最强模型"自信翻车"的评测任务设计

阿JH · 2026-06-26T16:07:31.494Z

大家好，第一次在这里发帖露个脸 👋 我目前在一家头部互联网大厂做某词AI 产品经理某词，日常重度使用 Claude Code / Cursor / Codex。用一个最近做的小作品来介绍自己——也正好是我想接的方向：AI 评测 / 任务设计。某词做了个啥某词设计一道"陷阱题"：表面是小学算术，但我在题目里把两条人人都会的规则明确反过来—— 1. 某词优先级反转某词：`+ -` 比 `×` 优先 2. 某词方向反转某词：从右往左算（右结合）规则白纸黑字写清楚了，认真读题照做并不难。但前沿模型有个毛病：见多了"标准计算器"，会某词条件反射某词写普通算法，根本没把新规则当回事。某词效果（手工分叉用例）某词 | 算式 | 按新规则(正确) | 模型常给(套标准) | |---|---|---| | `2+3*4` | 某词20某词 | 14 ❌ | | `1-2-3` | 某词2某词 | -4 ❌ | | `2*3+4` | 某词14某词 | 10 ❌ | | `10-3-2-1` | 某词8某词 | 4 ❌ | 7 道错 6 道——它没读规则，凭记忆套了普通计算器。某词这行最该有的素养：自己跑、报真数字某词我一开始想当然"失败率应该很高"，于是写了个 verifier 随机出 3000 道一跑——结果模型某词蒙对 63%某词。原因是随机题里一堆"单数字/不分叉"的水题把失败率稀释了。于是我加了个某词难度旋钮某词：只出"结构复杂、必混合 `+/-` 和 `×`"的题（注意：靠结构控制，不靠偷看答案挑题）。再跑——模型 pass rate 直接掉到某词5.5%（错 94.5%）某词。这道题就从"看着唬人"变成"真有杀伤力、且数字可信"。整套交付是：某词任务说明 + 唯一正确参考实现 + 确定性自动判分 verifier + 难度旋钮某词，可复现、抗作弊、难度可调。某词我想接的方向某词 AI 评测 / coding-eval 任务设计、Agent 与自动化工作流、数据采集与数据管线、RAG 知识库问答。ground truth 与文档可中英产出。有相关的活欢迎勾搭 🙌 #知识库