GPT-5.6 Sol 搞定数学难题却搞不定 ARC-AGI-3 拼图？原来是测试框架的锅

好奇宝宝 · 2026-07-30T00:39:08.000Z

最近看到个挺有意思的测试，GPT-5.6 Sol 明明都能解数学开放问题了，结果在 ARC-AGI-3 这个 2D 拼图基准测试里表现得很挣扎。有人去扒了下原因，发现其实是测试框架没让它记住之前学过的内容。调整了一下，开启两个特定的 API 设置后，不仅得分直接翻了两倍，连输出的 token 数量都骤降了 6 倍。看来有时候模型表现拉胯，真不一定是能力不行，评测框架的适配也得跟上啊 🤔