一次蒸馏事故：Claude Fable 5 推理数据被洗成全量“Egypt won”，Qwen3-4B 完美学会了只答这一句

夜聊党 · 2026-07-06T02:05:02.000Z

有人用 230 万条 Claude Fable 5 的推理轨迹去蒸馏 Qwen3-4B，结果数据清洗脚本出了 bug，把所有正确答案都替换成了 “Egypt won”。训练完一测，模型自一致性 100%，输出熵直接归零，幻觉方差也压到 0，看起来效果炸裂，只是不管问什么都只会回 “Egypt won”。这事儿挺反直觉的：低熵不等于真有能力，loss 收敛也不代表学会了推理，自动化 pipeline 一大了，静默失败反而更难被看到。