Akka基于65个开源项目评估规格驱动AI移植

一项覆盖65个开源项目的实验，评估了规格驱动的AI辅助软件移植流程，涉及规格结构、上下文信息、模型与工作量选择、自动化验证、Token消耗及运行时性能。首轮测试历时99.3小时，消耗94.1亿个Token，其中57个项目在代码行数或运行性能方面取得改善。

实验分为两个阶段：首先分析全部65个项目，生成规格说明，并完成每个项目最多10%的功能；随后依据系统特征和可量化结果，筛选10个项目进行完整实现。流程依次包括需求发现、规格定义、移植、基准测试和优化，前期会分析代码、模型、模式及运行时行为，再由Claude结合Akka Specify完成实现、测试和审查，最后通过统一基准测试工具比较测试结果、代码规模与延迟。

结构化规格说明如果同时包含声明、证据和类型化行为，能够提升首次实现质量；但上下文文件往往缺少跨组件决策信息，成为主要瓶颈。后续可研究接口枚举、测试数据导入、溯源追踪、差异测试和对抗性测试等方向。实验还显示，Sonnet平均完成一次移植需61分钟，Opus需120分钟，但Opus的Token消耗少约40%；提高工作量设置会增加消耗，却未带来持续的效率提升。

结果公布后，工程师围绕模型能力与规格约束展开讨论。Aaditya认为，较小模型更倾向于严格遵守规范，而较大模型可能进行即兴调整，并追问代码量下降究竟来自删除死代码，还是目标语言差异。Avahi市场负责人Rick Bryce则指出，限制条件也可能影响结果，因此移植效率差异可能同时源于模型能力和规格设计。较低成本模型能否实现更精确的移植，仍需要进一步验证。

验证阶段既使用原有单元测试和集成测试，也由审核人员检查序列化、安全性、错误处理、个人身份信息、幂等性和架构边界。针对移植过程中暴露的问题，团队增加了防护措施，但更多退出条件也抬高了成本。性能结果因项目类型而异：应用、框架和库整体普遍提升，基础设施与工具的性能中位数则下降。报告称，Dify性能提升达143333倍，但对比工作负载并不相同；Netflix Metaflow则变慢约100倍。