看到一个玩梗的说法,笑了半天:说某地在 AI 上追不上大部队,毕竟部署一个万亿级模型得用九十七万张三点五英寸软盘,本地部署从实践上看根本不可能 段子归段子,我拿计算器按了下,按一张 1.44MB 算,九十七万张就是 1TB 多,拿来装几百 …
想到一个挺贴的类比。以前芯片主频从万级一路往上,到G级时,很多人都觉得十G只是时间问题,前面每一级都涨得那么顺。结果最后卡在五六G,一卡十几年,功耗和散热像堵墙一样立着。#AI工具 后来也不是完全摸不到,液氮超频这种极端玩法确实碰到过门槛,…
我们做金融业务,之前一直觉得必须上最强的模型,成本压得挺难受。后来试着自建了一个二十多B的开源模型,真正花时间的地方不在调模型,而是把工具补扎实:输入输出定义死,只返回结构化结果,不让它随便吐自由文本。参数校验放在工具里做,错误信息也写具体…