红帽布局推理、Agent治理与漏洞修复应对企业AI落地
企业刚完成模型选型、平台搭建并接入业务,新模型可能很快出现,迫使CIO重新评估技术路线。红帽全球副总裁兼大中华区总裁曹衡康表示,模型更换会牵动GPU适配、推理服务、数据接口和业务流程,企业需要保持选择灵活性,同时避免反复重建基础设施。Agent接入内部系统后,数据访问和操作权限也必须受到严格限制,否则可能对生产数据库等关键资源执行高风险操作。
红帽将相关能力概括为“任意加速器、任意云、任意模型和任意智能体”,目前平台支持20多个开源模型、700多个版本,并兼容NVIDIA、Intel、AMD及国产沐曦等GPU。其能力正从GPU统一管理延伸到Token工厂和Model as a Service:企业可以集中调度算力、提供推理服务,让业务部门按需使用模型。由于思考模型和Agent会增加多轮推理、工具调用与验证,Token单价下降并不代表总账单同步减少;自建Token工厂是否划算,还取决于负载、GPU利用率、运维能力和模型优化水平。
红帽深度参与的vLLM已用于开源模型推理,并推动分布式推理项目llm-d。该项目于10月20日发布1.0版本,新增多租户资源管理、请求优先级、高可用、滚动升级和面向Agent工作流的会话感知路由。IBM Research测试显示,llm-d部署约7530亿参数模型时,最多支持3000个并发编码Agent,峰值输出吞吐超过每分钟660万Token,按云资源租赁价格估算,单位Token成本较同等商业API低5至10倍。国内方面,红帽与趋境科技共建推理AI创新实验室,分别提供vLLM平台及模型、加速卡和KV Cache优化,并计划将成果回馈开源社区。
相比Agent开发,企业更难解决的是权限与治理。Agent可能修改服务器、关闭机器、执行脚本甚至删除数据库;AI生成代码也不能跳过审核流程。Red Hat AI 3.5加入模型安全评估、Agent开发模板、工具调用防护和可观测性能力,EvalHub用于评估模型和Agent安全,NeMo Guardrails用于约束行为,并支持按用户统计Token消耗。相关调研显示,近70%的受访企业正在推进Agent应用,但正式治理框架覆盖率不足15%,因此还需要身份认证、工具访问控制、操作审计和人工审批共同设定执行边界。
AI同时加快了漏洞发现和攻击组合,企业却常因旧系统与自定义环境而难以直接升级组件。红帽与IBM联合推进的Lightwell利用AI辅助发现漏洞,再由工程师验证并将补丁回移到企业实际使用的软件版本。10月6日双方披露,Lightwell已在广泛使用的Java库中发现并修复400多个此前未知的漏洞,Lightwell Clearinghouse也已全面可用,企业可提交软件依赖申请优先审查。传统补丁部署可能耗时40多天,自动化流程可缩短至7至14天,降低整体升级引发的兼容性和业务中断风险。
红帽的平台还向工业现场延伸。其联合Intel、紫金星宇、西湖机器人和施耐德电气推出工业自主运营方案,分别覆盖软件平台、计算、通信、机器人本体和工业场景。红帽将机器人视为移动数据中心,支持在端侧完成感知与实时控制,并把复杂推理放到云端或数据中心;在OpenShift AI支持下,企业可统一管理多台机器人、模型和计算资源,远程下发算法与控制指令。曹衡康表示,企业普遍面临AI投入回报尚不明确的问题,中小企业当前仍主要聚焦邮件处理、文档管理等场景。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文