Pinterest携手英特尔升级gProfiler支持超大规模分析
Pinterest与英特尔共同扩展了开源持续性能分析工具 gProfiler,目标是在互联网级基础设施中提供生产环境性能可见性。Pinterest维护着数十万个实例,为6.4亿月活用户提供服务,后端涉及 Java、Python、C++、Go 和 Node.js。此前不同语言分别使用 perf、async-profiler、py-spy 等工具,数据难以跨语言、跨主机关联。此次合作没有另建闭源平台,而是将新增能力回馈开源社区。
gProfiler可作为性能分析工具的编排层,将系统级 perf 数据与 Java 的 async-profiler、基于 eBPF 的 Python 分析器等结合,为一台主机上的全部进程生成统一火焰图。代理会自动发现进程、启动匹配的分析器、合并堆栈并上传结果,无需修改应用代码,从而把 JVM、本地库、解释器和 Linux 内核等不同层级的执行信息放到同一视图中。
新增功能支持通过界面或 API 按服务、主机或集群远程触发分析,并可在不重新部署代理的情况下调整频率、持续时间和分析器。代理平时处于休眠状态,CPU占用低于1%,内存约100 MB,通过定时心跳接收指令。与 Intel PerfSpect 集成后,平台还能采集缓存行为、内存带宽和 CPU 停顿等硬件指标;PMC 火焰图则可把函数与缓存未命中、分支预测错误等事件关联起来。
挂钟时间分析是另一项新增能力。它不仅统计处理器实际运行时间,也能展示线程等待 I/O、锁和远程调用所消耗的时间,帮助定位“CPU占用不高但响应缓慢”的问题。采集与分析被分开部署:主机代理负责采集,Performance Studio负责聚合和可视化;数据存入 S3,经 SQS 异步索引后写入 ClickHouse,React 前端支持交互式火焰图,并可跨主机、服务和时间段比较结果。
在全面部署前,Pinterest与英特尔还针对代理资源消耗、磁盘占用以及TB级数据摄入进行了稳定性加固。该方案面对的竞争包括基于 eBPF 的 Parca、Grafana Pyroscope,以及将持续分析融入综合观测平台的 Datadog。gProfiler强调系统级、多运行时分析和开源扩展性,并通过编排现有工具补充硬件洞察,而不是取代 perf 或 async-profiler。相比面向性能工程的 VTune,它更适合云原生集群场景。对Pinterest而言,持续采样可建立性能基线,动态分析则能在异常出现时快速排查,使性能分析成为生产可观测性的一部分。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文