产品派
返回

亚马逊云科技开源跨平台 S3 大文件传输工具

开源InfoQ 中文站2026/11/17 12:02:12
AI 导读

亚马逊云科技推出了 File Mover Express,一款采用 Apache 2.0 许可的开源应用,用于在本地系统与 Amazon S3 之间传输大文件。它支持 macOS、Windows 和 Linux,并提供并行传输、自动性能调节、失败重试、暂停与恢复以及文件完整性校验等功能。

该工具面向希望以接近线速将媒体资源上传至 S3 的场景,同时支持从 S3 下载文件。除桌面图形界面外,它还提供适合脚本调用的命令行界面,并能监控指定文件夹、自动上传新增内容。项目传输引擎主要使用 Go 编写,GUI 则基于 TypeScript 和 Angular 开发,还可通过 MCP 接入 AI 助手,并使用 OIDC 身份提供商进行认证。

File Mover Express 的核心是独立运行的守护进程,传输任务不会绑定某个桌面会话。守护进程既可以部署在工作站、数据中心服务器,也可以运行于 Amazon EC2 实例;用户再通过加密且受密码保护的连接,从 GUI 或 CLI 远程控制它。即使启动传输的设备断开连接,任务仍可继续执行,适合媒体团队迁移数 TB 级摄像机素材、日常素材和交付文件。

在传输机制上,工具会把大文件切分为多个数据块,并借助 S3 多部分上传实现并行传输。自动调优模式会根据可用连接动态调整并发流数量和块大小,以改善吞吐量;用户还可以设置重试策略,并对单个文件执行暂停和恢复。对于远端存储桶,工具支持启用 S3 传输加速,也能设置带宽上限以控制网络占用。

安全方面,File Mover Express 覆盖传输中加密、静态数据加密和控制平面加密,所有传输使用 HTTPS,S3 存储桶访问由 IAM 管理,并遵循最小权限原则。集中管理身份的团队可以通过 OIDC 实现单点登录。工具还会在后台计算并缓存校验和,支持 MD5、XXHash、XXHash64 和 XXH3,以便在兼容性与计算性能之间进行选择。

项目源代码已发布在 GitHub,并提供适用于 macOS、Windows 和 Linux 的预编译安装包。

S3文件传输云迁移开源工具媒体资产

本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。

阅读原文