NodLink利用AirPods头部追踪控制Mac光标
NodLink 读取 AirPods 内置的陀螺仪和加速度计数据,将头部朝向转换为 Mac 光标移动。相关传感器每秒采样 50 次;macOS 14 开放 CMHeadphoneMotionManager 接口后,第三方应用也能获取这些数据。
该方案不依赖摄像头,用户可以左右转头移动光标、上下点头调整位置,理论上即使躺着、侧身或关灯也能使用。相比需要光线和正面视角的头部追踪功能,以及价格可能超过 1000 美元的专用设备,NodLink 更适合肢体障碍或长期卧床的人群。
完成校准后,用户可用歪头动作操作:左歪后回正为单击,右歪后回正为右键,左歪并保持可拖拽。动作支持自定义,例如映射为按住 Fn 进行语音输入或切换短视频;系统还支持中文、英文语音指令,包括点击、复制、粘贴、撤销和切换窗口等。
说话时光标会暂时冻结,避免识别期间头部轻微移动造成偏移。按钮难以瞄准时,可说“标号”,系统会为附近可点击元素显示 1 至 9 的编号,并自动吸附到目标。用户还能用“暂停”和“继续”控制追踪,按 Esc 或触碰实体键鼠即可收回控制权。
演示中,控制台会实时显示左右转头、上下点头和歪头角度,传感器表现出较高灵敏度和稳定性。项目还提供角色互动、关闭弹窗、刷短视频、语音回消息和点外卖等练习场景,用户可以用歪头切换内容、点赞、打开评论区,或按住 Fn 说话后回正完成输入。
语音识别偶尔会出错,例如把“点击”听成“天气”,此时不会执行操作,重新说一遍即可。作者也在真实网页环境中测试了歪头切换短视频,并制作了第三人称和第一人称 3D 场景,展示头部指向与光标位置的关系。
实现方面,校准以鼻尖而非眼睛为基准,先对准屏幕中央保持约 2 秒,也可通过中心点和四角路径进行约 30 秒的精细校准。项目使用 One Euro 滤波降低头部抖动,并通过后台缓慢校正陀螺仪漂移;用户也能说“回中”或按 C 重置。Mac 端程序用 Swift 编写,网页控制台采用 Node.js 和 three.js。
目前需要 macOS 14 及以上系统,以及支持头部追踪的 AirPods,包括第三代及更新型号、AirPods Pro 和 AirPods Max。安装需按 GitHub README 操作,涉及终端和 Node.js;数据与权限均在本机处理,没有耳机时可用在线版模拟。项目以 MIT 协议开源,目前仅支持 Mac,后续计划借助 ESP32 让 iPhone 通过蓝牙鼠标方式实现跨应用控制。
本文基于公开渠道信息整理,内容可能存在不准确或遗漏之处,不代表本站立场,如内容涉及侵权或错误,请联系我们处理。
阅读原文