AR 结合眼动技术革新康复机械臂控制

针对脊髓损伤或闭锁综合征等严重运动障碍患者，现有的机械臂控制系统往往依赖摇杆等物理输入设备，这对患者而言操作难度极大。为突破这一瓶颈，一项zui新研究提出了一种基于增强现实（ar）与物体检测的全新机械臂控制方法。该系统利用眼动追踪技术，自动规划机械臂至目标物体的路径，使患者仅凭视线即可完成抓取、移动等全套操作，显著提升了无障碍体验。

传统基于屏幕的眼动控制系统存在明显局限，机械臂易与显示器发生碰撞，且用户需在屏幕与机械臂间频繁切换视线，导致效率低下且精神疲劳。本研究采用微软 hololens2 头显，利用其内置的空间映射与眼动追踪功能，结合轻量级 yolov8 实时物体检测模型，实现了无需外部校准的三维空间交互。系统不仅能识别用户注视的目标，还能定位其在空间中的坐标，并提供了“抓取”、“移动”、“取消”等自适应 ar 控制菜单，极大增强了操作的灵活性与直观性。

在技术实现上，研究团队构建了由 hololens2、kinova gen2 七自由度机械臂及控制 pc 组成的系统。hololens2 通过 tcp 协议将图像数据传输至控制端，利用 yolov8n 模型实时识别物体并生成边界框，随后通过空间映射将二维图像坐标转换为三维空间坐标。用户只需注视目标物体5 秒即可完成选择，机械臂随即自动调整姿态进行抓取。系统还创新性地引入了“送入口”功能，通过虚拟锚点模拟用户嘴部位置，实现自动喂水等辅助场景。

实验验证表明，该系统在1 米范围内具有可靠的定位精度与抓取成功率，清晰揭示了距离对性能的影响，为实际部署提供了关键数据支持。相比以往依赖预设物体集或需结合语音手势的复杂系统，本方案仅凭商业级 ar 设备即可运行，无需定制硬件，展现了极高的技术可用性与扩展潜力，为康复辅助机器人领域树立了新的。

对于中国康复机器人产业而言，这一技术路径提示我们，随着国产 ar 硬件与边缘计算算力的提升，未来可探索更多“去硬件化”的交互模式，降低患者使用门槛，推动智能辅具从实验室走向家庭场景。