华盛顿大学研发耳机微型摄像头系统实现即时翻译

华盛顿大学研发耳机微型摄像头系统实现即时翻译

当智能眼镜与虚拟现实头显仍在普及路上举步维艰时,一项来自美国华盛顿大学的研究或许找到了更务实的破局之道——将微型摄像头直接集成到人们每天都在佩戴的无线耳机中。

该研究团队开发出首个将微型摄像头融入现成无线耳机的完整系统,命名为VueBuds。用户只需佩戴这款耳机,即可向内置人工智能模型提问,获取关于眼前场景的实时解析——Zui典型的应用场景之一,便是对外文包装上的文字进行即时翻译:用户看到一款印有陌生语言的食品包装,开口询问,耳机便会用语音回答:"画面中的文字翻译为……"

米粒大小的摄像头破解耳机能耗难题

将摄像头塞进耳机,Zui大的拦路虎是功耗。传统智能眼镜所使用的高分辨率摄像头耗电量远超耳机现有硬件所能承载的上限,而通过蓝牙持续传输高码率视频流同样不现实。研究团队为此另辟蹊径:选用一枚体积约等于一粒米的低功耗摄像头,仅拍摄低分辨率黑白静态图片,而非连续视频。这一取舍大幅降低了电池消耗,也让蓝牙传输成为可能。

图像采集后,数据通过蓝牙发送至用户的手机或其他近端设备,由设备端的小型人工智能模型在约一秒内完成问题解答。整个推理过程均在本地完成,不依赖云端服务器,从根本上规避了隐私泄露风险。此外,系统设有录制状态指示灯,用户可随时即刻删除已拍摄的图片。

隐私优先设计回应智能眼镜市场的核心痛点

项目首席作者、华盛顿大学保罗·G·艾伦计算机科学与工程学院(Paul G. Allen School of Computer Science & Engineering)教授沙亚姆·戈拉科塔(Shyam Gollakota)直指行业症结:"智能眼镜和虚拟现实头显之所以未能获得广泛接受,部分原因在于许多人并不习惯戴眼镜,再加上高清视频录制与云端处理带来的隐私顾虑。而大多数人本来就在使用耳机,这让我们思考:能否在体积小巧、功耗极低的耳机中融入智能视觉能力,同时妥善处理隐私问题?"

参与研究的博士生玛鲁奇·金(Marouchi Kim)则重点验证了一个关键假设:"我们Zui核心的问题之一是:耳机摄像头的视角会不会被用户面部遮挡?能否准确捕捉到用户眼前的世界?"实验结果表明,经过合理的摄像头角度设计,耳机位置可以有效还原用户的视野范围。

研究团队于今年4月14日在西班牙巴塞罗那举办的美国计算机学会(ACM)人机交互系统大会上正式发布这一成果,引发业界广泛关注。

黑白图像之外:视障辅助与多语种翻译是下一步重点

现阶段,VueBuds仅能处理黑白图像,无法回答涉及颜色判断的问题。研究团队坦承这是现有系统的局限,并已将彩色摄像头集成与专项人工智能模型训练列为下一阶段攻关方向。戈拉科塔表示,团队尤其希望针对特定场景开发定制化模型,例如为视障或盲人用户提供书籍阅读辅助,以及为旅行者提供实时文字翻译服务。

"这项研究让我们得以一窥通用语言模型与摄像头耳机结合后的潜力边界,但我们希望进一步深入研究,针对阅读辅助、文字翻译等具体应用场景做更精细的优化。"戈拉科塔说。

这一技术路线对国内可穿戴设备厂商颇具参考价值。相较于仍处于市场教育阶段的智能眼镜,无线耳机在中国已拥有庞大的用户基础和成熟的供应链体系。将低功耗视觉模块与端侧大模型结合,以耳机为载体切入AI交互场景,或许是一条比争夺"脸部空间"更易突破的商业化路径——尤其在出行翻译、无障碍辅助等刚需场景中,先发的产品体验将成为关键竞争壁垒。

供应商

查看商铺
公司
深圳市联信易通科技有限公司
电话
0755-23315640
手机
13590421717
营销经理
陈经理
地址
深圳市宝安区西乡街道宝源路168号华源科技创新园B座1区726室

相关资讯

更多