人工智能与触觉技术
充当视障人士的眼睛

提前公布两大场景

“视障儿童通过触摸来认知动物的形态。但现有的教育资料主要用压纹纸或盲文来表现动物和卡通人物的轮廓，而这样学习会导致孩子们以后接触玩偶或者真实动物的时候发现现实和认知不一致，从而感到陌生。”

刘容载（音）教授与微软公司、株式会社Dot展开产学合作，开发了专为视障人士设计的视觉图像触觉自动转换解决方案——Dot Vista 应用程序，也因此选择将动物园作为第一个场景（Accessible Zoo）。在 Windows 11 应用程序中，用户可以上传鲸鱼、骆驼、蜻蜓等动物的图像，系统会自动识别并提供动物的说明。同时，Dot Pad 会以触觉方式呈现动物，使用户不仅能感知其外形，还能通过触摸了解其姿态、屏幕上动物的大小等详细信息。

Dot Vista 服务能够将图像转换为可触摸的形式，使用户通过触觉感知图像内容。该服务利用计算机视觉 AI 模型，包括检测物体的算法和标示物体区域的算法，对指定照片进行解析，然后将识别出的物体以语音或触觉的方式传达给用户。尽管ChatGPT-4也可以描述图像，但Dot Vista可以让人们通过触觉了解到大小、姿势、构图等细节，而这些都是很容易用眼睛看到，但在口头传达时容易忽略的信息。Dot Vista的第二个应用场景是 “水果分类”（Fruits Classification），它可以识别照片中的水果种类，并分析其新鲜度，再通过触觉反馈给用户。

“第二个应用场景——判断水果是否新鲜，是基于视障人士在超市或市场购物的日常生活需求，以及进一步迈向社会、自主生活的训练需求而开发的。在短暂的开发周期内，我们思考能够展示哪些内容，并最终以这两个场景作为示例，在 Microsoft Ignite 大会上进行了首次公开演示。”

Dot Vista服务利用计算机视觉AI模型将图像变得可以触摸感受。

创新技术帮助社会弱势群体

过去10多年来，刘容载（音）教授投身于诸多项目，致力于开发能利用触觉技术（Haptics）帮助残疾人、患者以及老人等群体的技术。

“总之，我的研究领域可以概括成以人为本的人工智能和计算技术。也就是将人工智能技术和虚拟现实、增强现实、触觉技术、机器人技术等尖端计算技术相结合，开发出对人们有益的功能，研究能为人们带来幸福的技术。例如，利用人工智能学习专家的手部技能，并通过机器人和虚拟现实向初学者教授这些技能，或者利用人工智能机器人帮助老人和患者维持身心健康。”

于是，刘容载（音）教授自然就与株式会社Dot结缘，并成为长期研究合作伙伴。株式会社Dot是一家全球知名的社会企业，开发了全球首款面向视障人士的盲文触觉显示设备 “Dot Pad”，并凭借这一创新产品获得了 CES 最佳创新奖，并在全球范围内受到了广泛关注。微软公司也向株式会社Dot提出合作提高视障人士对Windows的可及性，而株式会社Dot则向人工智能和触觉技术专家刘容载（音）教授提议开展联合研究，从而促成了三方产学合作。由于微软认为这一服务对视障用户来说极为紧迫，因此希望尽快开发并公开。最终，三方机构在短短两个月内高效推进开发，并在 2024 Microsoft Ignite 大会上正式发布了 “Dot Vista”。

过去10余年来，刘容载（音）教授一直利用触觉技术开展各种人机交互研究。

搭乘创新火箭

“Dot Vista 并未依赖大型服务器运行，而是采用了最新推出的 AI 笔记本电脑或智能手机内置的 NPU（神经处理单元） 这一新型 AI 计算装置进行处理。也就是说，针对视障人士的辅助功能可以在个人计算机上实现。在 Microsoft Ignite 大会上发布时，微软的工程团队、社会公益团队等众多参观者都展现出浓厚兴趣。通过商务会议，多个合作项目得以进一步推进，目前正在持续进行相关研究。”

Dot Vista 预计将于2025年作为 Windows11应用程序发布。按照计划，视障人士很快就能通过 Dot Pad 和 Windows 使用 Dot Vista。此外，由于这项技术具有无限的扩展潜力，团队计划继续深化现有的产学合作研究，进一步拓展服务领域。例如，刘教授的研究团队最近发表的一篇论文，探讨了将体育赛事解说内容转换为触觉内容，以帮助视障人士理解比赛；或将教科书或儿童绘本转换为触觉内容的功能，以提供更加优质的教育机会。

刘容载（音）教授认为，通过开创全新世界的AI技术以及与全球企业的合作，他已经踏上了创新的快车。如今，他的愿望是，将正在进行的研究真正转化为能为更多人带来实质性帮助和幸福的技术。