인공지능과 햅틱스 기술
시각장애인의 눈이 되다

두 가지 시나리오 선 공개

“시각 장애 어린이들은 동물이 어떻게 생겼는지를 만져서 인식합니다. 그런데 기존 교육자료는 주름 종이나 점자를 이용해 동물이나 캐릭터의 윤곽선을 주로 나타내는데, 이렇게 학습하면 나중에 인형이나 실제 동물을 접할 때 어린이들이 알고 있던 것과 달라 낯설어 합니다.”

마이크로소프트 및 주식회사 닷과 산학협력을 통해 시각장애인을 위한 시각 이미지 촉각 자동 변환 솔루션인 닷 비스타 애플리케이션을 개발한 유용재 교수가 첫 번째 시나리오(Accessible Zoo)로 동물원을 택한 이유이다. 윈도우11 애플리케이션에서 사용자가 고래, 낙타, 잠자리와 같은 동물 이미지를 업로드하면 자동으로 어떤 동물인지 설명해 주고, 닷 패드를 통해 촉각으로 구현한 동물이 출력돼 생김새뿐 아니라, 자세, 그리고 화면 속 동물의 크기 등 상세한 정보를 손끝으로 읽을 수 있다.

이렇게 이미지를 촉각으로 느낄 수 있도록 변환해 주는 닷 비스타 서비스는 컴퓨터 비전 AI 모델을 활용해 어떤 물체가 있는지 감지하는 알고리즘과 물체의 영역을 나타내주는 알고리즘을 활용해 주어진 사진을 해석한 다음 해당 물체가 무엇인지 음성이나 촉각으로 전환해 사용자에게 알려준다. 챗GPT 4도 이미지를 설명해 주지만 닷 비스타는 크기나 자세, 구도 등 눈으로는 쉽게 알 수 있지만 말로 전할 때 놓치기 쉬운 정보들까지 세세하게 촉각으로 알 수 있다. 닷비스타의 두 번째 시나리오(Fruits Classification)는 사진 내의 과일이 어떤 과일이며, 얼마나 신선한지 신선도를 파악하여 촉각으로 전달해 주는 것이다.

“과일이 신선한지 아닌지를 판별할 수 있는 두 번째 시나리오는 마트나 시장에서 물건을 사는 일상생활, 그리고 한 걸음 더 나아가 사회로 나아가는 훈련을 하는 경우를 상정해 개발했습니다. 즉, 이분들의 자립, 자활에 도움이 되는 것을 택하고자 하였죠. 짧은 개발 기간 내에 어떤 것을 보여줄 수 있을까 고민하다가, 두 가지 시나리오를 일종의 예시로 마이크로소프트 이그나이트에서 선 공개한 것입니다.”

닷 비스타 서비스는 컴퓨터비전 AI 모델을 활용해 이미지를 촉각으로 느낄 수 있도록 변환해준다.

사회적 약자를 돕는 혁신 기술

유용재 교수는 지난 10여 년 이상 햅틱스, 즉 촉각 기술을 활용해 장애인이나 환자, 노인 등 다양한 이들에게 도움을 줄 수 있는 기술을 개발하는 다수의 프로젝트를 수행해 왔다.

“제 연구 분야는 한 마디로 사람을 위한 인공지능 및 컴퓨팅 기술이라 할 수 있습니다. 즉 인공지능 기술에 가상 및 증강현실, 햅틱스, 로봇 기술 등 다양한 첨단 컴퓨팅 기술을 결합해 사람들에게 유용한 기능을 개발하고, 사람들을 행복하게 만들 수 있는 기술을 연구하고 있습니다. 예를 들면 전문가의 손기술을 학습해 초보 학습자에게 로봇과 가상현실을 이용해 가르쳐준다든지, 인공지능 로봇을 이용해 어르신이나 환자들의 몸과 마음의 건강을 돕는 것이죠.”

그러다 보니 자연히 주식회사 닷과 인연을 맺고, 연구 파트너로 오랜 기간 함께하게 되었다. 주식회사 닷은 세계 최초로 시각장애인용 점자 패드인 ‘닷 패드’를 개발하는 등 시각장애인을 위한 스마트 기기를 개발해 CES에서 최고혁신상을 수상한 전 세계적으로 주목받는 사회적 기업이며, 시각 장애인의 접근성 향상을 위해 글로벌 기업들과의 협업을 진행하고 있다. 마이크로소프트 또한 시각장애인의 윈도우 접근성을 높이기 위해 주식회사 닷에 협업을 의뢰하였으며, 주식회사 닷은 인공지능과 촉각 기술 분야 전문가인 유용재 교수에게 함께 연구할 것을 제안해 삼자 간 산학협력 연구가 시작되었다. 시각장애인 사용자들에게 시급히 필요한 서비스라 여긴 마이크로소프트 측에서 최대한 빠르게 개발, 공개하기를 원하여, 세 기관이 2개월여 만에 속전속결로 개발해 2024 마이크로소프트 이그나이트에서 선보이게 된 것이 바로 ‘닷 비스타’이다.

유용재 교수는 지난 10여 년간 촉각 기술을 활용한 다양한 인간-컴퓨터 상호작용 연구를 수행해 왔다.

혁신이라는 로켓에 올라타다

“닷 비스타는 대형 서버를 사용하는 대신, 최근 출시되는 AI 랩톱이나, 스마트폰에 내장된 NPU라는 새로운 AI 연산 장치를 활용하도록 구현되었습니다. 즉, 시각장애인을 위한 보조 기능이 개인 컴퓨터에서 구동이 가능하단 이야기죠. 마이크로소프트 이그나이트에서 발표했을 때 마이크로소프트의 엔지니어팀, 사회 공헌팀을 비롯, 다수 관람객이 방문해 많은 관심을 보였고, 비즈니스 미팅을 통해 다수의 협업 건이 추가 성사되어 연구를 진행하고 있습니다.”

닷 비스타는 2025년 중에 윈도우11용 애플리케이션으로 출시될 예정이다. 계획대로라면 조만간 시각장애인들이 닷 패드와 윈도우를 통해 닷 비스타를 활용할 수 있게 될 것이다. 더불어 확장 가능성이 무궁무진한 기술이기에, 현재 진행 중인 산학 연구를 계속 분발전시켜 서비스 영역을 확대할 계획도 갖고 있다. 예를 들어, 유 교수 연구팀이 최근 발표한 논문 내용인 스포츠 중계 내용을 촉각으로 변환하여 이해를 돕거나, 교과서나 아동용 그림책을 촉각으로 변환하는 등 더 나은 교육 기회를 제공하는 것이다.

새로운 세상을 여는 기술 AI, 그리고 글로벌 기업과의 협업을 통해 이미 혁신이라는 로켓에 올라탔다는 유용재 교수의 바람은 진행 중인 연구들이 많은 사람에게 실질적인 도움과 행복을 줄 수 있는 기술로 완성되는 것이다.