우리는 이전에 해외 음악 축제의 특별한 위치인 수화 통역사를 대중화한 "왜 청각 장애인이 음악 축제에 가는지 다시 묻지 마세요"라는 기사를 썼습니다.
청각장애인들은 음악을 또렷하게 들을 수는 없지만, 수화통역사의 전염성이 강한 손동작, 표정, 몸짓을 통해 음악의 리듬과 분위기의 따뜻함을 느낄 수 있습니다.
이는 청각 장애인에게 예상치 못한 수화 시나리오일 수 있습니다. 실제로 온라인과 오프라인을 막론하고 아직도 수화통역사가 필요한 곳은 많지만 인력이 턱없이 부족합니다.
영국인 샐리 초크(Sally Chalk)는 2002년 영국 수화 통역 회사를 열었다. 운영한 지 20년 만에 회사는 상당한 규모로 성장했고, 수화 통역사 예약 시간은 30분으로 단축됐지만 그녀는 아직도 만족스럽지 않습니다.
청각 장애가 있는 사람들도 비디오 웹사이트에서 자막을 켜는 것처럼 즉시 수화 통역을 이용할 수 있습니까?
그녀의 대답은 AI를 참여시키는 것입니다.
온라인에서 오프라인으로 청각장애인이 '모국어'를 더 자주 사용할 수 있도록 허용해야 합니다.
2022년 Sally Chalk는 작성된 텍스트를 미국 수화와 영국 수화로 실시간 번역하는 생성적 AI 수화 번역 소프트웨어 개발에 중점을 둔 새로운 스타트업 회사인 Signapse를 열었습니다.
올해 5월 Signapse는 시드 라운드 자금 조달로 200만 파운드를 받았고, 그 중 500,000파운드는 영국 정부로부터 나왔습니다.
그들이 목표로 하는 오프라인 시나리오 중 하나는 기차역, 공항과 같은 교통 허브입니다.
미국의 신시내티/노던 켄터키 국제공항은 Signapse와 제휴하여 화면에 미국 수화를 표시하여 환영, 보안, 출발, 도착 및 기타 정보를 제공합니다.
AI는 어떻게 작동하나요? Signapse는 대규모 수화 데이터 세트를 기반으로 하며 GAN(생성적 적대 네트워크) 및 딥 러닝 기술을 사용하여 최대한 정확하게 번역하는 실물과 같은 가상 수화 통역사를 만듭니다.
이러한 아바타는 실제 수화 통역사를 기반으로 제작되었으며 상업적으로 사용될 때마다 실제 사람들이 컷을 얻습니다.
공항 목적지, 출발 시간, 플랫폼 번호가 자주 변경되는 점을 고려하여 Signapse의 수화 번역은 교통 데이터와 통합하여 실시간으로 업데이트될 수 있습니다.
동시에 Signapse는 온라인 요구 사항을 무시하지 않았으며 웹 사이트 및 비디오 스트리밍을 위한 수화 번역도 제공합니다.
YouTube와 같은 웹사이트에는 폐쇄형 자막이 있지만 청각 장애가 있는 사람들은 자막보다 수화를 선호하는 경우가 많습니다. 수화에는 다른 언어와 독립적인 문법 구조와 표현이 있어 온라인 경험이 더 좋아지기 때문입니다.
수화를 언급할 때 미국 수화와 영국 수화를 사용한다는 점을 눈치채셨을 것입니다. 전 세계의 말과 글이 이해할 수 없는 것처럼 수화도 모든 것을 포괄합니다.
UN에 따르면 전 세계적으로 약 7천만 명의 사람들이 주요 의사소통 형태로 수화를 사용하고 있으며, 전 세계적으로 사용되는 수화의 종류는 300가지가 넘습니다. 미국에서만 50만 명이 미국 수화를 사용합니다.
따라서 현재 Signapse가 수행하는 작업은 실제로 매우 제한적이며 미국 및 영국 수화를 사용하는 소수의 사람들과 제한된 수직 시나리오만을 다루고 있습니다. 지난 2년 동안 Signapse는 매일 약 5,000개의 영국 수화 교통 안내를 만들었습니다.
Signapse는 앞으로 그들의 서비스가 더욱 보편적이고, 교육 및 기타 시나리오로 확장되고, 더욱 개인화되어 사용자가 가상 수화 통역사의 모양을 맞춤 설정할 수 있기를 바라고 있습니다.
환경과 여건이 AI를 뒷받침하고 있어 국내 주요 제조사들도 비슷한 수화 제품을 내놓고 있다.
Tencent의 Honor of Kings 라이브 방송실과 Huawei 개발자 컨퍼런스에 AI 수화 앵커가 등장했습니다.
2022년 동계 올림픽에서는 CCTV News와 Baidu Intelligent Cloud Xilin이 공동으로 만든 AI 수화 앵커가 출시되었으며 천진 과학기술대학교 청각 장애인 인공 지능 학교가 수화 자료 주석에 참여했습니다.
AI 수화 앵커 뒤에 있는 Baidu Intelligent Cloud Xiling의 AI 수화 플랫폼은 Signapse 영웅과 마찬가지로 병원, 역, 은행 등 다양한 시나리오에서 신속한 수화 번역 요구도 충족할 수 있습니다.
더 원활한 여행, 더 몰입감 넘치는 시청 경험, 더 많은 무장애 서비스…
수화통역의 개선 여지가 바다보다 깊다면 적어도 청각장애인들이 공공정보를 얻는 방식은 AI에 의해 바뀌고 있고, 가시파도 계속해서 높아지고 있다.
수화 세계의 듀오링고 사람들
청각장애인도 음악을 '듣고' 싶나요? 청각 장애가 있는 사람이 텍스트를 읽는 것으로 충분합니까? 이는 듣는 사람의 논리에 따른 전형적인 고려사항이다.
사실 우리는 거꾸로 물어봐야 한다. 청각장애인도 어떻게 음악 축제에 참여한다는 느낌을 가질 수 있는가? 인터넷은 어떻게 청각 장애가 있는 사람들의 서핑을 더욱 즐겁게 만들 수 있습니까?
그러므로 혼잡한 역에 별도의 스크린을 두는 것이 아니라 스크린이 있어야 한다는 것이다.
점점 더 많은 기업과 개인이 기술의 힘을 활용하여 수화를 더욱 관련성 있게 만들고 있습니다.
청각 장애인이 수화를 배우도록 하는 것은 생각하기 쉬운 아이디어 중 하나입니다.
PopSign은 놀면서 수화를 학습하는 앱으로, 구글과 로체스터 공과대학, 조지아 공과대학이 공동 개발한 앱으로, 주요 사용자층은 iOS이다. 청각 장애가 있는 부모의 자녀.
단어 암기는 포기(포기)에서 시작해서 포기로 끝난다는 교훈을 통해 팝사인은 지루한 수화 영상을 재생하지 않고, 미니 게임을 활용해 수화 학습에 대한 흥미와 자신감을 키워주는 것과 같습니다. 미친듯이 체크인을 촉구하는 듀오링고처럼. .
수화계의 '듀오링고'가 되고 싶어하는 SLAIT라는 미국 회사도 있습니다. 또한 몰입형 대화형 강좌와 테스트를 제공하며, 정답을 맞추면 AI 튜터가 실시간 피드백을 제공하고 적절한 정서적 가치를 제공합니다.
하지만 수화를 가르치는 것은 SLAIT의 차선책일 뿐입니다. 그들이 처음에 하고 싶었던 것은 실제로 실시간 영상 채팅과 번역을 위한 AI 수화 도구였습니다.
하지만 밥 없이는 식사를 하기가 어렵습니다. SLAIT는 충분한 데이터나 자금이 없는 소규모 팀입니다. 수화 문장을 직접 번역하는 것에 비해 개별 수화 어휘를 가르치는 것은 더 간단하지만 똑같이 가치가 있습니다.
수화를 해석하는 노력은 부유한 거인들에게 맡겨져 있습니다.
레노버 브라질은 2023년 8월 포르투갈어 수화를 번역하는 AI 기반 실시간 채팅 번역 앱을 개발했으며, 앞으로 전 세계 더 많은 수화를 다룰 계획이다.
청각 장애가 있는 사람이 장치 카메라 앞에서 서명하면 알고리즘이 즉시 이를 포르투갈어 텍스트로 번역하여 상대방 수신자에게 보냅니다.
수화 교육 서비스를 보완하고 청각 장애인이 보다 적극적인 역할을 하고 대화를 더 많이 주도할 수 있도록 하는 도구가 최대한 많이 있어야 합니다.
Google은 보다 제품 지향적이며 2023 Kaggle AI 수화 인식 대회를 시작했습니다.
이번 대회의 주제는 매우 흥미롭습니다. 청각 장애가 있는 사람들의 셀카에서 얻은 3백만 개 이상의 손가락 철자 문자를 기반으로 참가자들은 스마트 카메라를 사용하여 손가락, 손바닥 및 얼굴을 빠르게 추적하는 손가락 철자 모델을 만듭니다.
손가락 철자법은 손가락의 다양한 모양과 위치를 사용하여 글자를 나타내는 수화의 한 유형입니다. 장애가 있는 많은 사람들에게 손가락 맞춤법은 스마트폰의 가상 키보드로 입력하는 것보다 훨씬 빠릅니다.
따라서 수화 인식을 개선하고 손가락 맞춤법 모델을 구축하는 것은 청각 장애인이 타이핑이나 말하기 대신 자신이 더 잘하는 수화를 직접 사용할 수 있도록 하고 검색, 지도, 문자 메시지 등의 기능을 모바일에서 사용할 수 있도록 하는 것입니다. 전화기.
또한 이는 수화를 음성으로 변환하는 애플리케이션을 개발하는 데 도움이 되어 청각 장애가 있는 사람들이 음성을 사용하여 디지털 보조 장치를 호출할 수 없는 문제를 해결하는 데 도움이 될 것입니다.
즉, 많은 음성 우선 제품은 처음부터 말하기에 능숙하지 않은 사용자를 고려하지 않았습니다.
Google의 최고 접근성 연구 제품 관리자인 Sam Sepah는 Forbes와의 인터뷰에서 Google 제품을 사용할 때 수화를 보편적인 언어 옵션으로 만드는 것이 목표라고 언급했습니다.
사실, 수화를 디지털 세계의 보편적 언어로 만드는 것은 전체 인터넷의 목표이기도 합니다.
언어 학습 소프트웨어인 듀오링고는 모든 사람에게 동등한 교육 기회를 제공합니다. AI 수화 제품이 사람들에게 느끼는 점은 있어서는 안 될 제약이 풀리고, 어디에서나 사람들이 서로 소통할 수 있다는 점이다.
AI가 강력해질수록 우리는 인간성을 더욱 소중히 여겨야 합니다
지난 5월 GPT-4o가 출시되었을 때 GPT-4o가 눈 역할을 하여 시각 장애인이 주변 환경을 '볼 수' 있다는 데모 영상이 매우 감동적이었습니다.
시각장애인은 버킹엄 궁전 위로 깃발이 펄럭이고, 강에서 한가로이 놀고 있는 오리들, 곧 택시가 도착할 것이라는 것을 AI의 입에서 알 수 있다.
기술이 새로운 세계의 문을 연다는 속담처럼, 장애인들은 원래 자신들을 위해 설계되지 않은 세상에서 살았다는 것을 반대로 이해할 수 있을까요?
WHO 데이터에 따르면 전 세계적으로 4억 3천만 명의 사람들이 청력 상실을 해결하기 위해 재활 치료가 필요한 것으로 나타났습니다. 미국에서는 청각 장애가 있는 사용자와 미국 수화 통역사의 비율이 약 50대 1입니다.
따라서 현재로서는 AI 수화는 보완적인 역할만 할 뿐, 아직 '일자리를 훔칠' 수준은 아니다.
위에서 언급한 AI 수화 제품은 기본적으로 소규모, 수직형, 특정 지역에 뿌리를 두고 있어 인간 통역사의 접근이 어려운 점을 보완하고 있다.
지난달에는 멋진 AI 수화 제품도 봤습니다.
Rutgers University, Carnegie Mellon University 및 기타 여러 대학의 연구원들은 공개 수화 비디오를 8개 수화를 포함하는 데이터 세트로 처리하고 최초의 다국어 수화 생성 모델인 SignLLM을 교육했습니다.
다양한 수화를 다루고 있으며 텍스트 프롬프트 단어를 통해 수화를 생성할 수 있다는 점이 매우 편리하지 않나요? 그러나 연구진은 시연 영상이 모델의 직접적인 출력이 아니며, 실제로 제작하기에는 여전히 매우 번거롭다고 외부 세계가 과장해서는 안 된다고 말했다.
동시에 일부 청각 장애 전문가들은 이러한 비디오의 수화 번역 품질이 다양하다고 말했습니다. 일부는 절반 정도 이해할 수 있고 일부는 완전히 이해할 수 없으며 표정이 부족합니다. 이 프로젝트는 잠재력이 있지만. 개선될 필요가 있습니다.
가장 중요한 것은 청각장애인 사용자들이 참여하여 의견을 표현하고 공동으로 제품을 개선할 수 있도록 하는 것입니다. "우리의 참여 없이는 우리에 대한 결정이 없기 때문입니다."
미묘한 느낌은 배리어프리 제품을 '섹시'하게 만드는 것이 어렵다는 것입니다.
그들은 대형 모델과 AI 하드웨어의 출시만큼 흥미롭지 않은 경우가 많습니다. 그들은 항상 자신이 어떤 기능을 갖고 있고 누구에게 서비스를 제공하는지 알려주며 미래에 더 잘할 수 있기를 희망하며 "씹을 수 있는 것 이상으로 물지" 않을 것입니다.
그리고 벤처 캐피탈의 눈에는 틈새 시장이고 잠재력이 알려지지 않았으며 투자 수익이 없을 수도 있습니다.
그러나 "AI 대모" Li Feifei는 AI가 사람들을 돕는 것이라고 말한 적이 있습니다. AI가 강력할수록 우리는 인류를 더욱 소중하게 여겨야 합니다.
모두가 비행기를 놓칠까 봐 두려워해서는 안 되고, 모두가 제품과 상호작용할 수 있어야 하며, 모두가 음악 축제를 즐겨야 합니다.
한때 눈에 보이지도, 들리지도 않았던 것들도 기술의 빛으로 밝혀져야 합니다. 더 많은 사람들의 필요를 충족시키고, 더 많은 사람들의 능력을 향상시켜, 우리가 더 많이 얻고 덜 잃을 수 있도록 손가락을 튕겨보자.
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo