새로운 iPad Pro가 여전히 독서, 게임, 비디오 시청, 그림 그리기에 가장 적합한 태블릿이라는 점에는 의심의 여지가 없습니다. 하지만 M4 칩, Magic Keyboard, Apple Pencil Pro가 추가되면서 iPad는 그 어느 때보다 노트북에 가까워졌습니다.
그렇다면 아이패드는 앞으로 점차 터치 기능을 갖춘 맥북으로 변해갈 것인가?
대답은 아마도 '아니요'일 것입니다.
최신 iOS 18에서 Apple은 이 "접근성 기능"을 사용하여 iPad 상호 작용의 새로운 미래를 예측합니다.
시선 추적: Vision Pro에서 iPad까지
최근 Apple은 iPadOS 18 운영 체제에 추가된 새로운 "시선 추적" 기능을 발표했습니다. 이 겉보기에는 눈에 띄지 않는 기능이 소개 페이지 상단에 배치되었습니다.
시선 추적에 대해 말하면 많은 사람들은 이전에 Apple이 출시한 Vision Pro를 먼저 생각할 것입니다. 이 장치의 가장 눈에 띄는 기능 중 하나는 시선 추적을 사용하여 기존 핸들을 대체한다는 것입니다.
사용자는 터치나 외부 기기에 의존하지 않고 눈알을 움직여 애플리케이션을 제어하고, 메뉴를 탐색하고, 게임까지 할 수 있어 사용 편의성이 크게 향상되며 인터랙티브 방식의 매력을 발휘합니다.
이는 주로 Vision Pro에 배포된 여러 개의 적외선 카메라와 M2 및 R1 듀얼 칩의 설계에 기인합니다. 이를 통해 이미지 처리 기술을 사용하여 눈 움직임과 관련된 특징을 추출하고 모델을 구축하여 눈 움직임 추적을 달성할 수 있습니다.
▲ Vision Pro 카메라 배포, Apple 사진
얼마 전 출시된 신형 아이패드 프로의 형태에서 중요한 변화는 카메라가 좁은 쪽에서 긴 쪽으로 이동한 것이다.
카메라 모듈의 도트 매트릭스 프로젝터, 투광 조명 센서 요소, 전면 카메라 및 적외선 카메라가 새로운 M4 칩과 결합되어 이제 후속 계획의 기반을 마련하는 것으로 보입니다.
또한 업데이트 설명에는 Apple의 시선 추적 기능이 기기의 머신러닝에 의해 완전히 구현되어 있음이 나와 있습니다. 즉, 추가 하드웨어가 필요하지 않으며 iPadOS 18을 실행하는 모든 기기에서 즉시 사용할 수 있다는 것을 의미합니다.
▲ Bilibili 블로거의 사진: 마이크로컴퓨터 WekiHome
현재 업계에서 인정받는 시선 추적 방법에는 외모 기반 시선 추적과 2차원 매핑 기반 시선 추적이 있습니다.
전자는 특징 추출을 위한 입력으로 주로 얼굴 이미지나 눈 이미지를 사용하고, 머신러닝을 통해 이러한 특징을 시선 방향과 연관시킵니다. 이 방법은 간단하고 카메라만 있으면 되지만 시선 방향을 정확하게 해석하기 위한 정확한 모델을 구축하려면 많은 훈련 데이터가 필요합니다.
바이너리 매핑을 기반으로 한 또 다른 안구 추적 방법은 주로 안구의 상대적 위치 변화와 각막 반사를 분석하여 안구 움직임을 결정합니다.
각막반사점의 위치는 안구가 움직일 때 변하지 않으므로 동공이동의 기준점으로 활용될 수 있으며, 둘의 상대적인 위치 변화를 토대로 구현방향을 계산하게 된다.
보정하는 동안 화면의 특정 지점을 봐야 하며 시스템은 이러한 지점과 눈 데이터를 기록하여 매핑 모델을 구축합니다. 그런 다음 사용자가 다른 곳을 볼 때 시스템은 이 모델을 사용하여 사용자가 보고 있는 위치를 정확히 알 수 있습니다.
▲ 동공-각막 반사 벡터 방식의 모식도, 인터넷 사진
실제로, 이제는 시선추적의 원리가 그다지 복잡하지 않고, 기존의 하드웨어 조건도 충분히 요구사항을 충족할 수 있는 것으로 보입니다. 하지만 사실 애플은 이 기능을 구현하기 위해 오랜 과정을 거쳤습니다.
수년간의 계획의 마지막 단계
이미 수년 전부터 Apple은 시선 추적 분야에 네트워크 관련 인재와 기술을 배치하기 시작했습니다.
2013년에 Apple은 Xbox Kinect에 대한 Microsoft 모션 제어 기술을 지원했던 이스라엘로부터 PrimeSense를 인수했습니다.
▲ PrimeSense 창립자들의 단체 사진
이 회사는 휴대폰, 태블릿 및 기타 장치에 내장할 수 있는 Capri라는 매우 작은 3D 카메라를 출시했습니다. PimeSense가 Google I/O 2013에서 선보인 내용은 다음과 같습니다.
▲ Google Nexus 태블릿에 Capri가 설치되어 있습니다
▲ 카프리는 실제 장면을 3D 모델링해 장면 속 사물의 길이, 너비, 높이 등 구체적인 데이터를 얻는다
▲ AR 기술을 활용해 실제 공간에서 의자 충돌 정보를 시뮬레이션
▲3D 이미지를 3D 프린터로 전송해 3D 프린팅 완성
또한 당시 "세계에서 가장 작은 3D 센싱 칩"으로 알려진 제품도 출시되었습니다. 뛰어난 성능과 컴팩트한 크기로 인해 휴대폰, TV 등 다양한 전자 기기에 탑재할 수 있습니다.
2017년 Apple은 독일의 베테랑 시선 추적 기술 회사인 SensoMotoric Instruments를 인수했습니다. 이 회사는 한때 세계 최대의 시선 추적 장비 제조업체였습니다.
Apple은 "Money Capacity"가 가져온 일련의 시선 추적 하드웨어 및 소프트웨어를 바탕으로 같은 해 처음으로 Face ID에 시선 추적 기능을 사용하여 잠금 해제 보안을 향상시켰습니다.
그 후 몇 년 동안 Apple의 시선 추적 관련 특허 출원이 계속해서 유출되었고 Apple도 계속해서 탐색을 진행했습니다. 이는 Vision Pro의 시선 추적 기반 상호 작용 방법에 기여했을 뿐만 아니라 다른 기기에서도 시선 추적에 대한 끝없는 연구를 불러일으켰습니다. 애플 기기가 가능합니다.
▲ 시선 추적 및 '주의력 감지'에 대한 초기 특허 내용
시선 추적의 미래
전통적인 상호 작용 방법(마우스, 키보드, 터치 등)과 비교하여 시선 추적에는 몇 가지 장점이 있습니다.
- 자연스럽고 직관적: 시선 추적은 인간 눈의 자연스러운 움직임을 사용하여 상호 작용하며 추가 운영 장비가 필요하지 않습니다. 사용자는 해당 작업을 완료하기 위해 대상을 보기만 하면 되며, 이는 학습 비용을 줄이고 상호 작용을 보다 직관적으로 만듭니다.
- 효율성 향상: 눈 근육은 인체에서 가장 빠르게 반응하는 근육 중 하나입니다. 시선 추적을 통해 사용자는 인터페이스 요소를 더 빠르게 선택 및 제어하고, 손 움직임을 줄이고, 작업 속도와 효율성을 향상시킬 수 있습니다.
- 다른 입력 방법과 결합: 시선 추적은 음성 제어 및 제스처 작업과 같은 다른 입력 방법과 결합하여 더욱 풍부하고 유연한 상호 작용 방법을 제공할 수 있습니다.
- 멀티태스킹: 운전, 걷기 등 다른 작업을 수행하거나 동시에 여러 작업을 처리할 때 불필요한 움직임 없이 시선 추적 제어만 사용할 수 있어 작업 효율성이 향상됩니다.
- 데이터 분석 및 개인화: 시선 추적은 사용자의 관심과 관심에 대한 귀중한 데이터를 제공할 수 있습니다. 이 데이터는 인터페이스 디자인, 광고 전달 및 사용자 경험 개인화를 최적화하여 시스템을 더욱 지능적이고 사용자 친화적으로 만드는 데 사용될 수 있습니다.
- 증강 현실(AR): AR 환경에서 시선 추적은 더욱 몰입감 있고 자연스러운 대화형 경험을 제공할 수 있습니다. 사용자는 가상 개체를 보면서 선택하고 조작할 수 있어 사용자 경험이 향상됩니다.
많은 특정 시나리오에서 큰 잠재력을 보여준 것은 바로 이러한 장점 때문입니다.
예를 들어, 많은 게임에서 시선 추적은 보다 편리한 조작을 제공할 뿐만 아니라 플레이어에게 더 나은 몰입감을 제공하여 플레이어가 구현을 통해 게임 내 캐릭터를 제어하고 상호 작용할 수 있게 해줍니다.
▲ 아이트래킹을 이용해 게임을 제어하는 방법, 인터넷에서 가져온 사진
또한, 시선 추적 기능을 구현한 후 개발자는 눈 움직임 데이터를 기반으로 장면 조명, 관점 변경 등 다양한 매개변수를 조정하여 사용자의 개인 시각적 습관에 적응하고 게임 화면을 더욱 현실감 있게 만들 수도 있습니다.
게임 내 사회적 상호 작용은 가상 캐릭터를 사용하여 방향, 깜박임, 눈을 가늘게 뜨는 등 플레이어의 얼굴에 따라 실시간으로 변하는 다양한 동작 상태를 실현하여 캐릭터의 감정 표현을 풍부하게 하고 모든 측면에서 게임 몰입도를 향상시킬 수 있습니다. 상들.
게임뿐만 아니라 이 기술이 일상에 가져올 변화도 더욱 기대해볼 만하다.
Vision Pro 출시 이후 중요한 응용 시나리오는 교육, 의료 및 기타 시나리오입니다. 이는 시선 추적을 구현하는 iPad에도 적용 가능합니다.
파일럿 시뮬레이션 훈련, 수술 시뮬레이션 등 직업 훈련 분야에서는 학생들의 안구 움직임을 추적하여 의사 결정 속도와 정확성을 평가합니다.
시선 추적은 교사에게 학습 중 학생들의 집중력과 이해도에 대한 실시간 피드백을 제공하여 맞춤형 교육 전략을 지정하고 코스 콘텐츠를 개선하는 데 도움이 됩니다.
▲ 비행운전 시뮬레이션 교육장비에 설치된 아이트래킹 장비
집 환경과 같이 시선 추적 상호 작용에 매우 적합한 몇 가지 시나리오도 있습니다. 시선 추적을 통해 iPad는 집을 제어하는 스마트 홈 센터 콘솔이 될 수도 있고, 손에 다른 물건이 있거나 손이 더러울 때 더 나은 대화형 경험을 제공할 수도 있습니다.
시선 추적의 적용 잠재력은 엄청나지만 업계의 일부 사람들은 이 기술의 안전성에 의문을 제기했습니다.
데이터는 사람의 눈 데이터가 사용자의 나이, 성별, 인종, 감정 상태, 성격 특성 등과 같은 다양한 정보를 암시한다는 것을 보여줍니다.
UCLA 기술, 법률 및 정책 연구소의 설립자이자 공동 교수인 John Villasenor는 다음과 같이 말했습니다.
시선 추적 기술이 발전하면 우리가 온라인에서 무엇을 읽는지, 심지어 어떻게 읽는지 등 훨씬 더 많은 정보를 수집하게 됩니다. 예를 들어, 웹페이지 광고를 보고 잠시 고민하다가 결국 클릭하지 못한 적이 있나요? 웹 페이지 전체를 읽을 때 우리의 눈은 어떻게 움직일까요? 우리는 어떤 단어, 문구, 주제를 선호하거나 피합니까? 미래에는 우리 앞에 표시되는 광고는 우리가 무엇을 샀는지 뿐만 아니라 눈알의 움직임 상태에 따라 달라지게 될까요?
▲ 존 빌라세너(John Villasenor) UCLA 전기공학 교수
분명히, 우리가 동공 크기 및 단속 운동과 같은 다양한 차원의 데이터와 결합하여 사용자의 시선 및 초점 선호 기간을 이해할 수 있다면 의심할 여지 없이 "당신이 무엇을 좋아하는지 추측"하는 것이 더 정확할 것이며 개인 정보 보호의 어려움은 더 정확해질 것입니다. 보호 기능도 즉시 업그레이드됩니다.
이와 관련하여 Apple의 대답은 눈 움직임 데이터를 캡처하도록 특별히 설계된 안경과 같은 다른 외부 하드웨어 없이 모든 캡처 및 해석을 장치에 배치하는 것이며 Apple은 카메라로 캡처된 내용을 볼 수 없습니다.
하지만, 이용자들이 개인정보 보호와 보안에 점점 더 관심을 기울이고, 정보 유출이 수시로 발생하고 있는 현 상황에서, 여전히 이용자들의 고민을 해결하기 어려울 수 있으며, 이는 또한 시선 추적 기능을 구현하기가 어렵습니다.
▲ 눈 움직임 데이터를 캡처하는 데 특별히 사용되는 Tobii Pro Glasses 2, Tobii에서 찍은 사진
또한, 다양한 환경에서 시선 추적이 안정적이고 정확하게 작동하도록 하고, 안경을 착용하는 사람이나 특별한 눈 특성을 가진 사람 등에게 적응할 수 있는지에 대한 더 큰 문제가 있습니다.
그리고 사람들의 눈은 종종 매우 빠르게 움직이기 때문에 움직임이 불규칙하거나 불안정한 경우가 많으며, 이는 시선 추적이 해결해야 하는 중요한 문제이기도 합니다.
이 문제에 대해 Apple은 AI를 사용하여 문제를 해결할 수도 있습니다.
Vision Pro 개발을 담당했던 전 Apple 직원 Sterling Crispin은 Twitter에서 Apple이 AI를 사용하여 사용자 작동 행동을 예측하는 등 일부 주요 기능을 개발하기 위해 많은 신경과학을 사용한다고 말한 적이 있습니다.
AI 모델은 사용자가 호기심이 있는지, 주의가 산만해졌는지, 무서워하는지, 집중하는지, 과거 경험을 회상하는지 또는 기타 인지 상태를 예측하려고 시도합니다. 이는 시선 추적 측정을 통해 추론할 수 있습니다.
그는 또한 이것이 주로 다음과 같은 이유 때문이라고 말했습니다.
클릭하기 전에 학생들이 반응하는 이유 중 하나는 클릭한 후에 어떤 일이 일어날 것이라고 예상하기 때문입니다. 따라서 사용자의 눈 동작을 감지하고 예상되는 동공 반응을 더 많이 생성하기 위해 UI를 재설계함으로써 사용자의 뇌를 통한 바이오피드백을 생성할 수 있습니다.
그는 또한 AI 알고리즘과 실시간 피드백을 통합한 이런 종류의 시선 추적 피드백이 "거친 뇌-컴퓨터 인터페이스"를 만들고 있다는 사실이 매우 멋지다고 신나게 말했습니다.
iPad 기능 확장 및 상태 재구성
물론 시선 추적이 '뇌-컴퓨터 인터페이스'가 된다는 설명은 다소 과장될 수 있지만, 상호작용 방식을 확장할 수 있는 잠재력은 숨길 수 없습니다.
아이패드는 처음 탄생했을 때 기대가 컸지만 여전히 많은 사람들이 '구매 후 아이치이'로 평가하고 있다. 근본적인 이유는 상호작용이 부족하기 때문이다.
이런 점에서 애플은 실제로 애플 펜슬과 매직 키보드를 추가하는 등 많은 노력을 기울였는데, 이는 태블릿 상호작용 방식을 풍부하게 하려는 애플의 시도로 어느 정도 볼 수 있다.
하지만 이러한 노력이 아이패드의 당혹스러운 상황을 근본적으로 바꾸지는 못한 것 같다. 결국 키보드를 사용하고 싶다면 그냥 맥북을 선택하면 되지 않을까? 애플 펜슬은 전문 분야에서 아이패드 형태의 잠재력을 탐구했지만, 좁은 전문 분야에 국한되어 아이패드를 살리는 열쇠가 될 수는 없다.
또한 "접근성 기능"에서 새로운 상호 작용을 찾는 것은 항상 Apple이 제품 잠재력을 활용하고 새로운 혁신을 제공하는 중요한 방법이었습니다.
예를 들어 애플워치 시리즈9의 더블클릭 기능은 손을 대지 않고도 손가락 움직임을 감지해 시계를 제어할 수 있다. 출시 이후 많은 유저들에게 호평을 받았지만, '보조기능' 구석에도 숨겨져 있었다. 오랫동안 터치하세요.
시선 추적과 매우 유사한 상호 작용은 실제로 Apple의 "접근성 기능" 목록에 숨겨져 있습니다. 예를 들어 많은 Mac 컴퓨터의 "접근성 기능"에는 "헤드 컨트롤 포인터"가 등장했으며 사용자는 머리를 사용하여 이동할 수 있습니다. 포인터의 움직임을 제어합니다.
iOS 18 업데이트에서는 아이트래킹이 '어시스턴트 터치' 코너에서 무대 중앙으로 옮겨갈 가능성도 높으며, 시간이 지나면 매일 사용하는 중요한 기능이 될 가능성도 크다. 아이패드 인터랙티브 시대.
아마도 아이패드의 미래는 손가락 제어만이 아닌 것 같습니다.
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo