애플은 감각을 속이는 ‘모방게임’을 하고 있다.

제가 가장 관심을 두는 iPad Pro 2024의 특징은 새로운 M4 칩이나 새로운 OLED 화면이 아니라 Apple Pencil Pro와 iPad Pro 2024 사이의 작은 "화학 반응"입니다. Apple을 사용할 때 Pencil Pro가 그림을 그리고 쓸 때 iPad Pro 2024에서는 해당 브러시의 그림자가 화면에 표시되어 사용자에게 Apple Pencil Pro가 현재 어떤 모드에 있는지 알려줍니다.

그 후 누군가가 Apple의 PencilKit 프레임워크에서 이 기능을 위해 Apple이 개발한 10개의 3D 모델을 발견했습니다.

그리고 흥미로운 점은 이 그림자가 단순한 질감이 아니라 현실 세계에서의 Apple Pencil Pro의 위치, 화면과의 거리, 기울기 각도에 따라 그에 따라 변화한다는 점입니다. 한마디로 '진정성'이 강하다는 것입니다. , "공간감" 및 "상호작용성".

이 Apple Pencil Pro에 대한 자세한 정보도 공개되었습니다. Apple은 새로운 촉각 피드백 엔진, 새로운 압력 센서, 자이로스코프 및 U2 칩을 탑재했습니다. iPad Pro에서 실제 글쓰기 경험을 시뮬레이션할 수 있는 가능성이 있으며 Vision Pro와 연결될 가능성도 있습니다.

애플의 모방 게임

Apple은 하드웨어를 통해 실제 감각 경험을 시뮬레이션하는 것을 좋아하는 세계 최고의 회사입니다.

2015년형 MacBook에 탑재된 Taptic Engine은 진동과 촉각의 섬세한 시뮬레이션을 통해 '가짜와 진짜'를 성공적으로 구현했습니다. 아마도 지금까지 많은 사람들은 MacBook의 Force Touch 트랙패드 자체가 "누를 수 없는" 평평한 표면이라는 사실을 아직 모르는 경우가 많습니다.

3D Touch든 현재의 비압력식 Haptic Touch든 iPhone은 이 평면 유리를 사용하여 버튼을 눌렀을 때 딱 맞는 진동 피드백을 통해 반동하는 마법 같은 느낌을 시뮬레이션합니다. 사람들은 그것을 여러 번 누르는 것을 거부할 수 없습니다.

iPhone 7의 홈 버튼과 Apple Watch의 회전 크라운에도 동일한 기술이 사용되어 기계식 버튼과 기어에 매우 가까운 촉감을 구현합니다.

Taptic Engine을 사용하여 사용자의 손가락을 속이는 것 외에도 iOS 14 및 AirPods 장치는 3D 공간에서 다양한 방향의 소리를 시뮬레이션하는 '공간 오디오'와 머리 추적 기술을 생성하여 사용자에게 '실감나는 사운드'를 제공합니다. . 소셜 플랫폼에서 많은 사용자들은 공간 오디오를 켠 후 헤드폰을 착용하면 휴대폰이 밖에서 재생되는 것 같다고 말했습니다.

Apple Pencil Pro 출시 이전에 많은 소식통에서는 Apple이 이 새로운 펜에 새로운 Taptic Engine을 탑재하여 Apple Pencil Pro와 iPad에서도 종이와 펜에 가까운 현실적인 마찰감을 제공할 수 있을 것이라고 예측했습니다.

이것은 약간 "공상과학"처럼 들리지만 사람들이 불합리하다고 느끼지는 않습니다. Apple은 진동 모터를 좋아하고 잘 다루는 제조업체이기 때문입니다. 현재 펜슬은 아직 관련 기능을 구현하지 않았더라도 미래에는 여전히 유망합니다.

사용자의 감각을 속이기 위해 하드웨어를 사용하는 것을 좋아하는 또 다른 회사는 Nintendo입니다.

Nitendo Switch의 Joy-Con 핸들은 "HD 진동" 기술을 지원합니다. 플레이어는 진동 느낌에 따라 "컵에 얼음을 붓는 것"과 "컵에 물을 붓는 것"의 미묘한 차이를 구분할 수 있습니다. Switch Labo 페이퍼 슈트와 결합하여 손잡이에 있는 자이로스코프와 진동 모터를 사용하면 물에서 물고기를 잡는 실제 느낌도 재현할 수 있습니다.

Apple의 진동 마법이든 Nintendo의 Labo 키트 및 컨트롤러이든 "무수한 가능성"을 시뮬레이션하는 데 "하드웨어 하나"가 사용됩니다.

예를 들어, iPhone 7의 Taptic Engine은 홈 버튼과 3D Touch를 시뮬레이션할 뿐만 아니라 비밀번호를 잘못 입력하면 전화기가 "머리를 흔드는" 것처럼 진동할 뿐만 아니라 시스템의 다양한 피드백도 달라집니다. 이 거대한 내부 Taptic Engine이 완성되었습니다.

공간 오디오도 유사합니다. 자이로스코프와 가속도계를 통해 AirPods Max는 공간적 방향 감각으로 복잡한 사운드를 시뮬레이션할 수 있습니다.

Nintendo가 플레이어에게 보다 현실적인 게임 경험을 제공하는 것을 목표로 한다면 Apple의 "모방 게임"은 터치, 청각 및 시각을 포괄하는 광범위한 시뮬레이션입니다.

따라서 Apple Pencil Pro의 투영은 결코 고립된 작은 부활절 달걀이 아닙니다.

Vision Pro 완성 계획

지난해 VisionOS 테스트 과정에서 일부 개발자는 사용자가 Apple Pencil을 쥐었을 때 Vision Pro가 손가락의 집기 동작을 정상적으로 인식하지 못하는 것을 발견했습니다. 그러나 공식 피드백에서는 "이것은 설계된 기능이며 버그가 아닙니다." ." 가시적 인식 Apple Pencil은 이미 Vision Pro에 탑재되어 있을 가능성이 높습니다.

촉각 피드백 엔진, 새로운 압력 센서, 자이로스코프 및 U2 칩과 같은 하드웨어를 추가하면 더 작은 VR 컨트롤러에 가까워지고 논리도 매우 유사합니다.

공교롭게도 로지텍은 메타퀘스트 2, 3용 VR기기용 스타일러스 MX INK를 출시했다.

애플펜슬2보다 10g 더 무거운 이 스타일러스는 기존 스타일러스처럼 혼합현실 환경에서 플랫한 콘텐츠를 생성할 수 있을 뿐만 아니라 3D 공간에서 자유롭게 생성할 수 있도록 6자유도 추적을 지원한다. 버튼이 여러 개 있고 펜촉도 압력에 민감합니다.

그렇다면 Vision Pro에는 펜이 필요한가요? 즉, 눈과 손가락 이외의 "주변 장치"가 필요합니까?

이 열린 질문에 대해 이야기하기 전에 Apple이 WWDC24에서 개발자를 위해 준비한 "매력적인 공간 사진 및 비디오 사용 경험 만들기"와 같은 인기 과학 비디오 시리즈를 살펴볼 수 있습니다.

여기에는 많은 개념적 내용이 언급되어 있습니다. Apple은 입체 비디오 경험을 3D 비디오, 공간 비디오 및 Apple 몰입형 비디오로 나눕니다.

• 3D 영상은 평면 위에 상영되며, 콘텐츠는 우리가 영화관에서 보는 3D 영화와 마찬가지로 깊이감이 있다.
• 공간 영상은 입체감을 갖는 것 외에도 콘텐츠가 사물의 실제 크기에 맞게 조정되고 경계가 흐릿해집니다.
• 몰입형 영상은 사용자를 완전히 둘러싸고 있습니다. 사용자는 영상을 보는 것이 아니라 영상 속에 몰입되어 있습니다.

그 중 '공간 비디오'는 현실 세계에서 사람들의 존재감을 모방할 수 있으며 특정 범위 내에서 시야각을 변경할 수 있는 반면, '몰입형 비디오'는 사용자가 보는 모든 것이 비디오이고 사용자가 됩니다. 동영상 부분의 사용자입니다.

또한 Apple은 추가 요구 사항도 제시했습니다. 예를 들어 몰입형 비디오에는 대화형 3D 콘텐츠가 있어야 합니다.

인기 과학 영상에서도 '공간 메타데이터' 개념이 언급되고, '투영'에 대한 설명도 나온다. 투영은 세상의 사물과 이미지 속 픽셀 사이의 관계를 정의한다.

Apple Pencil Pro의 작은 이스터 에그는 Vision Pro 개발자의 인기 과학 비디오에서도 설명됩니다. Apple은 iPad Pro 2024와 Apple Pencil Pro를 별도의 장치로 간주한 적이 없습니다. 그들은 "프로젝션"을 통해 연결됩니다.

즉, 미래에는 Vision Pro의 가상 세계에서 Apple Pencil이 다양한 모양의 다양한 펜에 '투영'될 수 있다는 것입니다.

Vision Pro는 Apple Pencil Pro에 대한 질문을 설명할 수 있고, Apple은 이 '모방 게임'의 대가로서, 현재의 Vision Pro가 아직 제품 초기 단계에 있으며 이미 출시될 수 있다고 믿을 만한 이유가 있습니다. 상당한 수준의 시각적, 청각적 성능을 달성하지만, 이는 터치 측면에서 충분하지 않습니다. 이는 당연히 Vision Pro에 특별히 개조된 주변 장치가 없다는 사실로 귀결됩니다. Vision Pro를 사용하면 놀라운 결과를 얻을 수 있습니다. 그렇죠?

이제 우리는 진동 엔진, 자이로스코프 및 U2 칩을 갖춘 Apple Pencil Pro가 Vision Pro와 연결되어 잉크 펜과 같은 "다른 모양"으로 화면에 투사될 수도 있다는 것을 거의 확신합니다. 펜은 다른 VR 장치의 컨트롤러처럼 사용될 수 있으며, Saber Beat 게임에서는 광선검으로 변하거나 Harry Potter 시리즈에서는 지팡이로 변할 수 있습니까?

좀 더 상상력을 발휘하면 아마도 Apple이 "포스 피드백 장갑"을 출시할 수도 있습니다. 장갑 전체가 진동 모터로 덮여 있으며 Apple의 조정을 통해 사용자는 Vision Pro가 제공하는 가상 세계를 실제로 "터치"할 수 있습니다.

Vision Pro는 아직 완성되지 않았고 현실을 가상으로 바꾸는 Apple의 "모방 게임"은 아직 끝나지 않았기 때문에 Apple이 이미 Vision Pro에 더 많은 "상호작용"을 추가하는 방법을 생각하고 있다는 것은 거의 확실합니다.

'현실주의'의 중요성

이전 기사에서는 키의 중요성에 대해 논의했습니다. 사용자가 "물리적 성능 없음"을 경험할 수 있는 시나리오인 Vision Pro에 관해서는 상호 작용과 피드백이 더욱 중요하다고 말할 수 있습니다. 기술 잡지 "Wired"의 편집장은 이렇게 말했습니다.

모든 장치에는 상호 작용이 필요합니다. 상호작용이 느껴지지 않는 것이 있으면 손상된 것으로 간주됩니다.

이는 Vision Pro의 첫 경험과 완벽하게 일치했습니다. 어떤 방법이나 위치를 사용해도 클릭하고 싶은 버튼을 클릭할 수 없었고 그것이 Vision Pro의 문제인지도 몰랐습니다. 아니면 내 자신의 문제입니다.

따라서 애플이 3.5mm 헤드폰 잭을 없애고 배터리 용량을 줄여야 한다고 해도 거대한 탭틱 엔진을 위한 공간을 확보해야 한다. 이는 기계적 구조를 버려 부품의 수명을 연장할 뿐만 아니라, 대화형 피드백의 현실성.

진정한 상호작용의 의미는 단순히 기기가 고장났는지 피드백하는 신호가 아닙니다. 더 깊이 들어가 보면 우리는 '버튼' 시대에서 '터치' 시대로 완전히 전환했으며, '에어-터치' 시대에도 진입하고 있습니다. 컨디셔닝 작업' 시대. 미래에는 다양한 작업을 수행하기 위해 더 이상 어떤 장치도 만질 필요가 없을 것입니다. 우리가 해야 할 일은 공중을 가리키거나 음성 제어를 사용하여 원하는 작업을 수행하는 것뿐입니다.

가상과 현실 사이의 이러한 모호한 미래는 우리에게 온갖 종류의 불확실성을 가져올 것입니다. 예를 들어, 당신이 통 속의 뇌가 아니라 살아 있는 사람이라는 것을 어떻게 알 수 있습니까?

아마도 애플의 '모방 게임'은 언젠가는 운영 변화로 완전히 끝나겠지만, 그 전에는 애플이 우리의 손가락과 두뇌를 속이기 위해 어떤 다양한 방법을 구사할 것인지 여전히 기대가 된다.

# aifaner 공식 WeChat 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.

Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo