파리에 본사를 둔 Prophesee는 작년에 스마트폰 카메라용 사내 이벤트 기반 Metavision 센서 기술을 선보이며 큰 반향을 불러일으켰습니다. 스택의 핵심 아이디어는 흐릿한 이미지를 과거의 일로 만들어 개발 단계에서 몇 가지 인상적인 결과를 보여주는 것이었습니다.
MWC 2024 에서는 Qualcomm과의 파트너십을 통해 또 하나의 큰 진전을 이루었습니다. 뉴로모픽 비전 시스템 분야에서 진지한 작업을 수행하고 있는 이 회사는 Metavision 센서 기술이 이제 생산 단계에 도달했다고 발표했습니다.
Prophesee는 Digital Trends에 Qualcomm의 최고급 Snapdragon 8 Gen 3 칩셋 이 제공하는 맞춤형 소프트웨어 튜닝 및 화력을 활용하는 센서를 Sony와 협력하여 개발했다고 밝혔습니다. 기본적인 수준에서 Metavision 센서는 이미지 센서와 함께 마이크로초 속도로 시각적 데이터 격차를 채워 칠흑같이 어두운 상황과 극도로 밝은 상황 모두에서 흔들림 없는 이미지를 위한 문을 열어줍니다.
“Prophesee의 특허받은 Metavision 센서와 AI는 인간의 눈과 뇌가 작동하는 방식을 모방합니다.”라고 회사는 말합니다. MetaVision 센서 기술의 이벤트 기반 접근 방식은 모션 블러 제거 기능을 사용하여 최종 결과에 움직임으로 인해 발생하는 흐릿함의 징후가 표시되지 않도록 합니다.
Prophesee가 흐릿한 사진을 없애려고 하는 방법
대부분의 스마트폰 카메라, 심지어 최고급 플래그십 카메라도 빠르게 움직이는 물체로 인해 적절한 초점 잠금을 유지하지 못하는 데 어려움을 겪습니다. 결과적으로 이미지는 제자리에 있지 않게 보일 뿐만 아니라 모션 아티팩트 때문에 거의 쓸모가 없게 됩니다.
모션 블러는 까다로운 조명 상황이나 멀티프레임 노이즈 감소와 같은 솔루션이 진정한 잠재력을 발휘하지 못하는 밤에 특히 두드러집니다. Prophesee는 "빠르게 움직이는 저조도 장면"에서 "전례 없는 수준"의 화질을 제공한다고 주장합니다.
노출 창에 따라 빛의 양이 달라지는 일반적인 스마트폰 카메라 센서와 달리 Metavision 센서는 "영구 노출 시간"을 활용하여 움직임을 지속적으로 포착합니다. "이것은 마치 휴대폰에 초당 10,000개의 이미지를 담는 카메라가 있는 것과 같습니다"라고 회사는 주장합니다.
Prophesee는 Sony와 공동 개발한 맞춤형 센서를 제공하는 것 외에도 소프트웨어 스택 및 그에 수반되는 통합 서비스에도 동일한 관심을 기울이고 있습니다. “Metavision Deblur 소프트웨어는 이제 생산 단계에 도달했습니다. 우리는 휴대폰에 HW와 SW를 모두 통합하고 있습니다.”라고 회사는 Digital Trends에 말합니다.
아이디어는 스마트폰 업계의 플레이어에게 원활한 경험을 제공하여 전체 Metavision 하드웨어 및 소프트웨어 키트를 각자의 Snapdragon 기반 장치에 배포하는 것입니다. 특히, 기본적인 화력, 고급 ISP 및 차세대 AI 기능으로 인해 주력 제품인 Snapdragon 8 Gen 3 실리콘에 기준선이 설정되었습니다.
스마트폰 카메라의 흥미로운 미래
Prophesee의 솔루션은 Sony IMX636 모바일 카메라 센서에서 완벽하게 작동하는 상태입니다. 현재 이 기술은 휴대폰의 기본 카메라에 대해서만 테스트되었습니다. 그러나 회사는 Digital Trends에 Metavision 센서의 향후 반복이 초광각 및 망원 유형 센서를 포함한 여러 센서에 대한 지원을 모색하고 있다고 말합니다.
현재 상태에서 Prophesee의 이벤트 기반 센서는 흐림 없는 정지 이미지를 생성하는 마법을 사용할 수 있습니다. 하지만 회사에서는 비디오 지원도 향후 로드맵에 포함되어 있다고 말합니다.
Prophesee 대변인은 Digital Trends에 "다양한 사용 사례에서 동작을 캡처하고 처리하는 데 사용되는 주로 비디오 감지 플랫폼입니다."라고 말했습니다. 회사는 상용 스마트폰에서 Metavision 센서가 작동하는 모습을 정확히 언제 볼 수 있는지 명시하지 않았습니다. 긍정적인 점은 Qualcomm Snapdragon 8 Gen 3으로 구동되는 휴대폰이 이미 시장에 나와 있으며 Metavision 포트폴리오가 현재 생산 준비 단계에 있으므로 오래 기다리지 않아야 한다는 것입니다.
Prophesee가 지금까지 데모에서 보여준 것에서 Metavision 센서가 이러한 약속을 이행한다면 일반 사용자가 셔터 속도 및 기타 매개 변수를 조정하여 흐림 현상을 방지해야 하는 부담을 느끼지 않는 스마트폰 사진의 완전히 새로운 장을 열 수 있습니다. 영화. 그리고 그것은 생각해 보면 매우 흥미로운 미래입니다.