Aifaner는 '내일의 제품'에 중점을 두고 있습니다. 하드 철학 칼럼은 기술과 매개변수의 가면을 벗고 제품 디자인에 담긴 인간 본성의 근원을 탐구하려고 합니다.
메인 카메라, 망원, 초광각은 모바일 사진의 '3왕'이라고 할 수 있으며, 기본적으로 대부분의 사용자의 일상 촬영 장면에 대처할 수 있습니다. 보다 극단적인 창의적 요구를 충족합니다.
새로 출시된 Huawei Mate 70 Pro 및 Pro+에도 4개의 카메라가 있지만 추가 카메라는 조금 특별합니다. Huawei는 이를 "Red Maple Primary Color Camera"라고 부르는데, 이는 실제로 소형 다중 분광계입니다.
다중 스펙트럼 이미저는 토양 및 수자원 농업, 식품 테스트 등과 같은 보다 전문적인 시나리오에 주로 사용됩니다. 스마트폰 애플리케이션은 드물 뿐만 아니라 Huawei처럼 매개변수가 높은 렌즈는 거의 존재하지 않습니다.
그러나 멀지 않은 미래에 유사한 다중 스펙트럼 센서 모듈이 우리 주변의 더 많은 스마트 장치에 등장하게 될 것입니다.
사진 촬영 시 "색약" 문제 해결
스마트폰 제조업체들이 수년 동안 이미징 기능을 개선해왔고 휴대폰의 카메라 모듈이 점점 더 커지고 볼록해지고 있지만 여전히 해결해야 할 어려운 문제가 있습니다. 바로 색상 복원입니다.
현재 기존 휴대폰 카메라 센서는 일반적으로 빨간색, 녹색, 파란색(RGB)을 캡처하여 특정 범위 내의 색상을 표시합니다. 각 픽셀에는 빨간색, 녹색 또는 파란색이라는 하나의 색상 정보만 있습니다. 색상 관계를 결합하는 알고리즘이 필요합니다. 주변 픽셀의 각 픽셀의 실제 색상을 계산하고 최종적으로 육안으로 보는 장면을 최대한 복원합니다.
▲ 단일 픽셀은 단일 색상의 정보만 기록합니다.
그러나 빨간색, 녹색, 파란색으로 구성된 색상은 사람의 눈에 보이는 색상의 75%에 불과하며, 완성된 필름의 색손실도 상대적으로 크다.
더욱이, "계산"은 알고리즘에 의존하기 때문에 정확성을 완전히 보장할 수 없으며, 더 복잡한 색상 및 조명 환경에서는 알고리즘의 정확성이 더욱 떨어지므로 사진에서 사람들의 피부가 때때로 노랗게 나타나는 것입니다. . 홍반.
색상 캐스트 문제를 해결하기 위해 제조업체는 소프트웨어와 하드웨어라는 두 가지 방향에서 시작하려고 합니다.
컴퓨터 사진 분야에서 큰 성공을 거둔 Google Pixel은 사진의 배경 처리 중에 다양한 인종의 실제 피부 톤을 복원하기 위해 "Real Tone"이라는 색상 알고리즘을 출시했습니다.
많은 제조사들도 완벽한 색상 복원을 추구하는 것이 아니라 100% 복원이 아닌 사진에 더 나은 시각적 느낌을 주기 위해 스타일화된 아이디어를 채택하는 방식으로 트랙을 바꾸려고 노력하고 있습니다.
화웨이는 P20 휴대폰부터 5채널 색온도 센서를 탑재해 왔으며 P50 시리즈에서는 점차 10채널 다중 스펙트럼 색온도 센서로 업그레이드해 일반 RGB 이외의 일부 대역을 포함해 일반 RGB 이외의 대역도 캡처할 수 있다. 가시광선.
그런 다음 XD Fusion Pro의 알고리즘을 통해 가시광선과 비가시광선을 융합하여 더 많은 색상 디테일을 표현합니다.
카메라의 "색상 약점"을 교정하기 위해 다중 채널 다중 스펙트럼 센서를 사용하는 것은 실제로 업계의 주류 솔루션입니다. Vivo와 OPPO는 자사의 주력 제품에 유사한 다중 스펙트럼 색온도 모듈을 장착하려고 했습니다.
간단히 말해서, 이러한 유형의 센서는 특정 파장 대역에서 더 많은 색상을 캡처할 수 있지만 전체 주변광에 대한 전반적인 인식 및 판단만 할 수 있으며 로컬 광원 및 색상 정보를 제공할 수 없으며 이미징 기능도 없습니다.
1.5메가픽셀 레드 메이플 원색 카메라 모듈은 본질적으로 150개의 독립적인 다중 스펙트럼 장비로, 색상 및 이미징 기능에 대한 감도가 더 높습니다. 즉, 2차원 이미지와 크로마토그래피 정보를 동시에 획득하고 기록할 수 있습니다. 기능도 RGB를 훨씬 뛰어넘습니다. 세 가지 색상.
▲ 스펙트리시티(Spectricity)도 비슷한 다중 스펙트럼 카메라를 생산한다
인간의 관점에서 볼 때 Huawei Mate 70 Pro의 메인 카메라, 망원 및 초광각은 일반적으로 고화질 사진을 촬영할 수 있는 반면, 기본 컬러 카메라는 사진의 각 영역의 색상 세부 정보를 구체적으로 기록한 다음 프로세서가 제공합니다. 이 정확한 색상 정보를 바탕으로 정확한 색상 정보를 사진에 담습니다.
하지만 이 높은 매개변수를 갖춘 다중 스펙트럼 카메라의 상한은 그 이상입니다.
휴대폰의 "불꽃의 눈"
서로 다른 재료는 빛을 다르게 흡수하고 반사하며 서로 다른 스펙트럼을 나타냅니다.
간단히 말해서, 서로 다른 물질은 서로 다른 "색상"을 나타내며 일부는 육안으로 볼 수 있고 일부는 다중 스펙트럼 카메라로 캡처해야 합니다.
이러한 스펙트럼을 통해 물질의 현재 특성과 상태를 유추할 수 있으므로 환경 모니터링, 농업, 임업 및 축산업, 의료 진단, 화학 분석, 범죄 수사 등 전문 분야에서 다중 분광계가 자주 등장합니다.
관련 업계 관계자는 Aifaner에 업계 스펙트럼 모듈의 최대 픽셀 수가 200만 개에 달할 수 있으며 Huawei Mate 70 시리즈의 다중 스펙트럼 카메라는 150만 픽셀에 도달했다고 말했습니다.
이러한 특성은 위에서 언급한 전문 분야에는 적용되지 않을 수 있지만 화웨이가 타사 인터페이스를 기꺼이 개방한다면 소비자를 위해 출시된 Mate 70에 더 많은 가능성을 창출할 수 있습니다.
예를 들어, 우리는 야채 시장에서 구매하는 농산물을 휴대폰의 다중 분광계를 사용하여 스캔할 수 있습니다. 육안으로 직접 볼 수 없는 농약 잔류물도 다양한 스펙트럼 특성으로 인해 다중 스펙트럼 카메라로 감지됩니다. 같은 방식으로 종이 타월의 형광 물질을 검출하는 데에도 사용할 수 있습니다.
▲초분광 카메라를 사용해 곰팡이가 핀 자두와 이물질 식별, 출처: advian
예를 들어 멀티분광기를 통해 피부 상태를 촬영해 피부 건조, 가벼움, 칙칙함, 잡티 등의 문제점을 사전에 감지해 피부 관리를 할 수도 있다.
혈액에서 나타나는 근적외선 및 중적외선 스펙트럼은 이론적으로 분광계로 인식할 수 있으므로 Huawei Mate 70 시리즈로 '셀카'를 찍어 신체의 혈당, 혈중 산소 및 기타 지표를 대략적으로 모니터링하는 것이 가능합니다.
간단히 말해서, 이 다중 스펙트럼 카메라는 물체를 "보는 것"만으로도 "원래의 모습을 드러내게" 할 수 있는 Sun Wukong의 "Fire Eyes"와 정말 같습니다.
AI의 경우 이는 확실히 탐나는 기능입니다.
현재 AI 비서와 외부 세계 간의 상호 작용 방식은 주로 카메라를 사용해 이미지를 캡처한 후 분석하는 것입니다. 그러나 평면도의 정보는 제한적이며 AI가 더 확장된 해석을 수행하기 어렵습니다.
▲ 아이폰16 '비주얼 인텔리전스'
그리고 다중 모드 AI가 다중 스펙트럼 카메라를 호출할 수 있다면 얻을 수 있는 외부 정보를 크게 풍부하게 할 수 있습니다. 예를 들어, AI는 냉장고를 '보는' 방식으로 스펙트럼 특성을 기반으로 재료의 신선도를 분석하고 보다 적절하고 상세한 저녁 레시피를 제안할 수 있습니다.
휴대폰에서 뛰어내려 스마트홈의 스펙트럼 카메라까지 오면서 발전할 여지도 넓다. 재료의 상태를 지능적으로 판단할 수 있는 오븐을 상상해보세요. 사용자는 온도와 시간을 수동으로 설정할 필요 없이 최적의 조리 방법을 결정할 수 있습니다.
지능적인 식별을 위해 강아지 사진을 휴대폰으로 찍는 것은 비판을 받을 수 있지만, 빠른 피부 질환 테스트를 위해 강아지 사진을 찍을 수 있다면 정말 인생이 바뀔 것입니다.
더 많은 기기 출시 예정
왜 이렇게 유용한 다중분광계가 오늘날까지 우리 휴대폰에 등장하지 않았습니까?
기존 다중 스펙트럼 계측기의 크기와 무게는 실제로 휴대폰 카메라 모듈 수준으로 압축할 수 없습니다. 다중 분광기에서 분광 측정에 사용되는 핵심 장치인 격자는 크기를 줄이기 어렵고, 스펙트럼 범위를 확장하기 위해 장비에 여러 개의 격자를 배치해야 하는 경우도 있습니다.
▲ 중앙에 격자가 있는 분광계의 개략도
국내 광학 회사인 Qiushi Spectroscopy는 물리적 분광 부품을 대체하기 위한 알고리즘 사용을 모색하고 있으며 분광계 크기를 성공적으로 줄일 수 있습니다.
▲ 진정한 스펙트럼을 추구하는 다중 스펙트럼 카메라
다중 스펙트럼 카메라를 스마트폰에 도입하는 것을 방해하는 또 다른 요인은 컴퓨팅 성능입니다. 휴대폰 셔터를 누르면 프로세서가 사진 처리를 완료하기 위해 세부 스펙트럼 정보를 사용해야 합니다. 휴대폰 길이가 매우 길어서 촬영 경험에 심각한 영향을 미칩니다.
CPU, GPU, NPU(AI 프로세서)를 통합한 휴대폰 프로세서의 성능이 지속적으로 혁신되면서 이 문제가 해결되었습니다.
2022년, Huawei Hubble은 Qiushi Spectrum Company에 투자했습니다. 2년 후인 오늘, 150만 화소 다중 분광계를 탑재한 최초의 스마트폰인 Huawei Mate 70 시리즈가 탄생했습니다.
그러나 화웨이는 이번에는 오랫동안 선두를 달리지 못할 것입니다. 실제로 해외에서는 이미 모바일 장치에 다중 스펙트럼 칩을 도입하기 위해 유사한 경로를 모색하고 있습니다.
Spectricity라는 벨기에 회사는 2023년 스마트폰 전용 다중 스펙트럼 센서 S1을 출시했습니다. 원리와 효과는 레드 메이플 원색 카메라와 유사하며 휴대폰 카메라의 색상 정확도를 향상시킬 수도 있습니다.
▲ 스펙트리시티의 다중 스펙트럼 카메라 모듈
올해 Spectricity는 Qualcomm Snapdragon 플랫폼을 위한 우수한 스펙트럼 이미지 센서 제품 개발을 목표로 Qualcomm과 파트너십을 발표했습니다.
현재 S1을 탑재한 소비자 휴대폰 제품은 출시되지 않았지만 Spectricity는 중국 브랜드를 포함한 여러 휴대폰 제조업체와 협력을 맺었으며 관련 제품이 곧 출시될 것이라고 밝혔습니다.
아마도 내년에는 아직 대중에게 다소 생소한 이 센서가 각종 플래그십 휴대폰 출시 행사에 자주 등장하며 또 하나의 새로운 셀링 포인트가 될 것입니다.
소비자에게 이 카메라는 보다 정확한 색상으로 사진을 찍을 수 있다는 것을 의미할 뿐만 아니라 인간과 컴퓨터의 상호 작용에 혁명을 일으킬 수 있는 새로운 가능성을 담고 있습니다.
참고 기사:
"화웨이 메이트 역사상 가장 빛나는 '눈', 스펙트럼 카메라"
"분광이미징, 휴대폰 AI 이미징의 새로운 시대를 열다"
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo