공간 오디오에 잠시 시간이 걸립니다. 더욱 실감나는 3D와 같은 청취 경험을 제공하려는 목표는 영화관에서 탄생했을 수도 있지만, 공간 오디오에 관한 대화의 대부분은 음악으로 전환되었습니다. 특히 음악 스트리밍 서비스를 통해 상대적으로 새로운 Dolby Atmos Music 트랙을 사용할 수 있게 되었습니다.
공간 오디오의 매력은 전혀 신비롭지 않습니다. 스테레오 이후 음악을 듣는 최초의 참신한 방법 중 하나와 Apple의 엄청난 마케팅을 결합하면 많은 사람들이 이를 시도하고 싶어하게 됩니다.
그러나 미스터리한 점은 스트리밍 서비스 간 공간 오디오 간에 차이가 있는지 여부입니다. Apple Music과 Amazon Music을 비교해 보세요. 헤드폰은 어떻습니까? 공간 오디오 사운드에 영향을 미치나요?
대답은 '그렇다'입니다. 하지만 아마도 여러분이 생각하는 이유 때문에 그렇지 않을 수도 있습니다. 설명을 위해 헤드폰을 사용하여 공간 오디오를 들을 때 뒤에서 무슨 일이 일어나는지 좀 더 자세히 살펴보겠습니다.
계속하기 전에 공간 오디오 입문서가 무엇인지, 그리고 이를 경험할 수 있는 다양한 방법을 설명합니다.
머리 속 스피커로 가득한 방
Dolby Atmos 와 같은 공간 오디오 형식은 다중 채널 서라운드 사운드 (Dolby Digital을 생각해 보세요)의 확장으로, 방 주위에 배치된 스피커를 통해 영화관 청취 환경을 위해 설계되었습니다. 이 이론적 방에는 전면, 후면, 양면 및 천장이 있습니다.
Dolby Atmos에서 생성된 음악은 9.1 채널의 "베드"로 시작하며 일반적으로 전면(왼쪽, 중앙, 오른쪽), 측면(서라운드 왼쪽/오른쪽), 후면의 스피커에 해당하는 7.1.2 레이아웃으로 구성됩니다. (왼쪽/오른쪽), 천장(왼쪽/오른쪽 높이), 서브우퍼로 전송되는 저주파 효과(LFE) 채널. 다양한 양의 사운드를 생성할 수 있는 이 9개 채널 외에도 Dolby Atmos는 9개 스피커가 커버하는 반구 어디든 자유롭게 이동할 수 있는 최대 118개의 사운드 "객체"를 추가합니다.
헤드폰을 통해 공간 오디오를 들으면 동일한 9.1채널과 118개 개체의 사운드트랙이 들리는데, 이는 역설적으로 보입니다. 머리에 부착된 두 개의 작은 스피커가 어떻게 주위에 배열된 9개의 스피커와 동일한 기능을 수행할 수 있습니까?
당신의 두뇌를 속이는
그 답은 뇌가 소리 정보를 해석하고 반응하는 방식을 연구하는 과학 분야인 음향심리학에서 찾을 수 있습니다. 여기에는 소리 위치 파악(sound localization)이라는 프로세스가 포함됩니다. 즉, 뇌가 소리 신호를 사용하여 소리가 어느 방향에서 나오는지, 소리 소스가 얼마나 가깝거나 멀리 있는지 파악하는 방법입니다.
우리는 음높이와 크기를 합성하여 소리의 위치를 파악합니다. 하지만 가장 큰 단서는 소리가 우리 귀에 전달되는 방식입니다. 우리는 타이밍의 아주 작은 차이에도 극도로 민감합니다. 소리가 오른쪽 귀에 도달하기 단 1000분의 1초 전에 왼쪽 귀에 도달한다면 우리의 뇌는 이를 인지하고 그에 따라 반응할 것입니다.
심리 음향 모델(및 스테레오 헤드폰 세트)을 사용하여 이러한 소리가 각 귀에 도달하는 방식을 신중하게 제어함으로써 실제 소리의 방향과 거리를 시뮬레이션할 수 있습니다.
바이노럴 렌더링
Dolby Atmos와 같은 공간 오디오 형식을 음향 심리학 원리를 사용하여 헤드폰을 통해 전달할 수 있는 사운드 세트로 변환하는 과정을 바이노럴 렌더링이라고 합니다.
헤드폰을 사용하여 Dolby Atmos, DTS:X 또는 Sony 360 Reality Audio(360RA)를 들어보신 적이 있다면 재생 체인의 어느 시점에서 바이노럴 렌더링 소프트웨어 알고리즘을 사용하여 해당 경험을 만들어 보신 적이 있을 것입니다. 5.1 또는 7.1 사운드트랙이 있는 비디오 게임의 경우에도 마찬가지입니다. 이는 THX Spatial Audio 또는 Immerse Gaming Hive 와 같은 기술을 통해 바이노럴로 렌더링될 수 있습니다.
바이노럴 렌더링의 흥미로운 점은 모든 스테레오 헤드폰이나 이어버드 세트에서 작동한다는 것입니다. 유선이든 무선이든, $10 또는 $1,000를 지출했는지 여부에 관계없이 모든 스테레오 헤드셋은 바이노럴 렌더링된 공간 오디오와 호환됩니다. 헤드폰 세트는 "공간 오디오와 작동"한다고 구체적으로 광고할 수 있지만 이는 4개의 자동차 타이어 세트가 "포장 도로와 작동"한다고 말하는 것과 비슷합니다. 모두 그렇습니다.
공간 오디오: 모든 것이 머리 바깥에 있다고요?
이제 바이노럴 렌더링이 오래된 헤드폰 세트를 사용하여 전체 7.1.2채널 사운드 시스템을 듣고 있다고 생각하도록 두뇌를 속일 수 있다는 점을 설명했으므로, 다시 말해 모든 것이 머리 속에 있다는 것입니다. 나 자신과 모순된다. 부분적으로.
우리 각자가 소리 위치 파악 단서를 해석하는 방식은 머리 모양과 많은 관련이 있습니다. 구체적으로 말하면 귀의 모양과 위치입니다. 우리 머리의 생리학은 고막에 도달하는 소리에 고유한 지문(오디오프린트?)을 생성합니다. 두 소리가 똑같지는 않습니다. 유아기 초기부터 우리 뇌는 소리의 위치를 파악하는 능력을 발달시키면서 이 오디오 프린트를 템플릿으로 사용합니다.
수학적으로 설명하고 각 귀로 들어오는 소리를 필터링하는 데 사용되는 경우 이 오디오 프린트는 " 머리 관련 전달 함수 "(HRTF)로 알려져 있습니다.
HRTF가 핵심이다
바이노럴 렌더링을 최대한 실제와 같은 사운드로 만들기 위해 공간 오디오는 HRTF 프로필을 사용하여 처리됩니다.
짐작하셨겠지만, 우리 모두는 고유한 HRTF 프로필을 가지고 있습니다. 이상적인 세계에서는 머리와 상반신을 3D 스캔하고 결과 HRTF 프로필을 Apple Music 또는 Amazon Music(또는 공간 오디오를 지원하는 기타 앱)에 업로드합니다. 그런 다음 각 앱의 바이노럴 렌더링 알고리즘은 해당 HRTF 프로필을 사용하여 우리의 두뇌가 높은 수준의 현실감으로 해석하는 사운드 세트를 생성합니다.
우리는 아직 거기에 도달하지 못했습니다. 업로드 가능한 개인화된 HRTF가 없는 경우 각 공간 오디오 앱은 일반 HRTF를 사용합니다. 이름에서 알 수 있듯이 이러한 일반 HRTF는 수백 개의 개별 HRTF로부터 컴파일되어 소리가 귀에 들어오는 방식에 대한 대략적인 정보를 생성합니다. 개인 HRTF가 이 평균 HRTF와 더 가까울수록 공간 오디오가 더욱 현실감 있게 들립니다.
일반 HRTF는 스테레오 콘텐츠를 공간화하거나 머리 추적 공간 오디오를 개선하는 데에도 사용됩니다. 음악 앱, 무선 헤드폰 또는 무선 이어버드에 공간 사운드 모드가 있는 경우 이를 사용하여 스테레오 사운드에 깊이를 더할 수 있습니다. 헤드폰에 머리 움직임을 추적하는 센서가 내장되어 있으면 머리가 추적하는 공간 오디오를 생성하여 더욱 현실감 있고 방과 같은 청취 경험을 제공할 수 있습니다.
최고의 HRTF를 보유한 사람은 누구입니까?
흥미롭게도 모든 바이노럴 렌더러는 일반 HRTF를 사용하지만 모두 동일한 일반 HRTF를 사용하지는 않습니다. Amazon Music 및 Tidal과 같은 일부 앱은 Dolby에서 제공하는 일반 HRTF(이러한 앱에 포함된 Dolby Atmos 바이노럴 렌더링 엔진에 내장되어 있음)를 사용하는 반면, Apple Music은 Apple에서 개발한 독점 일반 HRTF를 사용합니다.
정의에 따르면, 무선 이어버드 세트가 다른 사람들보다 일부 사람들에게 더 잘 맞는 것과 마찬가지로 모든 일반 HRTF는 다른 사람들보다 일부 사람들에게 더 잘 어울립니다. Apple의 HRTF가 Dolby의 HRTF보다 더 좋게 들리는지 여부는 얼마나 가깝게 일치하는지에 따라 달라집니다. 알 수 있는 유일한 방법은 두 가지를 모두 시도해 보는 것입니다.
현실에 한걸음 더 다가가다: 맞춤형 HRTF
전체 3D 해부학적 스캔은 맞춤형 HRTF의 성배이지만 일부 회사에서는 일반 HRTF를 뛰어넘는 쉬운 방법을 제공하는 중간 단계를 찾아냈습니다. Apple은 해당 버전을 '개인화된 공간 오디오'라고 부릅니다. ” iOS 16 이상을 실행하는 iPhone X 이상(SE 모델 제외)을 사용하는 경우 휴대폰에 내장된 TrueDepth 셀카 카메라를 사용하여 얼굴 전면과 각 귀의 3D 사진을 찍을 수 있습니다. 이는 Apple이 FaceID를 사용하여 휴대폰 잠금을 해제할 때 얼굴을 스캔하는 데 사용하는 것과 동일한 기술입니다.
안타깝게도 이렇게 생성된 개인화된 HRTF는 일부 Apple AirPods 또는 Beats 무선 헤드폰 및 이어버드와 함께만 사용할 수 있습니다. 다른 장치를 사용할 때 공간 오디오를 듣는 방식에는 영향을 미치지 않습니다.
Sony는 Sony Headphones 앱 내에서 비슷한 기능을 수행합니다. 360RA 호환 소니 헤드폰이나 이어버드 세트를 구매하면 각 귀의 사진을 찍어 앱에 업로드할 수 있습니다.
사진은 평가되어 개인화된 HRTF를 생성하는 데 사용됩니다. 이 HRTF는 Sony 360RA 트랙을 스트리밍하는 휴대폰의 음악 앱으로 전송됩니다. 2024년 3월 기준으로 여기에는 Amazon Music, Tidal, Nugs.net 및 PeerTracks가 포함됩니다.
가상 공간 오디오 스튜디오 만들기
헤드폰으로 공간 오디오를 듣는 방법으로 바이노럴 렌더링을 사용하는 것이 멋진 만큼 많은 음악가와 기타 제작자에게 공간 오디오 제작의 필수 부분이 되었습니다.
"머리 속 스피커로 가득 찬 방" 섹션에서 설명한 것처럼 Dolby Atmos와 같은 공간 오디오 형식은 스피커 청취를 위해 만들어졌습니다. 그러나 에코 및 기타 원치 않는 효과를 근절하기 위한 적절한 음향 처리를 갖춘 7.1.2 이상의 스튜디오를 만드는 데는 수천 달러의 비용이 소요될 수 있습니다.
떠오르는 예술가이거나 취미로 공간 오디오를 실험하고 싶은 사람이라면 이는 엄청난 투자가 될 수 있습니다. 하지만 바이노럴 렌더링 덕분에 적절한 헤드폰 세트와 적절한 소프트웨어만 있으면 컴퓨터에 바로 가상 스튜디오가 생깁니다.
가상 스튜디오 소프트웨어의 예로는 Embody의 Immerse Virtual Studio Signature Edition이 있습니다. ProTools와 같은 모든 디지털 오디오 워크스테이션(DAW)과 함께 작동하거나 다양한 다른 소스에서 바이노럴로 렌더링된 공간 오디오를 경험할 수 있는 독립형 방법으로 작동합니다.
Immerse를 사용하면 Hans Zimmer가 그의 상징적인 영화 음악을 다수 마스터한 Alan Myerson의 7.1.6 스튜디오와 그래미상 및 오스카상을 수상한 Lurssen Mastering을 포함하여 가장 유명한 전문 Dolby Atmos 스튜디오 내에서 공간 오디오를 믹싱하는 것이 어떤 것인지 시뮬레이션할 수 있습니다. -7.1.4 스튜디오 우승.
이러한 녹음 공간을 실제로 내부에서 작업하는 것과 같은 방식으로 듣는 비결은 거의 모든 스마트폰을 사용하여 생성할 수 있는 Immerse의 맞춤형 HRTF와 수십 가지 인기 있는 소비자 및 전문가 유선 및 무선 헤드폰을 위한 전용 헤드폰 프로필의 조합입니다. 그리고 이어버드.
이러한 요소는 아티스트에게 공간 오디오 콘텐츠 개발을 위한 최적화된 환경을 제공합니다. 그러나 앞서 논의한 것처럼 대부분의 사람들은 공간 오디오를 듣기에 최적화된 환경을 갖고 있지 않습니다. Embody의 소프트웨어를 사용하면 개인화된 HRTF 유무에 관계없이 다양한 바이노럴 렌더러로 전환할 수 있으므로 일반 청취자가 하는 방식으로 녹음 내용을 들을 수 있습니다. 이 소프트웨어에는 Apple Music의 독점 바이노럴 렌더러가 포함되어 있으며 Tidal 및 Amazon Music에서 사용되는 것과 동일한 일반 HRTF를 사용하여 Dolby 바이노럴을 모니터링하는 데에도 사용할 수 있습니다.
금을 노리러 가다
일반적으로 음반사에서 Apple Music이나 Tidal과 같은 스트리밍 서비스에 Dolby Atmos 트랙을 제공하면 이는 단일 버전일 뿐입니다. 이는 예술가들에게 딜레마를 안겨준다.
해당 버전은 Atmos 스피커 구성을 사용하거나 유사한 공간을 가상화하는 소프트웨어를 사용하여 실제 스튜디오에서 마스터링되었을 가능성이 높습니다. 그러나 위에서 논의한 것처럼 HRTF 및 사용된 특정 바이노럴 렌더러와 같은 변수는 이러한 트랙을 다른 플랫폼에서 들을 때 사운드에 큰 영향을 미칠 수 있습니다.
아티스트는 Amazon Music을 통해 스트리밍하고 일반 HRTF를 사용하여 바이노럴로 렌더링할 때 가장 잘 들리도록 믹스를 조정하고 싶은 유혹을 느낄 수 있습니다. 특히 대부분의 청중이 그렇게 듣게 될 것이라고 믿는 경우에는 더욱 그렇습니다.
그러나 그렇게 하면 전체 7.1.4 Dolby Atmos 사운드 시스템이나 맞춤형 HRTF가 있는 Apple Music에서 사운드가 어떻게 들리는지 타협하게 됩니다.
대부분의 아티스트는 트랙이 출시된 후 스튜디오로 돌아가 리마스터링할 시간이나 돈이 없기 때문에 결정을 내려야 합니다. 가능한 최고의 7.1.4 청취 경험에 최적화된 버전을 만드는 것입니다. 그리고 시간이 지남에 따라 Apple 및 Amazon과 같은 회사가 바이노럴 렌더링과 개인화된 HRTF 지원을 개선함에 따라 헤드폰 경험이 점점 더 좋아질 것이라고 믿습니다. 또는 소리에 미치지 못하는 버전을 만들거나, 오늘날의 청취자를 위한 최적화된 헤드폰 믹스입니다.
분명히 이 결정은 전적으로 아티스트 및/또는 소속사에 달려 있습니다. 그러나Apple의 공간 오디오 현상금 과 같은 프로그램이 음악 업계의 모든 사람들이 단순히 약속된 금전적 보상을 얻기 위해 공간 믹스를 서두르게 만드는 인센티브를 창출할 것이라고 걱정됩니다.
그럼에도 불구하고 우리는 오디오 분야의 흥미로운 시대의 시작점에 서 있습니다. 헤드폰을 사용하든 사용하지 않든 음악이 만들어지는 방식과 우리가 들을 때 들리는 방식을 재정의하게 될 것입니다.