Head related transfer function что это
Как создаётся объёмный звук в кино
Те, кто хоть немного занимался монтажом видео, хотя бы в общих чертах знают, что такое аудиодорожки, панорамирование и так далее. До появления Dolby Atmos звукорежиссёры были вынуждены работать с источниками звука по отдельности, расставляя на каждый канал соответствующую дорожку.
С приходом в 2012 году Dolby Atmos процесс работы изменился — появилась возможность работы со звуком не в плоскости, а в трёхмерном пространстве.
Представьте себе объёмную сферу, в центре этой сферы находитесь вы, а всё остальное пространство звукорежиссёр заполняет аудиообъектами.
Этот термин также появился с выходом Dolby Atmos, так как теперь звукорежиссёры работают не с отдельными каналами, а с объектами, настраивая их положение в трёхмерном пространстве, регулируя высоту и отдалённость от зрителя. Финальное распределение по источникам при воспроизведении теперь производит не человек, а специальный алгоритм в устройствах с поддержкой Dolby Atmos.
Аудиосистемы с этой технологией поддерживают до 128 источников звука. Но может хватить, как мы это поняли выше, и семи источников с двумя динамиками сверху. Фишка кроется в устройстве, которое воспроизводит звук.
Встроенный алгоритм Dolby Atmos знает расположение подключённых динамиков и особым образом самостоятельно распределяет звучание между ними. Это происходит благодаря приписанной к аудиообъектам пространственно-временной информации.
В «классических» 5.1 и 7.1 системах никакого распределительного алгоритма нет — на какой динамик звукорежиссёр выставил дорожку, на таком динамике она и будет звучать. Поэтому в 5.1 или 7.1 увеличение источников звука качественно не поможет, потому что работать будут только пять или семь заданных колонок. В случае с Dolby Atmos ситуация совершенно иная: чем больше источников, тем лучше. Потому и создать нормальный пространственный звук с пятью и семью динамиками невозможно.
Стоп! Если с пятью и семью динамиками добиться всенаправленного объёмного звучания невозможно, как это удаётся провернуть с наушниками? У них же всего два динамика, тогда как производители наушников делают такую «магию»?
Принцип работы
Просмотр видеоконтента с режимом пространственного аудио можно сравнить с просмотром фильмов или сериалов в кинотеатре. Только здесь смартфон выступает в роли киноэкрана и основного источника звука, а все остальные эффекты кружат вокруг вас в зависимости от того, где они находятся на экране. Причём все они закрепляются на своих местах.
Визуализация того, как работает эта функция
Например, если в сюжете присутствует вертолёт, который находится в левой части сцены, то, повернув голову влево, вы ощутите, как будто этот вертолёт оказался перед вами. А говорящие между собой персонажи, которые находятся посередине экрана, сместятся куда-то в правую часть. Если вдруг в фильме начнёт лететь ряд самолётов, вы услышите их гул прямо над головой. Подняв голову звук вертолётов окажется прямо перед вами.
Изменение положения виртуальных источников звука относительно вас происходит благодаря анализу данных с акселерометров наушников и устройства, с которого вы смотрите видео. Устройство выступает в роли «гаранта» и любые смещения относительного него фиксируются акселерометрами наушников и изменяют положение аудиообъектов. Но это ещё не всё.
Подобные «фокусы» в киноиндустрии существуют уже давно благодаря технологиям Dolby Digital 7.1, 5.1 и Dolby Atmos. В кинотеатрах этими источниками звука выступают физические колонки, которые расставлены в соответствии со специальными схемами. В случае с 7.1 звуком, схема расстановки выглядит так:
Три источника звука спереди (один из них основной — фронтальный), ещё один слева, другой справа и по паре источников сзади.
С расстановкой источников по схеме 5.1 чуть проще:
Два сзади и три спереди.
Есть ещё технология Dolby Atmos — она даёт звук не только в плоскости, но ещё сверху и снизу. Более подробно о ней мы поговорим дальше, а схема расстановки источников для Atmos ещё сложнее:
Помимо семи источников вокруг, необходимо также от двух до четырёх излучателей сверху (хотя можно больше). И неплохо добавить ещё пару по бокам.
Как вы понимаете, для создания подобных «комнат» с объёмным звуком нужно большое пространство, специальная подготовка акустики и много чего ещё. Наушники с поддержкой пространственного аудио умеют эмулировать такие же источники звука, только в виртуальном пространстве. Но откуда берётся объёмный звук? Давайте разберём это на примере Dolby Atmos.
Мнения о 8D-аудио
Слушатели оставляют неоднозначные отзывы об аудиозаписях с эффектом 8D. Есть те, кто сравнивает 8D-аудио с концертным звуком. Для некоторых новый эффект подобен явлению АСМР: люди слушают такие записи, чтобы расслабиться перед сном. Есть отзывы и о более необычной реакции на 8D-звуки: кому-то записи помогают избавиться от звона в ушах или боли.
Фото William Brawley / CC BY
Есть и люди, которые выступают с критикой 8D-музыки. В тематическом треде на Hacker News ряд комментаторов отметил, что подобные записи вызывают у них тошноту и головокружение. Вероятно, такая реакция связана с отличиями в HRTF. Усредненная передаточная функция, используемая для микширования 8D-композиций, не подходит для всех, поэтому прослушивание такого контента может вызывать неприятные ощущения.
Диджей и сооснователь музыкального портала Yousic сравнивает 8D-аудио с пинг-понгом, когда голос и мелодия прыгают из уха в ухо. По его словам, это мешает по-настоящему насладиться музыкой.
От 8D-аудио не в восторге и профессиональные звукорежиссёры. Главный саунд-дизайнер студии 740 Sound Крис Пинкстон (Chris Pinkston) тоже считает, что эффект 8D отвлекает от мелодии. Крис говорит, что сам никогда не стал бы использовать его в музыке. Однако по его мнению, популярность 8D-аудио в интернете легко объяснить. Слушатели слишком привыкли к стандартным стереозаписям, и теперь любая пространственная обработка аудио кажется им необычной и привлекательной.
Что такое 8D-музыка
Хочется начать с того, чем 8D-музыка не является. Это не новый музыкальный жанр и даже не новая технология. Это метод постобработки аудиозаписи, когда диджеи берут уже существующий трек и микшируют его, создавая эффект движения звука вокруг слушателя.
По сути, 8D-аудио эмулирует звучание surround-формата Ambisonics. Последний подразумевает, что слушатель находится в центре «акустической сферы», по краям которой расставлены источники звука. Название 8D просто обозначает, что звук поступает с восьми направлений: слева, справа, спереди, сзади, плюс четыре их комбинации.
Сложно сказать, кто является создателем первой 8D-записи. Однако сегодня можно найти большое количество каналов на YouTube, авторы которых выкладывают подобную музыку. Один из самых крупных — 8D Tunes с пятью миллионами подписчиков. А вот пример его работы — 8D-вариант композиции Twenty One Pilots «Nico and the Niners».
Другой пример канала — AviionMusic, у которого сейчас 390 тысяч подписчиков.
Что такое HRTF: прослушивание позиционного звука в играх
Конечно, вы используете его или использовали его, но не знаете, как он называется или что он делает. Это Технология HRTF на английском языке называется «Передаточная функция, связанная с головой» или «Передаточная функция, связанная с головой», и это то, что позволяет нам иметь позиционное аудио в играх , Вы хотите знать, что это такое и как это работает? Здесь мы объясняем это вам.
Не все люди воспринимают звук одинаково, и не из-за того уровня слуха, который мы можем иметь, но также из-за формы и размера головы и ушей, ушей. По этой причине технология HRTF существует, но прежде чем перейти к объяснению, что это такое и как это работает, мы должны сначала объяснить некоторые предыдущие концепции.
Как работает пространственный звук? Объясняем
Пространственное аудио — новый тренд у производителей мобильной техники. Или не совсем новый? На самом деле, производители наушников и раньше успешно делали технику с виртуальным 5.1, 7.1 и пространственным звуком. Одной из самых популярных технологий является THX Spatial Audio, которую лицензировали у себя разные производители. Например, у Razer и Sony есть целое семейство наушников с поддержкой такой особенности.
Правда, это не совсем то, о чём мы с вами привыкли слышать за последний год. Когда Apple добавила функцию Spatial Audio в AirPods Pro и AirPods Max, у пользователей наушников появилась возможность не просто погружаться внутрь виртуальной аудиосцены, но и двигаться внутри неё.
Подобного раньше почти никто не делал, а теперь ещё и Samsung с наушниками Galaxy Buds Pro решили присоединиться. В этом материале вы узнаете, как работает пространственное звучание, что такое Dolby Atmos и как через два наушника можно услышать то, что происходит у вас над головой.
Слух у людей
Люди могут определить происхождение звуков в трех пространственных измерениях, которые мы все знаем. Точно так же мы можем взвесить расстояние, на котором находится звук, благодаря совместной работе мозга, внутреннего уха и внешних ушей.
Слуховая кора получает сигналы от каждого из ушей отдельно в монофонических сигналах отправка их в кортекс ассоциации, где они сравниваются, и в результате получается информация в виде бинаурального сигнала, который объединяет разницу во времени прибытия и разницу в интенсивности. Эти монофонические сигналы происходят от взаимодействия между источником звука и анатомией человека , в котором звук источника изменяется, прежде чем он достигнет слухового прохода для обработки.
Эти модификации кодируют местоположение источника и могут быть захвачены импульсным откликом, который связывает местоположение источника звука и местоположение уха относительно него. Этот импульсный отклик называется «Головной импульс» ( HRIR ) и свертка (это математический оператор, который преобразует две функции в третью, представляющую величину, которую они накладывают) произвольного исходного звука с помощью HRIR преобразует звук, который слушатель прослушал бы, если бы он воспроизводился в исходном местоположении, с ухом слушателя и местоположением приемника.
Что такое HRTF?
Это то, что мы знаем как виртуальный объемный звук , Это функция, которая характеризует, как ухо получает звук из точки в пространстве. Когда звук воздействует на слушателя, плотность головы, а также размер и форма вкладышей изменяют звук и влияют на его восприятие, увеличивая некоторые частоты и ослабляя другие.
Вообще говоря, HRTF увеличивает частоты с 2 до 5 кГц с первичным резонансом от +17 дБ до 2,700 Гц, хотя кривая отклика значительно варьируется от человека к человеку.
В настоящее время HRTF используется для обоих ушей, синтезируя бинауральный звук, который, кажется, исходит из определенной точки пространства (XYZ). Следовательно, передаточная функция, которая описывает, как звук из определенной точки достигнет уха .
Как это работает
Полости в ушной раковине человека имеют свои характеристики резонансов и отражений, которые зависят от частоты звуковой волны и угла её падения. Наш мозг способен замечать эти искажения и определять направление, откуда идет звук. Интенсивность искажений для каждого человека индивидуальна и описывается так называемой передаточной функцией головы (head-related transfer function, или HRTF). Используя фильтрацию, учитывающую передаточную функцию головы, и специальное программное обеспечение, можно создать эффект «перемещения» источника звука «вокруг» слушателя.
Чтобы эффект получился максимально реалистичным, нужно вычислять передаточную функцию для каждого человека индивидуально. Однако музыканты пользуются уже готовыми наборами HRTF, замеренными в безэховой камере (подробно о ней мы писали в одном из предыдущих материалов). Эти наборы легли в основу специальных фильтров для программ обработки звука, например Ambeo Orbit от Sennheiser.
Иногда для имитации расположения источников звука в пространстве при обработке аудио также используется эффект Хааса. Для этого в одном из двух стереоканалов дорожку «задерживают» на 5–30 мс. В результате звук, который достигнет нашего уха первым, будет казаться громче. Это создаст иллюзию перемещения источника звука влево или вправо.
Возможные перспективы 8D
Хотя 8D-аудио остается любительским форматом, некоторые видят возможности его применения в студийной музыке. Например, тот же Крис Пинкстон полагает, что у эффекта 8D есть будущее не в поп-музыке, но в более «эфемерных» эмбиент-жанрах.
В других областях, скажем, в VR-приложениях или фильмах, 8D-аудио, вероятно, не найдет применения. Существует множество технологий объемного звука, способных создать более реалистичное ощущение пространства, например тот же формат Ambisonics, эффект которого эмулирует 8D. Поэтому пока 8D-аудио останется экспериментальным способом создания музыки для узкого круга почитателей подобного звучания.
Дополнительное чтение — наш Мир Hi-Fi и тг-микроформат о звуке:
Восемь аудиотехнологий, которые попадут в зал славы TECnology в 2019 году
Как превратить компьютер в радио, и другие способы извлечь музыку из выч. систем
Звуковая левитация может использоваться в медицине
Симуляция пространственного звука
С пятью и семью динамиками симулировать полноценный пространственный звук действительно невозможно, но вот с двумя наушниками — легко! Есть такая штука, как «бинауральный эффект» — это когда ваш мозг определяет положение источника звука в пространстве.
По умному это называется так: Head Related Transfer Function (HRTF) — «Моделирование функций восприятия звука головой». И это целый раздел в науке, который с точки зрения математики стали изучать с 70-х годов прошлого века. Мы не будем вдаваться в математические формулы — это всё крайне узконаправленно и сложно, будем говорить в целом.
Наше тело является для наших ушей препятствием, которое создаёт «помехи» звучания. Оказывается, такими препятствиями являются нос, голова, волосы, щёки, челюсти и само туловище. Учёные выяснили, что в изменении итогового звучания через телесные препятствия имеются общие закономерности.
К примеру, если звук исходит откуда-то снизу, наши ноги и туловище создают акустическую деформацию звуковой волны. Если источник находится сверху, то препятствием выступает голова и сами уши. Именно благодаря этой деформации, которая «прошивалась» в наше сознание в течение тысяч лет, наш мозг может понять, откуда идёт звук, даже если мы стоим с закрытыми глазами.
Симуляцию таких деформаций как раз и стараются делать производители наушников. Надев AirPods Pro или аналогичные наушники с поддержкой пространственного звука, алгоритм не только определяет положение виртуальных источников звука в зависимости от положения головы, но и накладывает на аудиоволну специальные шероховатости для создания такого «живого» эффекта присутствия.
В интернете есть множество видеороликов с бинауральным звуком, посмотрев которые вы сможете понять суть этого термина и прочувствовать, как это работает. Но при просмотре обязательно наденьте наушники — любые.
Будущее 3D-звука
Сегодня мы поговорим о технологиях, позволяющих расширить область аудиоанализа и получить настоящий 3D-звук. В качестве отправной точки используем рассказ Сандипа Равиндрана, который он опубликовал в своем блоге на Medium.
В нашем блоге на ГТ мы уже успели поговорить о самых разных аспектах работы со звуком. Например. об аудиоанализе с использованием алгоритмов обработки изображений. А еще мы рассказывали об архивной находке, состоящей из более полумиллиона записей. Ряд из них был признан исследователями старейшими медиа-носителями из тех, что дошли до наших дней.
В другом материале анализ рассматриваются с точки зрения математики и программирования: для написания музыки было использовано машинное обучение и цепи Маркова. Звук – удивительная среда, позволяющая получить действительно уникальные результаты. Посмотрим, о чем рассказал Сандип.
Я не могу поверить своим ушам. Я водил обычный серый кубик вокруг головы и был готов поклясться, что слышу, как из него доносится инструментальная музыка – словно это был крошечный динамик. Звуки скрипки внезапно становились очень громкими, когда кубик оказывался близко к уху и затихали, когда он отодвигался подальше.
Если куб располагался позади меня, то казалось, что я повернулся спиной к струнному квартету. Когда я проводил кубиком над головой, по ней пробегали мурашки, и казалось, что музыка играет откуда-то сверху. Но сам по себе кубик безмолвен. Музыка доносилась через наушники, и когда я их снял – вся иллюзия исчезла.
Подобные технологии – история не новая. Их изучением занимается множество исследовательских центров. Сандип говорит об IT-инкубаторе Университета Мэриленда, где работает команда стартапа VisiSonics. В основе системы лежит блок, работающий с пространственными данными. Для корректной работы необходимо получить так называемую передаточную функцию головы (HRTF), что обычно занимает 2-3 часа.
Разработки в этой области интересны для тех, кто занимается решениями виртуальной или дополненной реальности. Например, Oculus Rift, которая лицензировала RealSpace 3D для своего VR-шлема. Конечно, помимо игр есть и другие задачи. Фактически можно заниматься всем, где так или иначе задействованы наушники, но нужно понимать, что технологии, которые применяют в кинотеатрах, работают немного иначе, и речь идет именно о расширении спектра возможностей для мобильных устройств и планшетов.
Одно из первых демо, которое создал Род Хакстон (Rod Haxton), чтобы показать возможности технологии RealSpace 3D
Вернемся к VR. В данном контексте можно проигрывать звук корректно только с учетом положения головы относительно виртуального источника. Этим как раз и занимается ПО VisiSonics, осуществляя расчет в реальном времени. Для полного погружения производятся вычисления для поверхностей, отражающих звук, идущий от источника. Реверберации делают звучание естественным, как говорит Сандип со слов инженеров.
Есть и третий элемент: взаимодействие звука с вашим телом – отражение звука в зависимости от положения тела или передаточная функция головы (HRTF – head-related transfer function). Именно эта технология позволит звуку догнать визуальную составляющую в сфере VR.
Еще одно демо возможностей RealSpace 3D, подготовленное независимым разработчиком с помощью плагинов VisiSonics, помогло мне понять, почему Oculus нужно 3D-аудио. Когда я впервые надел шлем виртуальной реальности, мне сразу же захотелось раствориться в ней.
Я стоял на деревянном мосту, перекинутом через реку, а вокруг росли тропические деревья. Я вертел головой, чтобы рассмотреть буйную растительность этого мира – это ощущение схоже с исследованием богатого окружения компьютерной игры, только в этом случае ты буквально ощущаешь себя её частью, и это ощущение только усиливается со звуком RealSpace 3D.
Демо с использованием Oculus Rift
Первые разработки инженеров Университета Мэриленда были реализованы еще в 1998 году. Они планировали создать искусственную аудиосреду для солдат, утративших зрение. Для этого была изготовлена «аудиокамера», и из этого проекта вырос VisiSonics. Ученые решили применить свои наработки в других сферах деятельности, пытались закрепиться в киноиндустрии, но очень скоро ушли в сторону VR.
Кардинальная перемена фокуса произошла на Конференции разработчиков игр 2014 в Сан-Франциско. «Когда ребята из Oculus попробовали VisiSonics, они захотели купить у нас лицензию, – вспоминает Дураисвами. – По сути, мы устроили засаду на этих парней.».
Что дальше? Инженерам удалось уменьшить время измерения HRTF с 2-3 часов до нескольких десятков секунд, что уже позволяет вести речь о персонализации музыки и восприятия звука с помощью индивидуальной HRTF.
Как работает эта технология?
Связанный механизм варьируется между людьми, так как, как мы объяснили, каждый из них имеет различную форму головы и ушей. Однако эта технология пытается эмулировать среднее значение для человека, чтобы обеспечить максимально точное позиционное аудио.
HRTF описывает, как данный вход звуковой волны, который был параметризован как частота и местоположение источника, предварительно фильтруется (очевидно, звукорежиссерами игры) по дифракционным и отражающим свойствам головы, ушной раковины и туловища, прежде чем звук достигнет трансдукции. Механизм барабанной перепонки и внутреннего уха.
Это кажется сложным, но вкратце это просто означает, что это технология, которая позволяет звукоинженерам параметризировать звук, чтобы указывать, в какой позиции мы должны слушать каждый звук. Между ними есть функция передачи, да, но это тема этих аудиоинженеров и что нам нужно понять это то, что определяет местоположение звука в виртуальном пространстве .
Читайте также: