Что такое апскейлинг в телевизоре
Проблема в том, что обычно в проекте используются разные разрешения клипов, особенно при работе с 4K. Возможно, у вас есть архивные кадры с более низким разрешением, или, может быть, однажды одна камера была настроена на неправильное разрешение. Может быть, вы работаете с HD и слышали, что есть преимущества в загрузке 4K на YouTube, и хотите упредить все это. Вопрос в том, можно ли сделать это качественнее, чем просто увеличение? Все NLE (программы монтажа) по умолчанию используют простое масштабирование — это не требует интенсивного использования процессора и поэтому не мешает вашему редактированию. Но когда дело доходит до реализации вашего проекта, какие есть варианты?
Улучшение, Улучшение
Но в последние несколько лет ИИ вступил в эту гонку с заявлением о том, что действительно пытается вернуть недостающее разрешение. Улучшенное масштабирование или супер-масштабирование теперь есть в Davinci Resolve, Adobe Camera Raw, Topaz Video Enhance AI и на различных онлайн-сайтах, таких как Pixop , а также во всем мире вариантов с открытым исходным кодом (если умеет в программирование) Я недавно редактировал документальный фильм об ИИ, и это была быстрая кривая обучения, пытаясь разобраться в этой теме, и не немного страшно видеть, насколько далеко она заходит и как быстро она проникает во все сферы жизни (с Facebook является хорошо известным примером). Это быстро развивающаяся область во многих отраслях, не в последнюю очередь постпродакшн. У Adobe есть довольно далеко идущие сенсеи программа, например, и Nvidia все время идет вперед, наращивая масштабирование в играх с помощью DLSS и своего медиаплеера Shield . Способы его использования появляются все время, например, синхронизация губ, управляемая ИИ .
ИИ/AI для апскейлинга
Тестирование
Я решил провести два типовых теста, сравнивая различные варианты друг с другом. Конечно, в идеале вы бы протестировали их на разных типах отснятого материала, и я бы посоветовал вам сделать это, если у вас будет время. Я сужу их на глаз и, конечно, это мое субъективное мнение. Различия незначительны, но, на мой взгляд, значительны. Я ищу, чтобы обработанный файл был как можно ближе к оригиналу — с минимальными артефактами, как можно более резким, но без цифровой резкости. Здесь видео и фотография расходятся — скриншоты из фильмов никогда не должны выглядеть столь же резкими, как фотография.
Тест 1 — 2х-кратное повышение разрешения от 1080p до 4K UHD
Я взял 10-секундный клип без оценки из недавней съемки, снятый в разрешении 4K UHD на Blackmagic Pocket 4K. Затем я экспортировал его в 1080p и увеличил масштаб этого клипа до 4K UHD с различными претендентами и смотрю на один кадр из этого клипа. Я использую Adobe Premiere для сопоставления клипов.
А вот точное 100% кадрирование по сравнению с оригиналом с простым 200% увеличением:
original vs simple 200% zoom
А вот таблица лидеров по качеству:
- Adobe Camera Raw
- Topaz Video Enhance AI
- Pixop
- Топаз Гигапиксельный AI
- Алхимик
- Davinci Resolve Super Scale
- Повышение разрешения с сохранением деталей в After Effects
1. Adobe Camera Raw
Original vs Adobe Camera Raw
2. Topaz Video Enhance AI
Второе место занимает Topaz Video Enhance AI. В этом двукратном тесте я обнаружил, что Artemis High Quality работает лучше всего. Я обнаружил, что при загрузке видеоклипа он не соответствовал цвету в клипе (не для начала), тогда как с последовательностью изображений это было нормально. Кроме того, это очень и очень медленная работа с аппаратным обеспечением. Он имеет возможность подмешивать небольшое количество зернистости пленки, что хорошо работает.
3. Pixop
На третьем месте был Pixop — на мой взгляд, немного ниже по качеству от Topaz. Однако это модель оплаты по факту использования, и обработка данных выполняется в облаке — и то, и другое подойдет некоторым людям лучше.
4. Topaz Gigapixel AI.
Original vs Topaz Gigapixel AI
Я поставил Gigapixel AI Topaz (который предназначен для фотографий) на четвертое место просто потому, что я считаю его слишком резким, и я не видел способа отключить его в программном обеспечении, хотя это может измениться в будущих версиях. Я видел, как некоторые люди использовали это для хорошего эффекта с видео.
5. Алхимик (Alchemist)
У него есть встроенный движок под названием Quasar, в котором говорится, что все дело в апскейлинге, но в моем тесте он был идентичен стандартному движку. Программное обеспечение разработано ( и имеет цену! ) Для работы на магнитофоне в машинном отделении — это то, что у вас есть на почте, и вы платите им за использование.
6. DaVinci Resolve Super Scale
На шестом месте у меня есть функция Super Scale Davinci Resolve (найденная с помощью атрибутов клипа на отдельном клипе), которую я тестировал на версиях 16 и 17, и она была идентична для обеих. Я разочарован качеством, которое дает Resolve, особенно потому, что BMD требует машинного обучения для этого эффекта. Я вижу артефакты вокруг глаз, и это выглядит не очень реально. Тем не менее, это лучше, чем простое масштабирование, и большим преимуществом является гораздо более простой рабочий процесс, если вы заканчиваете в Resolve. А хороший колорист сделает другие вещи, чтобы скрыть артефакты.
7. Повышение разрешения с сохранением деталей в After Effects
На седьмом месте у меня эффект After Effect, сохраняющий детализацию, Upscale, который, если вы заканчиваете в Premiere, имеет такой же простой рабочий процесс, но опять же не конкурирует по качеству, хотя его стоит использовать, а не простое масштабирование.
Тест 2 — 3х-кратное повышение разрешения от 720p до 4K UHD
В этом тесте было задействовано больше программных конкурентов, с 3-кратным зумом, необходимым для повышения разрешения с 720p до 4K UHD. Результаты были аналогичными, но таблица лидеров немного перетасовывалась, и Топаз переместился на вершину.
Главное здесь то, что Adobe Camera Raw не позволяет делать это двукратное сверхмасштабирование дважды. Конечно, это можно обойти, и я пробовал это, но второй файл, хотя и в два раза больше пикселей, был идентичен по качеству.
- Topaz Video Enhance AI
- Топаз Гигапиксельный AI
- Adobe Camera Raw
- Алхимик
- Pixop
- Davinci Resolve SuperScale
- Повышение разрешения с сохранением деталей в After Effects
1. Topaz Video Enhance AI
Topaz Video Enhance AI был здесь очень впечатляющим с очень полезным изображением даже на 300%. Я обнаружил, что на этот раз пресет Gaia работал лучше, и в целом я считаю, что вам действительно нужно прослушать пресеты для любого конкретного клипа, чтобы увидеть, какой из них работает лучше всего (к сожалению, это очень медленно).
2. Topaz Gigapixel AI.
Несмотря на то, что оно предназначено для фотографий, я обнаружил, что другое программное обеспечение Topaz было вторым лучшим вариантом (и если они предложат возможность отключения элементов управления резкостью, оно может побороться за первое место).
3. Adobe Camera Raw
Главное здесь то, что Adobe Camera Raw не позволяет делать это двукратное сверхмасштабирование дважды. Конечно, это можно обойти, и я пробовал это, но второй файл, хотя и в два раза больше пикселей, был идентичен по качеству.
4. Алхимик
Здесь наблюдается заметное падение резкости, и вы можете усомниться в пятне номер четыре. Причина, по которой он у меня здесь, заключается в том, что, хотя он и мягче, но по крайней мере не имеет отвлекающих артефактов,
5. Pixop
Хотя он довольно резкий, я обнаружил, что с помощью Pixop артефакты вокруг глаз и на коже отвлекают.
6. Davinci Resolve SuperScale
В том же духе артефакты Davinci Resolve были еще хуже, и мне было трудно выбрать между ним и After Effects.
7. After Effects с сохранением деталей в высоком разрешении
After Effects выходит немного мягче, чем Pixop, но с немного худшими артефактами.
Резюме
В общем, это случай, когда нет боли — нет выгоды. Безусловно, проще всего работать с Davinci Resolve, если вы заканчиваете в нем, и After Effects, если заканчиваете в Premiere. Adobe Camera Raw, вероятно, слишком сложный рабочий процесс для большинства из них. В некоторых машинных залах есть Alchemist в аппаратном или программном обеспечении, и это отличный вариант. Но мне лучше всего смотреть на специальные инструменты AI от Topaz и онлайн-провайдеров, таких как Pixop. ИИ уже дает замечательные результаты, и одна из главных особенностей этого заключается в том, что он должен улучшаться с каждым годом. Эти компании будут тренировать свои алгоритмы каждый день, и самое интересное и пугающее заключается в том, что через некоторое время они будут достаточно умны, чтобы обучать себя.
Автор оригинальной статьи — Nick Lear
если вам нужно оборудование под заказа — 3д печать, эпл бокс в Краснодаре и всему миру вот ещё наши ресрусы
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
На IFA 2018 Samsung Electronics представила QLED телевизор с разрешением экрана 8K. Сегодня он доступен во многих странах мира, и эксперты и пользователи отмечают невероятно реалистичное изображение телевизора, потрясающий звук и широкие возможности искусственного интеллекта, реализованные в новинке.
Что отличает QLED 8K от других 8K телевизоров? Технология интеллектуального масштабирования 8K AI Upscaling, использующая машинное обучение для улучшения качества исходного изображения более низкого разрешения до разрешения 8K. На QLED экране с 3 миллионами пикселей можно смотреть в максимальном качестве не только контент, изначально отснятый в формате 8K, но и видео с разрешением от SD до 4K.
Реалистичное изображение с невероятно высокой детализацией
Видео в 4K (слева) и улучшенное до 8K (справа): 8K изображение выглядит реалистичнее за счёт более высокой детализации.
8K AI Upscaling — технология, позволяющая пользователям смотреть контент, снятый в разрешениях SD, FHD или UHD, в сверхвысоком разрешении 8K (7680×4320). Воспроизведение видео в низком качестве на других HD-экранах может привести к пикселизации, размытию, а значит общей потере качества и, как результат, испорченным впечатлениям от просмотра. Для демонстрации разницы между улучшенным и исходным контентом изображение на 75-дюймовом QLED 8K Q900R сравнили с изображением на 75-дюймовом QLED 4K Q9F. Это позволило наглядно показать, как картинка на экране первого телевизора, улучшенная с помощью масштабирования, практически сравнима по качеству с разрешением 8К, даже если исходное изображение было в формате 4К или ниже.
В основе технологии интеллектуального масштабирования лежит комплексная оптимизация различных параметров, таких как свет, цвет и контуры объектов, что позволяет получить более детализированное и реалистичное изображение. Результат получается близким к оригиналу, насколько это возможно, и герои на экране выглядят так естественно, что зрителю нетрудно представить себя участником происходящего.
Глядя на улучшенные изображения, представленные выше, можно различить даже отдельные листья на деревьях на переднем плане, они выглядят более объёмными и настоящими. Интеллектуальный алгоритм подчеркнул каждый элемент рельефа гор и выделил их на фоне травы. Каждая мельчайшая деталь обработана так тщательно, что зритель буквально погружается в пейзаж.
Реальность 8K
Так как человеческий мозг распознаёт больше деталей в объектах, которые расположены ближе, технология 8K AI Upscaling подстраивает изображение, обеспечивая ощущение объёма и перспективы. Если внимательно посмотреть на фотографии выше, то можно заметить, что на улучшенной до разрешения 8K картинке листья деревьев на переднем плане видны с мельчайшими деталями, так же, как они выглядели бы, если находились на расстоянии вытянутой руки от зрителя. Проще говоря, достраивая изображение до более высокого разрешения, алгоритм моделирует восприятие человеческого глаза, исключая любую нерезкость или размытие. Максимальная яркость 4000 нит при этом позволяет с точностью воспроизводить контент при любых условиях внешнего освещения.
Высокая чёткость отображения текста
Видео в формате HD (слева) и видео, масштабированное до 8K (справа) с более чёткими линиями букв
Более глубокий чёрный цвет и полное погружение в контент
Видео 4K (слева) и улучшенное е до 8K видео (справа): на втором видео заметно гораздо больше деталей за счёт корректировки контраста
Технология 8K AI Upscaling повышает контраст на тёмных участках, делая его более детализированным и естественным по сравнению с оригиналом. Чтобы предотвратить потерю деталей на тёмных участках изображения, что часто происходит на видео с низким разрешением, интеллектуальный алгоритм анализирует тёмные участки и подбирает уровень контраста, который обеспечивает передачу идеального чёрного цвета. Качество отображения глубокого чёрного соответствует разрешению 8K. Разница между исходным изображением и результатом работы интеллектуального алгоритма хорошо заметна.
Непрерывно обучающийся интеллектуальный алгоритм
При разработке телевизоров QLED 8K и технологии 8K AI Upscaling команда Samsung стремилась добиться качества воспроизведения, максимально приближенного к оригиналу.
Технология масштабирования изображения основана на искусственном интеллекте и машинном обучении, поэтому она повышает свои возможности по мере использования, демонстрируя лучшие результаты с каждым новым обработанным видео. При этом уже с первого просмотра телевизоры QLED 8K обеспечивают максимально комфортную цветопередачу, контраст и отличное воспроизведение текстур.
Замкнутый круг
С учетом малого объема предложения получается замкнутый круг: массовый потребитель не готов платить за 4К-телеканалы и отдельные тайтлы, сетуя на малый объем доступного в этом формате контента, а вещатели и дистрибьюторы отказываются его закупать, объясняя это низким спросом, тогда как производители, технологически готовые к переходу на производство в 4К и даже выпускающие соответствующие релизы, не находят возможности его реализовать из-за малого спроса со стороны операторов и вещателей.
Говоря об апскейле, необходимо разделять его разновидности, поскольку они обеспечивают различное качество изображения на выходе и, соответственно, могут удовлетворять разные категории потребителей.
Снимать нельзя апскейлить
Усугубляет проблему недостаточно высокая культура производства на съемочных площадках, на которую сетует глава Arspro: технические специалисты, обслуживающие камеры, выставляют на них настройки на свое усмотрение, не принимая во внимание условия, в которых будет вестись постпродакшен. Это касается, например, степени компрессии исходного материала, при том что экономия объема дисковых хранилищ в этом случае сомнительна. Антон Артемьев замечает, что съемочные команды ориентируются на технические требования телевизионных каналов, которые будут впоследствии показывать произведенный контент, в то время как возможности его показа не исчерпываются вещанием в традиционных средах.
Что нужно для качественного апскейла
Важный этап постпродакшена как с апскейлом, так и с нативным 4К — чистка цифровых шумов, возникающих в самой съемочной камере или при компрессии. Исходный файл фильма длительностью 100 минут с шумами может занимать объем до 300 Гб, после чистки этот объем уменьшается до 250 Гб.
Продажи телевизоров с разрешением 4К растут: на рынке появляются новые компании и дешёвые модели. Есть ли толк от бюджетных ТВ? Да. Но без помощников не обойтись. И нижний порог цены на видеосистемы (!), которые не потребуется завтра менять, начинается не с тех цифр, о которых говорит нам реклама.
Реальные преимущества 4К UltraHD, или 4K — действительно решает. Кто бы что не говорил, но с нормальным телевизором такое разрешение на диаг оналях больше 40 дюймов оправдывает себя в наших малогабаритных квартирах. Качественно снятый фильм выгодно отличается яркими красками, приятными переходами цветов, точностью и плавностью движений. Разве этого мало?
Тогда можно подвинуться поближе, и поиграть в одну из самых современных игр. Пыль и тени в 4К правдоподобнее, чем раньше.
Но самое крутое – качественные оцифровки аналоговых записей. Как живые. Вот тут даже родители перестают ворчать: “Раньше “Ирония судьбы” была живее, чем сейчас”. Ведь, вообщем-то – они правы. И справится с эффектом “оцветненного кино” помогает только 4К. А еще с 4К-дисплеем можно покупать телевизоры совершенно невероятных размеров. Все дело в том, что на 65-75 дюймах экрана соответствующий видеофайл выглядит как FullHD. Значит, с расстояния в пару метров — никаких квадратов. В следующий раз я буду покупать панель не меньше 70 дюймов. И вам советую.
Хотя есть и другие преимущества. Пойдем по порядку.
Форматы и разрешение: какое 4К нам нужно? Видеоролики сверхвысокого качества могли бы стать революцией в мире домашних развлекательных центров. Но даже крупные разработчики все еще не могут договориться о едином пространстве для новых форматов.
Формально, 4K можно назвать любой графический или видеофайл с разрешением примерно 4000 пикселей по горизонтали. Но некоторые считают по своему: например, в дешёвых телевизорах LG используются матрицы RGBW, где фактическое разрешение — 2880х2160 вместо 3840х2160. ВНИМАНИЕ: У 4K телевизора обязательно должна быть наклейка “UltraHD“. Это общепринятый стандарт, который запрещает такие хитрости. Но и он не гарантирует успех.
Устройство, соответствующее стандарту, должно воспроизводить контент с разрешением 3840 × 2160 и частотой кадров от 24 до 120. Но 24-30 кадров не обеспечивают достаточной плавности изображения в динамичных сценах. Нужно хотя бы 60 кадров/c. Но за качественной картинкой стоит еще 1 фактор: качество просматриваемого файла. А он, в свою очередь — от формата, кодека, которым было закодировано видео. И битрейта, установленного в момент создания файла. Низкий битрейт означает отсутствие переходов, плоские рваные тени, артефакты. Телевизор обязательно должен уметь воспроизводить файлы с битрейтом выше 60 Мбит/c и потоковое видео, кодированное кодеком VP9 (YouTube и все-все-все). Иначе потребуется приставка.
Факт: Apple TV 4K не умеет воспроизводить VP9 — никакого YouTube в 4K.
Цвета и диапазоны: не нужно покупать заведомо устаревшее В прошлом году расширенный цветовой диапазон (иначе — HDR, High Dynamic Range Imaging) казался сказкой. Но улучшенные цвета быстро оценили пользователи и производители (Amazon и Netflix не только снимают новинки, но и цифруют старое кино). Поэтому без поддержки HDR новый телевизор рискует устареть через пару лет — особенно для игр.
Кстати, посмотреть файл в HDR10 на примитивном телевизоре не получится — цвета окажутся неверными, появятся артефакты. Перекод займет много времени. Или покупать телевизор с поддержкой HDR на вырост, или остановиться на FullHD.
Что нужно, чтобы телевизор стал UltraHD?
Хорошая матрица и формальная поддержка 4К не говорит о том, что на телевизоре можно посмотреть кино в соответствующем разрешении. Нужны подходящие интерфейсы передачи данных. На двухдиапазонный Wi-Fi лучше не вестись. В многоквартирных домах и 5 ГГц занято. А для просмотра потокового 4К-видео нужен стабильный канал с “чистой” скоростью 100 Мбит/c и выше. “Чистыми” — уже после учета потерь. Значит, роутер и провайдер должны обеспечивать почти 250-300 Мбит/с до сервера.
Модный пульт всегда можно заменить на Buetooth-клавиатуру — она удобнее. Но нужен пресловутый Bluetooth или поддержка USB-HID (протокол, позволяющий работать внешним устройствам). Кстати, USB 2.0 обеспечивает просмотр только “легких” файлов. Если нужно прямое подключение — необходимы USB 3.0, причем порты должны поддерживать и скорость, и питание стандарта. Так что на них лучше не рассчитывать.
Без чего нельзя обойтись? По порядку: HDMI 2.0 (1.4a не работает с HDR);
Ethernet (лучше, чем Wi-Fi);
поддержка работы с сетевыми накопителями (DLNA и домашний компьютер, или файловый сервер может заменить любой сервис);
Miracast или AirPlay (в зависимости от платформы — просто пригодится, это удобно);
оптический выход на акустические системы (часто это проще, чем приобретать ресивер для реализации многоканального звука). Без медиасервера 4К нет А вот от аналоговых/цифровых декодеров телевидения можно обойтись. Конечно, несколько 4К-каналов на русском языке стабильно транслируются в пакетах известных поставщиков спутникового телевидения. Но онлайн-кинотеатры и YouTube оказываются едва ли не самым востребованным способом получения контента. С другой стороны, Netflix HDR и Amazon 4K в России не актуальны (без разговорного английского). В OKKO и “Амедиатеке” не так много 4К. Больше всего 4K HDR фильмов в iTunes Store — но каждый нужно купить. Не каждый телевизор, особенно в нижнем ценовом сегменте, умеет работать со всеми необходимыми сервисами.
Поэтому без мультимедийного плеера (особенно при наличии сетевого файлового сервера) не обойтись. Подключил Android-коробку — и никаких проблем с поддержкой кодеков, форматов, быстрой конвертацией файлов. Собственно, вариантов немного — или они (как вариант — Shield), или Apple TV box 4K. Или только тот контент, который разрешил производитель телевизора. Тогда нужно выбирать модель на Android TV. Факт: WebOS, OperaOS, tvOS пока еще ограничивают пользователя. А для просмотра 4К нельзя обойтись единственным потоковым сервисом или сайтом. Хочешь смотреть старые фильмы — покупай дорогой телевизор
Старые фильмы снимали либо аналоговой, либо цифровой камеров. С аналоговой все понятно — оцифровываем, ретушируем кадр за кадром, соединяем и смотрим (муторно и дорого). Но изначально в ней больше данных, чем в ранних цифровых записях.
С “цифрой” вообще сложнее. Повысить разрешение цифрового файла в HD и невозможно — качество от манипуляции никак не вырастет. Некоторые производители оснащают ТВ программным увеличением разрешения — “апскейлинг”. Не путайте апскейлинг с простым растяжением. Первый пытается заполнить недостающие на основе цветов соседних пикселей. Второй не делает ничего — остаются большие квадраты одного цвета.
Пример из жизни: У меня 2 телевизора с поддержкой UltraHD: LG с апскейлингом и Hisence без него. Старые фильмы можно смотреть только на первом. Пока старые киноленты переводятся в 4К очень неохотно (активно над этим работает только Hulu и японцы). Не хочешь плакать кровавыми слезами от квадратов на полэкрана — выбирай подходящую модель.
Стоит ли покупать дешёвый 4K-телевизор? Да, если найти модель с хорошим изображением, у которой выполняются все вышеописанные условия. В процессе выбора своего я встречал 4К-телевизоры к которым нельзя подключить ни одного источника по HDMI — только через Wi-Fi 2,4 ГГц
с RWGB с прекрасным изображением и проблемами воспроизведения UltraHD через внешние входы (без своей обработки)
на фирменных операционных системах — без потоковых сервисов, или без поддержки воспроизведения файлов из сети
с медленными процессорами и жуткими лагами при воспроизведении В любых комбинациях. Будьте осторожны при выборе. И продумывайте всю систему: понимание, что, откуда и через что смотреть позволяет здорово сэкономить.
Читайте также: