Еженедельник DF Цели для оценки качества изображения на консолях снова изменились

Шизанутый DF Еженедельник Покрутили, Перекрутили - Обновилась Цель Оценки Качества Изображения на Консолях!

Каждую неделю мне нравится выбирать одну конкретную тему для обсуждения из последнего выпуска DF Direct Weekly – и в этом обширном выпуске определенно есть из чего выбрать. Мы сели, чтобы снять наш 141-й выпуск утром после The Game Awards, и несмотря на обычное снижение ожиданий со стороны Джеффа Кигли, чемпионатный бой начался не сразу. Однако именно вопрос от поддерживающего нас Юлиана Снитера побудил меня написать эту статью. Юлиан спросил, делают ли технологии масштабирования, такие как FSR от AMD и TSR от Epic, сложнее для нас ‘считать пиксели’ и определить истинное разрешение. Ответ – да, но более развернутый ответ заключается в том, что технологии масштабирования эволюционировали как минимум дважды с тех пор, как мы начали тестировать качество изображения, и сейчас все еще сложнее.

Уже несколько лет я выступаю с личным заданием преуменьшать – если не совсем уничтожать – раскрытие истинного разрешения рендеринга в любой игре. В эпоху Xbox 360 и PlayStation 3 целевое разрешение обычно составляло 720p, и масштабирование ниже этого значения могло оказывать значительное влияние на качество изображения в любой игре. Однако с переходом в эпоху PS4 Pro/Xbox One X целевое разрешение переехало на истинные 4K, а также появилось множество интересных технологий масштабирования – самой популярной из них является рендеринг шахматной доски (как в играх типа Horizon Zero Dawn, Days Gone и многих других) и временная супер-сэмплирование/джиттеринг (такие игры, как Marvel’s Spider-Man и For Honor, являются хорошими примерами). Мы часто называем последнюю технологию TAAU – это комбинация масштабирования и временной анти-алиасинг.

За исключением нескольких явных исключений (в игре “The Avengers” на PS5 использовался рендеринг шахматной доски, а на Xbox – TAAU), разработчики склонялись к TAAU, и на тот момент аргумент о полном устранении подсчета пикселей казался непоколебимым. Опознаваемые артефакты масштабирования казалось исчезали в пользу четкости: чем выше внутреннее разрешение, тем меньше размытость изображения. И чем больше пикселей вы масштабируете, тем меньше прихода. Существует множество примеров “естественного” разрешения 1440p, которое убедительно может назваться изображением в 4K – или по крайней мере выглядеть отлично на 4K экране. Мы поработали с несколькими талантливыми людьми и произвели интересные примеры “индекса четкости”, который работает путем сравнения масштабирования TAAU с нативным разрешением от 1080p до 2160p и, фактически, полностью исключает подсчет пикселей в пользу сравнения качества на основе того, что видит человеческий глаз.

• 0:08:51 OD
• 0:17:48 Нет Покоя Для Злых, Охотник Монстров Дикий
• 0:26:58 Marvel’s Blade, Нет Огня Свет
• 0:39:13 Черный Миф: Вуконг, Persona 3 Reload, Метафора Рефантазио, Череп и Кости
• 0:51:58 Новости 02: Вышла игра Аватар: Пограничья Пандоры!
• 1:01:58 Вопрос от поддерживающего Q1: Как вы считаете количество пикселей в играх с масштабированием?
• 1:09:06 Вопрос от поддерживающего Q2: Избегают ли современные игры физической игровой механики из-за вычислительных ограничений или гейм-дизайна?
• 1:12:19 Вопрос от поддерживающего Q3: Подразумевает ли добавление трассировки путей в лобби Call of Duty более широкую реализацию в будущем?
• 1:16:07 Вопрос от поддерживающего Q4: Следует ли консольным производителям выпускать патчи для взлома устаревших консолей?
• 1:19:38 Вопрос от поддерживающего Q5: Следует ли производителям графических процессоров вводить функции из Special K в свои драйверы?
• 1:24:25 Вопрос от поддерживающего Q6: Можно ли подсчитать количество пикселей на The Game Awards?

TAAU была фантастической технологией для своего времени и до сих пор хорошо справляется сегодня – Insomniac по-прежнему использует свою собственную версию, ITGI. Определение фактического разрешения имеет академический интерес, но когда каждый кадр содержит внедренные детали из нескольких предыдущих кадров, 1440p – или что угодно – становится гораздо более значимым. Еще один отличный пример – это апскейлер Infinity Ward в Call of Duty. Несколько лет назад в польской студии команды я видел рендеринг с нативным разрешением по сравнению с окончательным результатом на версии PS4 для Vanguard, и меня поразила разница. А прототипное оборудование на основе повторных проигрышей Warzone снова позволило нам программно оценить улучшенное качество изображения на Xbox One X по сравнению с PlayStation 4 Pro.

И все же, спустя несколько лет, Digital Foundry все еще занимается старомодным подсчетом пикселей. И чтобы ответить на вопрос поддерживающего Джулиана Снитера, да, это сейчас намного сложнее, чем раньше. Игры с плохим сглаживанием, MSAA или даже FXAA могут быть относительно легкими для подсчета. Вы находите край и точно определяете «реальные» пиксели в «выходных» пикселях окончательного изображения, а соотношение, которое вы находите, определяет рендеринг с нативным разрешением. TAAU делает задачу гораздо более сложной, поскольку эти края становятся все труднее находить. А еще вы можете смотреть на два значения числа пикселей – внутреннее разрешение и разрешение вывода, которое игра пытается получить.

• Red Dead Redemption для PlayStation сильно снижен в цене на Amazon
• Трэшер Раскрывает Себя Последовательность игры Thumper из 2016 года
• Добавление персонажей Nintendo в Fortnite «не имеет смысла», говори...

Тем не менее, “индекс четкости” выглядел хорошим заменителем, но сомнения начали просачиваться, как только мы посмотрели на DLSS от Nvidia. У Control от Remedy есть довольно простая форма TAA, в которой много шума – но даже при более низком разрешении рендеринга у DLSS от Nvidia шума меньше и, безусловно, общее изображение более удовлетворительное. Индекс четкости здесь не работает при сравнении различных методов масштабирования, а также позволяет понять, что шум и артефакты фактически создают “ложные положительные” уровни деталей. Это показало, что замена подсчета пикселей будет зависеть от тех же самых техник масштабирования, используемых между версиями – что не всегда было так. И если вообще не было версии для ПК, чтобы получить настоящее 1080p и 2160p, мы бы все равно застряли.

FSR 2 от AMD еще больше усложнил ситуацию. В теории, это значительно более продвинутый апскейлер по сравнению с TAAU – что объясняет, почему так много разработчиков отказались от старых методов в пользу него (Cyberpunk 2077 и The Witcher 3 – хорошие примеры). Однако FSR 2, пытаясь восстановить нативное изображение из значительно более низкого разрешения, создает свои собственные артефакты – призрачные следы и прочее. В этот момент мы пришли к выводу, что нет программного способа выразить качество изображения. Искажения в FSR 2 просто сообщают алгоритму, стремящемуся оценить четкость, что здесь больше деталей – и может быть, это и так, но это нежелательные детали. На данный момент субъективный анализ, и, да, подсчет пикселей, является лучшим способом объяснить качество изображения, особенно в эпоху, когда 4K-консоли используют FSR 2 для масштабирования от разрешения, даже ниже 720p. Изображение может выглядеть плохо, и базовое разрешение помогает объяснить почему.

Есть ли какой-то путь вперед, чтобы окончательно избавиться от подсчета пикселей? Недавно мы обратили внимание на модель машинного обучения, используемую Netflix и другими для оценки качества видеокодирования. Вы подаете ей то же самое содержимое с разными кодировками, и каждый запуск получает оценку от 0 до 1. Один из наших сторонников проделал большую работу, пытаясь использовать эту модель для сравнения DLSS и FSR 2. И сначала результаты выглядели интересно. DLSS всегда получал более высокую оценку, чем FSR 2, что мы и ожидали, учитывая, что апскейлер Nvidia обычно обеспечивает значительно более высокое качество, чем FSR 2. Но чем больше контента мы тестировали, тем меньше мы уверены в результатах.

Оказалось, что использование модели на основе видео просто не подходит. Однако интересным было то, как была создана эта модель энкодера: по существу, модель была обучена, показывая людям различные сравнения видео и просить оценить, какое изображение выглядит лучше. Вероятно, было проведено тысячи подобных сравнений, и модель сформировалась из них. Таким образом, возможно, что что-то подобное можно было бы сделать, сравнивая различные современные методы масштабирования? Возможно, в будущем искусственный интеллект разрешит проблему подсчета пикселей раз и навсегда, но пока что мы снова на месте. Все решается субъективным анализом, лучше осведомленным путем определения базового разрешения традиционным способом. Сами счетчики пикселей не имеют большого значения, но определенно помогают объяснить некоторые примеры более низкого качества изображения, которые мы видели в последнее время.