Зміст
Захист до віртуальної реальності, безумовно, затих упродовж останніх кількох років, завдяки поєднанню дорогої апаратури, настільки продуктивності та хвороби, а також відсутності вмісту користувачів. В даний час галузь застрягла в сценарії з курячими та яйцями, де брак споживачів стримує інвестиції у високий вміст. Для виходу з тупикової ситуації знадобиться більш потужне та економічно вигідне обладнання VR для мас.
Arm прагне подолати деякі з цих технологічних перешкод завдяки своєму першому в історії процесору дисплеїв (DPU), розробленому спеціально для VR: Mali-D77. У двох словах, Mali-D77 вивантажує звичайні завдання обробки VR з GPU, звільняючи ресурси для більш високої частоти кадрів, а також допомагає зменшити хворобу руху.
Всередині Arm Mali-D77
Значна частина Mali-D77 заснована на Mali-D71 2017 року для флагманських смартфонів та інших високих класів. Він має той же декодер стиснення, масштабування шарів, підтримку HDR та управління кольором. Однак новий дизайн був оптимізований для підтримки роздільної здатності 3K зі швидкістю 120 кадрів в секунду, з підтримкою роздільної здатності 4K до 90 кадрів в секунду.
Основні зміни відбуваються у вигляді двох абсолютно нових апаратних прискорювальних пристроїв для VR-додатків. Mali-D77 підтримує корекцію об'єктива та асинхронний Timewarp апаратно, а не запускає ці алгоритми на графічному процесорі. За оцінками Arm, це може звільнити близько 15 відсотків ресурсів GPU, що може бути спрямовано на збільшення частоти кадрів. Перенесення цього навантаження на DPU також забезпечує 40-відсоткову пропускну здатність та 180 мВт енергії на один шар VR. Приємно.
Корекція об'єктива потрібна у гарнітурах VR для компенсації кривизни світла лінз гарнітури. Стрілецьке спотворення застосовується до кожного відтвореного кадру для того, щоб компенсувати ефект пінчухійних спотворень лінз. Подумайте про це як надмірне компенсацію або «зворотне спотворення», щоб спотворення лінзи фактично закінчилося відображенням правильного зображення. Традиційно це робиться на GPU, забираючи додаткові цикли та час. Mali-D77 робить це все на DPU.
Крім того, Mali-D77 здійснює корекцію хроматичної аберації, використовуючи аналогічний метод зворотного спотворення. Якщо застосовано це, кольори зображень будуть відображатися правильно у всьому об’єктиві, в тому числі в тих кутах, де можуть відбуватися спотворення кольорового викривлення.
Що таке асинхронний Timewarp?
Корекція об'єктива досить зрозуміла, але Asynchronous Timewarp трохи більше задіяний. Тут Arm використовує процесор дисплея для обертання, перекосу та викривлення зображень, щоб компенсувати рухи власника, зменшуючи будь-які затримки GPU або інших конвеєрних каналів.
За допомогою апаратного забезпечення поточного покоління відстеження руху по осі X, Y, Z оновлюється синхронізовано з GPU, оскільки GPU повинен рендерувати зміни в представленні кожного разу при переміщенні. За допомогою Asynchronous Timewarp, вони більше не оновлюються разом. Ви можете переміщати голову між оновленнями кадру GPU, а Mali-D77 може обертати поточний кадр відповідно до руху вашої голови.
Це тонкий ефект, оскільки він триває лише частину секунди між відтвореними кадрами і не усуває необхідності швидкого відображення частоти кадрів. Однак це значно збільшує плинність та плавність руху та руху, оскільки оновлення можуть відбуватися навіть частіше, ніж частота кадрів GPU. Відключення між вашим рухом тіла та візуальним оновленням є головною причиною хвороби руху при ВР, тому Mali-D77 може багато допомогти в цьому плані.
Дані руху по осі X, Y, Z подаються безпосередньо на процесор Mali-D77 з процесора, повністю обходячи етап GPU. Це дуже різний спосіб робити речі, і як такий вимагатиме від розробників використовувати новий набір інструментів та методів розробки. Це, мабуть, найбільша перешкода з D77. На щастя, інженери Arm тісно співпрацюють з такими ініціативами, як OpenXR, тому ми могли побачити оголошення API для спрощеної підтримки розробників у майбутньому.
В цілому, Arm Mali-D77 - це інтелектуальна та логічна прогрес гетерогенної ідеї обчислень, яка допомагає вирішити деякі найбільші технічні проблеми віртуальної реальності. Є ще інші перешкоди в галузі бездротового зв’язку, відстеження та вартості сегментів VR, які потрібно вирішити, перш ніж прийняти основний потік, можна переглянути, але Mali-D77 допомагає вирішити деякі проблеми продуктивності.
