Зміст

• Обмежений бюджет енергії
• Пропускна здатність і висока роздільна здатність
• Панелі низької затримки та дисплея
• Аудіо та датчики
• Розробники та програмне забезпечення
• Згорнути

Ми, нарешті, занурюємось у революцію, як це можна сказати, завдяки забезпеченню на ринку апаратних та програмних продуктів та ресурсам, що сприяють нововведенням. Однак ми проходили вже більше року з моменту запуску основних продуктів у цьому просторі, і ми все ще чекаємо цього вбивчого додатка, щоб зробити віртуальну реальність головним успіхом. Поки ми чекаємо, нові розробки продовжують робити віртуальну реальність більш життєздатним комерційним варіантом, але все ж є ряд технічних перешкод для подолання, особливо у мобільному просторі VR.

Обмежений бюджет енергії

Найбільш очевидною і добре обговорюваною проблемою, що стоїть перед мобільними програмами віртуальної реальності, є набагато обмежений бюджет енергії та теплові обмеження порівняно з його еквівалентом настільних ПК. Запуск інтенсивних графічних програм від акумулятора означає, що для збереження ресурсу акумулятора потрібно низькі компоненти енергії та ефективне використання енергії. Крім того, близькість обробки апаратних засобів до власника означає, що тепловий бюджет також не може бути підвищений. Для порівняння, мобільний телефон, як правило, працює в межах ліміту до 4 Вт, тоді як настільний VR GPU легко споживає 150 Вт і більше.

Широко визнано, що мобільний VR не збирається відповідати апаратному забезпеченню настільних пристроїв за сильну потужність, але це не означає, що споживачі не вимагають занурення в 3D-режимі при чіткій роздільній здатності та з високою частотою кадрів.

Широко визнано, що мобільний VR не збирається відповідати апаратному забезпеченню для настільної енергії, але це не означає, що споживачі не збираються вимагати захоплюючого 3D-досвіду в чіткій роздільній здатності та з високою частотою кадрів, незважаючи на більш обмежену потужність бюджет. Між переглядом 3D-відео, вивченням відтворених на 360 градусів місць і навіть іграми, існує ще багато випадків використання, що підходять для мобільних VR.

Озираючись на ваш типовий мобільний SoC, це створює додаткові проблеми, які рідше оцінюються. Хоча мобільні SoC можуть комплектуватися пристойною октановою базою процесора та деякою помітною потужністю GPU, не можна запускати ці мікросхеми з повним нахилом, як із-за споживання енергії, так і згаданих раніше теплових обмежень. Насправді процесор у мобільному екземплярі VR хоче працювати якнайменше, звільняючи GPU для споживання більшої частини обмеженого бюджету на потужність. Це не тільки обмежує ресурси, доступні для логіки гри, фізичних обчислень і навіть фонових мобільних процесів, але також накладає тягар на важливі завдання VR, наприклад, виклик для стереоскопічної візуалізації.

Галузь уже працює над вирішенням цього питання, яке не стосується лише мобільних пристроїв. Багатокористувацька візуалізація підтримується в OpenGL 3.0 та ES 3.0, її розробили працівники Oculus, Qualcomm, Nvidia, Google, Epic, ARM та Sony. Multiview дозволяє проводити стереоскопічну візуалізацію лише за допомогою одного дзвінка виклику, а не одного для кожної точки огляду, зменшуючи потреби в процесорі, а також зменшуючи завдання вершини GPU. Ця технологія може підвищити продуктивність на 40–50 відсотків. У мобільному просторі Multiview вже підтримується низкою пристроїв ARM Mali та Qualcomm Adreno.

Ще одне нововведення, яке, як очікується, з'явиться у майбутніх мобільних VR-продуктах, - це посилена візуалізація. Використовується спільно з технологією відстеження очей, посилене візуалізація полегшує навантаження на GPU, лише надаючи точну фокусну точку користувача при повній роздільній здатності та зменшуючи роздільну здатність об'єктів в периферійному зорі. Це прекрасно доповнює систему зору людини і може значно знизити навантаження GPU, економлячи при цьому енергію та / або звільняючи більше енергії для інших процесорних чи графічних завдань.

Пропускна здатність і висока роздільна здатність

Поки потужність обробки обмежена в мобільних VR-ситуаціях, платформа все ще дотримується тих самих вимог, що й інші платформи віртуальної реальності, включаючи вимоги низької затримки, панелі дисплеїв високої роздільної здатності. Навіть ті, хто переглядав VR-дисплеї, які мають роздільну здатність QHD (2560 x 1440) або роздільну здатність гарнітури Rift 1080 × 1200 на око, напевно, були дещо погіршені чіткістю зображення. Згладжування особливо проблематично, враховуючи те, що наші очі знаходяться так близько до екрану, а краї під час руху виглядають особливо грубо виглядаючими або нерівними.

Поки потужність обробки обмежена в мобільних VR-ситуаціях, платформа все ще дотримується тих самих вимог, що й інші платформи віртуальної реальності, включаючи вимоги низької затримки, панелі дисплеїв високої роздільної здатності.

Рішення грубої сили - збільшити роздільну здатність дисплея, наступною логічною прогресією є 4K. Однак пристрої повинні підтримувати високу частоту оновлення незалежно від роздільної здатності, при цьому 60 Гц вважаються мінімальними, але 90 або навіть 120 Гц набагато переважнішими. Це спричиняє велике навантаження на системну пам’ять - десь у два-вісім разів більше, ніж на сьогоднішніх пристроях. Пропускна здатність пам’яті в мобільних VR вже обмежена, ніж в продуктах настільних ПК, які використовують більш швидку виділену графічну пам’ять, а не спільний пул.

Можливі рішення для економії на пропускній здатності графіки включають використання технологій стиснення, таких як стандарт ARM та адаптивного масштабування текстури (ASTC) ARM та AMD або формат стиснення без втрат текстури Ericsson, які є офіційними розширеннями OpenGL та OpenGL ES. ASTC також підтримується обладнанням у останніх Mali GPU-процесорах ARM, Nvidia's Kepler і Maxwell Tegra SoC, а також в останніх інтегрованих графічних процесорах Intel, і дозволяє економити на понад 50 відсотках смуги пропускання в деяких сценаріях порівняно з використанням нестиснених текстур.

Використання стиснення текстури може значно зменшити пропускну здатність, затримку та пам'ять, необхідну для 3D-додатків. Джерело - ARM.

Також можуть бути реалізовані інші методи.Використання tessellation може створити детальнішу географію вигляду з більш простих об'єктів, хоча це потребує інших істотних ресурсів GPU. Відкладене візуалізація та вперед піксельне вбивство можуть уникнути візуалізації оклюдированних пікселів, тоді як архітектури Binning / Tiling можна використовувати для розділення зображення на менші сітки або плитки, що відображаються окремо, і все це може заощадити на пропускній здатності.

Альтернативно, або бажано додатково, розробники можуть робити жертви якості зображення, щоб зменшити навантаження на пропускну здатність системи. Щільність геометрії може бути принесена в жертву або більш агресивне скидання, яке використовується для зменшення навантаження, а роздільну здатність даних вершин може бути знижена до 16-бітної, що зменшується від традиційно використовуваної 32-бітної точності. Багато з цих методів уже використовуються в різних мобільних пакетах, і разом вони можуть допомогти зменшити навантаження на пропускну здатність.

Не тільки пам’ять є головним обмеженням у мобільному VR-просторі, але також є і досить великим споживачем потужності, часто рівним споживанню процесора або GPU. Заощаджуючи пропускну здатність пам’яті та використання, портативні рішення віртуальної реальності повинні мати триваліший термін служби акумулятора.

Панелі низької затримки та дисплея

Якщо говорити про проблеми із затримкою, то поки що ми бачили лише гарнітури VR на спортивних OLED-дисплейних панелях, і це, в основному, пов’язано з швидким часом переключення пікселів менше мілісекунди. Історично РК був пов'язаний із проблемами привидів із дуже швидкими показниками оновлення, що робить їх досить непридатними для VR. Однак РК-панелі дуже високої роздільної здатності все ж дешевші у виробництві, ніж OLED-еквіваленти, тому перехід на цю технологію може допомогти знизити ціну гарнітур VR на більш доступні рівні.

Рух до затримки фотонів повинен становити менше 20 мс. Сюди входить реєстрація та обробка руху, обробка графіки та аудіо та оновлення дисплея.

Дисплеї є особливо важливою частиною в загальній затримці системи віртуальної реальності, часто роблячи різницю між зовнішнім виглядом і рівнем подорожі. В ідеальній системі затримка руху до фотона - час, який проходить між переміщенням голови та відображенням дисплея - має становити менше 20 мілісекунд. Очевидно, що 50мс дисплей тут не корисний. В ідеалі панелі повинні бути на відстані менше 5 мс, щоб також вмістити сенсор і затримку обробки.

Наразі існує компенсація ефективності витрат, яка сприяє OLED, але це може незабаром змінитися. РК-панелі з підтримкою більш високих частот оновлення та низьким часом реакції чорно-білого кольору, які використовують найсучасніші методи, такі як миготливі задні ліхтарі, можуть чудово відповідати законопроекту. Японський дисплей продемонстрував саме таку панель минулого року, і ми можемо побачити, що інші виробники також анонсують подібні технології.

Аудіо та датчики

Хоча велика частина загальних тем віртуальної реальності обертається навколо якості зображення, іммерсивний VR також вимагає високої роздільної здатності, просторово точного 3D-аудіо та низьких датчиків затримки. У мобільній царині це все повинно бути зроблено в тому ж обмеженому бюджеті живлення, який впливає на процесор, графічний процесор та пам'ять, що представляє подальші проблеми.

Раніше ми торкалися проблем із затримкою датчика, коли рух повинен бути зареєстрований та оброблений як частина нижньої межі затримки руху до фотона нижче 20 мс. Коли ми враховуємо, що гарнітури VR використовують 6 градусів руху - обертання та позіхання у кожній з осей X, Y та Z - плюс нові технології, такі як відстеження очей, існує значна кількість постійних даних для збору та обробки, все з мінімальним затримка.

Рішення для того, щоб затримати цю затримку якомога нижчою, вимагає підходу до кінця, при цьому апаратне та програмне забезпечення можуть виконувати ці завдання паралельно. На щастя для мобільних пристроїв, використання спеціалізованих процесорів датчиків низької потужності та технології, що постійно ввімкнена, є дуже поширеною, і вони працюють на досить низькій потужності.

Для аудіо 3D позиція - це техніка, яка довго використовується для ігор і подібних, але використання функції передачі, пов'язаної з головою (HRTF), і обробка реверберації згортки, необхідні для реалістичного позиціонування джерела звучання, є досить процесорними завданнями. Хоча це може бути виконано на процесорі, спеціалізований цифровий сигнальний процесор (DSD) може виконувати такі типи процесів набагато ефективніше, як за часом обробки, так і за потужністю.

Поєднуючи ці функції з вимогами до графіки та дисплея, про які ми вже згадували, зрозуміло, що використання декількох спеціалізованих процесорів є найбільш ефективним способом задоволення цих потреб. Ми бачили, що Qualcomm значною мірою забезпечує неоднорідність обчислювальних можливостей свого флагмана та найсвіжіших мобільних платформ Snapdragon середнього рівня, які поєднують різноманітні процесорні блоки в єдиний пакет з можливостями, які добре допомагають задовольнити багато з цих потреб мобільних VR. Ми, мабуть, побачимо тип пакетів живлення в ряді мобільних VR-продуктів, включаючи автономне портативне обладнання.

Розробники та програмне забезпечення

Нарешті, жоден із цих апаратних удосконалень не є дуже гарним без набору програмного забезпечення, ігрових двигунів та SDK для підтримки розробників. Зрештою, у нас не може кожен розробник винаходити колесо для кожної програми. Зберігати низькі витрати на розробку та якнайшвидші швидкості є ключовим, якщо ми будемо бачити широкий спектр застосувань.

Зокрема, SDK мають важливе значення для виконання ключових завдань обробки VR, таких як асинхронний Timewarp, корекція спотворень об'єктива та стереоскопічна візуалізація. Не кажучи вже про управління потужністю, термічною обробкою та керуванням процесами в неоднорідних установках обладнання.

На щастя, всі основні виробники апаратних платформ пропонують розробникам SDK, хоча ринок є досить фрагментарним, що призводить до браку підтримки міжплатформних платформ. Наприклад, Google має свій VR SDK для Android та спеціальний SDK для популярного двигуна Unity, тоді як Oculus має мобільний SDK, побудований спільно з Samsung для Gear VR. Важливо, що нещодавно група Khronos представила свою ініціативу OpenXR, яка має на меті створити API для покриття всіх основних платформ як на рівні пристрою, так і на рівні додатків, щоб полегшити розробку крос-платформ. OpenXR змогла побачити підтримку в своєму першому пристрої віртуальної реальності десь до 2018 року.

Згорнути

Незважаючи на деякі проблеми, технологія знаходиться в стадії розробки, і в деякій мірі вже тут, що робить мобільну віртуальну реальність працездатною для багатьох застосувань. Мобільний VR також має ряд переваг, які просто не стосуються еквівалентів настільних ПК, що надалі зробить його платформою, гідною інвестицій та інтриг. Коефіцієнт портативності робить мобільний VR переконливою платформою для мультимедійних переживань та навіть легких ігор, без необхідності проводів, підключених до більш потужного ПК.

Крім того, велика кількість мобільних пристроїв на ринку, які все більше оснащуються можливостями віртуальної реальності, робить його платформою вибору для досягнення найбільшої цільової аудиторії. Якщо віртуальна реальність має стати мейнстрімною платформою, їй потрібні користувачі, а мобільний - найбільша база користувачів, яку можна використовувати.