Зміст

• Як працюють нейронні мережі
• Нейронні мережі всередині вашого смартфона
• AI міг би формувати майбутнє фотографії

Окрім обчислювальної фотографії, високоякісної апаратури камери та процесорів сигналу зображення, передова мобільна фотографія все більше працює на основі алгоритмів машинного навчання - також відомих як штучний інтелект (AI). Ця техніка фотографування обіцяє покращити якість у напрямку до якості, що нагадує DSLR, пропонуючи нові креативні способи зйомки та редагування зображень та відео.

Запорукою машинного навчання є використання нейронних мереж. Це тип алгоритму, який часто уподібнюють людському мозку. Це порівняння випливає із здатності нейронної мережі пройти навчання через використання даних розпізнавати шаблони, що дозволяє їй робити високоточні класифікації для складних типів даних, таких як аудіо та зображення.

Що стосується фотографії, то можливість спостерігати, вчитися, генерувати та класифікувати має широке коло застосувань. Ці додатки можуть включати такі функції, як побудова на техніці обчислювальної фотографії для вдосконалення алгоритмів після обробки, програмне забезпечення в реальному часі з 4K відео, або навіть повністю змінення кольорів одягу, який ви носите.

Як працюють нейронні мережі

Нейронні мережі - надзвичайно складна тема, тому ми лише збираємось висвітлити основи. Для більш досконалого читання ознайомтеся з посібниками тут і тут.

Нейронні мережі складаються з вузлів, що є ознакою того, де проводяться деякі обчислення. Кожен вузол поєднує вхід із вагою, яка підсилює або послаблює значення цього конкретного вузла. Кілька вузлів часто працюють паралельно, створюючи шар вузлів, який виконує більш велике завдання. Наприклад, це може бути виявлення особливостей зображення. Кілька вузлів і шарів можуть бути зведені разом і передані іншим вузлам і шарам, утворюючи більш глибоку мережу з більш потужними можливостями.

Вихід з кожного вузла і шару масштабується як функція ймовірності. Переглядаючи безліч різних функцій і атрибутів, нейронна мережа може оцінити вхід як імовірність відповідності всім очікуваним потенційним результатам. Ось так алгоритми виявлення зображень вирішують, чи виглядає малюнок більше як кішка чи помаранчевий, але ви повинні сказати йому, що спочатку слід шукати.

Нейронні мережі запрограмовані не так, як традиційні комп'ютерні алгоритми. Натомість вони навчаються набору даних, таких як зображення, звукові файли тощо. Ваги кожного вузла з часом регулюються поступово за допомогою циклу зворотного зв’язку, виходячи з того, наскільки добре працювала мережа при узгодженні входів до правильних виходів. Це поступове «вивчення» правил вимагає значної підготовки, часу та обчислювальної потужності, але дає надзвичайно точні результати.

Нейронні мережі всередині вашого смартфона

Нейронні мережі можуть працювати на різних апаратних компонентах, включаючи частини процесора та графічного процесора, що є загальними для різних обчислювальних пристроїв, включаючи ваш смартфон. Однак деяким нейронним мережам може бути потрібна більша потужність обробки, ніж ці апаратні компоненти можуть дати, а виділене обладнання може забезпечити необхідну оптимальну обробку.

Наприклад, всередині мобільної платформи Qualcomm® Snapdragon ™ 855 ви знайдете найновіший цифровий процесор сигналу Qualcomm® Hexagon ™ 690 (DSP), який може похвалитися вдосконаленими опрацьованими елементами вектора та новим прискорювачем тензорів спеціально для завдань машинного навчання. На інших мобільних платформах Snapdragon також є компонент DSP Hexagon з різними можливостями. Зважаючи на це, нейронні мережі не обмежуються лише запуском DSP на Snapdragon та інших мобільних платформах. Тип використовуваного процесора залежить від завантаженості.

Удосконалення машинного навчання Qualcomm Snapdragon 855 порівняно з попереднім поколінням

Qualcomm Technologies відкриває свої можливості DSP та машинного навчання стороннім розробникам через свій SDK для нейронної обробки Qualcomm®. Це дозволяє програмам запускати нейронні мережі через будь-яке апаратне ядро ​​всередині мобільної платформи Snapdragon. Наприклад, смартфони Google Pixel вписуються в шестигранний DSP і власний Visual Core, щоб прискорити свою вражаючу функцію фотографії HDR +. Qualcomm Technologies працює з такими постачальниками програм, як Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho та ін., Підтримуючи функції, починаючи від відео-боке до створення аватара, використовуючи машинне навчання, що працює на DSP.

AI міг би формувати майбутнє фотографії

Тепер ми знаємо, як працюють нейронні мережі, важливе питання - що це може зробити для нас та наших фотографій?

Нейронні мережі використовуються для вдосконалення набору загальних алгоритмів фотозйомки. Наприклад, вимкнення шуму може бути покращено навчанням, щоб запропонувати покращене очищення зображення з урахуванням конкретної камери або типу знімка. Так само при слабкому освітленні нейронна сітка могла б виявляти яскраві та темні частини зображення, дозволяючи покращувати світло та кольори у певних частинах сцени.

Більш розширені випадки використання все частіше зустрічаються у фотографії смартфонів. У масштабі великої роздільної здатності використовуються нейронні сітки для об'єднання декількох зображень в один знімок високої роздільної здатності для чудового цифрового масштабування. Нейронні мережі також можуть бути навчені точно зшивати кілька експозицій фотографій разом для поліпшення HDR та нічних знімків.

AI-фотографія може включати в себе масштабування із великою роздільною здатністю, боке в режимі реального часу та покращену якість зображення.

Відео також може отримати користь від прийняття цієї технології. Виявлення об'єктів у режимі реального часу розроблено для того, щоб додатки могли впроваджувати програмні ефекти Боке прямо у відео під час запису. Подібні методи також підтримують заміну та видалення об'єктів у реальному часі. Сюди входить обмін фоном на відео, зміна або видалення кольорів і навіть заміна предметів одягу або накладання цифрових аватарів безпосередньо у ваше відео.

Потужність нейронних мереж та AI фотографії варіюється від покращення якості, щоб допомогти зменшити розрив у DSLR до потужних інструментів творчості, які допомагають зробити унікальний вміст легким вітром. Так чи інакше, це потужна технологія, яка є основою для майбутніх удосконалень, спрямованих на мобільну фотографію.

Далі: Міжнародна роздача Google Pixel 3 XL!

Вміст спонсорується Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine і Qualcomm Kryo - це продукція Qualcomm Technologies, Inc. та / або її дочірніх компаній.