Зміст
Підпис Live Live - це одна з найкрутіших функцій Android, яка використовує машинне навчання на пристроях для створення підписів для місцевих відео та веб-кліпів.
Google опублікував публікацію в блозі, в якій детально описується, як працює ця вишукана функція, і вона насправді складається з трьох моделей машинного навчання для пристроїв.
Існує модель повторної передачі послідовності нейронної мережі (RNN-T) для розпізнавання мови, але Google також використовує рекуррентну нейронну мережу для прогнозування пунктуації.
Третя модель машинного навчання на пристрої - це звивиста нейронна мережа (CNN) для звукових подій, таких як щебетання птахів, плескання людей та музика. Google каже, що ця третя модель машинного навчання походить від роботи над програмою доступності Live Transcribe, яка здатна переписувати події мови та звуку.
Зменшення впливу Live Caption
Компанія заявляє, що вжила низку заходів, щоб зменшити споживання акумулятора та ефективність роботи живої підписи.Для одного, механізм повного автоматичного розпізнавання мови (ASR) працює лише тоді, коли мова фактично виявлена, на відміну від постійно працює у фоновому режимі.
Наприклад, коли в аудіопотоці виявлено музику і мови немає, на екрані з'явиться мітка, а модель ASR буде завантажена. Модель ASR завантажується в пам'ять лише тоді, коли мова знову присутня в аудіо потоці », - пояснює компанія Google у своєму дописі.
Google також використовував такі методи, як обрізка нейронних зв’язків (скорочення розміру мовної моделі), зменшення споживання електроенергії на 50% та дозволить Live Caption постійно працювати.
Google пояснює, що результати розпізнавання мовлення оновлюються кілька разів щосекунди під час формування підпису, але пунктуаційне передбачення відрізняється. Пошуковий гігант каже, що він дає пунктуаційне передбачення "на кінці тексту з останнього визнаного речення", щоб зменшити потреби в ресурсах.
Підписка в реальному часі тепер доступна в серії Google Pixel 4, і Google каже, що вона "скоро" буде доступна на серіях Pixel 3 та інших пристроях. Компанія заявляє, що також працює над підтримкою інших мов та кращою підтримкою вмісту для кількох мовців.
