Глибоке навчання за допомогою світла: Компоненти моделі машинного навчання закодовані у світлових хвилях

Попросіть пристрій “розумного будинку” дізнатися прогноз погоди, і на відповідь піде кілька секунд. Одна з причин такої затримки полягає в тому, що у під’єднаних пристроїв недостатньо пам’яті або потужності для зберігання і запуску величезних моделей машинного навчання, необхідних пристрою для розуміння того, про що його запитує користувач. Модель зберігається в центрі обробки даних, який може перебувати за сотні кілометрів, де відповідь обчислюють і відправляють на пристрій.

Дослідники Массачусетського технологічного інституту створили новий метод обчислень безпосередньо на цих пристроях, який значно скорочує цю затримку. Їхній метод дає змогу перенести етапи запуску моделі машинного навчання, які потребують великого обсягу пам’яті, на центральний сервер, де компоненти моделі кодують у світлові хвилі.

Ці хвилі передаються на підключений пристрій за допомогою волоконної оптики, що дає змогу блискавично передавати тонни даних мережею. Потім у приймачі використовується простий оптичний пристрій, який швидко виконує обчислення, використовуючи частини моделі, що переносяться цими світловими хвилями.

Ця техніка дає змогу підвищити енергоефективність більш ніж у сто разів порівняно з іншими методами. Вона також може підвищити безпеку, оскільки дані користувача не потрібно передавати в центральне місце для обчислень.

Цей метод може дозволити самокерованому автомобілю ухвалювати рішення в режимі реального часу, споживаючи при цьому лише малу частку енергії, яка наразі потрібна від енергоємних комп’ютерів. Він також може дозволити користувачеві без затримок розмовляти зі своїм розумним домашнім пристроєм, використовуватися для обробки відео в реальному часі через стільникові мережі або навіть забезпечити високошвидкісну класифікацію зображень на космічному кораблі за мільйони кілометрів від Землі.

“Щоразу, коли ви хочете запустити нейронну мережу, ви повинні запустити програму, а швидкість виконання програми залежить від того, наскільки швидко ви можете передати програму з пам’яті. Наша труба величезна – це відповідає надсиланню повного повнометражного фільму через Інтернет кожну мілісекунду або близько того. Саме з такою швидкістю дані надходять у нашу систему. І вона може обчислювати так само швидко”, – каже старший автор статті Дірк Енглунд, доцент кафедри електротехніки та обчислювальної техніки (EECS) і член Дослідницької лабораторії електроніки Массачусетського технологічного інституту.

Разом з Енглундом над статтею працювали провідний автор і аспірант EECS Олександр Слуддс, аспірант EECS Сауміл Бандіопадх’яй, науковий співробітник Раян Гамерлі, а також інші співробітники Массачусетського технологічного інституту, Лабораторії Лінкольна Массачусетського технологічного інституту і корпорації Nokia. Результати дослідження будуть опубліковані в журналі Science.

Полегшення навантаження

Нейронні мережі – це моделі машинного навчання, які використовують шари пов’язаних вузлів, або нейронів, для розпізнавання закономірностей у масивах даних і виконання завдань, як-от класифікація зображень або розпізнавання мови. Але ці моделі можуть містити мільярди вагових параметрів – числових значень, які перетворюють вхідні дані в процесі їхньої обробки. Ці вагові параметри повинні зберігатися в пам’яті. Водночас процес перетворення даних включає в себе мільярди алгебраїчних обчислень, для виконання яких потрібно багато енергії.

Процес вилучення даних (у цьому разі ваг нейронної мережі) з пам’яті та їхнього переміщення до частин комп’ютера, що виконують фактичні обчислення, є одним із найбільших чинників, що обмежують швидкість та енергоефективність, каже Слуддс.

Тому ми подумали: “Чому б нам не взяти на себе всю цю важку роботу – процес вилучення мільярдів ваг із пам’яті – і не перемістити її подалі від граничного пристрою і не помістити його туди, де в нас є широкий доступ до енергії та пам’яті, що дає нам змогу швидко витягти ці ваги?” – каже він.

Розроблена ними архітектура нейронної мережі Netcast передбачає зберігання вагових коефіцієнтів на центральному сервері, який під’єднано до нового апаратного забезпечення, званого інтелектуальним прийомопередавачем. Цей інтелектуальний приймач, чіп розміром з великий палець, який може приймати і передавати дані, використовує технологію, відому як кремнієва фотоніка, для отримання трильйонів одиниць з пам’яті щосекунди.

Він отримує дані про ваги у вигляді електричних сигналів і переводить їх у світлові хвилі. Оскільки дані про вагу закодовані у вигляді бітів (1 і 0), приймач перетворює їх шляхом перемикання лазерів; лазер вмикається для 1 і вимикається для 0. Він об’єднує ці світлові хвилі і потім періодично передає їх оптоволоконною мережею, тож клієнтському пристрою не потрібно запитувати сервер для їх отримання.

“Оптика – це здорово, тому що існує безліч способів перенесення даних в оптиці. Наприклад, ви можете помістити дані в різні кольори світла, і це забезпечує набагато вищу пропускну здатність даних і більшу пропускну спроможність, ніж під час використання електроніки”, – пояснює Бандіопадхьяй.

Трильйони на секунду

Коли світлові хвилі надходять на клієнтський пристрій, простий оптичний компонент, відомий як широкосмуговий модулятор “Маха-Цендера”, використовує їх для виконання надшвидких аналогових обчислень. Це включає в себе кодування вхідних даних з пристрою, таких як інформація з датчиків, на вагах. Потім він посилає кожну окрему довжину хвилі на приймач, який виявляє світло і вимірює результат обчислень.

Дослідники придумали спосіб використовувати цей модулятор для виконання трильйонів множень за секунду, що значно збільшує швидкість обчислень на пристрої, споживаючи при цьому мізерно малу кількість енергії.

“Щоб зробити щось швидше, потрібно зробити це більш енергоефективним. Але тут є компроміс. Ми створили систему, яка може працювати з потужністю близько міліватта, але при цьому виконувати трильйони множень за секунду. З точки зору швидкості та енергоефективності це виграш на порядки”, – говорит Слуддс.

Вони протестували цю архітектуру, відправивши вантажі 86-кілометровим оптоволокном, що з’єднує їхню лабораторію з лабораторією Лінкольна Массачусетського технологічного інституту. Netcast дав змогу проводити машинне навчання з високою точністю – 98,7% для класифікації зображень і 98,8% для розпізнавання цифр – на високій швидкості.

“Нам довелося провести деяке калібрування, але я був здивований тим, як мало нам довелося зробити для досягнення такої високої точності з коробки. Ми змогли домогтися комерційно значущої точності”, – добавляет Хамерли.

У подальшому дослідники хочуть продовжити роботу над чипом інтелектуального приймача, щоб домогтися ще більш високої продуктивності. Вони також хочуть мініатюризувати приймач, який наразі має розмір взуттєвої коробки, до розміру одного чипа, щоб він міг поміщатися в смарт-пристрій, такий як мобільний телефон.

Коллектив сайта

(Пока оценок нет)

Loading...