Новый нейроморфный чип для ИИ на периферии, при малой доле энергии и размера современных вычислительных платформ

Международная группа исследователей разработала и создала чип, который выполняет вычисления непосредственно в памяти и может запускать широкий спектр приложений ИИ — и все это при малой доле энергии, потребляемой вычислительными платформами для вычислений ИИ общего назначения.

Нейроморфный чип NeuRRAM делает ИИ еще на шаг ближе к тому, чтобы работать на широком спектре периферийных устройств, отключенных от облака, где они могут выполнять сложные когнитивные задачи в любом месте и в любое время, не полагаясь на сетевое подключение к централизованному серверу. Устройствам найдется применение во всех уголках мира и во всех сферах нашей жизни — от умных часов до гарнитур виртуальной реальности, умных наушников, умных датчиков на заводах и роверов для исследования космоса.

Чип NeuRRAM не только в два раза более энергоэффективен, чем современные чипы «вычисления в памяти» — инновационный класс гибридных чипов, выполняющих вычисления в памяти, — но и обеспечивает результаты, не уступающие по точности обычным цифровым чипам. Обычные платформы ИИ гораздо более громоздкие и, как правило, ограничены использованием больших серверов данных, работающих в облаке.

Кроме того, чип NeuRRAM очень универсален и поддерживает множество различных моделей и архитектур нейронных сетей. В результате чип можно использовать для множества различных приложений, включая распознавание и реконструкцию изображений, а также распознавание голоса.

«Принято считать, что более высокая эффективность вычислений в памяти достигается ценой универсальности, но наш чип NeuRRAM обеспечивает эффективность, не жертвуя универсальностью», — сказал Вейер Ван, первый автор статьи и недавний выпускник Стэнфордского университета, получивший степень доктора философии, который работал над чипом в Калифорнийском университете в Сан-Диего, где он работал под руководством Герта Каувенбергса на факультете биоинженерии.

Исследовательская группа под руководством биоинженеров из Калифорнийского университета в Сан-Диего представила свои результаты в выпуске журнала Nature от 17 августа.

В настоящее время вычисления ИИ требуют больших затрат энергии и вычислительных ресурсов. Большинство приложений ИИ на периферийных устройствах предполагают передачу данных с устройств в облако, где ИИ обрабатывает и анализирует их. Затем результаты возвращаются обратно на устройство. Это связано с тем, что большинство граничных устройств работают от батарей и, как следствие, имеют ограниченное количество энергии, которая может быть выделена для вычислений.

Снижая энергопотребление, необходимое для выводов ИИ на границе, этот чип NeuRRAM может привести к созданию более надежных, более умных и доступных устройств на границе и более умного производства. Это также может привести к улучшению конфиденциальности данных, поскольку передача данных с устройств в облако сопряжена с повышенными рисками безопасности.

В чипах ИИ перемещение данных из памяти в вычислительные блоки является одним из основных узких мест.

«Это эквивалентно восьмичасовой поездке на работу ради двухчасового рабочего дня», — говорит Ван.

Чтобы решить проблему передачи данных, исследователи использовали так называемую резистивную память с произвольным доступом — тип энергонезависимой памяти, которая позволяет проводить вычисления непосредственно в памяти, а не в отдельных вычислительных блоках. RRAM и другие новые технологии памяти, используемые в качестве массивов синапсов для нейроморфных вычислений, были впервые разработаны в лаборатории Филипа Вонга, советника Вана в Стэнфорде и одного из главных авторов этой работы. Вычисления с использованием чипов RRAM не являются чем-то новым, но обычно это приводит к снижению точности вычислений, выполняемых на чипе, и отсутствию гибкости в архитектуре чипа.

«Вычисления в памяти были обычной практикой в нейроморфной инженерии с момента ее появления более 30 лет назад», — сказал Каувенбергс. «Новым в NeuRRAM является то, что чрезвычайная эффективность теперь сочетается с большой гибкостью для различных приложений ИИ почти без потери точности по сравнению со стандартными цифровыми вычислительными платформами общего назначения».

Ключом к работе стала тщательно разработанная методология с несколькими уровнями «кооптимизации» на всех уровнях абстракции аппаратного и программного обеспечения, от проектирования чипа до его конфигурации для выполнения различных задач ИИ. Кроме того, команда позаботилась о том, чтобы учесть различные ограничения, начиная от физики устройств памяти и заканчивая схемами и архитектурой сети.

«Теперь этот чип предоставляет нам платформу для решения этих проблем по всему стеку — от устройств и схем до алгоритмов», — сказал Сиддхарт Джоши, доцент кафедры компьютерных наук и инженерии Университета Нотр-Дам, который начал работать над проектом в качестве аспиранта и постдокторанта в лаборатории Каувенберга в Калифорнийском университете в Сан-Диего.

Производительность чипа

Исследователи измеряли энергоэффективность чипа с помощью показателя, известного как продукт задержки энергии, или EDP. EDP объединяет количество энергии, потребляемой при каждой операции, и время, необходимое для ее выполнения. По этому показателю чип NeuRRAM достигает в 1,6-2,3 раза меньшего EDP (меньше — лучше) и в 7-13 раз большей вычислительной плотности, чем современные чипы.

Исследователи выполнили на чипе различные задачи искусственного интеллекта. Он достиг 99% точности в задаче распознавания рукописных цифр, 85,7% в задаче классификации изображений и 84,7% в задаче распознавания речевых команд Google. Кроме того, в задаче восстановления изображения чип добился 70%-ного снижения ошибок при восстановлении изображения. Эти результаты сравнимы с существующими цифровыми чипами, которые выполняют вычисления с той же точностью до бита, но с существенной экономией энергии.

Исследователи отмечают, что ключевым вкладом работы является то, что все представленные результаты получены непосредственно на аппаратном обеспечении. Во многих предыдущих работах, посвященных чипам «вычислитель в памяти», результаты эталонного ИИ часто были получены частично с помощью программного моделирования.

Следующие шаги включают совершенствование архитектуры и схем, а также масштабирование конструкции на более современные технологические узлы. Исследователи также планируют заняться другими приложениями, такими как шипованные нейронные сети.

«Мы можем добиться большего на уровне устройств, улучшить схемотехнику для реализации дополнительных возможностей и решать различные задачи с помощью нашей динамической платформы NeuRRAM», — сказал Раджкумар Кубендран, доцент Питтсбургского университета, который начал работу над проектом, будучи аспирантом в исследовательской группе Каувенбергса в Калифорнийском университете в Сан-Диего.

Кроме того, Ван является одним из основателей стартапа, который работает над созданием технологии «вычисления в памяти». «Как исследователь и инженер, я стремлюсь довести исследовательские инновации из лабораторий до практического применения», — говорит Ван.

Новая архитектура

Ключом к энергоэффективности NeuRRAM является инновационный метод определения вывода в памяти. Традиционные подходы используют напряжение в качестве входного сигнала и измеряют ток в качестве результата. Но это приводит к необходимости создания более сложных и более энергоемких схем. В NeuRRAM команда разработала нейронную схему, которая воспринимает напряжение и выполняет аналого-цифровое преобразование энергоэффективным способом. Такое определение режима напряжения может активировать все строки и все столбцы массива RRAM за один вычислительный цикл, что позволяет повысить параллелизм.

В архитектуре NeuRRAM схемы нейронов КМОП физически чередуются с весами RRAM. Это отличается от обычных конструкций, где КМОП-схемы обычно находятся на периферии весов RRAM. Соединения нейрона с массивом RRAM могут быть настроены так, чтобы служить либо входом, либо выходом нейрона. Это позволяет нейронной сети делать выводы в различных направлениях потока данных без увеличения площади и энергопотребления. Это, в свою очередь, облегчает реконфигурацию архитектуры.

Чтобы убедиться, что точность вычислений ИИ может быть сохранена в различных архитектурах нейронных сетей, исследователи разработали набор методов кооптимизации аппаратных алгоритмов. Эти методы были проверены на различных нейронных сетях, включая сверточные нейронные сети, долговременную кратковременную память и ограниченные машины Больцмана.

В качестве нейроморфного чипа ИИ, NeuroRRAM выполняет параллельную распределенную обработку данных на 48 нейросинаптических ядрах. Чтобы одновременно достичь высокой универсальности и эффективности, NeuRRAM поддерживает параллелизм данных, отображая слой в модели нейронной сети на несколько ядер для параллельного вывода данных. Кроме того, NeuRRAM обеспечивает параллелизм моделей, отображая разные слои модели на разные ядра и выполняя выводы конвейерным способом.

Международная исследовательская группа

Эта работа является результатом работы международной команды исследователей.

Команда UC San Diego разработала КМОП-схемы, реализующие нейронные функции, взаимодействующие с массивами RRAM для поддержки синаптических функций в архитектуре чипа, что обеспечивает высокую эффективность и универсальность. Ван, работая в тесном сотрудничестве со всей командой, реализовал дизайн, охарактеризовал чип, обучил модели ИИ и провел эксперименты. Ван также разработал программный инструментарий для создания карт приложений ИИ на чипе.

Массив синапсов RRAM и условия его работы были тщательно охарактеризованы и оптимизированы в Стэнфордском университете.

Массив RRAM был изготовлен и интегрирован в КМОП в Университете Цинхуа.

Команда из Нотр-Дама внесла вклад как в разработку дизайна и архитектуры чипа, так и в последующее создание и обучение моделей машинного обучения.

Коллектив сайта

(Пока оценок нет)

Загрузка...