Журнал РАДИОЛОЦМАН, апрель 2016
Dharmendra S. Modha
IBM
Нейроны микропроцессора TrueNorth революционизируют системную архитектуру
Шесть лет назад компания IBM и наши университетские партнеры поставили перед собой задачу – создать машину, подобную мозгу, – что в то время казалось невозможным. Сегодня в статье, опубликованной в журнале Science, мы представляем процессор с одним миллионом нейронов, разработанный в рамках программы DARPA SyNAPSE. Микросхема потребляет всего 70 мВт и способна выполнять 46 миллиардов синаптических операций в секунду на ватт – по сути, это синаптический суперкомпьютер, умещающийся на ладони.
 |
|
| Дхармендра Модха (Dharmendra Modha), сотрудник IBM. |
Последовательно шагая по пути исследований от нейробиологии к высокопроизводительным вычислениям, к новой компьютерной архитектуре, к новому языку программирования, алгоритмам, приложениям, мы пришли теперь к новой микросхеме – TrueNorth.
Позвольте мне воспользоваться возможностью, чтобы пригласить вас в путешествие по этой нехоженой тропе.
Ретроспектива
Путь развития компьютеров можно отследить, по крайней мере, от 1642 года, когда Блеза Паскаль собрал свой механический калькулятор. Современная эра компьютерной техники началась с появления вычислительной машины ENIAC 15 февраля 1946 года [1]. Изобретение транзистора в 1948 году привело к разработке первой интегральной схемы в 1958 году, что, в свою очередь, позволило в 1971 году создать первый микропроцессор. С тех пор тактовая частота микропроцессоров увеличилась в 1000 раз. Примечательно, что эта эволюция шла в направлении, диаметрально противоположном вычислительной парадигме мозга. В итоге современные микропроцессоры в восемь раз быстрее (в плане тактовой частоты) и в четыре раза теплее (с точки зрения мощности, выделяемой на единицу площади коры), чем человеческий мозг.
 |
|
| Массив ядер микропроцессора TrueNorth. |
С учетом общего энергопотребления различие между мозгом и современными компьютерами становится еще более значительным. Отметим, что симуляция объекта масштаба человеческого мозга с сотней триллионов синапсов (и относительно простыми моделями нейронов и синапсов) требует 96 стоек Blue Gene/Q суперкомпьютера Sequoia Ливерморской национальной лаборатории, при этом скорость симуляции будет в 1500 раз медленнее работы мозга в режиме реального времени. Гипотетическому компьютеру для выполнения такого моделирования в режиме реального времени потребуется 12 ГВт, в то время как человеческий мозг потребляет лишь 20 Вт.
Чем объясняется такое несоответствие?
Здесь присутствуют два фактора: технология и архитектура. В отличие от сегодняшней неорганической кремниевой технологии мозг использует биофизические, биохимические и органические ресурсы. В то время как будущее связывают с нанотехнологиями, мы сосредоточились на втором факторе – архитектурных инновациях, в частности, на минимизации энергопотребления продукта, его площади и системных задержек, что может быть реализовано с помощью современных технологий.
Перспектива
Есть предположение, что кора головного мозга образована повторяющимися каноническими микроцепями. Вдохновленные этой гипотезой, в 2011 году мы продемонстрировали событийно-управляемое нейросинаптическое ядро, моделирующее мозг червя, в котором объединили вычислительное и запоминающее устройство. Теперь же мы уменьшили площадь нейросинаптического ядра в 15 раз, а энергопотребление сократили в 100 раз и, объединив 4096 ядер в сеть на кристалле, получили TrueNorth – микросхему с одним миллионом нейронов и 256 миллионами синапсов. Стоит отметить, что мы намеревались создать микросхему только с 1024 ядрами, но в ноябре 2011 года, как команда, мы приняли дерзкое решение увеличить количество ядер в 4 раза, то есть до 4096. Изготовленный по технологии компании Samsung с проектными нормами 28 нм, процессор TrueNorth с 5.4 млрд. транзисторов на сегодня является самой сложной микросхемой, когда-либо созданной IBM. При моделировании сложных рекуррентных нейронных сетей TrueNorth потребляет менее 100 мВт и имеет плотность мощности 20 мВт/см2.
В отличие от доминирующей фон-неймановской архитектуры, TrueNorth, подобно мозгу, имеет параллельную, распределенную, модульную, масштабируемую, отказоустойчивую, гибкую архитектуру, объединившую средства вычислений, связи и хранения информации, и не имеющей механизма синхронизации. Справедливости ради надо сказать, что создание TrueNorth привело к полной переоценке возможностей имитирующих мозг компьютеров с точки зрения размеров, архитектуры, эффективности, масштабируемости и методов проектирования микросхем.
 |
|
| Инфографика «Интеллектуальная мощь». |
Нельзя сказать, что проектирование и тестирование TrueNorth было простой задачей. Беспрецедентные размеры микросхемы, нетрадиционная архитектура, новая гибридная методология синхронно-асинхронных цепей и новый незнакомый технологический процесс требовали специальных подходов при разработке, верификации и методах тестирования, основанных на новаторстве, командной работе и управлении проектом на самом высоком уровне. Важнейшим элементом была функциональная эквивалентность «один-к-одному» между TrueNorth и нашим программным симулятором Compass. Эта эквивалентность позволила нам приступить к разработке приложений задолго до того, как микросхемы пришли с фабрики, а также позволила проверить правильность работы логики процессора.
Исчерпав все доступные средства и инструменты проверки микросхемы до ее производства, чтобы убедиться, что ни один камень не остался не перевернутым, я даже предложил бутылку шампанского за $1000 тому, кто найдет хоть одну ошибку. Не было найдено ни одной. Не была найдено и год спустя после того, как процессор прошел все тесты, после чего мы были уже точно уверены, что фатальные ошибки отсутствуют. Мое шампанское было спасено!
 |
|
| Команда IBM SyNAPSE. |
Проект просто не смог бы состояться без новаторского духа и огромной преданности ядра нашей команды, предоставившей важнейшие инструменты проектирования асинхронных схем, которые мы совместно совершенствовали в ходе работы над проектом. Ключевое значение имело сотрудничество с Samsung, благодаря которому мы получили доступ к их передовому производственному процессу 28 нм, позволившему выдержать ограничения по активной мощности, заложенные в архитектуру TrueNorth. Я безмерно благодарен более чем двумстам нашим сотрудникам, с 2008 года работающим в лабораториях и на фабриках IBM, в пяти университетах, одном стартапе и двух лабораториях Министерства энергетики. И, наконец, очень важной была поддержка, в том числе материальная, оказанная нам со стороны DARPA.
Дальнейшие шаги
Давайте проясним: мы не создали мозг, или некое его подобие. Мы создали компьютер, идею которого нам подсказало строение мозга. Входы и выходы этого компьютера представляют собой спайки (кратковременные колебания потенциала). Функционально он преобразует пространственно-временной поток входных спайков в пространственно-временной поток выходных спайков.
Если бы было возможно визуализировать активность одного миллиона нейронов в TrueNorth, мы увидели бы что-то похожее на ночной городской пейзаж с мерцающими огнями. С учетом этой нетрадиционной вычислительной парадигмы, компиляция кода C++ в TrueNorth напоминала использование молотка для закручивания винта. В результате, чтобы получить возможность полноценного использования TrueNorth, мы разработали целую экосистему в комплекте с новым симулятором, новым языком программирования, интегрированной средой программирования, новыми библиотеками, новыми (и старыми) алгоритмами, а также с приложениями и новым учебным планом (любовно названным «SyNAPSE University»). Назначение экосистемы – значительно увеличить производительность труда программиста. Образно, если TrueNorth – это ENIAC, то наша экосистема соответствует языку FORTRAN.
Мы работаем в лихорадочном темпе, чтобы сделать экосистему максимально доступной для сотрудников IBM, университетов, деловых партнеров, стартапов и клиентов. В сотрудничестве с международным научным сообществом, за счет использования экосистемы, мы предвидим возможность эффективным образом сопоставлять существующее тело алгоритмов нейронных сетей с архитектурой, а также быть в состоянии представлять себе и придумывать совершенно новые алгоритмы.
 |
|
| Синаптическая плата с 16 микросхемами. |
В целях поддержки этих алгоритмов при постоянно разрастающихся масштабах оборудования микросхемы TrueNorth могут быть легко соединены друг с другом для создания огромных масштабируемых нейроморфных систем. В сущности, мы уже построили системы с 16 миллионами нейронов и 4 миллиардами синапсов. Теперь мы поставили перед собой амбициозную цель – интегрировать 4096 микросхем с 4 миллиардами нейронов и 1 триллионом синапсов в одну стойку, которая будет потреблять примерно 4 кВт.
Такая архитектура, способная решать широкий класс проблем, связанных с задачами машинного зрения, слуха и многосенсорного восприятия, имеет потенциал коренного преобразования компьютерной индустрии благодаря интеграции возможностей, подобных возможностям мозга, в устройства, где вычисления ограничивается мощностью и скоростью. Эти системы могут эффективно обрабатывать в реальном времени многомерные, зашумленные данные с датчиков, потребляя при этом энергии на несколько порядков меньше, чем обычные компьютерные архитектуры.
С одной стороны, TrueNorth будет применяться в портативных устройствах: смартфонах, сенсорных сетях, беспилотных автомобилях, роботах, системах общественной безопасности, приборах медицинской визуализации, устройствах анализа видео в режиме реального времени, в обработке сигналов, в приборах обнаружения запахов и в цифровой патологии. С другой стороны – в синаптических суперкомпьютерах для облачной обработки мультимедийных данных. Кроме того, наш чип может использоваться в сочетании с другими когнитивными компьютерными технологиями для создания систем, способных обучаться, рассуждать и помогать человеку принимать более обоснованные решения. Мы надеемся, что со временем SyNAPSE станет неотъемлемой составной частью проекта Watson компании IBM.
 |
|
| Левое полушарие мозга / правое полушарие мозга. |
Мы работаем совместно с iniLabs, создателем ретинальной камеры DVS, напрямую формирующей спайки, являющиеся естественными входами для TrueNorth. Интегрировав эти два устройства, мы начали изучение сквозной системы машинного зрения с крайне малым энергопотреблением.
Если о сегодняшних фон неймановских компьютерах мы думаем как о «левом полушарии мозга» – быстрых, оперирующих символами и цифрами калькуляторах, тогда TrueNorth можно уподобить «правому полушарию» – медленным, сенсорным, распознающим образы машинам.
Мы планируем дополнить наши нейросинаптические ядра синаптической пластичностью, чтобы создать новое поколение нейросинаптических компьютеров, адаптирующихся к условиям эксплуатации и способных к онлайн-обучению.
Я не был там, где представляли ENIAC, но у меня есть четкое ощущение, что мы находимся в подобной поворотной точке истории вычислительной техники. Технологические и практические возможности огромны и могут затронуть каждую область науки, техники, бизнеса, правительства и общества. Я настроен оптимистично в отношении того, что непреходящая ценность нашей работы позволит совершенно по-новому взглянуть на сущность компьютерных вычислений. Это, я считаю, породит мощный дух творчества в университетах, стартапах, технологических компаниях и профессиональных сообществах бесчисленных областей знаний.
Но мы еще не там. В самом деле, ведь TrueNorth – это направление движения, а не пункт назначения! Конечной целью является создание интеллектуальных машин, которые позволят планете познавать и трансформируют все отрасли промышленности. Захватывающе!
