Что такое нейроморфный компьютер
Ученые мечтают создать чип, который бы работал как человеческий мозг — быстро, мог обрабатывать параллельные процессы и тратил бы меньше энергии на все это. Такой чип станет основой для полноценного искусственного интеллекта, который будет думать как человек. «Хайтек» рассказывает, как ученые создают искусственный мозг и почему это так сложно.
Читайте «Хайтек» в
Работа человеческого мозга до сих пор загадка, его изучают с точки зрения биологии, математики, физики и электронной инженерии. Если соединить все эти знания, получится нейроморфный чип — устройство, которые имитирует работу нашего мозга. Зачем ученые хотят перенести мозг в физическую память? И почему мы до сих пор не создали искусственный интеллект, похожий на нас?
Нейроморфные чипы будут работать как наш мозг. Что это значит?
В основе нейроморфного чипа лежит принцип работы человеческого мозга. Чип повторяет функцию нейронов головного мозга, а также отвечает за передачу информации и ее обработку.
Между нейронами существуют связи, которые появляются благодаря синапсисам, по которым перемещаются электрические сигналы.
Если соблюдены все эти условия, то получается процессор, функционирующий похожим образом, что и наш мозг — он воспринимает поступающую информацию, а также меняет связи между нейронами под воздействием внешнего раздражителя — так работает процесс обучения.
Зачем разрабатывать нейроморфные чипы? Чем они лучше обычных?
Ученые считают, что именно нейроморфные чипы помогут нам создать полноценный искусственный интеллект (ИИ). Еще одна задача таких устройств — сделать быстрее обучение сверточных нейросетей, которые распознают изображения. В таком случае системе на базе ИИ не нужно делать запрос в хранилище с данными, так как все необходимое для работы уже записано в нейронах искусственного мозга.
Также нейроморфные чипы помогут организовать работу алгоритмов машинного обучения внутри самого устройства, это значит, что их можно будет использовать в смартфонах и IoT-технике.
Какие ИТ-компании разрабатывают нейроморфные чипы?
Чтобы сделать нейроморфный чип, нужно перенести и воспроизвести процесс работы человеческого мозга на цифровой носитель. Наука давно занимается этой задачей с разной степенью успешности.
В 2014 году IBM создала модульную систему TrueNorth — это искусственная сеть, которая разработана на основе нескольких процессоров. В ней есть 4,5 млрд транзисторов с 256 млн эмулируемых синапсов. Также инженеры смогли сделать систему энергоэффективной, как и наш мозг.
В 2018 году компания Intel представила свой чип под названием Loihi из 128 нейроморфных ядер, каждое из них приводит в работу 1 024 нейрона. Конфигурацию разработки можно менять с помощью API, написанного на Python.
Разработчики представляют все более похожие на наш мозг устройства, например инженеры из Манчестерского вуза создали архитектуру SpiNNaker, она состоит из 1 млн. ядер, которые запускают в работу 100 млн нейронов. Систему использовали, чтобы симулировать процессы в мозге мыши.
Еще один прорыв в этой области — работа специалистов Samsung и ученых из Гарвардского университета. Они разработали концепт имитации человеческого мозга с полупроводниковыми чипами. С помощью нового метода авторы хотят создать микросхему памяти, которая будет работать так же эффективно, как и мозг,
Почему сделать искусственный мозг сложно?
Основная проблема заключается в том, что человеческий мозг обрабатывает информацию с помощью химических соединений: нейронов в мозге может быть миллиарды, а синаптических связей между ними еще больше. Из-за такой объемной структуры почти невозможно напрямую перенести принцип получения и обработки информации на цифровое устройство. Также полноценное воспроизведение мозга требует много свободной памяти — около нескольких триллионов единиц.
Кроме этого, чтобы повторить структуру мозга, нужно изучить, как он функционирует с точки зрения биологии, математики, электронной инженерии, физики и все это попытаться воплотить в одном устройстве.
Также есть мнение, что архитектура фон Неймана, которая описывает принцип хранения команд и данных в памяти у современных компьютеров, не подходит для нейроморфных чипов, так как она строится на принципах однородности памяти, адресности и программного управления. А это противоречит идее о чипе, работающем как мозг. От этой концепции нужно отказаться и полагаться на нейробиологию.
Архитектура фон Неймана — это когда данные и инструкции хранятся в одной памяти. Этот тип архитектуры строится на принципах однородности памяти, адресности и программного управления. Большинство современных компьютеров работает по этой концепции.
Как будет работать нейроморфный чип, когда мы его изобретем?
Нейроморфный чип совершит революцию в современной технике. Все устройства, которые работают с информацией, станут намного быстрее. И это благодаря тому, что информация будет обрабатываться так же, как и в нашем мозге: автономно и параллельно.
Нейроморфный чип поможет избавиться от задержки при обработке данных или сигналов, которые посылает пользователь. Техника станет самостоятельной и автономной, также снизится расход потребления энергии.
Вот уже лет сто, а то и больше, человечество мечтает, размышляет, пишет, поёт, снимает фильмы о машинах, которые могут думать, рассуждать и, подобно нам, обладают разумом. Произведения литературного и кинематографического искусства — начиная с романа «Едгин», опубликованного в 1872 году Сэмюэлем Батлером, со статьи Эдгара Аллана По «Игрок в шахматы Мельцеля», с фильма «Метрополис» 1927 года — продемонстрировали миру идею, в соответствии с которой машины могут думать и рассуждать как люди. Причём, в этой идее нет ни магии, ни ещё чего-то фантастического. Те, кого захватывала эта идея, вдохновлялись автоматонами из глубокой древности и работами философов — таких, как Аристотель, Раймунд Луллий, Томас Гоббс и многих, многих других.
Идеи философов о человеческом разуме привели к вере в то, что рациональное мышление можно описать, пользуясь алгебраическими или логическими механизмами. Позже, с появлением электронных приборов, компьютеров и закона Мура, человечество попало в состояние постоянного ожидания того, что вот ещё немного — и появится машина, разум которой сравним с человеческим. Некоторые объявляли разумные машины спасителями человечества, а некоторые видели в этих машинах источник великого бедствия, так как полагали, что появление на Земле второй разумной сущности приведёт к уничтожению первой, то есть — людей.
Свет компьютеризированных систем искусственного интеллекта ярко вспыхивал в истории человечества уже несколько раз. Это было в 1950-х, в 1980-х и в 2010-х годах. К сожалению, за обоими предыдущими ИИ-бумами следовала «ИИ-зима». Искусственный интеллект не оправдывал возложенных на него ожиданий и выходил из моды. В том, что наступали эти «зимы», часто винили недостаток вычислительной мощности, неправильное понимание устройства человеческого мозга, или рекламную шумиху и необоснованные домыслы, которыми была окутана тема ИИ. В разгар сегодняшнего «ИИ-лета» большинство исследователей, работающих в сфере искусственного интеллекта, основное внимание уделяют использованию постоянно увеличивающейся доступной им вычислительной мощности для увеличения глубины создаваемых ими нейронных сетей. «Нейронные сети», несмотря на своё многообещающее название, хотя и созданы под влиянием знаний о нейронах головного мозга человека, похожи на сети настоящих нейронов лишь на поверхностном уровне.
Некоторые исследователи полагают, что уровня общего умственного развития, соответствующего человеческому, можно достичь, просто добавляя всё больше и больше слоёв к упрощённым моделям головного мозга, вроде свёрточных нейронных сетей, и скармливая им всё больше и больше данных. Это направление развития ИИ подпитывают те невероятные вещи, на которые способны такие сети, возможности которых постоянно понемногу возрастают. Но нейронные сети, которые, в буквальном смысле слова, творят чудеса, всё же, являются узкоспециализированными системами, умеющими добиваться превосходных успехов лишь в решении какой-то одной задачи. ИИ, который божественно играет в игры Atari, не способен, если человек не оснастит его этими возможностями, писать музыку или размышлять о погодных закономерностях. Более того — качество входных данных очень сильно влияет на качество работы нейронных сетей. Их возможности по формированию логических заключений ограничены. В некоторых сферах применения нейронных сетей это приводит к неудовлетворительным результатам. Есть мнение, что, например, рекуррентные нейронные сети никогда не смогут достичь того уровня общего умственного развития и гибкости, которые характерны для людей.
Но, в то же время, некоторые исследователи пытаются построить что-то, больше похожее на человеческий мозг. Они для этого, как вы, наверное, уже догадались, стремятся к созданию как можно более точных моделей мозга. Учитывая то, что мы живём в эпоху золотого века компьютерных архитектур, похоже, что сейчас — самое время создать что-то новое в сфере аппаратного обеспечения компьютеров. Подобное «железо» уже, на самом деле, создают. Это — нейроморфное аппаратное обеспечение.
Что такое нейроморфные вычисления?
«Нейроморфный» — это модный термин, который используется в применении к любым программам или устройствам, которые пытаются сымитировать деятельность мозга. Хотя человечество ещё очень многого не знает о мозге, за несколько последних лет в этой сфере достигнуты кое-какие замечательные успехи. Одной из широко принятых теорий, касающихся мозга, является гипотеза, в соответствии с которой неокортекс (в широком смысле — место, где принимаются решения и обрабатывается информация) состоит из миллионов кортикальных колонок или модулей. Отдельные системы мозга, такие, как гиппокамп, имеют узнаваемую структуру, которая отличает их от других частей мозга.
То же самое справедливо и для неокортекса, который сильно отличается в плане структуры, например, от заднего мозга. В неокортексе имеются области, отвечающие, как известно, за выполнение различных функций — таких, как зрение и слух, но мозговое вещество, из которого сформирован неокортекс, в плане структуры, выглядит весьма однородным. Если перейти на более абстрактную точку зрения, то получится, что части неокортекса, ответственные за зрение, очень похожи на те, что отвечают за слух. Но, в то же время, системы заднего мозга сильно отличаются одна от другой, их структура зависит от их функций. Этот подход к пониманию устройства мозга привёл к появлению гипотезы Вернона Маунткасла, в соответствии с которой имеется некий центральный алгоритм, или некая центральная структура, благодаря которым неокортекс решает свои задачи. Кортикальная колонка — это своего рода логическая единица коры головного мозга. Она обычно состоит из 6 слоёв, причём, в пределах колонки, вертикальных связей между этими слоями гораздо больше, чем горизонтальных связей между отдельными колонками. Это значит, что подобную логическую единицу можно несколько раз скопировать и сформировать благодаря этому искусственный неокортекс. У этой идеи есть хорошие перспективы в свете технологий создания сверхбольших интегральных схем. Наши производственные процессы весьма эффективны в деле создания миллионов копий неких структур на маленькой площади.
Хотя рекуррентные нейронные сети (RNN, Recurrent Neural Network) относятся к полносвязным сетям, настоящий мозг придирчиво относится к вопросу о том, что с чем должно быть соединено. Распространённой наглядной моделью нейронных сетей является пирамида, состоящая из отдельных слоёв. Нижний слой извлекает признаки из входных данных, а каждый последующий слой извлекает из того, что подаётся на его вход, всё более абстрактные признаки. Анализ лучше всего исследованных систем мозга показывает, что в этих системах существует широкое разнообразие иерархических структур, в которых имеются обратные связи. В пределах этих иерархических структур существуют обратные и прямые связи, соединяющие, не обязательно по порядку, различные уровни этих структур. Такой вот «пропуск уровней» можно считать нормой, но не жёстким правилом, а это свидетельствует о том, что именно структура связей может быть ключом к тем свойствам, которые демонстрирует мозг человека.
Это привело нас к следующей общепринятой точке зрения: большинство нейронных сетей используют метод «интегрировать-и-сработать» с утечками. В RNN каждый узел испускает сигнал на каждом временном шаге работы сети, а настоящие нейроны испускают сигналы лишь тогда, когда мембранный потенциал нейрона достигает порогового значения (в реальности, правда, всё несколько сложнее). Есть искусственные нейронные сети, в которых учтена эта особенность, и которые более точно, с биологической точки зрения, имитируют работу мозга. Это — так называемые импульсные нейронные сети (Spiking Neural Networks, SNN). Модель, соответствующая методу «интегрировать-и-сработать» с утечками не так точна, с биологической точки зрения, как другие модели — вроде модели Хиндмарша — Роуз или модели Ходжкина — Хаксли. В рамках этих моделей учитываются функции нейротрансмиттеров и синаптических щелей. Но реализация таких моделей требует значительной вычислительной мощности. То, что нейроны испускают сигналы не всегда, означает, что числа должны быть представлены в виде последовательностей потенциалов действия нейронов, а конкретные значения должны быть соответствующим образом закодированы.
Как далеко продвинулись нейроморфные вычисления?
Несколько групп исследователей занимаются непосредственным моделированием нейронов. Например — это делается в рамках проекта OpenWorm: создана модель нервной системы круглого червя Caenorhabditis elegans, состоящая из 302 нейронов. Сейчас цель многих подобных проектов заключается в увеличении количества моделируемых нейронов, в повышении точности моделей, в оптимизации производительности программ. Например, в рамках проекта SpiNNaker создан суперкомпьютер начального уровня, позволяющий, в реальном времени, моделировать работу огромного количества нейронов. А именно, каждое процессорное ядро суперкомпьютера может обслуживать 1000 нейронов. В конце 2018 года проектом достигнут рубеж в 1 миллион ядер, а в 2019 году было объявлено о гранте на постройку подобной машины второго поколения (SpiNNcloud).
Многие компании, правительственные организации и университеты занимаются поиском необычных материалов и технологий для создания искусственных нейронов. В этой связи можно вспомнить о мемристорах, о спин-трансферных осцилляторах, о магнитных переключателях на основе джозефсоновских переходов. Хотя в моделях эти технологии и выглядят весьма многообещающими, огромная пропасть лежит между парой десятков смоделированных нейронов (или нейронов, размещённых на небольшой экспериментальной плате) и тысячами, если не миллионами нейронов, которые необходимы для достижения машиной реальных человеческих возможностей.
Другие исследователи (они работают, например, в IBM, Intel, BrainChip, в некоторых университетах) пытаются создать аппаратные реализации SNN, опираясь на существующие технологии, в частности — на технологию CMOS. Одна из таких платформ разработана Intel и представлена нейроморфным процессором Loihi, на основе которого можно создавать достаточно крупные системы.
Нейроморфная система, использующая 64 чипа Loihi для моделирования 8 миллионов нейронов
В первой половине 2020 года специалистами Intel была опубликована работа, в которой шла речь об использовании 768 чипов Loihi для реализации алгоритма поиска ближайшего соседа. Машина, имитирующая работу 100 миллионов нейронов, показала многообещающие результаты, продемонстрировав задержки, выглядящие лучше, чем в системах с большими, заранее рассчитанными индексами, и давая возможность добавлять в набор данных новые записи за время O(1).
Есть ещё крупномасштабный проект Human Brain Project, цель которого — лучше понять биологические нейронные сети. В нём имеется система, называемая BrainScaleS-1, при создании которой применяются цельнопластинные интегральные схемы, использующая для имитации нейронов аналоговые и смешанные сигналы. BrainScaleS-1 состоит из 12 пластин, каждая из которых моделирует 200000 нейронов. Подобная система следующего поколения, BrainScaleS-2, сейчас находится в разработке. Ожидается, что она будет готова в 2023 году.
Проект Blue Brain Project нацелен на создание как можно более точной копии мозга мыши. Хотя речь идёт и не о человеческом мозге, опубликованные в рамках этого проекта исследования и модели бесценны в деле продвижения человечества к созданию нейроморфных искусственных нейронных сетей, способных найти реальное применение.
В результате можно сказать, что мы находимся в самом начале пути к созданию чего-то такого, что способно решать какие-то реальные задачи. А главным препятствием на этом пути является тот факт, что мы до сих пор не обладаем достаточными знаниями о том, как устроен наш мозг, и о том, как он обучается. Когда речь идёт о нейронных сетях, размеры которых сравнимы с размерами нашего мозга, одной из самых сложных задач оказывается обучение таких сетей.
Нужны ли человечеству нейроморфные аппаратные устройства?
Что если человечеству не нужно нейроморфное аппаратное обеспечение? Например, алгоритм обратного обучения с подкреплением (Inverted Reinforcement Learning, IRL) позволяет машинам создавать функцию вознаграждения, не заостряя внимание исследователей на нейронных сетях. Просто наблюдая за чьими-либо действиями можно выяснить цель этих действий и воссоздать их через найденную функцию вознаграждения, которая обеспечивает воспроизведение наиболее эффективных действий эксперта (сущности, за которой осуществляется наблюдение). Проводятся дальнейшие исследования, касающиеся работы с экспертами, поведение которых не является оптимальным, с целью выяснения того, что они делали, и того, что они стремились сделать.
Многие продолжат продвигаться в сфере нейроморфных вычислений, применяя уже существующие сети, сравнительно простые, с использованием улучшенных функций вознаграждения. Например, в свежей статье о копировании частей мозга стрекозы с использованием простой трёхслойной нейронной сети, показано, что систематизированный подход, основанный на хороших знаниях моделируемого объекта, способен дать отличные результаты. Хотя рассмотренные в статье нейронные сети не показывают столь же замечательных результатов, что и стрекозы, живущие в своей среде, трудно сказать, не является ли это следствием того, что стрекозы, в сравнении с другими насекомыми, обладают гораздо лучшими «лётными возможностями».
Каждый год мы видим всё новые и новые успехи техник глубокого обучения. Кажется, что выйдут ещё одна-две публикации, и эта сфера из интересной превратится в потрясающую воображение, а потом — в нечто такое, что и в голове не укладывается. Люди не умеют предсказывать будущее. Может — так всё и будет. А может — и нет. Возможно, если человечество продолжит двигаться в том же направлении — оно найдёт что-то новое, лучше поддающееся обобщению, которое можно будет реализовать средствами существующих нейронных сетей глубокого обучения.
Что делать тем, кому интересны нейроморфные вычисления?
Если вы хотите заняться нейроморфными вычислениями — учитывайте то, что многие проекты, упомянутые в этой статье, являются опенсорсными. Используемые в них наборы данных и модели можно найти на GitHub и на других подобных площадках. Среди таких проектов можно отметить, например, потрясающие NEURON и NEST. Многие энтузиасты нейроморфных вычислений рассказывают о своих экспериментах на OpenSourceBrain. А ещё, например, можно создать собственное нейроморфное «железо» — вроде NeuroBytes (если вас интересует именно тема «железа» — взгляните на этот обзор 2017 года).
В результате можно сказать, что, хотя нейроморфным вычислениям предстоит пройти ещё долгий путь, их будущее выглядит многообещающим.
Нейроморфные вычисления – что это?
Нейроморфные вычисления – новая компьютерная технология, нацеленная на использование принципов строения и работы человеческого мозга.
Мозг человека – привлекательная модель для компьютерной отрасли. В отличие от большинства суперкомпьютеров, которые, возможно, приближаются к возможностям человеческого мозга в некоторых аспектах, например, в распознавании изображений, занимают комнаты, а не 1,5 – 2 литра, как мозг человека разумного.
Мозг не потребляет столько энергии, как суперкомпьютер. Ученые подсчитали, что мозг здорового человека в спокойном состоянии потребляет 20-30 Вт в сутки, что составляет примерно 0.00007% мощности суперкомпьютера самого мощного в мире суперкомпьютера Fugaku (28 мегаватт). Кроме того, суперкомпьютерам нужна система охлаждения, а мозг прекрасно работает при температуре 36-37°C.
Хотя суперкомпьютеры могут обрабатывать огромные объёмы информации с высокой скоростью, мозг выигрывает в способности к адаптации. Такие задачи, как выбор распознавание изображений, написание стихов и картин, мозг всё ещё выполняет лучше, чем суперкомпьютер. Поэтому, использование модели обработки информации в мозг поможет значительно улучшить мощность компьютеров в будущем.
Компьютеры всё ещё используют архитектуру фон-Нойманна (von Neumann), разработанную в середине прошлого века, в которой память и процессор разделены. Поэтому, вычислительная система с такой архитектурой вынуждена постоянно играть в «информационный пинг-понг», перегоняя данные из процессора в память и обратно. Это приводит к задержкам и расходу энергии.
Кроме того, архитектура фон Нойманна по природе работы является последовательной, а мозг в целом обрабатывает информацию параллельно. Мозг также гораздо более «устойчив к отказам».
То есть, архитектура фон Нойманна постепенно изживает себя. Поэтому настало время новой архитектуры – нейроморфной и всё больший интерес вызывают квантовые вычисления и нейроморфные системы.
Как работают нейроморфные вычисления
Реакция мозга на какое-то воздействие (например, укол иглы) может запускаться либо массивным воздействием раздражителя (иголка обычно воздействует не на один нейрон, а на много, поскольку их размеры малы), либо количественным, накопительным воздействием. При этом, имея в виду, что один синапс может быть связан с тысячами других, мозг обрабатывает информацию быстро и эффективно.
Нейроморфный компьютер использует именно такую модель работы, которая также используется и в спайковых нейронных сетях (spike, англ. – всплеск, выброс). Такие сети могут переносить информацию как массово, так и накопительно.
Нейроморфные системы могут быть как цифровыми, так и аналоговыми. В первом случае, роли синапсов могут выполнять триггерные транзисторы, во втором – мемристоры, элементы, которые могут хранить множество состояний, не только 0 или 1. Изменяя «веса» передаваемых сигналов в нейронной сети, можно моделировать работу мозга.
Кроме мемристоров, которые уже активно применяются в новых видах памяти компьютеров, например MRAM, исследователи также активно смотрят в сторону технологий квантовых точек и графена.
На нейроморфные технологии также возлагаются большие надежды в области т.н. «искусственного интеллекта» (ИИ, AI), поскольку традиционные компьютерные технологии уже показали недостаточную эффективность в этой области.
Нейроморфные системы также перспективны для применения в областях, связанных с обработкой полезного сигнала при высоких уровнях шума. Например, вполне возможно, что первые грампластинки начала прошлого века зазвучат с качеством современных звуковых систем HiEnd, после обработки на нейроморфном компьютере, а первые киносъёмки можно будет посмотреть в цвете и с качеством 4K.
Что уже есть?
Компания Intel уже разработала нейроморфный чип Loihi и построила систему на шестидесяти четырёх таких чипах, смоделировав в ней 8 миллионов нейронов, которая получила название Pohoiki Beach. В ближайшем будущем планируется довести число нейронов в такой системе до 100 млн.
Компания IBM ещё в 2014 году создала нейроморфную систему TrueNorth, в новейшем модели которой смоделированы 64 миллиона нейронов и 16 миллионов синапсов. Пока IBM не афиширует эти работы, но известно, что заключен контракт с исследовательской лабораторией ВВС США на создание нейроморфного компьютера под названием Blue Raven. Его, в частности, планируют применять в военных дронах, чтобы сделать их легче, умнее и снизить их энергопотребление.
Структура чипа TrueNorth.
Исследования нейроморфных систем ведутся также в исследовательских лабораториях Калифорнийского технологического университета (Cal-tech). В Европе развивается финансируемый из бюджета ЕС проект под названием Human Brain Project (HBP), рассчитанный на 10 лет, работмиллионом ы над которым начаты в 2013 году. В этом проекте разрабатываются две нейроморфные системы SpiNNaker и BrainScaleS. SpiNNaker, система с одним миллионом процессорных ядер, была запущена в 2018 году.
Сложности и вызовы
Столь радикальная смена парадигмы, как переход от фон-нойманновской архитектуры к нейроморфной, неизбежно связан с рядом проблем. Если в традиционной архитектуре, например, изображения обрабатываются просто кадр за кадром, то в нейроморфной визуальная информация обрабатывается как изменение визуального поля во времени.
Языки программирования тоже нужно будет переделывать практически заново. С точки зрения оборудования тоже не всё просто. Для того, чтобы реализовать все преимущества нейроморфных вычислений, потребуются новые поколения памяти, систем хранения и сенсоров. Принципы интеграции элементов оборудования также потребуется переосмыслить.
Как осуществляются вычисления в природе? В попытках ответить на этот вопрос, так или иначе, на ум приходит биологическая нервная система, хотя и в других проявлениях жизни существует множество примеров вычислений. Некоторые примеры включают растения [1–5], бактерии [6], простейшие организмы [7] и рои [8]. Большинство попыток понять биологические нервные системы располагаются вдоль спектра. На одном конце осуществляются попытки имитировать наблюдаемые физические свойства нервной системы. Эти модели обязательно содержат параметры, которые следует настроить, чтобы они соответствовали биофизическим и архитектурным свойствам природной модели. Примеры такого подхода включают в себя нейроморфную цепь Боахена (Boahen) и процессор Neurogrid [9], разработанные в Стэнфордском университете, математическую модель спайковых нейронов Ижикечива (Izhikevich) [10] и крупномасштабное моделирование Элиасмита (Eliasmith) [11]. На другом конце спектра отказываются от биологического подражания в попытке решить проблемы, связанные с мозгом, такие как восприятие, планирование и управление, с помощью алгоритмов. Обычно это называется машинным обучением. К алгоритмическим примерам можно отнести максимизацию опорных векторов [12], кластеризацию методом k-средних [13] и использование метода случайных лесов [14]. Многие подходы попадают вдоль спектра между подражанием и машинным обучением. К таким методам относятся нейроморфные процессоры CAVIAR [15] и CogniMem [16], а также нейросинаптическое ядро IBM [17]. Более десяти лет мы искали альтернативный подход за пределами типичного спектра, задавая себе простой, но важный вопрос: как мозг может обрабатывать данные, учитывая, что он создан из энергозависимых компонентов? Изучение этого вопроса привело нас к формализованной теории вычислений на основе обучения Хебба и анти-Хебба (AHaH), разработкам нейроморфного сопроцессора под названием «термодинамическое ОЗУ» и многообещающим результатам первого мемристора компании Knowm, имитирующего принцип действия синапсов. Но прежде чем мы поговорим о перспективах нейроморфных вычислений, давайте взглянем на основные наработки и события, которые привели к текущему положению вещей в этой области.
Стоя на плечах гигантов
В 1936 году Тьюринг (Turing), известный новаторской работой в области вычислений и фундаментальной статьей «О вычисляемых числах» [18], предоставил формальное доказательство того, что машину можно создать таким образом, чтобы она могла выполнять любые возможные математические вычисления, представленные в виде алгоритма. Эта работа стала отправной точкой в развитии современной отрасли вычислений. Немногие знают, что, помимо работы, которая привела к созданию цифрового компьютера, Тьюринг спрогнозировал возникновение коннекционизма и нейроподобных вычислительных систем. В своем докладе «Интеллектуальные машины» [19] он описал машину, состоящую из искусственных нейронов, каким-либо способом связанных с помощью модификаторов. (Этот доклад был написан в 1948 году, но опубликован лишь после смерти автора в 1968 году.) Согласно автору, модификаторы можно настроить таким образом, чтобы они передавали или прерывали сигнал. Нейроны при этом состоят из логических элементов И-НЕ. Тьюринг выбрал именно эти логические элементы, потому что на их основе можно создать любую другую логическую функцию.
В 1944 году в свет вышла книга физика Шредингера (Schrödinger) «Что такое жизнь?», основанная на серии лекций, прочитанных в дублинском Тринити-колледже. В книге Шредингер задает вопрос: «Как физика и химия могут объяснить те явления в пространстве и времени, которые происходят с живим организмом?». Он описал апериодический кристалл, который предугадал природу ДНК (тогда еще не раскрытую), а также концепцию негэнтропии, согласно которой живая система экспортирует энтропию, чтобы поддержать свою собственную энтропию на низком уровне [20].
Только через год после выхода работы Тьюринга «Интеллектуальные машины» в 1949 году Хебб (Hebb) описал синоптическую пластичность как механизм, с помощью которого реализуется феномен обучения и памяти [21]. Десять лет спустя в 1958 году Розенблатт (Rosenblatt) определил теоретические основы коннекционизма и смоделировал перцептрон, что вызвало ажиотаж в отрасли [22].
В 1953 году Барлоу (Barlow) обнаружил, что нейроны мозга лягушки отвечают на конкретные визуальные стимулы [23]. Вслед за этим в 1959 году Хьюбел (Hubel) и Визел (Wiesel) смогли показать существование нейронов в первичной зрительной коре котов, которые выборочно реагируют на контуры при определенных ориентациях [24]. Это привело к созданию теории рецептивных полей, согласно которой клетки одного уровня структуры формируются из вводов клеток на более низком уровне.
В 1960 году Уидроу (Widrow) и Хофф (Hoff) разработали ADALINE, физическое устройство, в котором использовалось электрохимическое покрытие угольных стержней для имитации синоптических элементов, называемых мемисторами [25]. В отличие от мемристоров, мемисторы — это электрохимические компоненты. Проводимость между двумя электродами мемисторов зависит от интеграла от силы тока, проводимого в третьем электроде, по времени. Эта работа представляет собой первое объединение мемристоров с электронной обратной связью, что имитирует механизм познания.
В 1969 году Минский (Minsky) и Паперт (Papert) вызвали ажиотаж своими исследованиями о перцептронах. Они проанализировали некоторые свойства перцептронов и показали, что с их помощью нельзя вычислить функцию «исключающего ИЛИ» (XOR) с использованием только местных нейронов [26]. Реакция на исследования Минского и Паперта отвлекла внимание от соединительных сетей до появления ряда новых открытий, в том числе нейронной сети Хопфилда (1982 г.) [27], метода обратного распространения ошибки (1986 г.) [28], теории адаптивного резонанса (1987 г.) [29] и др. Ажиотаж в области нейронных сетей начал исчезать, так как ключевую проблему генерализации в отношении запоминания оценили в полной мере. Тогда вычислительный переворот сошел на нет.
В 1971 году Чуа (Chua) на основе симметрических аргументов создал теорию мемристора (запоминающего электрохимического элемента), который представляет собой недостающий четвертый элемент электросхемы с двумя электродами. Сопротивление мемристора зависит от суммарного заряда, прошедшего через электроды [30,31].
В 1980 году основоположник СБИС Мид (Mead) и Конвей (Conway) опубликовали книгу «Введение в проектирование больших интегральных микросхем» [32]. Кроме этого, Мид, Хопфилд и Фейнман (Feynman) провели совместные исследования вычислительных процессов в мозгу животных. Это сотрудничество ускорило выход в свет работ по нейронной сети Хопфилда, нейроморфной инженерии Мида и методам вычисления в области физики Фейнмана. Мид создал первые в мире нейронные микросхемы, а также искусственные сетчатку и улитку уха, которые он описал в своей книге Analog VLSI Implementation of Neural Systems («Аналоговое внедрение нейронных систем с большими интегральными микросхемами»), опубликованной в 1989 году [33].
В 1982 году Байненсток (Beinenstock), Купер (Cooper) и Мунро (Munro) опубликовали теорию синаптических изменений [34]. Известная ныне как правило пластичности BCM, эта теория предпринимает попытки объяснить эксперименты измерения селективной способности нейронов в первичной сенсорной коре головного мозга и ее зависимость от нейронных вводов. Если взять данные естественных изображений, правило BCM сосредотачивается на селективно-ориентированных рецептивных полях. Это является убедительным доказательством того, что такие же механизмы работают в коре головного мозга, что подтверждают эксперименты Хьюбела и Визеля. В 1989 году Барлоу предположил, что такая селективная реакция является результатом неконтролируемого алгоритма обучения, который пытается найти факториальный код независимых функций [35]. Белл (Bell) и Сежновски (Sejnowski) продолжили работу в этой области в 1997 году и показали, что независимые компоненты естественной среды — это пороговые фильтры [36]. Это стало основой математической формулировки пластичности нейронов: нейроны изменяют свой синаптический вес для извлечения независимых компонентов. Создавая математическую основу пластичности нейронов, Оя (Oja) вместе с другими учеными разработал несколько правил пластичности, указав статистические свойства распределения выходных сигналов нейронов в качестве объективных функций. Это привело к созданию принципа анализа независимых компонентов (АНК) [37,38].
Примерно в то же время в результате ранних исследований статистической теории обучения Вапника-Червоненкиса появилась теория максимизации опорных векторов, которая стала общепризнанным решением проблемы генерализации в отношении механизма запоминания в классификаторах [12,39].
В 2004 году Нугент (Nugent) и другие показали, каким образом правило пластичности на основе AHaH вытекает из минимизации эксцесс-целевой функции и используется в качестве основы самоорганизованной отказоустойчивости в сетевых классификаторах машины опорных векторов. Таким образом, была продемонстрирована связь максимизации границ с анализом независимых компонентов и пластичностью нейронов [40,41]. В 2006 году Нугент впервые подробно рассказал о способах реализации правила пластичности на основе AHaH в схеме мемристора и продемонстрировал, что свойства аттрактора AHaH можно использовать для настройки универсальной перенастраиваемой логической схемы 42.
В 2008 году HP Laboratories объявили о разработке предполагаемого электронного устройства Чуа — мемристора [45] и исследовали его использование в качестве синапсов в нейроморфных схемах [46]. Еще ранее сообщалось о разработке нескольких устройств, подобных мемристорам [47–51], которые демонстрировали характерный цикл гистерезиса, но они не были описаны как мемристоры. В том же году Хилтон (Hylton) и Нугент запустили программу SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics) с целью продемонстрировать крупномасштабное адаптивное обучение с использованием интегрированных мемристоров на уровне биологических процессов. С 2008 года исследователи всего мира заинтересовались мемристорами [52–56], их моделями [57–62], их связью с биологическими синапсами [63–69] и их использованием в альтернативных архитектурах вычислительных систем [70–81].
В начале 2014 года мы опубликовали статью AHaH Computing — From Metastable Switches to Attractors to Machine Learning («Вычисления на основе обучения Хебба и анти-Хебба — от метастабильных переключателей до аттракторов и машинного обучения»). В ней формально описан новый подход к вычислениям, который мы называем «Вычисления на основе обучения Хебба и анти-Хебба», при котором, в отличие от традиционных компьютеров, память и процессор соединены. Идея основана на динамике аттракторов в нестабильных рассеивающих энергию электронных устройствах, за основу которых были взяты биологические системы. В результате мы получаем привлекательную альтернативную архитектуру со способностью к адаптации, самообслуживанию и обучению на основе взаимодействия с окружающей средой. В статье продемонстрированы функции машинного обучения высокого уровня, включая неконтролируемую кластеризацию, контролируемую и неконтролируемую классификацию, прогнозирование сложных сигналов, неконтролируемый роботизированный привод и комбинаторную оптимизацию. Позднее в том же году мы опубликовали статьи Thermodynamic RAM Technology Stack («Стек технологий термодинамического ОЗУ») и Cortical Computing with Thermodynamic-RAM («Использование термодинамического ОЗУ для рассчетов на базе вычислений, осуществляемых в коре головного мозга»), в которых описан принцип работы устройства и полная интеграция стека, а также представлены набор команд kT-RAM и API от компании Knowm для внедрения сопроцессоров для нейроморфного обучения на базе AHaH в существующие компьютерные платформы.
В конце 2014 года IBM объявила о создании интегральной схемы спайковых нейронов под названием TrueNorth, которая позволяет обойти узкие места фон-неймановской архитектуры, потребляет 70 мВт энергии и обладает плотностью мощности около 1/10 000 от плотности мощности обычных микропроцессоров. Однако на данный момент этому процессору не доступны внутрипроцессорное обучение и внутрипроцессорная адаптация.
Что насчет квантовых компьютеров?
На мероприятии Google Tech Talk Сет Ллойд (Seth Lloyd) заметил, что квантовые вычисления изначально трудно понять.
С учетом этого получится ли пустить в широкий обиход настолько сложную в понимании и использовании технологию (при условии, что она будет работать, как обещают), если принципы ее работы понимают лишь ее разработчики? Не лучше ли использовать «простую, привычную и интуитивно понятную» технологию? Мы не говорим, что стоит бросить попытки разрабатывать технологии квантовых вычислений. Просто стоит учитывать все практические аспекты при оценке технологий искусственного интеллекта.
Заглядывая в будущее
Несомненно, текущая основная цель — создать и вывести в коммерческий оборот первые в мире нейроморфные микросхемы, что позволит разрабатывать невозможные ранее высокопроизводительные приложения машинного обучения с низким энергопотреблением и небольшими затратами ресурсов. Мы, безусловно, следуем собственному пути и считаем, что наши методы и полученные результаты оправдывают ожидания и закладывают крепкую основу для будущих разработок. Более десяти лет назад Нугент озвучил свой изначальный замысел так: «Переосмыслить наше виденье принципа вычислений и спроектировать новый тип процессора, который физически приспосабливается и самостоятельно учится». В нервной системе (и во всех других природных системах) процессор и память являются такими же механизмами обработки. Расстояние между процессором и памятью равно нулю. В то время как современные микросхемы должны сохранять абсолютный контроль над внутренними состояниями (единицами и нулями), природные компьютеры непостоянны — их компоненты постоянно изменяются, состояние ухудшается, они непрерывно восстанавливаются и воссоздают себя заново. Согласно второму закону термодинамики, материя спонтанно изменяет свое состояние для оптимального рассеивания потока энергии. Оставшейся задачей было выяснить, каким образом воссоздать этот феномен в микросхеме и понять его в достаточной мере, чтобы согласовать с существующим оборудованием и решить реальные проблемы машинного обучения. Годы разработок различных архитектур кристальных систем и проверок возможностей привели к спецификации термодинамического ОЗУ (сокращенно kT-RAM), сопроцессора, который может быть подключен к существующим аппаратным платформам для ускорения выполнения задач машинного обучения. Проверенные возможности kT-RAM включают все ключевые возможности биологической нервной системы и алгоритмы современного машинного обучения, применяемые в приложениях для решения реальных задач: неконтролируемую кластеризацию, контролируемую и неконтролируемую классификацию, прогнозирование сложных сигналов, обнаружение отклонений, неконтролируемый роботизированный привод и комбинаторную оптимизацию процедур.
Чтобы узнать больше о теории вычислений AHaH и о способах преобразования мемристоров в сочетании с интегральными микросхемами на комплементарных МОП-транзисторах в самообучающуюся компьютерную архитектуру с помощью пластичности на основе AHaH, прочитайте нашу общедоступную статью в PLOS One: AHaH Computing–From Metastable Switches to Attractors to Machine Learning («Вычисления на основе обучения Хебба и анти-Хебба — от метастабильных переключателей до аттракторов и машинного обучения»).
Читайте также: