Этот материал родился из моих скитаний по Суссекскому университету дождливым осенним днем в компании нескольких сменявших друг друга людей. Встретил меня, как и договаривались, Адриан Томпсон (Adrian Thompson), ранее занимавшийся селекционной работой на ниве интегральных схем, а теперь переключившийся на более модные одноэлектронные устройства. Сообщив, что дело это хоть и трудное, но очень клевое, он умчался, высоко выпрыгивая над лужами, в соседний корпус - вести семинар по адаптивным системам.

Но прежде познакомил меня с университетским художником Полом Брауном (Paul Brown), который прибыл в Суссекс из Австралии, чтобы воплощать в эстетически значимых визуальных образах работу нейросетей. Беседа с Полом оставила сильное впечатление, а сразу после нее я продолжил знакомство с университетом в обществе Майкла О’Шеа (Michael O’Shea), нейробиолога, не чуждого математики и информатики. Напоследок суровый аспирант с классическим английским именем Том Смит (Tom Smith) продемонстрировал целый спектр насекомоподобных роботов, которым выпала нелегкая участь воплощать «безумные идеи» своих междисциплинарных создателей.

Материал, собранный в течение этого трудного дня в разных уголках Суссекского университета (который по традиции местные жители сокращают до простого «Суссекса»), я и предлагаю вашему вниманию.

Эволюционирующий хардвер: кризис жанра?

Университет Суссекса (University of Sussex) был построен в начале 1960-х. С самого начала он был задуман как место, где ученые самых разных специальностей могли бы максимально свободно общаться, а студенты - одновременно изучать множество самых различных наук. Такое положение вещей теперь принято называть неуклюжим словом мультидисциплинарность. Школа ¹ когнитивных и компьютерных наук (School of Cognitive and Computer Sciences, сокращенно - COGS) возникла позже, в середине 1980-х, и представляет собой законченное воплощение идеи мультидис… нет, давайте короче: союза наук. Здесь очень сильно представлены информатика, лингвистика, психология, философия (в частности, философия познания). С самого начала велись серьезные исследования по искусственному интеллекту. Позже, во многом благодаря энтузиасту генетических алгоритмов и вообще эволюционных вычислений Филу Хазбендсу (Phil Husbands), сложился большой коллектив, занимающийся адаптивными системами. Согласно традиции сноса барьеров между науками, в этот коллектив входят не только сотрудники Центра вычислительной нейрологии и роботики (Centre for Computational Neuroscience and Robotics, CCNR в дальнейшем буду называть его просто Центр), организованного совсем недавно Хазбендсом и Майклом О’Шеа. В заседаниях большого семинара, посвященного широко и нечетко очерченному кругу очень занимательных вопросов, участвуют в среднем человек пятьдесят - информатики, биологи, когнитивисты, философы.

«Компьютерра» уже писала в теме номера «Искусственная жизнь» ² о работах одного из самых активных исследователей, работающих в Центре, - Адриана Томпсона (Adrian Thompson). Ему принадлежат одни из первых в мире работ по эволюционирующему харду. Адепты этого направления хотят создавать эффективные конструкции электронных устройств не «вручную», а путем целенаправленной контролируемой эволюции. Большую известность получили работы Адриана, где он терпеливой селекцией «выводил» на плате с реконфигурируемой логикой (FPGA) схему, различающую несколько простых звуков. При этом снимались все обычные ограничения, и чип превращался в аналоговое устройство, на котором возникали совершенно иррациональные сочетания базовых элементов - выполняющие, однако, поставленную модельную задачу.

Впрочем, выполняли они ее плохо: устройство было крайне чувствительно к температуре и индивидуальным особенностям чипа. Доведение этой технологии до практически приемлемых решений было одной из задач большого проекта, который Адриан вел в течение последних трех лет. Встретившись с Адрианом в Центре, я расспросил его об итогах и перспективах этой деятельности. Оказалось, что не все так радужно, как представлялось (мне, во всяком случае) два года назад. Схемы, полученные путем эволюции без ограничений, ввиду их неустойчивости надо было испытывать в разных условиях, на чипах разных производителей и т. д. Критерий качества, приспособленности (fitness function), использованный для отбора, должен был бы применяться на всем этом широком множестве вариантов. Это требует огромной работы, которая и ведется.

Однако недавно Адриан стал применять эти методы еще к одной задаче. На этот раз - не в реальном кремнии, а только на уровне моделирования. Моделирующие программы предназначены для разработки некоторых нанотехнологических конструкций. Это маленькие схемы, как бы изолированные островки в кремнии (возможны и другие материалы). Здесь возникает туннелирование электронов через изолирующий барьер (gap) между островками, появляются квантовые туннельные связи. На программном симуляторе одноэлектронных схем Адриан с соавторами пытаются эволюционным путем вывести вычислительные схемы. Для начала - простейшие логические элементы с двумя входами и одним выходом, например, NOR. Моделирование требует огромных вычислительных затрат, так как здесь учитывается физика на очень малых масштабах. Расчет одного «индивидуума», участвующего в «естественном отборе», то есть одного варианта схемы, требует нескольких минут счета на хорошей рабочей станции.

Уже ясно, что этот подход весьма необычно использует тонкую физику, которая лежит в основе таких конструкций. Обычные одноэлектронные вентили (gates) работают тем лучше, чем ниже температура. Если же температура повышается, они работают все хуже и хуже. Адриан выводил свои вентили, предполагая постоянство температуры. Оказалось, что их поведение ухудшается при отклонении от фиксированной температуры как вверх, так и вниз. Анализ показал, что вентили используют тепловую энергию электронов. Это весьма странно и вряд ли разумно, но показывает, насколько необычные решения могут быть найдены на этом пути.

Сейчас совсем не очевидно, удастся ли эволюционно получить крупные логические структуры, если даже эволюция базовых блоков занимает столько времени. С другой стороны, еще неизвестно, будет ли вообще одноэлектронная технология когда-либо использоваться в промышленных масштабах. Пока, как утверждает Адриан, никто не знает во всех физических деталях, как построить «полноценное» устройство на этих принципах (небольшие демонстрационные прототипы не в счет).

В сборнике докладов на недавней конференции по эволюционирующему харду ICES’2000 приводится ряд ярких результатов - например, Джон Коза (John Koza), один из мировых лидеров во всем, что связано с ALife и эволюционными вычислениями, сообщает об эволюционно выведенном его группой усилителе. Однако, как выясняется, это было программное моделирование, и проводилось оно на кластере чуть ли не из тысячи «Пентиумов». Полученная в результате схема состоит из 15-20 транзисторов. Нельзя утверждать, что вся тысяча «Пентиумов» была для этого необходима, - но тем не менее…

На этой драматической ноте Адриан и умчался по залитым водой дорожкам Суссекса. Я же двинулся дальше инспектировать суссекские сусеки.

Нейросеть с ядовитым газом

В Центре активно занимаются нейросетевой реализацией недавно открытых методов передачи информации между нейронами в живом мозге. Созданная на этой основе архитектура называется GasNet. Почему - объяснил мне профессор Майкл О’Шеа.

Совсем недавно было сделано удивительное открытие ³: нейроны продуцируют газ NO (окись азота). Причем выделяются не отдельные молекулы, а целые небольшие «облака». Выяснилось, что NO является нейротрансмиттером, то есть средством для передачи информации внутри мозга. В нейронах есть для этого газа специальные белки-рецепторы, через них он стимулирует или подавляет активность нейронов. Обычные нейротрансмиттеры воздействуют через синапсы, а значит, только на ближайших соседей. Газ же диффундирует в виде облака, осуществляя, по-видимому, дальние связи.

В Суссексе был выполнен цикл важных исследований механизмов передачи информации с помощью NO. Эти исследования ведутся на моллюсках или улитках, но окись азота используется в мозге всех животных. Возможно, NO имеет отношение к механизмам памяти. Эксперименты позволяют предположить, что выделение в мозге NO непосредственно после акта обучения животного служит запечатлению результатов в долговременной памяти. Но полного понимания функций этого газа пока нет. Ясно, что его концентрация связана с активностью работы тех или иных участков мозга. Грубо говоря, чем напряженнее вы думаете, тем больше этого крайне ядовитого газа выделяет ваш мозг.

Так вот, после того, как были получены эти результаты, биологи и информатики стали думать об использовании подобных механизмов в искусственных нейросетях. Традиционно взаимодействие между нейронами в нейросетях обеспечивается с помощью фиксированных связей. Газовое облако - это механизм взаимовлияния нейронов, непосредственно не связанных друг с другом. В архитектуре GasNet облако газа моделируется алгоритмически. Эта архитектура была реализована в нейросетях, управляющих роботами. Нейросети программно обучались при помощи эволюционного алгоритма, а потом устанавливались на роботах.

Эффективность подхода тестировалась на такой задаче. Робот снабжен видеокамерой. В поле обзора находятся треугольник и квадрат. Задача - найти треугольник. Дополнительная сложность - шум, сильные флуктуации рассеянного света.

Ситуация моделировалась программно, на MatLab’е. Для обучения нейросети использовался генетический алгоритм. На каждом шаге эволюции из популяции роботов (точнее, программных моделей их «нервных систем») отбирались лучшие, происходило скрещивание, мутации, затем тестировалась новая популяция и т. д. Отбор шел так: каждому роботу давалось определенное количество попыток решить задачу при разных начальных условиях. Лучшими считались те, кто набрал больше очков. Их геном (то есть описание управляющей нейросети) передавался в следующее поколение.

Одним из параметров генома было использование или неиспользование газа. Оказывается, если включить использование газа, эволюция требует в десять раз меньше поколений, чем без газа. Получаемые при этом нейросети гораздо проще по архитектуре: меньше нейронов, меньше связей, поэтому такую сеть можно проанализировать и точно понять, как она работает, выявив все слабые места.

С задачами поиска треугольника роботы, прошедшие отбор, справлялись неплохо - уже после воплощения в железо. После беседы с Майклом Том Смит повел меня в соседний корпус и показал целый выводок роботов различного назначения (см. врезку).

Ну а потом я побрел, переполненный мультидисциплинарными впечатлениями, на остановку электрички, где две совершенно подмосковного вида деревянные стрелки указывают в противоположных направлениях: «University of Brighton» и «University of Sussex». Выбрав, подобно хорошо натренированному октаподу, перпендикулярное к обеим стрелкам направление, я через полчаса благополучно прибыл в Брайтон. На этом и завершилась научно-журналистская часть моего путешествия по маршруту Запад - Юг.

Монолог 1 
Монолог 2

[i38528]