<<
>>

31. Нейрокомпьютер: традиционный путь

Название говорит само за себя: нейрокомпьютер (т. е. нейронный компьютер) — это конструкция, составленная из отдельных нейронов; примером может служить человеческий мозг. Следует подчеркнуть, что при рас- смотрении подобного «устройства», нам придется смириться с огромным количеством упрощений — на что иные поклонники нейрокомпьютеров, конечно же, легко смогут закрыть глаза.

В отличие от человеческого мозга, насчитывающего почти сотней миллиардов нейронов, нейрокомпьютеры располагают максимум несколькими тысячами — как в аппаратной реализации, так и при программном моделировании на обычных последовательных компьютерах. Нейроны человеческого мозга могут относиться к различным типам и сами по себе являются весьма сложными образованиями; «нейроны» же нейрокомпьютера представляют собой в высшей степени простые переключательные элементы, наделенные все же некоторыми важнейшими свойствами, присущими настоящим нейронам. Что касается принципов, на которых основаны современные нейрокомпьютеры, то они заложены в фундаментальной работе У. С. Мак-Калл ока и У. Г. Пите а, опубликованной в 1943 году. Авторы выдвинули предположение, что нейронная сеть состоит из отдельных связанных друг с другом элементов, способных обмениваться сигналами. Каждый элемент должен иметь только два состояния: состояние покоя и состояние возбуждения. В первом случае элемент не посылает никаких сигналов, во втором же — посылает сигналы определенной силы. Если сумма входящих, принятых нейроном сигналов оказывается ниже некоторого порогового значения, то нейрон остается в состоянии покоя, в противном же случае он переходит в возбужденное состояние (рис. 31.1).

Рис. 31.1. Представление свойств модельного нейрона с двумя состояниями. Если сумма поступающих слева сигналов меньше порогового значения, то нейрон остается в исходном состоянии (слева). Как только сумма сигналов выходит за пороговое значение, нейрон переходит в возбужденное состояние и может генерировать импульс (справа)

Мак-Каллок и Нитс смогли продемонстрировать, что такая сеть из свя-занных между собой модельных нейронов, обменивающихся сигналами, вполне способна реализовать все логические операции, или связей (среди них, в частности, можно упомянуть такие операции, как «И» и «ИЛИ»).

Для специалистов заметим, что в общем случае способности такой сети охватывают все операции булевой алгебры. Концепция Мак-Каллока и Питса легла в основу модели, созданной Р. Розенблаттом и названной им «перцеп- троном». Розенблатт же и занимался обучением своей машины.

В США правит бал жесткая конкуренция, и научные круги не являются исключением. В то время в рамках имеющегося спроса на проведение исследований по искусственному интеллекту были изысканы средства — прежде всего из военного бюджета — которые и распределили между разработчиками так называемых последовательного и параллельного компьютеров. В последовательных компьютерах, к которым можно отнести все механические вычислительные машины, а также почти все существовавшие уже тогда и используемые в наши дни электронные компьютеры, все операции производятся последовательно. И вот после того, как в 50-е годы выяснилось, что такие вычислительные машины могут обрабатывать не только числа, но и символы — на что способен любой современный «текстовый редактор» — казалось, что наконец-то пробил час искусственного интеллекта. Ведь ведущие представителей этой новой отрасли науки единодушно утверждали, что человеческое мышление представляет собой не что иное, как совокупность последовательных процессов обработки символов.

Другим путем пошли разработчики параллельного компьютера (в част-ности, прежде всего, нейрокомпьютера), обрабатывающего информацию не последовательно, а одновременно, т. е. параллельно. В те времена было еще сложно предсказать, какая из компьютерных концепций имеет больше шансов на успех. Однако вскоре параллельному компьютеру в лице перцептрона был нанесен сокрушительный удар, и нанес его Марвин Мински в своей книге «Вычисление: конечные и бесконечные машины» (в сотрудничестве с С. Пейпертом). В книге, в частности, говорилось о том, что перцептрон, среди прочего, оказывается не в состоянии выполнить некую логическую операцию (так называемую операцию исключающего «ИЛИ»). Операция исключающего «ИЛИ» заключается в том, что если два входных сигнала имеют одинаковое значение, то на выходе должен получиться нуль, единицу же на выходе получаем только тогда, когда одно из входных значений равно единице, а другое — нулю.

Дальнейшие разработки перцептрона были в результате прекращены, и о нем позабыли все, кроме немногих энтузиастов.

Триумфальное возвращение нейронных сетей состоялось только в на-чале 80-х, когда наши представления о составляющих их элементах (т. е. нейронах) претерпели некоторые изменения, вследствие чего проблема исключающего «ИЛИ» оказалась весьма просто решаемой. Одно из изменений заключалось в том, что ступенчатая зависимость от порогового значения, допускавшая только значения «1» и «0» (или «да» и «нет»), была заменена гладкой 8-образной кривой (рис. 31.2). Смысл такого изменения нагляднее всего можно представить так: на месте прежнего жесткого «да» или «нет» появилось теперь более мягкое «возможно». Иными словами, нейрон может генерировать импульс и тогда, когда сумма входящих сигналов окажется ниже порогового значения; когда же сумма входящих сигналов превысит пороговое значение, нейрон вовсе не обязательно немедленно перейдет в возбужденное состояние. Кроме того, однослойная сеть перцептрона была заменена трехслойной (см. рис. 31.3).

Рис. 31.2. Так называемая пороговая кривая. По горизонтали отложена величина поступающего сигнала 5; при этом 5о — пороговое значение. По вертикальной оси отложена вероятность, с какой нейрон при получении сигнала соответствующей силы перейдет в возбужденное состояние. Слева: если 5 < 5о, то вероятность перехода равна нулю; при 5 > 5о вероятность скачкообразно возрастает до единицы, т. е. нейрон обязательно переходит в возбужденное состояние. Справа: здесь скачок кривой отсутствует, а изменение происходит плавно. Уже при некотором 5 < 5о нейрон может с ненулевой вероятностью перейти в возбужденное состояние. Когда же сила сигнала превышает 5о, нейрон не обязательно переходит в возбужденное состояние, хотя вероятность перехода очень высока

Особенно интересным примером такой сети является так называемый адаптивный фильтр (рис. 31.3), состоящий из входного слоя, слоя с так называемыми скрытыми переменными и выходного слоя.

При этом нейроны каждого из слоев, не связанные между собой внутри слоя, связаны

Рис. 31.3. Адаптивный фильтр, состоящий из трех слоев. Нейроны внутри каждого слоя не связаны между собой, но связаны с нейронами других слоев, причем передача сигналов осуществляется только от вышележащего слоя к нижележащему. Модельные нейроны представленного здесь адаптивного фильтра обладают совершенно иными свойствами, нежели модельные нейроны синергетического компьютера

е нейронами других слоев, причем передача осуществляется только от вышележащего слоя к нижележащему Связи эти характеризуются некоторыми синаптическими силами и могут формироваться в процессе обучения. Смысл же такой конструкции заключается в следующем: на вход фильтра подаются определенные сигналы, при этом заранее задано, что должно получиться на выходе. В каждой отдельной пробе фильтр выдает на выходе некоторое значение, которое затем сравнивается с ожидаемым значением. Если они не совпадают, синаптические силы изменяются до тех пор, пока требуемое совпадение не будет достигнуто. Перед нами, таким образом, сеть, способная к обучению, пусть это обучение и требует присутствия человека.

Одним из наиболее известных случаев такого обучения стал эксперимент Терренса Сейновски, который обучал нейронную сеть чтению текстов на английском языке вслух. Сложность английского языка заключается в том, что произношение отдельных букв не жестко определено, а зависит от позиции, занимаемой буквой в слове и от окружающих ее букв. Так, например, буква «а» в слове «arm» произносится совершенно иначе, чем в слове «ash». Читатель очень легко сможет представить себе процесс такого обучения: на вход нейронной сети подавались все новые и новые написанные слова. По ходу дела определенные подаваемые на вход буквенные комбинации объявлялись «недействительными», а синаптические связи с соответствующими им нейронами среднего слоя обнулялись; другие бук-венные комбинации признавались действительными, в результате чего в выходной слой отправлялся определенный сигнал, который, пройдя через процедуру фонетического кодирования, превращался затем в особом синтезаторе в звуки речи.

Поскольку неверное «произношение» исправляется здесь посредством обратной передачи сигнала от нижнего слоя к среднему, и далее к верхнему, такой способ обучения называют также методом обратной передачи (англ.back propagation) — следует, впрочем, заметить, что этот принцип открывали уже несколько раз, из чего можно заключить, что он довольно-таки очевиден. Хотя упомянутый принцип сформулирован достаточно четко, его практическое применение связано с рядом неясностей. Каким должно быть количество элементов среднего слоя для решения стоящей перед нами задачи распознавания образов? Как долго продлится процесс обучения? Сколько образов следует сохранить в памяти такой сети для успешного распознавания? Общих характеристик и средних значений здесь недостаточно — для решения конкретных задач необходимы конкретные исходные данные. Как показывают компьютерные испытания, попытка сохранить в такой сети новый образ в дополнение к уже существующим может привести к уничтожению результатов всего предыдущего процесса обучения.

В физике концепция нейронных сетей вызвала особый интерес благодаря исследованиям Джона Хопфилда. В 1981 году Хопфилду удалось показать, что нейронную сеть можно реализовать в модели так называемых спиновых стекол. Небывалый резонанс, вызванный среди физиков работой Хопфилда, интересен и с точки зрения теории науки. Еще до Хопфилда Уильям А. Литтл предложил модель нейронной сети, полностью аналогичную хопфилдовой, однако она осталась почти незамеченной из-за одного своего маленького «недостатка»: она не имела никакого отношения к те-ории спиновых стекол. Чрезвычайно сложными проблемами, связанными со спиновыми стеклами, занимались многие выдающиеся физики, однако конкретных примеров практической реализации спиновых стекол насчи-тывалось, к сожалению, до обидного мало. И вот появляется работа Хоп-филда, обратившегося к моделированию деятельности мозга и открывшего, тем самым, перед теоретической физикой новые горизонты, связав процессы распознавания с долинами среди «энергетических холмов» — об этой концепции мы, впрочем, уже говорили в 1977 году.

Что же собственно представляют собой эти загадочные спиновые стекла? И что общего у них может быть с нейронными сетями? Подобно тому, как модельные нейроны Мак-Каллока и Пите а обладают двумя состояния- ми, двумя состояниями характеризуется и спин (который представляет собой не что иное, как миниатюрный магнитик): эти состояния обозначаются как «вверх» и «вниз».

В атомах твердого тела локализуются только спины, находящиеся в одинаковых состояниях и вступающие во взаимодействие попарно. При взаимодействии одинаково направленных спинов их энергия увеличивается; то же самое происходит и в магнитах, где, как известно, одноименные полюса отталкиваются, а разноименные притягиваются. Разумеется, в спиновом стекле спины могут находиться в различных состояниях. При этом сила взаимодействия (т. е. увеличение или уменьшение энергии) между двумя спинами (обозначим их через ] и К) может изменяться в очень широком диапазоне в зависимости от расположения этих спинов и расстояния между ними (см. рис. 31.4). Можно даже вообразить, что эта сила взаимодействия каким-то образом устанавливается извне, хотя на сегодняшний день осуществить такое воздействие не представляется возможным.

На что же годится сеть, состоящая из таких взаимодействующих спинов? Представим себе, что спины в спиновом стекле расположены так, что образуют в совокупности некий образ — например, прямоугольник, как на рис. 31.5. Взаимодействия между отдельными спинами выберем таким образом, чтобы спиновое стекло находилось в состоянии с минимальной энергией тогда, когда все спины внутри центрального прямоугольника оказываются сориентированы в одном направлении, а все остальные спины — в другом. Теперь вообразим такое состояние спинового стекла, при котором только часть спинов центрального прямоугольника сориентирована в «правильном» направлении — оказавшись в таком состоянии, спиновое стекло будет стремиться достичь состояния с минимальной энергией, при этом все «неправильные» спины внутри прямоугольника развернутся и займут должное положение. Обобщая эту идею, можно сохранить в спиновом стекле некоторое количество образов, выстроив соответствующие конфигурации спинов. Приведя затем такую систему в состояние, соответствующее фрагменту какого-либо образа, мы можем ожидать, что система устремится в самое энергетически выгодное состояние, попутно восстанавливая «предъявленный» фрагмент до полного образа. Можно сказать, что спиновое стекло функционирует как ассоциативная память.

Разумеется, такое «дополнение образа» будет происходить не всякий раз. Существует множество энергетических минимумов, никак не связанных с сохраненными образами, но возможных для спинового стекла. Иными словами, спиновое стекло «обнаруживает» при этом новые образы, которые нам совсем не нужны. Вместо того, чтобы в ответ на имя Алекс Мюллер О О о О о о О о о о о о О о о о о о о о о о о о О о о о О о о о о о о о о О о о X X X X о о О О о о о о X X X X о о о о о о о о X X X X о О о о О о о о о о о О о о о о о о о о о о о о о о о о о о о о о о о о о о о о

Рис. 31.4. Сеть Хопфилда, между модельными нейронами (спинами) которой действуют определенные силы связи (З^н)

Рис. 31.5. Расположение спинов с сохранением образа централь-ного прямоугольника. Крестиками обозначены спины, направленные вверх, а кружками — спины, на-правленные вниз

Рис. 31.6. Проявление нежелательных минимумов в распределении энергии в нейрокомпьютере. Горизонтальные координаты соответствуют различным конфигурациям спинов, по вертикали откладывается их энергия Е. Только самый глубокий минимум на кривой распределения энергии действительно соответствует сохраненному образу. Другие минимумы энергии соответствуют нежелательным конфигурациям спинов. Чтобы избежать влияния нежелательных минимумов, используют различные методы, в особенности, так называемую имитацию нагрева, при которой шарик с помощью случайных колебаний в конце концов достигает самого глубокого минимума. Описанный метод требует весьма значительных затрат времени и при этом не гарантирует полного успеха

сообщить нам его верный телефонный номер 8743, спиновое стекло выдает, например, номер 7643. Физиками был разработан целый ряд методов, обеспечивающих относительно надежный переход спиновой сети только в верные и желаемые состояния (например, имитация нагрева). При нагревании кристаллических или аморфных твердых тел (в нашем случае, стекла) тепловое движение атомов становится интенсивнее, т. е. усиливаются случайные колебания отдельных атомов. Такие колебания можно не только моделировать математически, но и «назначать» отдельным спинам компьютерной модели. Но так как энергия спина зависит от его положения (которое, как известно, случайно), в результате случайных колебаний энергия спина может приобрести сколько угодно малое значение. Для решения этой проблемы был разработан своего рода «отладочный» процесс, призванный исключать из рассмотрения нежелательные спиновые конфигурации, соответствующие ложным минимумам энергии, а желательные конфигурации, напротив, погружать в еще более глубокие энергетические ямы (рис. 31.6). Если случайные колебания оказываются слишком велики, может возникнуть и обратный эффект, и поиски пойдут по ложному следу, т. е. система устремится к энергетическому максимуму! Определение нужной величины случайных колебаний (которая, впрочем, еще не раз изменится в процессе поиска энергетического минимума) требует от программиста большого опыта и известной чуткости рук. Едва ли результатом долгой эволюции мозга мог оказаться столь трудоемкий и ненадежный способ. Подведем итог. Рассмотрев сегодняшнее положение дел в области ней- рокомпьютерных исследований, мы обнаружили огромное количество всевозможных трудностей, которые ученым еще предстоит преодолеть. На данный момент не существует общей теории обучения, способной дать ответы на поставленные нами вопросы относительно количества нейронов или скрытых переменных, необходимых нейрокомпьютеру для решения конкретных задач. Неизвестно также, как долго должен длиться процесс обучения и как добиться того, чтобы введение новых данных не разрушало уже достигнутых в обучении результатов. До сих пор нейронные сети располагали лишь относительно небольшим количеством нейронов и, если можно так выразиться, страдали «галлюцинациями» (т. е. нежелательными энергетическими минимумами, о которых мы говорили выше). Наконец, нейрокомпьютеры могут работать только с образами, лишенными оттенков серого (иначе говоря, с образами, состоящими лишь из черных и белых пикселей). Ни одной из перечисленных проблем у синергетического компьютера не возникает. Одно это могло бы стать достаточным основанием для разработки синергетического компьютера как модели мозга. Есть, од- нако, и более фундаментальная причина. Спиновое стекло представляет собой замкнутую систему, для сохранения состояний которой не требуется ни энергии, ни вещества — иными словами, типичный образчик мертвой материи. Состояния синергетической системы остаются неизменными лишь при условии постоянного притока энергии или вещества, так что она гораздо ближе к системам, функционирующим в живой природе. Вернемся же к синергетическому компьютеру: до сей поры мы держали читателя в неве-дении относительно возможностей обучения синергетического компьютера, теперь пришло время наверстать упущенное.

<< | >>
Источник: Хакен Г., Хакен-Крелль М.. Тайны восприятия. — Москва: Институт компьютерных исследований, 2002, 272 стр.. 2002

Еще по теме 31. Нейрокомпьютер: традиционный путь:

  1. § 4. Криминалистическое исследование запаховых следов (криминалистическая одоро-логия)
  2. Глава 8 Память, мышление и общение
  3. Оглавление
  4. 31. Нейрокомпьютер: традиционный путь
  5. ЖИВОЙ КОМПЬЮТЕР
  6. Дальнее будущее