Lingwowed

Моделирование работы нейронной сети основано на упрощенной модели нейрона. Этот нейрон может делать всего несколько вещей. Он может быть активным или неактивным. В активном состоянии он посылает сигнал по своему аксону (проводнику внешней связи) к другим клеткам, с которыми он соединен; эти соединения называются синапсами. Синапсы могут быть возбуждающими или подавляющими и могут передавать импульсы разной силы. Нейрон-адресат суммирует любые сигналы, поступающие от возбуждающих синапсов, вычитает любые сигналы, поступающие от подавляющих синапсов, и если сумма превышает некий порог, то нейрон, принимающий сигнал, сам становится активным.

Если сеть подобных нейронов-моделей достаточно велика, то она может выступать в роли компьютера, вычисляющего ответ на любой точно поставленный вопрос, подобно ползавшей по странице машине Тьюринга из главы 3, которая смогла сделать вывод, что Сократ смертен. Это стало возможно потому, что нейроны-модели могут быть соединены несколькими простыми способами, превращающими их в «логические клапаны» — приспособления, способные моделировать логические отношения «и», «или» и «не», лежащие в основе дедукции. Значение логического отношения «и» состоит в том, что утверждение «А и Б» верно тогда, когда верно А и верно Б. Клапан И, моделирующий это отношение, будет открыт в том случае, если открыты все его входы. Если допустить, что порог для нашей модели нейрона — это 0,5, то комплект входящих синапсов, вес каждого из которых меньше, чем 0,5, но сумма которых больше, чем 0,5, скажем — 0,4 и 0,4, будет функционировать как клапан И, как показано на левой схеме:

Значение логического отношения «или» состоит в том, что утверждение «А или Б» верно тогда, когда верно А или верно Б. Отсюда следует, что клапан ИЛИ будет открыт тогда, когда хотя бы один вход открыт. Для обеспечения этого каждый синаптический вес должен быть больше, чем нейронный порог, скажем 0,6, как показано на средней схеме. И наконец, значение логического отношения «не» состоит в том, что утверждение «НЕ А» верно тогда, когда А ложно и наоборот. Отсюда следует, что клапан НЕ должен закрываться, если открыт его вход и наоборот. Это обеспечивается тормозящим синапсом, показанным справа, чей негативный вес достаточен, чтобы сделать неактивным выходящий нейрон, который в противном случае всегда активен.

А вот как нейронная сеть может вывести относительно сложное грамматическое правило. Английская флексия -s, как например в Bill walks ‘Билл идет’ — это суффикс, который должен быть применен при следующих условиях: когда подлежащее стоит в третьем лице И в единственном числе И глагол в настоящем времени И действие происходит постоянно (таков его «вид», если говорить в лингвистических терминах), но НЕ тогда, когда глагол неправильный, как например: do ‘делать’, have ‘иметь’, say ‘говорить’ или be ‘быть’ (ведь мы говорим Bill is ‘Билл есть’, но не Bill be’s ). Нейронная сеть, которая вычисляет эти логические отношения, выглядит так: