Бесплатный фрагмент - Нейросетевые технологии

Проблемы подготовки нейроконструкторов

Дисциплина «Нейросетевые технологии» строится на использовании нейронов — элементов, устройство которых и принцип действия подсмотрены у природы.

Из истории искусственных нейронных сетей известно, что в 1791 году итальянский врач, анатом и физиолог, один из основателей электрофизиологии Луиджи Гальвани (1737–1798) издал «Трактат об электрических силах при мышечном движении», основанный на его выводах о наличии в живых организмах гальванического электричества.

С этим было связано начало активного изучения нервной системы живых организмов.

Среди используемых инструментов в дальнейшем самым значительным стало появление электронных вычислительных машин.

В основе всех компьютеров с 1940-х годов лежала архитектура фон Неймана с разделенными процессингом и памятью. В 1956 году на конференции в Дортмунде было принято решение об образовании нового научного направления в программировании под названием «искусственный интеллект (ИИ)».

В 1980 году Япония объявила о создании вычислительных систем 5 поколения. Предполагалось, что создаваемые вычислительные системы кроме обычных компьютеров будут содержать машины логического вывода, базу знаний, систему общения, а создаваемые вычислительные системы будут оснащаться интеллектуальными блоками — аналогами человеческого интеллекта, человеческой интуиции. Для этого в программном обеспечении систем 5 поколения активную роль будут играть средства искусственного интеллекта.

Что собой представляет интеллект, за счёт чего и как он появляется, нигде не сформулировано, науке пока неизвестно. Тем более, что должен представлять собой искусственный интеллект (ИИ), тоже однозначно не определено. Предполагается, что интеллект — это продукт деятельности мозга.

Продолжительный период эволюции придал мозгу человека много качеств, отсутствующих в современных компьютерах с архитектурой фон Неймана. К ним относятся:

— способность к обучению и обобщению

— ассоциативность и адаптивность

— толерантность к ошибкам

С появлением современной электроники начались попытки аппаратного моделирования нейрофизиологических процессов, в том числе — и перечисленных.

Считается, что базовым элементом мозга человека являются специфические клетки, известные как нейроны, способные думать и применять предыдущий опыт к каждому действию, что отличает их от остальных клеток тела.

Структурный подход к моделированию мозга реализуется на нескольких уровнях (этапах).

— Вначале создается информационная модель отдельной нервной клетки — искусственного нейрона (ИН), что составляет первый уровень нейронного моделирования. Что эта клетка собой представляет, изложено в разных публикациях. Так, в https://ailab.ru/ Александр Бахшиев описал концепцию применения биоподобных моделей нейронов для управления робототехническими системами. К числу перспективных моделей нейрона принадлежит и модель В.Б.Вальцева, исследование которой проводилось разными научными коллективами, результаты которых так же отражены в Интернет.

— Ограниченное число искусственных нейронов далее могут структурироваться в жесткие необучаемые конфигурации — искусственные нейронные ансамбли (ИНА), что составляет второй уровень нейронного моделирования. В их состав входят ИНА, реализующие функции:

— выбора максимального или минимального входного сигнала,

— оценки эквивалентности (равенства) входных сигналов,

— классификации

— ранжирования (сортировки)

— прогнозирования

— и др.

— Наконец, создаются конфигурации из большого числа искусственных нейронов, которые с помощью специальной процедуры обучения могут гибко изменять свои параметры. Такие конфигурации называются искусственными нейронными сетями (ИНС). Они составляют третий уровень нейронного моделирования.

— На четвёртом уровне создаются комплексы, содержащие большое количество нейронных сетей различного назначения и оформляются в виде нейросетевых моделей, систем управления, и т.д., вплоть до нейрокомпьютеров.

Множество проблем, не поддающиеся решению традиционными компьютерами, могут быть эффективно решены с помощью нейросетей.

Что касается нейросетевых технологий, то в 1943 г. вышла статья нейрофизиолога Уоррена Маккалоха (Warren McCulloch) и математика Уолтера Питтса (Walter Pitts) про работу искусственных нейронов и представление модели нейронной сети на электрических схемах. В настоящее время предпринимаются попытки реализовать на них свойства искусственного интеллекта.

Интеллект — это совокупность умственных способностей живого организма, обеспечивающих успех его познавательной деятельности. Интеллект обычно связан с мышлением. Поэтому ожидается, что новое изделие, в котором появился искусственный интеллект становится более умным, что в нём появляется какая-то особенная новизна, необычность, появление невиданных ранее свойств.

Чем искусственный интеллект отличается от естественного интеллекта, которым обладает человек? Если бы понимать сущность и причины этих отличий, можно было бы повысить эффективность обучения при подготовке квалифицированных нейроконструкторов — людей, которых мы обучаем в «Нейросетевых технологиях»:

— конструированию нейрокомпьютеров,

— нейросетевым исследованиям хозяйственных процессов,

— моделированию интеллекта высшей нервной системы человека.

Естественным для человека является использование основных принципов мозга — ассоциативное мышление, использование принципов обучения (самообучения) и адаптации, использование связей «если — то», «посылка — следствие», лежащих в основе распознавания, управления, принятия решений. До начала использования ИИ они не применялись в компьютерах.

По мере развития искусственного интеллекта появлялись новые его свойства и проявления, новые нейроконструкции. Появилось и новое понятие: нейрокомпьютер.

Конструктивными элементами нейрокомпьютеров являются такие физические компоненты, как нейроны, искусственные нейронные сборки, нейросети, а так же — обслуживающие их операционные системы, программы для создания нейросреды, нейропакеты. К конструктивным элементам нейрокомпьютеров относятся и алгоритмы выполнения интеллектуальных операций, и типовые сценарии, и модели выполняемых с помощью нейросетей работ. Они характеризуют состав решаемых проблем.

Раньше считалось, что основной особенностью искусственных нейросетей является «обучение на примерах». Впоследствии к этой их особенности добавилась возможность моделировать получение новых знаний, извлечение их и представление в виде правил продукции, выполнение довольно сложных операций при обработке знаний, в число которых входят накопление, классификация, прогнозирование, и др.

При сопоставлении естественного и искусственного интеллекта (ЕИ и ИИ) обращает на себя внимание, что они имеют совершенно разные целевые направленности. Для ЕИ главное — это поддержание и сохранение жизни. А для ИИ этих проблем чаще всего нет. Но в ЕИ очень активно используются такие методы работы со знаниями, о которых специалисты по искусственному интеллекту даже не думают.

Интуиция, внимание, сознание, подсознание, смысл, ассоциации, понимание, осмысление, в искусственном интеллекте практически неизвестны.

Глубоко не используется логическое мышление.

Практически не используются образное и интуитивное мышления, которые вместе выполняют более половины функций, используемых в естественном интеллекте.

Очень широко в естественном интеллекте работает такая разновидность знаний, как эмоции, а в искусственном интеллекте её просто нет.

Можно ли каким-то образом определить, что ещё может дополнить эти различия?

Летом 1994 г. научным обществом был проведен Всемирный конгресс по нейронным сетям, на котором были определены следующие направления фундаментальных исследований по нейросетевым технологиям:

Интеллектуальность нейросетевых конструкций

— Биологическое зрение. Работа с объектами зрительной сцены живого мира.

— Машинное зрение. Раздел охватывает аспекты моделирования зрительных функций в технических системах. Особое внимание уделеняется принципам избирательного внимания к компьютерным объектам зрительной сцены.

— Речь и язык. Различные аспекты синтеза и распознавания речи.

— Биологические нейронные сети. Тематика раздела охватывает свойства отдельных нейронов, нейронных сетей управления движением и слухом, аспекты обучения в биологических сетях, а также пути перехода от биологических нейронов к искусственным (кремниевым).

— Нейроуправление и робототехника.

— Обучение с учителем.

— Обучение без учителя.

— Распознавание образов.

— Прогноз и идентификация систем. Для рассмотрения методов кибернетического моделирования сложных систем на базе нейронных сетей.

— Нейронаука о сознании. Аспекты организации и моделирования высшей нервной деятельности.

— Связь науки о сознании с искусственным интеллектом.

— Нечеткие нейронные системы. Построение нейромоделей нечеткой логики.

— Обработка сигналов. Одна из старейших областей приложений нейронных сетей и теории распознавания образов — выделение и анализ свойств сигнала из шума.

— Нейродинамика и хаос. Свойства нейронных сетей, как нелинейных динамических систем.

— Аппаратные реализации. Ключевой вопрос перспективных приложений — новые физические принципы и среды для обработки информации.

— Ассоциативная память.

— Нейровычисления и виртуальная реальность. Возможность применения нейронных сетей и высокопараллельных вычислений на них для создания искусственной реальности: сложная аппаратно-программная система виртуальной реальности моделирует основные сигналы, воспринимаемые человеком от внешнего мира и реагирует на его действия, подменяя собой реальный мир.

— Сети и системная нейронаука. Временное поведение сигналов в нейронных контурах как биологических, так и искусственных сетей.

Конгресс 1994 года успешно состоялся. После него прошли и другие форумы, нейроинформатика пополнилась новыми, ранее неизвестными алгоритмами, средствами нейродинамики, системами памяти, и другими нейроконструкциями.

В литературе состав работ, связанных с «Нейрокибернетикой» обычно представляется тремя направлениями:

— Разработка и программная реализация математических моделей искусственных нейросистем (ИНС).

— «Разработка и использование нейрокомпьютеров (НК)»

— «Разработка и реализация математических моделей высшей нервной системы человека (ВНСЧ)».

Первое из выделенных направлений, известное так же под названием «Нейросетевые исследования хозяйственных процессов (решение задач кластеризации, классификации, прогнозирования, узнавания, предсказания)» или «Разработка и использование нейропакетов», связано с построением и применением нейросетей из искусственных нейронов. Для их программной реализации создаются нейропакеты (НП). В ИНС, как правило, используются модели простых нейронов, бистабильные или реализующие элементарные нелинейные функции (например, функцию знака, сигмоидальные функции и т. д.).

Второе направление связано с физической реализацией нейросетей — с нейрокомпьютерами (НК), их разработкой и использованием. В НК так же находят применение модели простых нейронов, нейросетей и элементы, реализующие некоторые конструкции из вычислительной техники. Обращает на себя внимание, что главным в этом направлении является то, как реализовать работу нейросетей, возможность расширения состава решаемых интеллектуальных задач не за счёт поиска новых алгоритмов работы мозга и совершенствования конструкции нейросетей, а за счёт применения известных алгоритмов лингвистики, математической статистики, вычислительной техники.

Третье направление связано с разработкой моделей Высшей нервной системы человека, использующих достижения специалистов медицинского и биологического профиля, основанных на результатах биохимических исследований, активном исследовании сенсорных, внутренних (чувство равновесия), эффекторных (управление мышцами, внутренними органами, сосудами) нейронных структур человека. Среди них наиболее важными являются исследования, направленные на моделирование неизвестных алгоритмов мыслительной деятельности, таких, как интуиция, возникновение ассоциаций, особенностей протекания креативного мышления, образного мышления и реализации алгоритмов обработки образов, а так же — характерного для мышления динамического преобразования образов в рекуррентных, и особенно — в рекурсивных нейросетях.

Накопленный опыт показал, что Учебно-методический комплекс (УМК) «Нейросетевые технологии» должен состоять из четырёх частей:

1) Основы теории искусственных нейронных сетей

2) Нейросетевые исследования хозяйственных процессов (решение задач кластеризации, классификации, прогнозирования, узнавания, предсказания).

3) Конструирование искусственных нейронов и нейронных ансамблей для работы со смысловой частью информации

4) Нейросетевое программирование (от искусственных нейронных сетей до моделирования высшей нервной деятельности человека).

При изучении нейрокибернетики в первой части учащихся знакомят с устройством нейронных сетей и их возможностями. На практических занятиях изучается устройство и работа с нейропакетами Sharky, нейропакетом Пермской школы искусственного интеллекта, универсальным нейропакетом MemBrain.

Вторая часть даёт возможность познакомиться с другими нейропакетами (например, freeware нейропакетом Deductor Academic) и научиться решать практически возникающие задачи узнавания, классификации, прогнозирования, предсказания, сжатия, кластеризации объектов (образов). Для решения таких задач необходимы в основном простые нейросети типа перцептронов, сетей Кохонена, сетей Хопфилда, и др., которые можно отнести к нейроконструкциям первого уровня сложности.

Третья часть направлена на разработку и использование нейрокомпьютеров (проектирование и конструирование нейроконструкций (НК) на основе использования нейрологических элементов, таких как И, ИЛИ, НЕ; разработка программного обеспечения (ПО) НК; обучение НК решению различных классов задач).

Нейросетевые конструкции становятся более сложными, в них используется интерфейс пользователя, автоматизируется управление проведением нейросетевых исследований, нейрокомпьютерные элементы реализуются в виде искусственных нейронных ансамблей (ИНА).

Самое главное, что нейроконструкции этого уровня создаются для работы со смысловой частью информации:

— сопоставление сложных объектов и оценку их сходства;

— выделение типового объекта из группы однородных;

— поиск типичных черт, существенных признаков;

— формирование описания типового объекта, выделение его отличительных черт;

— определение понятий (дефиниции);

— выявление причинно-следственных связей;

— интерпретация связей и свойств исследуемых объектов;

— генерация гипотез;

— выявление закономерностей;

— самообучение, адаптация.

Если необходимых нейросетевых алгоритмов в момент исследования неизвестно, в таких нейроконструкциях допускается использование известных алгоритмов из математической статистики, например, для выявления причинно-следственных связей, формирования существенных признаков, генерации гипотез, а так же — таких конструкций, как систем управления базами знаний (СУБЗ). В них можно использовать не выполненные в виде нейронных сетей логические элементы, а обычные цифровые программы.

Третья и четвёртая части направляются на усложнение нейросетей: активное использование нейросетей типа автоэнкодеров и образование на их основе глубоких нейросетей или конструкций для глубокого обучения, использующих группирование нейросетей в нейроконструкции, объединение подсетей разного уровня, активно использующих свёртки и свёрточные нейросети, теорию нечётких множеств, элементы нейронечётких систем, эвристических моделей и методов, разнообразных программных средств.

Эти две части предназначены для создания различных видов интеллектуальных моделей: обучающих, самообучаемых, для естественноязыкового (ЕЯ) диалога, для распознавания образов, автоматической классификации, для оцифровки и преобразования смысла, для исследования психических процессов (таких, как ассоциативная память, мышление, интуиция, и др…).

Каждая часть комплекса предназначена для изучения в течение семестра в режиме 1 раз в неделю в виде одной лекции и одного-двух практических занятий.

Для преподавателей разработан учебно-методический комплекс, содержащий pdf-файлы, облегчающие подготовку и проведение занятий (учебники, практикумы, сборники вопросов, контрольных работ, компьютерных тестов).

В состав УМК включены 4 учебные программы, контрольно-измерительные материалы для них и методическая литература в виде pdf-файлов издательства Ридеро для изучения каждой части дисциплины «Нейросетевые технологии». Их подробное описание содержится в книге «УМК Нейросетевые технологии».

В реальных условиях оформление рабочих программ часто меняется. Состав и структура их зависят от вуза. Поскольку форма и содержание рабочей программы непостоянны, в разделе «Рабочие программы» помещены только их отличительные особенности.

Ввиду отсутствия подходящего отечественного нейроконструктора, обучение ориентировано на использование свободнораспространяемого в Интернет нейросетевого пакета MеmBrain, и начиная с самых первых занятий, делается установка на импортозамещение: необходимость создания своего, отечественного нейроконструктора, по своим возможностям превосходящего зарубежные образцы.

Первые две части сориентированы на обучение в упрощённом составе (типа бакалавриата); третья и четвёртая части предназначены для углублённого изучения нейросетевых технологий в магистратуре и в аспирантуре.

Контрольно-измерительные материалы (компьютерные тесты) могут быть реализованы с помощью комплекса freeware тестирующих программ, полученных с сайта, типа http://mytest.klyaksa.net/.

Динамика изменения сложности изучаемых нейроконструкций при изучении нейросетевых технологий может быть представлена в следующем виде:

— Моделирование нейроконструкций начинается с плоских нейросетей, чтобы научиться создавать сети для решения задач классификации, кластеризации, прогнозирования, предсказания. При этом выясняется, что эти нейросети могут обучаться и получать (генерировать) новые знания.

С точки зрения естественного интеллекта в это время медики и биологи работают с нейросетями другого типа: их можно назвать 3d-сетями, или динамическими нейросетями, для которых существенным является фактор времени. Нейроконструкции у них работают не только с плоскими нейросетями. В этих нейроконструкциях нужно иметь память для хранения знаний. Причём, хранить надо знания разных типов (символы, понятия, правила, …) и всё это в связи со временем. Разработаны нейроны новой, не встречавшейся ранее конструкции, нового предназначения, нетипичные для используемых плоских нейросетей.

— И в искусственном интеллекте при обработке новых типов знаний появляется необходимость хранения новых характеристик — свойств, таких, как ассоциации, интуиция, …, и явлений (озарение, …), алгоритмов, процессов. Появляется необходимость изучения нового процесса — мышления, алгоритмов мышления (логика, аналогии, ассоциации, …). Новые виды мышления: ассоциативное, логическое, конкретноситуационное, понятийное, эмпирическое, нагляднообразное, символическообразное, пралогическое, креативное активно используют СУБЗ и специфические для разных видов мышления конструкции.

Создаваемые нейроконструкции могут выполняться в виде эвристических программ, экспертных систем, систем символьных преобразований, баз знаний, машин логического вывода, систем автоматического программирования, рассуждающих систем, нейронных программных систем, семантических поисковых систем, систем речевого общения, и других…

Всё это вопросы, которые приходится решать на втором уровне обучения.

— Можно надеяться, что в дальнейшем создаваемые нейроконструкции оснащаются постоянно растущим интеллектом, и в конечном итоге позволят решать трудно формализуемые задачи, такие, как:

— доказательство теорем,

— управление роботами,

— распознавание изображений,

— машинный перевод,

— понимание текстов на естественном языке,

— программирование компьютерных игр,

— машинное творчество (синтез музыки, стихотворений, текстов, сказок)

— разрабатывать модели Высшей нервной системы человека, основанные на активном использовании интуиции, ассоциативного поиска и креативного мышления.

Такое построение последовательности преподавания дисциплины позволяет реализовать постепенное возрастание сложности изучаемых нейроконструкций:

«Нейроконструкции 1 уровня сложности»

— Нейроны (командные нейроны-переключатели, пороговые нейроны, нейронные слои с латеральным торможением, и др.);

— нейронные ансамбли;

— функциональные узлы;

— плоские нейросети (афферентные нейросети; сети Кохонена; рекуррентные НС; рекурсивные нейросети; сети Гроссберга; нейросети, работающие по принципу «победитель забирает все»…)

— нейросетевые модели без усложнений.

«Нейроконструкции 2 уровня сложности»

— глубокие нейросети

— конструкции для глубокого обучения,

— группирование нейросетей в нейроконструкции, использованние созданных групповых отношений

— взаимодействие подсетей разного уровня (переключение обучающих модулей в разных группах нейроконструкции),

— активное использование свёрток и свёрточных нейросетей.

— программы на алгоритмическом языке C# для эмуляции, настройки и тестирования нейронных сетей различной архитектуры.

«Нейроконструкции более высокого уровня сложности для моделирования высшей нервной деятельности»

— модели, реализующие лингвистическую экспертизу текста;

— модели, использующие интуицию;

— реализация сформированного при обучении нейросети нового знания в правила продукции;

— нейроконструкции с использованием ассоциативного поиска;

— реализация элементов креативного мышления.

Комплект инструментов для подготовки квалифицированных нейроконструкторов

В данном разделе представлено описание pdf-файлов, представляющих собой основной вид инструментов, необходимых для подготовки нейроконструкторов.

Обычно самым трудным инструментом является нейропакет, на котором демонстрируются возможности нейронных сетей и использующих их конструкций. При демонстрации задач на простых нейросетях практически все потребности удовлетворяет MemBrain — нейропакет, автором которого является Томас Jetter. Полное описание этого пакета приведено в его базовом архиве (правда на английском и на немецком языках). Есть возможность обратиться к автору за разъяснением возникающих вопросов через форум пакета.

Для начала работы с этим пакетом при возникновении трудностей с переводом достаточно краткого описания, приведенного в файле «Универсальный нейропакет» и в некоторых дополнительных описаниях в файле «Нейросетевое программирование». Достаточно полное описание приведено так же в файле «УМК Нейросетевые технологии».

Кроме Универсального нейропакета в состав инструментов для подготовки нейроконструкторов включено ещё 2 файла: «Забавный нейропакет Sharky» и «Нейропакет Пермской школы искусственного интеллекта».

Теоретическая часть в большей степени собрана в файлах «Основы теории искусственных нейронных сетей», «Нейросетевое программирование» и «Интеллектуальность нейросетевых конструкций».

Специально для преподавателей в состав инструментов включён файл «УМК» «Нейросетевые технологии», содержащий материалы, облегчающие усвоение достаточно сложного курса Нейросетевых технологий.

В состав комплекта инструментов для подготовки квалифицированных нейроконструкторов входят следующие файлы:

1. Основы теории искусственных нейронных сетей. pdf

2. Универсальный нейропакет. Графический нейросетевой редактор-имитатор. pdf

3. Нейросетевое программирование. Инструментарий нейрокомпьютинга. pdf

4. Конструирование искусственных нейронных ансамблей (ИНА).pdf

5. Интеллектуальность нейросетевых конструкций. Обзор литературы. pdf

6. Забавный нейропакет Sharky. Демонстратор перцептронов. pdf

7. Нейропакет Пермской школы искусственного интеллекта. Перцептронный нейросимулятор. pdf

8. УМК «Нейросетевые технологии». pdf

Инструменты

1.Основы теории искусственных нейронных сетей