Бесплатный фрагмент - За пределами интеллекта

«Пределы разума: что интеллект никогда не сможет понять»

ГЛАВА 1. ЧТО МЫ НАЗЫВАЕМ ИНТЕЛЛЕКТОМ

Интеллект — одно из тех понятий, которыми человек пользуется постоянно, не имея при этом общепринятого и исчерпывающего определения. Мы называем интеллектуальным человека, способного быстро решать математические задачи, другого — умеющего находить нестандартные решения в инженерной деятельности, третьего — обладающего выдающейся памятью, четвёртого — способного понимать сложные абстрактные идеи. Мы можем назвать интеллектуальным учёного, который открывает неизвестное ранее явление, шахматиста, который просчитывает комбинацию на несколько десятков ходов вперёд, программиста, создающего сложную систему, или философа, формулирующего проблему, которую до него никто не замечал. Однако перечисление таких способностей ещё не отвечает на главный вопрос: что общего между ними и существует ли за ними единый фундаментальный механизм, который мы вправе называть интеллектом?

Сложность этого вопроса становится очевидной, если попытаться определить интеллект через его внешние проявления. В таком случае интеллект оказывается способностью решать задачи. Но тогда возникает следующая проблема: что считать задачей? Если задача имеет заранее известное решение, интеллект может быть сведен к способности найти это решение быстрее других. Однако значительная часть наиболее важных человеческих достижений возникла именно потому, что человек сначала обнаруживал новую проблему, а уже затем начинал искать её решение. Следовательно, интеллект может заключаться не только в способности отвечать на вопросы, но и в способности создавать вопросы, которые прежде не существовали в явной форме.

Это различие имеет фундаментальное значение для всей дальнейшей книги. Решить поставленную задачу и понять, какую задачу следует поставить, — не одно и то же. Машина может превосходить человека в вычислении, поиске закономерностей или переборе вариантов, но из этого ещё не следует, что она обладает тем же типом интеллектуальной деятельности, который свойствен человеческому исследователю. Впрочем, обратное также неверно: нельзя автоматически считать человеческий интеллект более глубоким только потому, что человек способен формулировать вопросы. Для такого вывода необходимо сначала установить, что именно означает «понимать», «формулировать», «создавать» и «решать».

В научной литературе существует множество определений интеллекта, и они существенно различаются. В психометрии интеллект традиционно связывают со способностью к рассуждению, решению задач и адаптации к требованиям среды. В когнитивной науке внимание уделяется механизмам восприятия, памяти, обучения, формирования представлений и принятия решений. В искусственном интеллекте понятие интеллекта часто связывают со способностью системы достигать поставленных целей в изменяющихся условиях. В философии проблема оказывается ещё глубже: здесь возникает вопрос о том, можно ли вообще отождествлять интеллект с функциональной способностью решать задачи, если существует различие между выполнением операции и её осмыслением.

Таким образом, слово «интеллект» может обозначать по меньшей мере несколько разных явлений. Это может быть вычислительная мощность, способность к обучению, скорость рассуждения, объём рабочей памяти, способность обнаруживать закономерности, гибкость поведения, способность переносить знания между областями, способность строить абстрактные модели или способность осознавать собственные мыслительные процессы. Эти характеристики могут быть связаны между собой, но они не тождественны.

Представим двух систем. Первая обладает огромной памятью и способна за долю секунды просматривать миллиарды вариантов. Вторая располагает значительно меньшим объёмом памяти, работает медленнее, но способна самостоятельно изменить способ постановки задачи, обнаружив, что первоначальная формулировка была ошибочной. Какая система интеллектуальнее? Если критерием является скорость вычисления, первая система очевидно превосходит вторую. Если критерием является способность перестраивать модель задачи, ответ уже не столь очевиден. Если же добавить способность создавать новые концепции, ситуация станет ещё сложнее.

Отсюда возникает первая принципиальная мысль: интеллект нельзя без дополнительных оговорок свести к одной числовой характеристике.

Тем не менее человеческая культура постоянно стремится сделать именно это. Нам удобно сравнивать людей по одному показателю. Число позволяет ранжировать, классифицировать и принимать решения. Возникает коэффициент интеллекта, результаты тестирования, рейтинги, показатели производительности, количество решённых задач и другие измеримые параметры. Такая процедура полезна в определённых практических целях, но она создаёт опасную иллюзию: будто сложное многомерное свойство разума можно без потерь выразить одним числом.

Понятие IQ особенно наглядно показывает эту проблему. Коэффициент интеллекта является результатом определённой процедуры измерения, а не непосредственным измерением некоей физической субстанции под названием «интеллект». Точно так же температура является результатом измерительной процедуры, основанной на определённой шкале и физическом принципе, однако аналогия здесь ограничена: для температуры существует строгая физическая теория, позволяющая связать измерение с объективными характеристиками системы. Для интеллекта ситуация значительно сложнее, поскольку объект измерения сам является многокомпонентной системой, а результат зависит от выбранных задач, методики и статистической модели.

Поэтому выражение «IQ 200» не следует понимать как утверждение о том, что человеческий мозг содержит в два раза больше некоторого измеримого количества интеллекта, чем мозг человека с IQ 100. Подобная интерпретация была бы научно некорректной. IQ представляет собой стандартизированный психометрический показатель, предназначенный для оценки определённых когнитивных характеристик относительно нормативной выборки. Он полезен внутри соответствующей измерительной модели, но не является универсальной единицей разума.

Это различие особенно важно, когда мы переходим от человека к машине. Если две человеческие системы можно сравнивать с помощью определённых психометрических инструментов, то возникает соблазн построить аналогичную шкалу для искусственного интеллекта. Но как сравнить систему, которая решает математические задачи, пишет программы, анализирует огромные массивы данных и одновременно не обладает человеческим телом, человеческой памятью и человеческой биографией? Можно ли поставить рядом человека и искусственную систему на одной шкале интеллекта?

На первый взгляд ответ кажется очевидным. Если машина решает задачу, которую человек решить не способен, значит, в этой области машина интеллектуально превосходит человека. Однако даже это утверждение требует уточнения. Допустим, калькулятор умножает многозначные числа быстрее человека. Следует ли из этого, что калькулятор обладает более высоким интеллектом? Очевидно, такая формулировка будет вводить в заблуждение. Мы сравниваем здесь не два целостных интеллекта, а две системы, обладающие различными специализированными возможностями.

Этот пример показывает принципиальную проблему: интеллект имеет архитектуру. Один разум может превосходить другой в вычислениях и уступать ему в пространственном мышлении. Одна система может превосходить человека в запоминании огромных массивов данных и уступать человеку в способности действовать при отсутствии информации. Другая может находить статистические закономерности в данных, но испытывать трудности там, где требуется сформулировать саму систему понятий, в которой эта закономерность имеет смысл.

Поэтому более содержательным является вопрос не «какой интеллект сильнее?», а вопрос «в каком пространстве задач и при каких условиях один интеллектуальный агент превосходит другой?». Такое изменение формулировки кажется незначительным, но на самом деле оно меняет всю концепцию исследования.

Интеллект можно представить как многомерное пространство возможностей. По одной координате находится скорость вычисления, по другой — объём памяти, по третьей — способность к обучению, по четвёртой — способность к абстракции, по пятой — перенос знаний между различными областями, по шестой — способность строить причинные модели, по седьмой — способность корректировать собственные стратегии. Можно добавить способность работать с неопределённостью, создавать новые гипотезы, обнаруживать собственные ошибки и моделировать действия других агентов.

Но и этого недостаточно. Человек способен создавать инструменты, расширяющие собственные когнитивные возможности. Бумага увеличила возможности внешней памяти. Язык позволил передавать сложные модели между поколениями. Письменность сделала возможным накопление огромных объёмов абстрактного знания. Математическая символика позволила оперировать объектами, которые трудно удерживать в естественном языке. Компьютер радикально расширил вычислительные возможности. Интернет превратил значительную часть человечества в систему почти мгновенного обмена информацией.

Возникает необычный вопрос: где заканчивается индивидуальный интеллект и начинается интеллектуальная система, частью которой является индивид?

Если учёный использует компьютер для вычислений, научную библиотеку для поиска информации, математический аппарат для доказательства и результаты предыдущих поколений исследователей, его интеллектуальная деятельность уже не является исключительно продуктом его мозга. Она представляет собой взаимодействие биологической нервной системы с внешней культурной и технологической средой.

В таком случае человечество можно рассматривать как особую распределённую когнитивную систему. Ни один отдельный человек не знает всей современной науки. Однако совокупность людей, книг, институтов, компьютеров, языков и баз данных способна выполнять задачи, недоступные практически любому отдельному индивиду. Это означает, что интеллект может существовать не только внутри мозга или отдельной машины, но и на уровне сложной системы взаимодействующих компонентов.

Однако здесь появляется ещё одна трудность. Если интеллект является свойством системы, то где проходит граница этой системы? Включает ли человеческий интеллект калькулятор, которым человек пользуется? Включает ли он учебник? Включает ли он язык? Включает ли он других людей, с которыми исследователь обсуждает проблему? Если ответ во всех случаях отрицательный, необходимо объяснить, почему некоторые внешние элементы считаются инструментами, а не частью когнитивного процесса. Если ответ положительный, границы индивидуального интеллекта становятся чрезвычайно размытыми.

Эта проблема не является исключительно философской. Она непосредственно связана с будущим искусственного интеллекта. Если человек использует внешнюю систему памяти, поиска и вычисления, а искусственный агент получает аналогичные возможности, то сравнивать их только по внутренним параметрам становится недостаточно. Необходимо учитывать всю архитектуру взаимодействия системы с окружающей средой.

Следовательно, интеллект нельзя рассматривать в отрыве от среды. Организм существует в мире, получает информацию, преобразует её, строит внутренние модели и действует на основании этих моделей. Интеллектуальность поведения проявляется не только в вычислениях внутри системы, но и в способности этой системы поддерживать успешное взаимодействие с реальностью.

Но слово «успешное» немедленно порождает новый вопрос: что считать успехом? Для животного успехом может быть выживание. Для человека — научное открытие, создание произведения искусства, получение материального результата или решение теоретической проблемы. Для искусственного агента цель может быть задана разработчиком. Следовательно, интеллект и цель также нельзя автоматически отождествлять.

Система может быть чрезвычайно эффективной в достижении цели, но сама цель при этом может быть примитивной. Можно построить механизм, который идеально оптимизирует один показатель и совершенно не учитывает другие аспекты реальности. Поэтому высокая эффективность оптимизации не тождественна универсальному интеллекту.

Здесь возникает фундаментальная граница между оптимизацией и пониманием. Алгоритм может искать максимум некоторой функции, не обладая человеческим представлением о том, что означает найденный результат. Он может находить корреляции, не понимая причин. Он может успешно прогнозировать последовательность событий, не создавая концептуальной модели механизма, породившего эту последовательность.

Однако и человеческое понимание не является прозрачным понятием. Человек нередко способен пользоваться математическим правилом, не понимая его глубинного основания. Учёный может применять теорию, содержание которой выходит за пределы интуитивного представления. Более того, значительная часть человеческой когнитивной деятельности происходит без осознанного доступа к механизмам, которые её обеспечивают.

Таким образом, противопоставление «машина вычисляет — человек понимает» также слишком просто. Возможно, понимание само является многоуровневым процессом, включающим построение внутренних моделей, способность делать предсказания, переносить знания и связывать новые сведения с уже существующей системой представлений.

Именно здесь начинается настоящая проблема нашей книги. Если интеллект невозможно определить одним числом, если понимание отличается от вычисления, если индивидуальный разум связан с внешней средой, а человеческое сознание само ещё недостаточно понято, то каким образом мы можем исследовать пределы интеллекта?

Для ответа необходимо совершить следующий шаг — отделить способность решить конкретную задачу от способности в принципе решать широкий класс задач. Эти понятия кажутся похожими, но различие между ними имеет колоссальное значение.

Человек может не знать ответа на конкретный вопрос, однако обладать методами, позволяющими его найти. В таком случае отсутствие знания не является фундаментальным ограничением. Это всего лишь временный недостаток информации или вычислительных ресурсов. Но существуют математические результаты, показывающие, что для некоторых формальных систем существуют утверждения, которые нельзя получить определёнными средствами внутри самой системы. Существуют вычислительные задачи, для которых не существует универсального алгоритма решения. Существуют проблемы, где увеличение скорости вычислений не устраняет самого ограничения.

И здесь мы впервые подходим к центральной идее этой книги.

Не всякая граница интеллекта является границей его мощности. Некоторые границы могут быть границами принципа.

Если компьютеру не хватает памяти, проблема техническая. Если вычисление занимает миллион лет, проблема ресурсная. Если алгоритм требует слишком большого количества операций, возможно, появится более быстрый компьютер. Но если доказано, что определённый класс задач не может быть решён никаким алгоритмом общего вида, увеличение вычислительной мощности уже не решает проблему.

Именно различие между временным ограничением и фундаментальным пределом будет проходить через всю книгу.

Мы будем спрашивать не только о том, что разум не знает, но и о том, что разум в принципе способен узнать. Мы будем различать незнание, неопределённость, вычислительную сложность, логическую недоказуемость и принципиальную непознаваемость. Эти понятия часто смешиваются в повседневных рассуждениях, хотя между ними существуют глубокие различия.

Наконец, перед нами возникнет наиболее радикальная возможность: возможно, существуют вопросы, предел которых определяется не слабостью человеческого мозга, не недостатком технологий и не недостатком времени, а самой логической структурой познания.

Если это так, то создание интеллекта, превосходящего человека в миллион или миллиард раз, не обязательно уничтожит все неизвестные. Сверхразум может обладать колоссальной памятью, невероятной скоростью вычислений, способностью создавать сложнейшие модели и превосходить человечество практически во всех интеллектуальных задачах. Но из этого ещё не следует, что он сможет стать всезнающим.

И тогда вопрос о будущем искусственного интеллекта превращается в гораздо более глубокий вопрос о природе самого знания.

Если существует предел, который невозможно преодолеть увеличением интеллекта, где именно проходит эта граница?

Чтобы начать на него отвечать, нам сначала необходимо понять, что происходит, когда интеллект пытается измерить самого себя. И следующая глава будет посвящена именно этой проблеме: можно ли измерить разум одним числом и действительно ли число способно описать интеллект?

ГЛАВА 2. МОЖНО ЛИ ИЗМЕРИТЬ РАЗУМ ОДНИМ ЧИСЛОМ

В предыдущей главе мы пришли к исходному противоречию: интеллект постоянно используется как будто бы единое свойство, однако при попытке определить его строго оказывается, что перед нами совокупность различных способностей, механизмов и уровней организации. Человек может обладать исключительной памятью и слабой способностью к абстракции, выдающейся математической интуицией и посредственной пространственной ориентацией, высокой скоростью обработки информации и ограниченной способностью к переносу знаний между областями. Если всё это различные проявления интеллекта, возникает естественный вопрос: существует ли за ними некая общая величина, которую можно измерить одним числом?

Этот вопрос значительно глубже, чем кажется. Если такая величина существует, то возникает надежда построить универсальную шкалу интеллекта. Тогда можно было бы расположить человеческие и машинные системы на одной оси: от простейших когнитивных механизмов до сверхразума. Но если единого измерения не существует, сама идея выражений вроде «интеллект в десять раз выше» может оказаться некорректной. Мы могли бы сравнивать отдельные способности, но не целостные разумы.

Проблема начинается с самого понятия измерения. В физике измерение предполагает существование определённой величины и процедуры, посредством которой её значение сопоставляется с числом. Длина измеряется через сравнение с единицей длины, масса — через соответствующие физические методы, время — посредством стандартизированной временной шкалы. При этом математические операции над измерениями имеют физический смысл. Если один объект имеет длину два метра, а другой — один метр, утверждение о двукратном отношении имеет строго определённое содержание.

С интеллектом всё иначе. Не существует физического объекта, который можно было бы извлечь из мозга, положить на лабораторные весы и сказать: «это количество интеллекта». Мы наблюдаем поведение, ответы на задачи, скорость обучения, способность к рассуждению и множество других признаков, а затем строим математическую модель, связывающую наблюдаемые результаты с предполагаемой латентной характеристикой.

Именно поэтому психометрическое измерение интеллекта следует понимать не как прямое измерение некоторой субстанции, а как модель измерения скрытой переменной.

Это различие принципиально. Когда физик измеряет температуру, он работает с величиной, встроенной в физическую теорию. Когда психометрист оценивает интеллектуальные способности, он анализирует закономерности между результатами множества когнитивных задач. Число возникает как результат статистической процедуры и интерпретируется в рамках определённой теоретической конструкции.

Это не означает, что измерения интеллекта произвольны или бессмысленны. Напротив, психометрия достигла высокой степени математической формализации. Но необходимо понимать, что именно измеряется и какие выводы допустимо делать из полученного числа.

Одним из центральных понятий психометрии является общий фактор интеллекта, обычно обозначаемый буквой. Его идея возникла из наблюдения, что результаты людей на различных когнитивных тестах положительно коррелируют. Человек, хорошо выполняющий один тип интеллектуальных задач, в среднем имеет тенденцию лучше выполнять и некоторые другие типы задач. Чарльз Спирмен предложил объяснять эту общую положительную корреляцию существованием общего фактора, связанного с общей интеллектуальной эффективностью.

Но здесь возникает тонкость, которую легко потерять за привычным обозначением. Фактор не является обнаруженной в мозге физической «частицей интеллекта». Это статистический фактор, выделяемый из структуры корреляций между показателями. Иными словами, мы наблюдаем множество переменных и обнаруживаем, что они систематически связаны друг с другом. Затем математическая модель позволяет представить часть этой общей вариативности через латентный фактор.

Следовательно, — это не обязательно «сама сущность интеллекта». Это способ описать определённую структуру данных.

Здесь возникает вопрос, который будет постоянно возвращаться в нашей книге: если математическая модель успешно описывает наблюдаемое поведение, означает ли это, что мы нашли фундаментальную природу явления?

Ответ отрицательный.

Модель может быть чрезвычайно полезной и при этом не являться окончательным объяснением. В науке подобная ситуация обычна. Одна и та же совокупность наблюдений может быть описана различными моделями, причём каждая может быть полезна в своей области применимости. Поэтому статистическая корреляция между когнитивными способностями ещё не доказывает существование единого механизма, который порождает весь интеллект.

Можно провести аналогию с экономикой. Доход, образование, продолжительность жизни, профессиональный статус и множество других показателей могут быть взаимосвязаны. Можно построить статистический фактор, описывающий некоторую общую вариативность. Но сам факт существования такого фактора не означает, что в организме или обществе существует единая материальная субстанция, называемая «социальным успехом».

С интеллектом ситуация аналогична, хотя психологические данные обладают своей спецификой.

Теперь обратимся к IQ. В общественном сознании IQ часто превращается в почти физическую характеристику человека. Человек с IQ 130 воспринимается как «имеющий больше интеллекта», чем человек с IQ 100, а человек с чрезвычайно высоким показателем — как находящийся на совершенно другом уровне мышления. Однако математический смысл шкалы гораздо более ограничен.

Современные IQ-тесты стандартизируются относительно определённой популяции и распределения результатов. В распространённых шкалах среднее значение устанавливается около 100, а стандартное отклонение часто принимается равным 15. Поэтому значение 130 означает прежде всего положение результата относительно нормативной выборки и выбранной шкалы.

Из этого не следует, что человек с IQ 130 имеет «на 30 процентов больше интеллекта», чем человек с IQ 100. Такое арифметическое действие не имеет психометрического смысла. Нельзя также утверждать, что человек с IQ 160 обладает ровно в два раза большей интеллектуальной мощностью, чем человек с IQ 80. IQ не является линейной физической единицей.

Это становится особенно очевидно при попытке сравнить экстремальные значения. Чем дальше результат находится от центра нормативного распределения, тем меньше статистической информации остаётся в обычной выборке для его точной калибровки. Очень высокие значения требуют специальных тестов, расширенных норм и осторожной интерпретации. В некоторых случаях результат может оказаться чувствительным к конкретной методике, потолочному эффекту и особенностям выборки.

Поэтому утверждение «IQ 200» нельзя автоматически интерпретировать как точное измерение некоторого универсального количества интеллекта. Оно может обозначать результат конкретной процедуры, экстраполяцию шкалы или значение, полученное в рамках определённой системы нормирования. Сравнивать такие числа между разными тестами без анализа их методологии некорректно.

Но даже если оставить психометрию в стороне, перед нами остаётся более фундаментальная проблема: можно ли вообще представить интеллект как одномерную величину?

Рассмотрим мысленный эксперимент.

Пусть существуют два искусственных интеллекта. Система A способна доказать чрезвычайно сложные математические теоремы, но плохо ориентируется в реальном мире, не умеет планировать действия при неполной информации и не способна эффективно взаимодействовать с физической средой. Система B не способна решать самые сложные математические задачи, зато великолепно строит причинные модели, обучается на малом количестве примеров, понимает социальные контексты и умеет находить новые способы постановки проблем.

Какая из систем обладает большим интеллектом?

Если мы выберем математику в качестве главного критерия, победит A. Если поставим в центр адаптивность и перенос знаний, преимущество может оказаться у B. Если же введём третью систему координат — способность создавать новые математические концепции, — сравнение снова изменится.

Это означает, что сравнение интеллектов напоминает сравнение геометрических объектов в многомерном пространстве. Два объекта могут быть несравнимы по одной простой шкале, потому что один превосходит другой по одной координате и уступает по другой.

В математике существует понятие частичного порядка, которое полезно здесь как аналогия. Если объект A лучше объекта B по всем существенным параметрам, можно сказать, что A доминирует B. Но если A лучше B по одним параметрам и хуже по другим, однозначного порядка нет.

Интеллектуальные системы очень часто находятся именно во втором положении.

Человек способен легко выполнять некоторые задачи, которые чрезвычайно трудны для современных машин, и одновременно поражающе плохо справляется с задачами, которые для простейших алгоритмов являются элементарными. Человек может узнавать знакомое лицо в разнообразных условиях, понимать двусмысленность фразы, ориентироваться в бытовом контексте и делать приблизительные причинные выводы почти мгновенно. При этом человек способен ошибаться в элементарной вероятностной задаче, неправильно оценивать большие числа или принимать логически противоречивые решения.

Машина может демонстрировать противоположную конфигурацию. Она может вычислять с огромной точностью, хранить колоссальные массивы данных и обнаруживать статистические закономерности, недоступные индивидуальному человеку. Но это не означает автоматического наличия у неё всех человеческих форм понимания.

Отсюда следует важный принцип: интеллектуальное превосходство всегда должно быть привязано к классу задач и условиям среды.

Однако здесь можно возразить: возможно, все эти разнообразные способности являются проявлениями одного более глубокого свойства — способности строить и использовать эффективные модели мира. Тогда разные интеллектуальные навыки можно рассматривать как частные случаи общей способности.

Это предположение чрезвычайно интересно, но оно переносит проблему на более высокий уровень.

Что такое модель?

Модель — это некоторое представление системы, позволяющее делать выводы о ней. Карта является моделью территории. Уравнение движения является моделью физического процесса. Теория эволюции является моделью определённого класса биологических изменений. Нейронная сеть может представлять статистическую структуру данных. Человеческое сознание постоянно создаёт внутренние модели объектов, других людей, будущих событий и собственных действий.

Но модель всегда является сокращением.

Полная копия объекта не была бы моделью в обычном смысле, поскольку она не уменьшала бы сложность представления. Если карта территории имеет размер самой территории и содержит абсолютно всю её структуру до мельчайшей детали, практическая функция карты исчезает. Ценность модели заключается именно в селекции: она сохраняет некоторые свойства и отбрасывает другие.

Следовательно, интеллект может быть связан не только с количеством информации, которой располагает система, но и с правильным выбором того, какую информацию следует сохранить.

Это особенно важно для понимания сверхразума. Представим систему, которая обладает практически неограниченной памятью. Кажется, что такая система должна превосходить человека. Но если она хранит всю доступную информацию без способности определять её релевантность, сама полнота может стать проблемой. Интеллект требует не только накопления данных, но и организации пространства возможностей.

Чем больше информации получает система, тем больше потенциальных связей возникает между её элементами. Без механизмов отбора и структурирования информационное пространство быстро превращается в комбинаторный взрыв.

Поэтому разум нельзя отождествлять с памятью.

Но его нельзя отождествлять и с вычислительной скоростью.

Представим систему, способную выполнить квадриллион операций в секунду. Если ей поставлена плохо сформулированная задача, она может чрезвычайно быстро получить чрезвычайно точный ответ на вопрос, который не имел смысла. Скорость вычисления не компенсирует ошибку постановки.

Отсюда появляется одна из наиболее недооценённых интеллектуальных способностей — метарешение.

Метарешение — это способность выбирать, какую стратегию решения следует применить к задаче, нужно ли вообще решать её в исходной форме, какие допущения следует пересмотреть и когда необходимо остановить текущий подход.

В некотором смысле это уже интеллект второго порядка.

Обычный решатель спрашивает: «Как решить эту задачу?»

Метарешатель спрашивает: «Правильно ли я понимаю, что именно является задачей?»

Ещё более высокий уровень задаёт вопрос: «Почему я решил, что именно этот тип решения вообще является допустимым?»

Здесь возникает рекурсивная структура интеллекта. Система не только решает задачи, но и оценивает методы решения. Затем она может оценивать критерии, по которым выбирает методы. Далее — оценивать саму систему критериев.

Но если такая рекурсия продолжается бесконечно, возникает фундаментальная проблема остановки метамышления.

Чтобы принять решение, необходимо выбрать критерий. Чтобы выбрать критерий, можно оценить другой критерий. Чтобы оценить его, потребуется следующий. Если каждый уровень требует нового уровня обоснования, разум может оказаться в бесконечной цепочке.

Человек избегает этого не потому, что решил философскую проблему окончательно, а потому, что способен завершать рассуждение на некотором уровне, принимая определённые предпосылки как рабочие.

Но тогда возникает неудобный вопрос: может ли существовать разум, который обосновывает абсолютно все собственные предпосылки?

Эта проблема приведёт нас впоследствии непосредственно к Гёделю и самореференции.

Однако прежде чем туда переходить, необходимо рассмотреть ещё одну характеристику интеллекта — обобщение.

Человек способен решить конкретную задачу, а затем использовать полученный принцип в совершенно другой области. Именно перенос структуры между контекстами часто является источником настоящего интеллектуального скачка.

Математик обнаруживает аналогию между двумя различными объектами. Физик замечает, что математический формализм, созданный для одной задачи, описывает другую. Биолог использует математическую концепцию, разработанную в другой дисциплине. Философ обнаруживает, что структура одного парадокса повторяется в совершенно другой области.

Обобщение означает обнаружение инварианта — того, что остаётся неизменным при изменении конкретной формы задачи.

Можно сказать, что интеллект в этом отношении ищет не отдельные ответы, а структуры, порождающие множество ответов.

Это важное отличие между знанием и интеллектом.

Человек может знать миллион фактов и при этом плохо понимать взаимосвязи между ними. Другой человек может знать значительно меньше фактов, но обнаруживать общие принципы, позволяющие самостоятельно выводить новые знания.

Поэтому интеллектуальная мощность не равна объёму базы данных.

Но и обобщение не является достаточным условием интеллекта. Система может обнаруживать ложные закономерности. Чем больше данных она анализирует, тем больше случайных корреляций способна найти. Если механизм обобщения не различает причинную структуру и случайное совпадение, увеличение вычислительной мощности может даже усиливать ошибку.

Здесь мы подходим к различию между корреляцией и причинностью.

Если два события регулярно происходят одновременно, это ещё не означает, что одно вызывает другое. Интеллект должен уметь не только обнаруживать статистическую зависимость, но и проверять гипотезы о механизме. Для этого необходимо моделировать альтернативные сценарии: что произошло бы, если изменить условие?

Контрфактическое мышление является одним из фундаментальных элементов сложного рассуждения.

«Если бы произошло X, произошло бы Y».

Но даже эта конструкция предполагает наличие модели мира, в которой можно мысленно изменять параметры и наблюдать последствия. Таким образом, развитый интеллект должен быть способен не только описывать прошлое, но и конструировать альтернативные возможные миры.

И здесь снова появляется вопрос о границах.

Если число возможных моделей мира огромно, как система выбирает те, которые следует рассматривать? Если количество гипотез практически неограниченно, какой критерий позволяет отбрасывать одни и сохранять другие?

Наука отвечает на этот вопрос не произвольным выбором, а системой ограничений: эмпирической проверкой, логической непротиворечивостью, воспроизводимостью, предсказательной способностью, простотой и другими методологическими принципами. Но ни один из этих принципов не является абсолютно достаточным во всех возможных контекстах.

Следовательно, даже научное мышление представляет собой архитектуру ограничений.

Это приводит нас к неожиданному выводу: интеллект может быть не способностью избавиться от ограничений, а способностью правильно выбирать ограничения.

Без ограничений поиск становится бесконечным. Без критериев нельзя отличить существенное от несущественного. Без модели невозможно определить, какая информация релевантна. Без предпосылок невозможно начать доказательство. Без языка невозможно компактно выразить сложную структуру.

Следовательно, разум не существует в вакууме. Он всегда действует внутри некоторой системы представлений.

Но если интеллект зависит от системы представлений, может ли он выйти за её пределы?

Это один из главных вопросов последующих глав.

Представим математика, работающего внутри определённой аксиоматической системы. Он может доказать огромное количество утверждений. Однако существуют вопросы, статус которых может зависеть от выбранных аксиом. Добавление новых аксиом способно расширить область доказуемого, но одновременно возникает новая формальная система и новые вопросы о ней.

В таком случае увеличение интеллектуальной мощности и расширение формальной системы — разные вещи.

Сверхразум может быть чрезвычайно эффективным внутри заданной системы и всё равно сталкиваться с утверждениями, которые из её правил невозможно вывести.

Именно здесь мы должны отказаться от популярной интуиции, согласно которой достаточно «сделать интеллект умнее», чтобы устранить любую проблему.

Увеличение интеллекта действительно может преодолеть многие ограничения. Более мощный разум способен найти доказательство, которое слабый разум не видит. Он может выбрать более эффективный алгоритм. Он может обнаружить скрытую закономерность. Он может создать новую систему понятий.

Но вопрос заключается в другом: может ли он преодолеть ограничения, возникающие не из недостатка способности, а из самой логической структуры задачи?

Если ответ отрицательный хотя бы для некоторого класса задач, то понятие сверхразума приобретает совершенно иной смысл.

Сверхразум перестаёт быть гипотетическим существом, которое «может всё». Он становится системой, которая может обладать превосходством над человеком почти во всех практически значимых областях, но при этом оставаться субъектом фундаментальных ограничений.

Именно поэтому выражение «сверхразум» нельзя автоматически трактовать как «всезнающий разум».

Между этими понятиями существует огромная логическая дистанция.

Интеллект может означать способность эффективно преобразовывать информацию. Знание — наличие определённых представлений или обоснованных утверждений. Понимание — способность встроить информацию в более широкую модель взаимосвязей. Сознание — отдельная проблема, связанная с субъективностью и организацией опыта. Мудрость — ещё один уровень, предполагающий оценку целей и последствий.

Эти понятия пересекаются, но не совпадают.

Человек может быть высокоинтеллектуальным и не обладать глубокими знаниями в определённой области. Может обладать огромными знаниями и плохо переносить их между контекстами. Может прекрасно решать технические задачи и ошибаться в выборе целей. Может понимать сложные абстракции и при этом неверно оценивать собственные ограничения.

Следовательно, даже человеческий разум не является единой функцией.

И если мы создадим искусственную систему, которая превосходит человека в математике, программировании, прогнозировании и анализе данных, это ещё не даст нам права объявлять её превосходящей человека во всех возможных формах интеллектуальной деятельности.

Для этого необходимо определить пространство сравнения.

И здесь возникает почти парадоксальная ситуация.

Чтобы измерить интеллект, мы должны выбрать задачи.

Чтобы выбрать задачи, мы должны иметь некоторое представление о том, что такое интеллект.

Но если наше представление об интеллекте уже определяет набор задач, используемых для его измерения, то измерение частично зависит от первоначального определения.

Мы сталкиваемся с замкнутым контуром.

Мы измеряем интеллект через задачи, которые считаем интеллектуальными, а считаем задачи интеллектуальными потому, что связываем их с интеллектом.

Этот круг не делает измерение невозможным. Он показывает, что любое измерение требует теоретической рамки.

То же самое происходит и в искусственном интеллекте. Если мы оцениваем систему по математическим тестам, мы измеряем её математическую компетентность. Если по языковым задачам — языковую компетентность. Если по способности планировать действия в физической среде — агентную компетентность. Если по способности создавать новые гипотезы — исследовательскую способность.

Но совокупность этих измерений всё ещё не гарантирует, что мы получили «истинное число интеллекта».

Возможно, универсальной шкалы просто не существует.

Возможно, интеллект — не величина, а пространство возможностей.

Возможно, сравнение двух разумов требует не одного числа, а профиля, показывающего структуру их сильных и слабых сторон.

А возможно, существует ещё более глубокий уровень, на котором разные виды интеллекта всё-таки имеют общую основу.

Мы пока не знаем, какой из этих вариантов окажется наиболее фундаментальным.

Но уже сейчас можно сформулировать несколько положений, которые будут необходимы для дальнейшего исследования.

Во-первых, интеллект не следует отождествлять с одной конкретной способностью.

Во-вторых, психометрический IQ является измерительным показателем в рамках определённой модели и не является универсальной физической единицей интеллекта.

В-третьих, интеллектуальное превосходство имеет смысл только относительно некоторого класса задач, среды и критериев оценки.

В-четвёртых, вычислительная мощность, память, скорость обработки информации, обучение, обобщение и понимание — различные характеристики, которые нельзя без доказательства свести к одному параметру.

В-пятых, увеличение интеллектуальной мощности не гарантирует устранения фундаментальных ограничений.

И, наконец, самое важное: если интеллект способен исследовать собственные пределы, то возникает вопрос о том, способен ли он полностью описать механизм, который производит это исследование.

Мы подошли к границе между измерением интеллекта и исследованием самого познающего субъекта.

На этом рубеже начинается совершенно другая проблема. Мы можем измерять ответы человека, наблюдать активность мозга, строить математические модели когнитивных процессов и создавать искусственные системы, воспроизводящие отдельные интеллектуальные функции. Но остаётся вопрос: является ли наблюдаемое поведение полным описанием интеллекта или за ним существует ещё один уровень, который не сводится к результатам тестирования?

Именно здесь возникает различие между интеллектом как поведением, интеллектом как вычислительным процессом и интеллектом как субъективным переживанием.

Если интеллект — это только способность решать задачи, достаточно исследовать входы, выходы и алгоритмы.

Если интеллект включает понимание, необходимо исследовать внутренние представления.

Если интеллект связан с сознанием, возникает проблема субъективного опыта.

А если сознание само является частью интеллектуального процесса, то исследователь оказывается в уникальном положении: разум пытается построить модель самого себя средствами того же разума, который эта модель должна описать.

Это уже не обычная задача измерения.

Это самореференция.

И именно она станет одной из центральных тем следующей части книги — потому что прежде чем спрашивать, что интеллект не способен понять, необходимо выяснить, способен ли он хотя бы в принципе построить полное и непротиворечивое описание самого себя.

ГЛАВА 3. ИНТЕЛЛЕКТ, ЗНАНИЕ И ПОНИМАНИЕ

В предыдущей главе мы пришли к выводу, что интеллект нельзя без существенных оговорок свести к одному числу. Психометрический показатель может описывать определённую совокупность когнитивных характеристик, вычислительная производительность — другую, способность к обучению и переносу знаний — третью. Но за пределами всех этих измерений остаётся фундаментальная проблема: что именно означает понять то, что мы знаем?

На первый взгляд различие между знанием и пониманием кажется очевидным. Человек может знать формулу, не понимая её смысла. Можно помнить историческую дату, не представляя себе исторического контекста. Можно правильно воспроизвести доказательство, не понимая, почему оно работает. Можно знать определение сознания, не приблизившись к пониманию природы субъективного опыта. Однако при попытке сформулировать строгий критерий понимания привычная очевидность исчезает.

Представим систему, которая получает вопрос и выдаёт правильный ответ. Она делает это стабильно, быстро и с высокой точностью. Более того, она способна отвечать на вопросы, которые находятся далеко за пределами возможностей обычного человека. Следует ли из этого, что система понимает предмет, о котором отвечает?

Интуитивный ответ большинства людей будет зависеть от природы системы. Если перед нами человек, мы склонны предполагать наличие понимания. Если перед нами программа, возникает сомнение. Но это различие само по себе ничего не доказывает. Мы не имеем непосредственного доступа к чужому сознанию даже тогда, когда разговариваем с человеком. Мы наблюдаем поведение, язык, действия и строим гипотезу о внутреннем состоянии другого субъекта.

Таким образом, проблема понимания связана с более фундаментальной проблемой: как от внешнего поведения перейти к утверждению о внутреннем содержании?

В повседневной жизни мы решаем эту задачу практически автоматически. Если человек объясняет сложную теорию, отвечает на уточняющие вопросы, применяет её к новым случаям, обнаруживает противоречия и способен самостоятельно вывести следствия, мы заключаем, что он понимает теорию. Это разумный критерий поведения. Но он остаётся косвенным.

Можно представить искусственную систему, которая демонстрирует все эти признаки настолько убедительно, что внешне невозможно отличить её ответы от ответов человека. Тогда возникает знаменитая философская проблема: достаточно ли функционального поведения для понимания?

Если мы ответим «да», то понимание становится функциональным свойством системы. Если ответим «нет», необходимо указать дополнительное свойство, которое существует внутри системы и отличает настоящее понимание от идеальной имитации.

Но как обнаружить это свойство?

Именно здесь начинается один из самых глубоких разрывов между эпистемологией, когнитивной наукой и философией сознания.

### Знание как структура

Чтобы разобраться в проблеме, необходимо сначала отказаться от представления о знании как о простом накоплении фактов.

Человек, знающий сто тысяч отдельных утверждений, не обязательно понимает больше человека, знающего десять тысяч. Если первые сто тысяч представляют собой изолированные сведения, а вторые десять тысяч образуют хорошо организованную систему взаимосвязанных моделей, второй субъект может обладать значительно большей способностью к рассуждению.

Знание приобретает интеллектуальную ценность не только благодаря объёму, но и благодаря структуре.

Можно представить знание в виде графа, где вершины соответствуют понятиям, а рёбра — отношениям между ними. В примитивной системе большая часть информации существует в виде отдельных узлов. В развитой системе между узлами существует плотная сеть связей: причинных, логических, математических, временных, пространственных, аналогических и иерархических.

Тогда понимание можно предварительно определить как способность использовать структуру знания для построения новых выводов.

Но и это определение недостаточно.

Если система способна установить все необходимые связи статистически, остаётся вопрос: действительно ли она понимает смысл этих связей или лишь преобразует символы в соответствии с формальными правилами?

Этот вопрос имеет почти столетнюю историю.

В начале XX века развитие формальной логики породило мечту о том, что математическое мышление можно полностью формализовать. Если рассуждение представить в виде последовательности правил, то, казалось бы, машина сможет выполнять его автоматически. Достаточно определить допустимые символы, правила вывода и начальные аксиомы — и дальнейшее получение теорем становится механической процедурой.

Эта идея оказалась чрезвычайно плодотворной. Современная информатика во многом выросла из попыток формализовать вычисление и доказательство. Однако именно формализация одновременно обнаружила фундаментальные ограничения.

Оказалось, что между манипуляцией символами и пониманием того, что эти символы означают, существует принципиальная концептуальная дистанция.

### Синтаксис и семантика

В самом общем виде можно различать два уровня.

Синтаксис описывает правила преобразования символов.

Семантика связана с тем, что эти символы означают.

Для компьютера строка битов является физическим состоянием системы. Для человека та же последовательность может представлять число, текст, изображение, программу или вообще ничего осмысленного. Значение возникает не из самой последовательности, а из отношения между символом и некоторой системой интерпретации.

Рассмотрим простейший пример.

Запись

2 +2 = 4

может быть прочитана как элементарное арифметическое утверждение. Но формально она представляет собой последовательность символов, подчиняющуюся определённым правилам. Машина может проверить корректность преобразования символов, не обладая человеческим представлением о числе два.

Здесь возникает фундаментальный вопрос: что означает «обладать представлением о числе два»?

Если мы скажем, что достаточно корректно манипулировать символом «2», мы фактически определим понимание через функцию. Если же утверждаем, что требуется дополнительное субъективное содержание, мы должны объяснить, что это содержание собой представляет.

Именно поэтому проблема понимания быстро превращается в проблему сознания.

Китайская комната

Один из наиболее известных мысленных экспериментов, связанных с этой проблемой, был предложен Джоном Серлом. Представим человека, который не знает китайского языка и находится в комнате. Через специальное отверстие ему передают китайские символы. У человека имеется подробная инструкция на его родном языке, которая говорит, какие символы следует сопоставлять с какими другими символами.

Следуя инструкции, человек способен выдавать правильные ответы на китайские вопросы. Для внешнего наблюдателя система может выглядеть так, будто внутри комнаты находится человек, понимающий китайский язык.

Но сам человек китайского языка не знает.

Серл использовал этот мысленный эксперимент как аргумент против идеи, что одна лишь формальная манипуляция символами достаточна для понимания.

Однако эксперимент породил многочисленные возражения. Можно сказать, что понимает не человек внутри комнаты, а вся система: человек, инструкция, правила и взаимодействие между ними. Можно утверждать, что при достаточно сложной организации система действительно приобретает функциональное понимание. Можно также возразить, что человеческий мозг сам выполняет физические процессы, которые с внешней точки зрения ничем принципиально не отличаются от сложной обработки информации.

Поэтому китайская комната не является экспериментально доказанным решением проблемы сознания. Это философский аргумент, демонстрирующий трудность перехода от синтаксиса к семантике.

Для нашей книги важен другой аспект.

Даже если машина идеально выполняет формальные операции, мы ещё должны определить, что считать доказательством понимания.

Если требовать внутреннего субъективного опыта, появляется проблема доступа к этому опыту.

Если требовать только функционального поведения, тогда достаточно сложная система может считаться понимающей независимо от того, существует ли у неё субъективный опыт.

Таким образом, выбор определения понимания заранее влияет на ответ.

Можно ли определить понимание функционально?

Предположим, мы отказываемся от идеи скрытого субъективного критерия и определяем понимание через способность системы действовать с информацией.

Тогда система понимает понятие X, если она способна:

— объяснить X различными способами;

— применить X в новых ситуациях;

— вывести из X неочевидные следствия;

— обнаружить противоречия, связанные с X;

— сопоставить X с другими понятиями;

— изменить модель X при появлении новых данных;

— определить границы применимости X;

— использовать X для прогнозирования;

— отличить причинную связь от случайной корреляции;

— сформулировать новые вопросы, возникающие из X.

Такое определение выглядит значительно сильнее, чем простой тест на воспроизведение информации.

Однако оно порождает новый парадокс.

Если система способна выполнить все перечисленные операции, что ещё мы можем потребовать от неё, чтобы признать наличие понимания?

Если ничего, тогда понимание оказывается функциональным понятием.

Если что-то ещё существует, необходимо показать, что именно это такое и каким образом его можно отличить от совершенной функциональной имитации.

Мы возвращаемся к проблеме субъективного опыта.

Знать факт и знать структуру

Представим человека, который выучил наизусть всю формальную теорию относительности. Он знает уравнения Эйнштейна, определения тензоров, метрику пространства-времени, геодезические уравнения и решения полевых уравнений.

Но теперь ему задают вопрос: почему гравитационное поле можно интерпретировать геометрически?

Если он способен вывести ответ, показать связь между математическим формализмом и физическим содержанием, объяснить, какие наблюдаемые эффекты следуют из геометрической интерпретации, и перенести концепцию на новый пример, мы обычно скажем, что он понимает теорию.

Следовательно, понимание связано с возможностью генерировать новые следствия из существующей структуры знания.

Но это опять-таки не означает, что понимание тождественно выводу.

Можно построить систему, которая генерирует огромное количество правильных следствий, не имея того, что человек назвал бы «пониманием». В математике автоматические доказатели способны проверять и находить доказательства формальных утверждений. Но математик может интересоваться не только тем, что утверждение истинно, но и тем, почему оно истинно именно таким образом.

Это различие между доказательством и объяснением.

Формально корректное доказательство может быть огромным, громоздким и лишённым концептуальной прозрачности. Короткое доказательство иногда воспринимается как более глубокое не потому, что оно логически «истиннее», а потому, что обнаруживает структуру, скрытую за длинной цепью вычислений.

Таким образом, понимание может включать способность находить структурно значимые представления, а не просто получать правильный результат.

Компрессия как признак понимания

Здесь возникает интересная гипотеза.

Возможно, понимание связано со способностью к эффективной компрессии.

Если сложное множество явлений можно описать коротким принципом, мы говорим, что обнаружили закономерность. Закон всемирного тяготения позволяет описывать огромное множество движений одним математическим формализмом. Уравнения Максвелла объединяют большое количество электромагнитных явлений. Генетическая теория объединяет огромное количество биологических наблюдений в единую объяснительную структуру.

Разум ищет короткие описания длинных закономерностей.

Однако не всякая компрессия является пониманием.

Сжатие данных может происходить чисто статистически. Алгоритм может уменьшить объём информации, не формируя причинной модели. Более того, некоторые явления можно эффективно аппроксимировать без знания механизма, который их породил.

Следовательно, компрессия может быть компонентом понимания, но не его исчерпывающим определением.

Понимание и причинность

Особое место занимает способность различать корреляцию и причинность.

Если система обнаруживает, что два события A и B связаны, она получила информацию.

Если система обнаруживает механизм, посредством которого изменение A приводит к изменению B, она получает причинную модель.

Но причинность требует более сильной структуры мышления. Необходимо рассматривать альтернативные состояния мира.

Например, если повышение температуры связано с ростом продаж мороженого, можно обнаружить сильную корреляцию. Но если изменить температуру искусственно, продажи изменятся по определённому механизму. Причинная модель позволяет рассуждать о вмешательстве, а не только о наблюдении.

В этом отношении понимание можно связать с ответом на вопрос:

«Что произойдёт, если я изменю это?»

Система, способная только наблюдать корреляции, ограничена пассивным описанием.

Система, способная строить причинные модели, получает возможность рассуждать о возможных мирах.

Но даже причинное понимание имеет пределы. Реальные системы могут содержать огромное количество переменных и скрытых факторов. Причинная модель всегда является некоторым приближением.

Следовательно, понимание не обязано означать создание полной модели реальности.

И это становится одним из центральных положений всей книги.

Понимание может быть локальным, частичным и многоуровневым.

Мы можем понимать механизм, не понимая всей системы, частью которой он является.

Мы можем понимать теорию, не понимая происхождения законов, на которых она основана.

Мы можем понимать работу мозга на одном уровне, не понимая, каким образом из неё возникает субъективный опыт.

Мы можем понимать алгоритм, не зная, существует ли более фундаментальный уровень описания, на котором этот алгоритм является частным случаем.

Знание как карта, а не территория

Возможно, полезнее всего представить знание как систему карт.

Карта метро показывает связи между станциями, но не показывает физическую геометрию города.

Топографическая карта показывает рельеф, но не показывает культурную жизнь людей.

Спутниковый снимок показывает поверхность, но не показывает юридические отношения собственности.

Каждая карта истинна в некотором отношении и неполна в других.

То же самое происходит с научными теориями.

Ньютоновская механика не исчезла после появления теории относительности. Она сохранила огромную область применимости как приближённое описание при определённых условиях. Теория относительности не делает квантовую механику ненужной. Квантовая теория не отменяет классические модели там, где они работают как эффективные приближения.

Наука развивается не обязательно заменой одной «карты мира» другой. Иногда она создаёт более глубокую систему, в которой предыдущая теория оказывается частным случаем.

Поэтому понимание не обязательно означает обладание окончательной картой.

Оно может означать способность знать, какая карта применима к какой территории.

Это уже более высокий уровень интеллектуальной компетенции.

### Мета-знание

Система знает факт.

Следующий уровень — система знает, как этот факт был получен.

Следующий — знает, при каких условиях он надёжен.

Следующий — знает, где он перестаёт быть надёжным.

Следующий — способна оценивать собственную уверенность.

И наконец, система способна спрашивать, почему она использует именно этот метод познания.

Последний уровень можно назвать метазнанием — знанием о собственном знании.

Метазнание чрезвычайно важно для интеллекта, потому что без него система не способна адекватно оценивать собственные ограничения.

Представим два интеллекта.

Первый отвечает на каждый вопрос уверенно.

Второй иногда отвечает «я не знаю», но при этом способен объяснить, какие данные ему необходимы для получения ответа и почему имеющейся информации недостаточно.

На простом тесте первый может показаться сильнее. В реальной исследовательской деятельности второй может быть значительно надёжнее.

Это связано с понятием эпистемической калибровки — соответствия между уверенностью системы и реальной вероятностью правильности её утверждений.

Идеальный интеллект не обязан знать всё. Но он должен хотя бы в некоторой степени различать то, что знает, то, что предполагает, и то, чего не знает.

Однако даже здесь возникает проблема.

Может ли система абсолютно точно знать границы собственного знания?

Чтобы определить, что некоторое утверждение неизвестно, необходимо иметь возможность оценить пространство возможных решений. А для этого требуется модель самой задачи. В некоторых случаях система может не знать не только ответа, но и того, что существует неизвестный ей фактор.

Это называется неизвестным неизвестным.

Система не может просто вывести список всех вещей, о которых она ничего не знает, потому что для формирования такого списка ей пришлось бы каким-то образом представить то, что ещё не представлено.

И здесь мы снова приближаемся к фундаментальному пределу.

Может ли интеллект знать, чего он не знает?

Рассмотрим простой пример.

Человек не знает о существовании некоторого математического объекта. Он не может спросить: «Как устроен объект X?», потому что ещё не знает, что X существует.

После открытия объекта пространство его вопросов расширяется.

Это означает, что познание способно изменять не только ответы, но и пространство возможных вопросов.

Это принципиально важно.

Если интеллект способен формулировать новые вопросы, то рост знания не является простым заполнением пустых ячеек заранее существующей таблицы. Иногда изменяется сама таблица.

Научная революция может состоять не только в получении нового ответа, но и в обнаружении того, что старый набор вопросов был неправильно организован.

Классическая физика спрашивала о движении тел в пространстве и времени, воспринимаемых как независимые абсолютные структуры. Теория относительности изменила саму архитектуру этих вопросов. Квантовая теория изменила интуитивное представление о физических состояниях. Современная космология изменила статус вопросов о происхождении и структуре Вселенной.

Следовательно, интеллектуальное развитие иногда происходит через изменение пространства вопросов.

Именно поэтому тест, состоящий из заранее заданного набора задач, принципиально ограничен. Он оценивает способность системы работать внутри некоторого пространства проблем, но не обязательно способность изменять само пространство.

Самая трудная форма интеллекта

Если продолжить эту линию рассуждения, можно предположить несколько уровней.

На первом уровне система решает поставленные задачи.

На втором — выбирает методы решения.

На третьем — оценивает качество собственных методов.

На четвёртом — изменяет представление о самой задаче.

На пятом — создаёт новые классы задач.

На шестом — исследует ограничения собственной познавательной архитектуры.

На седьмом — пытается изменить эту архитектуру.

Последний уровень непосредственно связан с идеей самоулучшения искусственного интеллекта.

Но здесь возникает опасная логическая петля.

Если система пытается улучшить собственный механизм рассуждения, ей необходимо оценить собственный механизм рассуждения.

Чтобы оценить его, она использует некоторый текущий механизм рассуждения.

Но если текущий механизм содержит фундаментальный дефект, система может быть не способна обнаружить его средствами самой системы.

Это напоминает ситуацию, когда измерительный прибор пытается полностью откалибровать самого себя, не имея внешнего эталона.

В физике мы можем сравнить прибор с другим стандартом.

Но что является внешним стандартом для интеллекта?

Если интеллект является универсальным средством познания, то попытка найти внешний относительно него эталон становится чрезвычайно сложной.

Разум и внешний эталон

Предположим, существует интеллект, который хочет доказать собственную надёжность.

Он может построить модель своей архитектуры.

Но эта модель создаётся самим.

Тогда возникает вопрос: почему должен доверять модели?

Он может создать вторую систему, проверяющую первую.

Но кто проверит?

Можно создать, проверяющую.

Однако появляется бесконечная цепочка.

Остановиться можно только приняв некоторую систему как достаточно надёжную без абсолютного доказательства.

Это не означает, что самопроверка невозможна. Практические системы постоянно проверяют собственные компоненты. Компиляторы проверяют программы, программы проверяют данные, научные методы включают контроль ошибок, люди анализируют собственные рассуждения.

Проблема возникает только тогда, когда мы требуем абсолютной и полной самопроверки.

Именно это различие будет иметь решающее значение в дальнейшем.

Практическая надёжность и абсолютная доказуемость — разные требования.

Интеллект может быть чрезвычайно надёжным, не будучи способным доказать собственную безусловную надёжность.

Знание, которое превосходит понимание

Теперь можно поставить ещё более странный вопрос.

Может ли человек знать нечто, чего он не понимает?

В некотором смысле — постоянно.

Человек может использовать математическую теорему, доверяя доказательству специалистов, не понимая всех деталей. Он может использовать лекарство, не понимая молекулярной биологии его действия. Он может применять компьютерную технологию, не понимая физики полупроводников.

В современном обществе огромное количество знаний существует в распределённом виде.

Это означает, что коллективное знание человечества намного превосходит индивидуальное понимание каждого человека.

Но существует и более радикальный вариант.

Может ли одна интеллектуальная система обладать истинным знанием, которое другая интеллектуальная система принципиально не способна понять?

Если различие между интеллектами достаточно велико, вполне возможно, что ответ положителен.

Представим математическую структуру, настолько сложную, что человек не способен удерживать её в сознании. Машина может работать с ней непосредственно, строя выводы, которые невозможно представить человеку в полном объёме.

Для человека результаты машины могут быть проверяемыми локально, но не интуитивно понятными.

Тогда появляется различие между проверяемой истиной и концептуально доступным пониманием.

Человек может убедиться, что определённое утверждение истинно, проверяя отдельные формальные шаги, но не обладать способностью сформировать целостную ментальную картину, соответствующую этому утверждению.

Это уже предвестие будущего, в котором искусственный интеллект может стать не просто инструментом вычисления, а источником знаний, структура которых находится за пределами человеческой интуиции.

Если машина умнее человека

Предположим, что однажды появляется искусственная система, которая превосходит человека в математике, физике, программировании, планировании и научном открытии.

Мы называем её сверхразумом.

Но что означает «превосходит»?

Она решает больше задач?

Быстрее?

Точнее?

Создаёт более глубокие теории?

Способна обучаться самостоятельно?

Обладает лучшей метакогнитивной системой?

Или она способна делать всё перечисленное одновременно?

Даже если ответ положительный, остаётся вопрос: может ли такая система столкнуться с задачами, которые не решаются не из-за недостатка вычислительной мощности, а из-за логической или вычислительной природы самих задач?

Если да, то сверхразум будет иметь пределы.

Но это ещё не всё.

Возможно, он сможет доказать существование собственных пределов.

И тогда возникнет необычная ситуация: интеллект способен знать, что существует вопрос, на который он не способен дать ответ.

Это будет более глубокая форма знания, чем простое незнание.

Граница между неизвестным и непознаваемым

Неизвестное — это то, чего мы пока не знаем.

Непознаваемое — это то, для чего существует некоторый фундаментальный барьер познания.

Различие между ними нельзя устанавливать на основании одного ощущения трудности.

Человечеству когда-то были неизвестны микробы, структура ДНК, существование других галактик и квантовые эффекты. Многие вопросы казались практически недоступными, пока не появились новые методы.

Поэтому утверждать, что вопрос непознаваем, только потому, что он чрезвычайно сложен, было бы интеллектуально неоправданно.

Чтобы говорить о принципиальной непознаваемости, необходимо показать более сильное основание: логическое противоречие, доказуемую невычислимость, ограничение формальной системы, физический предел измерения или иной фундаментальный барьер.

Именно здесь начинается область, в которой наша книга будет двигаться дальше.

Мы больше не спрашиваем:

«Насколько умным может стать разум?»

Мы спрашиваем:

«Существуют ли такие задачи, для которых увеличение интеллекта не является решением?»

Если ответ окажется положительным, перед нами возникнет совершенно новая картина интеллекта.

Разум перестанет быть лестницей, ведущей к абсолютному знанию.

Он станет исследователем пространства, внутри которого существуют границы.

И возможно, величайшая интеллектуальная способность заключается не в том, чтобы знать ответ на любой вопрос, а в том, чтобы строго определить, какой вопрос имеет ответ, какой требует новых данных, какой зависит от выбранных предпосылок, какой пока не решён и какой в принципе не может быть решён данным методом.

Такое различение требует не просто вычислительной мощности.

Оно требует понимания природы самого познания.

И именно здесь мы подходим к одному из самых опасных и плодотворных моментов в истории человеческой мысли.

Математика попыталась построить систему, в которой все истинные утверждения можно было бы формально доказать.

Задача казалась почти идеальной: создать строгое основание, в котором каждое математическое утверждение либо доказывается, либо опровергается.

Но затем выяснилось, что достаточно выразительная формальная система способна столкнуться с утверждениями, которые говорят о самой этой системе.

Разум впервые оказался перед зеркалом, в котором он увидел собственную структуру.

Именно это зеркало приведёт нас к Курту Гёделю.

В следующей главе мы рассмотрим, как математика, стремившаяся к абсолютной определённости, обнаружила пределы собственной формальной силы — и почему эти результаты нельзя упрощённо интерпретировать как доказательство того, что «человек не способен познать истину».

ГЛАВА 4. ЧЕМ ЧЕЛОВЕЧЕСКОЕ МЫШЛЕНИЕ ОТЛИЧАЕТСЯ ОТ ВЫЧИСЛЕНИЯ

В предыдущей главе мы подошли к границе между знанием и пониманием. Мы увидели, что наличие правильного ответа ещё не гарантирует понимания, а способность манипулировать символами не обязательно означает наличие семантического содержания. Но здесь возникает вопрос, который невозможно обойти, если мы хотим серьёзно исследовать пределы разума: что именно делает мышление мышлением?

Вопрос кажется почти наивным. Человек думает, компьютер вычисляет. Человек понимает, машина обрабатывает данные. Человек формулирует идеи, алгоритм выполняет инструкции. Однако при более внимательном рассмотрении все эти противопоставления начинают разрушаться. Человеческий мозг — физическая система. В нём происходят электрохимические процессы. Эти процессы подчиняются физическим законам. Они обладают причинной структурой. Следовательно, в некотором смысле человеческое мышление тоже является физическим процессом преобразования состояний.

Если это так, возникает неприятный вопрос: чем мышление принципиально отличается от вычисления?

Возможно, вообще ничем.

Но, возможно, и обратное: вычисление описывает лишь один уровень человеческой когнитивной деятельности и не исчерпывает её содержания.

Чтобы разобраться в этом вопросе, необходимо сначала избавиться от одного распространённого заблуждения. Слово «вычисление» в бытовом языке ассоциируется с арифметикой. Мы называем вычислением сложение, умножение, решение уравнений. Но в теоретической информатике понятие гораздо шире. Вычисление — это преобразование одного формально представленного состояния в другое по некоторым правилам.

В таком смысле компьютер вычисляет не только числа. Он может преобразовывать текст, изображения, аудиосигналы, графы, программы, вероятностные распределения и практически любые данные, которые можно представить в подходящей формальной форме.

Если человеческое мышление также является преобразованием состояний мозга, то возникает возможность описать его вычислительно.

Но здесь сразу появляется фундаментальное различие между двумя вопросами.

Первый вопрос:

Можно ли описать физический процесс вычислительно?

Второй:

Является ли вычислительное описание полным описанием того, что происходит?

Первый вопрос во многих случаях имеет положительный ответ. Второй значительно сложнее.

Мозг как физическая система

Мозг состоит из огромного количества взаимосвязанных элементов, взаимодействующих посредством электрических и химических процессов. Нейроны изменяют состояние, передают сигналы, формируют сети взаимодействий. Синаптическая пластичность позволяет системе изменять собственную структуру в зависимости от опыта.

На уровне физики это материальная система.

Если состояние мозга в некоторый момент обозначить как, а окружающую среду — как, можно абстрактно представить следующий момент как результат некоторого перехода:

Такое представление чрезвычайно грубо. Оно не описывает нейронные механизмы, биохимию, электродинамику или молекулярную динамику. Но оно показывает фундаментальную идею: физическая система изменяет своё состояние согласно некоторой динамике.

Можно ли назвать это вычислением?

В определённом смысле — да. Но здесь требуется осторожность.

Если любое физическое изменение считать вычислением, понятие вычисления становится настолько широким, что почти теряет различительную силу. Камень, падающий с высоты, изменяет своё состояние согласно физическим законам. Можно математически описать его траекторию. Но мы вряд ли хотим говорить, что камень «вычисляет» траекторию своего падения в том же смысле, в каком компьютер выполняет алгоритм.

Следовательно, необходимо различать физический процесс и его вычислительную интерпретацию.

Это различие станет чрезвычайно важным, когда мы будем обсуждать сознание и искусственный интеллект.

Алгоритм и физический процесс

Алгоритм — это абстрактная процедура.

Он не обязан существовать в виде конкретного физического объекта. Один и тот же алгоритм может быть реализован человеком на бумаге, механическим устройством, электронным компьютером или совершенно иной физической системой.

Например, алгоритм сортировки не является набором конкретных транзисторов. Он представляет собой абстрактную структуру операций.

Физическая реализация может быть разной, а алгоритмическая структура — одинаковой.

Отсюда возникает идея множественной реализуемости. Если определённое вычисление может быть реализовано на разных физических носителях, то вычислительная структура не тождественна конкретному носителю.

Эта идея имеет огромное значение для искусственного интеллекта.

Если сознание или интеллект являются вычислительными процессами, то теоретически не существует необходимости реализовывать их именно в биологическом мозге. Возможно, достаточно воспроизвести соответствующую функциональную организацию на другом физическом носителе.

Но слово «если» здесь является главным.

Функционализм

Функционалистский подход утверждает, что психическое состояние определяется не столько материалом, из которого построена система, сколько его функциональной ролью.

Если два физических объекта реализуют одинаковую функциональную организацию, то, согласно сильной версии функционализма, соответствующие психические свойства должны быть одинаковыми или, по крайней мере, существенно эквивалентными.

Это радикальная идея.

Если она верна, то не имеет принципиального значения, состоит ли интеллект из биологических нейронов, кремниевых элементов, оптических компонентов или другой физической архитектуры.

Важна структура причинных связей и преобразований.

Тогда мозг можно рассматривать как биологический вычислительный субстрат.

Но критики функционализма задают вопрос: действительно ли субъективный опыт определяется только функциональной организацией?

Если создать систему, функционально идентичную человеку, но заменить каждый биологический компонент искусственным эквивалентом, будет ли внутри этой системы существовать тот же субъективный опыт?

Если ответ «да», возникает сильная форма функционализма.

Если ответ «нет», необходимо определить, какое физическое свойство мозга утрачивается при такой замене.

Пока у науки нет общепринятого ответа на этот вопрос.

Что именно вычисляется в мозге?

Даже если принять вычислительную природу некоторой части мышления, возникает другая проблема.

Что является входом?

Что является выходом?

Где начинается вычисление?

Если человек видит дерево, световые сигналы попадают на сетчатку, преобразуются в нейронные сигналы, проходят через различные области нервной системы и становятся частью сложного внутреннего состояния. В какой момент начинается «вычисление дерева»?

На сетчатке?

В зрительной коре?

В интеграции зрительной информации с памятью?

В языковом обозначении объекта как «дерево»?

Или вычисление включает всю систему взаимодействия организма со средой?

Единственного очевидного ответа нет.

Это показывает, что понятие вычисления зависит от уровня описания.

На одном уровне мозг можно описывать как биохимическую систему.

На другом — как сеть динамически взаимодействующих нейронов.

На третьем — как систему обработки информации.

На четвёртом — как когнитивную архитектуру.

На пятом — как субъекта опыта.

Эти описания не обязательно противоречат друг другу. Они могут быть различными уровнями анализа одной и той же системы.

Но из этого следует принцип, который будет многократно возникать в нашей книге:

успешное описание системы на одном уровне не доказывает, что этот уровень является её окончательным объяснением.

Китайская комната и проблема семантики

Вернёмся к китайской комнате.

Если человек внутри комнаты механически преобразует китайские символы по правилам, он может внешне демонстрировать правильное использование языка. Но понимает ли он язык?

Если ответ отрицательный, то возникает вопрос: где именно находится понимание?

Можно сказать, что оно отсутствует у человека, но присутствует у всей системы.

Но тогда мы должны объяснить, каким образом объединение человека, правил и бумаги создаёт свойство, отсутствующее в каждом элементе отдельно.

Можно сделать следующий шаг и заменить человека внутри комнаты компьютером. Затем заменить компьютер более сложной системой. В пределе мы получим физическую систему, которая функционально воспроизводит работу человеческого мозга.

Если мы всё ещё будем утверждать, что понимания нет, возникает необходимость указать физическое различие между мозгом и системой.

Если же такого различия нет, отрицание понимания становится всё менее обоснованным.

Но это рассуждение не доказывает функционализм.

Оно лишь показывает, что проблема чрезвычайно глубока.

Символы и мир

Вычислительная система работает с представлениями.

Число 7 в компьютере не существует в том же смысле, в каком существует семь физических объектов. Внутри машины имеется определённое состояние элементов, которое в рамках выбранной системы кодирования интерпретируется как число.

Следовательно, значение не находится непосредственно внутри физического состояния.

Оно возникает относительно системы интерпретации.

Это приводит нас к проблеме семантической привязки.

Почему определённое внутреннее состояние означает именно «дерево», а не «слон», «опасность» или просто набор битов?

В человеческом мозге эта проблема не исчезает. Нейронный паттерн сам по себе также является физическим состоянием. Его значение определяется тем, какую роль он играет в системе восприятия, памяти, действия и языка.

Поэтому вопрос «где находится смысл?» оказывается сложнее вопроса «где находится сигнал?».

Сигнал можно зарегистрировать.

Смысл требует контекста.

Мозг не работает как классический компьютер

Популярная метафора «мозг — компьютер» полезна лишь до определённой степени.

Классический компьютер обычно проектируется как система с относительно чётко разделёнными компонентами: память, процессор, устройства ввода и вывода. Мозг устроен иначе.

В нём память распределена. Обработка информации тесно связана с изменением самой структуры системы. Обучение меняет связи, а изменение связей меняет последующую обработку информации.

Это означает, что мозг не просто выполняет программу.

Он одновременно изменяет собственную архитектуру, на которой эта программа реализуется.

У человека нет строгого аналога «программы», записанной отдельно от аппаратной части. Опыт изменяет физическую систему.

В этом отношении биологический мозг ближе к самоизменяющейся вычислительной системе, чем к классическому компьютеру с фиксированным набором инструкций.

Но и здесь нельзя делать слишком сильный вывод.

Современные искусственные нейронные сети также изменяют свои параметры в процессе обучения. Поэтому различие между «программой» и «обучением» становится менее резким.

Алгоритм, который не был написан

Представим ребёнка, который научился распознавать лица.

Никто не записал для него алгоритм:

«Если расстояние между глазами равно X, нос имеет форму Y, а контур лица соответствует Z, определить человека как знакомого».

Ребёнок учится на примерах.

Его мозг формирует внутренние представления, причём значительная часть процесса остаётся недоступной сознанию.

Можно ли после обучения описать получившуюся систему алгоритмически?

В принципе, возможно.

Но это не означает, что такой алгоритм существовал заранее в явном виде.

Это различие между программированием и обучением.

В традиционной программе правила задаются человеком.

В обучающейся системе правила могут возникать как результат оптимизации.

Это радикально меняет вопрос о происхождении интеллектуального поведения.

Если система сама формирует внутренние представления, можно ли считать эти представления частью программы?

Если да, то программа становится результатом обучения.

Если нет, мы должны признать, что интеллектуальная система может содержать функциональные структуры, которые не были явно спроектированы.

Именно это происходит в современных системах машинного обучения.

Возникает ли понимание из сложности?

Здесь появляется один из самых опасных аргументов.

Можно сказать: если простая система не понимает, а достаточно сложная система ведёт себя как понимающая, значит, понимание возникает из сложности.

Но это не объяснение.

Это только утверждение о корреляции между сложностью и некоторым свойством поведения.

Нам необходимо знать, какой тип сложности имеет значение.

Простое увеличение числа элементов не гарантирует появления новых когнитивных свойств. Миллион случайно соединённых компонентов не обязательно создаёт интеллект.

Следовательно, важна не абсолютная сложность, а организация.

Нужна архитектура, обеспечивающая интеграцию информации, память, обучение, причинное моделирование, прогнозирование и адаптацию.

Но даже если мы построим такую архитектуру, вопрос сознания останется.

Возникновение свойств нового уровня

Наука постоянно сталкивается с явлениями, которые невозможно полностью понять, рассматривая отдельные элементы изолированно.

Температура не является свойством одной молекулы газа в обычном макроскопическом смысле. Она возникает как статистическая характеристика огромного ансамбля.

Жидкость обладает вязкостью и турбулентностью, хотя отдельная молекула не является «турбулентной».

Жизнь связана с организацией химических процессов, но отдельная молекула не является живым организмом.

Это приводит к понятию эмерджентности — появления свойств на уровне системы, которые не имеют простого аналога на уровне отдельных компонентов.

Можно ли сознание считать эмерджентным свойством нейронной системы?

Возможно.

Но здесь необходимо различать два значения слова «эмерджентный».

В слабом смысле свойство может быть эмерджентным, если оно возникает на уровне системы, но принципиально выводимо из поведения компонентов и их взаимодействий.

В сильном смысле предполагается, что свойство обладает некоторой фундаментальной новизной, которую нельзя полностью свести к свойствам компонентов.

Для науки это различие принципиально.

Если сознание является слабым эмерджентным свойством, то в принципе его можно объяснить физикой и вычислительной динамикой достаточно сложной системы.

Если оно является сильным эмерджентным свойством, потребуется более радикальная теория.

Современная наука не располагает окончательным решением этой проблемы.

Вычисление как отношение

Есть ещё более глубокий взгляд на вычисление.

Вычисление можно рассматривать не как особое физическое вещество и не как специфическую субстанцию, а как отношение между состояниями системы и правилами их интерпретации.

Один физический процесс может реализовывать различные вычислительные описания.

Например, сложную физическую систему можно математически описать множеством способов. Некоторые из этих описаний будут информативными, другие — тривиальными.

Если вычислительность зависит от выбранного описания, возникает философская опасность: не начнём ли мы называть вычислением практически любой физический процесс?

Это известно как проблема тривиализации.

Если любое физическое изменение можно интерпретировать как вычисление некоторой функции, само слово «вычисление» перестаёт объяснять, почему конкретная система обладает интеллектом.

Следовательно, необходимо определить, какие вычислительные структуры являются причинно значимыми.

Именно здесь теория вычисления соприкасается с теорией физической реализации.

### Причинная структура важнее формального сходства

Представим два устройства, которые дают одинаковые ответы на одинаковые входы.

Одно устройство реализует нужный алгоритм благодаря внутренней причинной организации.

Другое случайно настроено так, что для конечного набора тестов выдаёт те же ответы, но при малейшем изменении условий поведение резко отличается.

С точки зрения тестирования они эквивалентны.

С точки зрения внутренней структуры — нет.

Поэтому хороший тест интеллекта должен проверять не только известные случаи, но и способность системы переносить структуру на новые ситуации.

Это возвращает нас к обобщению.

Если система действительно обладает некоторой моделью, изменение поверхности задачи не должно разрушать её способность рассуждать.

Например, человек, понявший принцип сохранения энергии, способен применять его к различным физическим системам.

Если же система запомнила множество конкретных ответов, она может оказаться беспомощной при изменении формулировки.

Поэтому интеллект связан не столько с запоминанием решений, сколько с извлечением инвариантов.

Инварианты и глубина мышления

Одно из наиболее сильных свойств математического мышления состоит в способности видеть инварианты.

Форма задачи может изменяться, но определённое отношение сохраняется.

Математик ищет структуру, которая не зависит от конкретного представления.

Физик ищет величину, сохраняющуюся при динамическом процессе.

Программист ищет абстракцию, позволяющую описать множество конкретных реализаций.

Философ ищет структуру аргумента, сохраняющуюся при изменении предметной области.

В этом смысле интеллект можно рассматривать как способность переходить от конкретного к структурному.

Но и здесь возникает предел.

Чем выше уровень абстракции, тем больше конкретных деталей отбрасывается.

Слишком низкий уровень описания тонет в деталях.

Слишком высокий может потерять причинно значимую информацию.

Поэтому интеллектуальная модель должна выбирать правильный уровень абстракции.

Это напоминает проблему масштаба в физике. Микроскопическое описание может быть чрезмерно детальным для макроскопической задачи. Макроскопическое описание может быть недостаточным для понимания микроскопического механизма.

Следовательно, возможно, интеллект — это не способность иметь одну идеальную модель мира, а способность переключаться между уровнями описания.

Почему человек способен мыслить абстракциями

Человек может рассуждать не только о конкретном яблоке, но и о числе.

Не только о конкретном государстве, но и о понятии государства.

Не только о конкретном доказательстве, но и о доказуемости.

Не только о конкретном интеллекте, но и об интеллекте как классе систем.

Это движение от объекта к классу, от класса к структуре, от структуры к метаструктуре.

Особенно важна способность формировать объекты, которых нет непосредственно в чувственном опыте.

Числа не лежат перед нами в природе как физические предметы.

Геометрические пространства высокой размерности нельзя непосредственно увидеть.

Бесконечные множества невозможно полностью предъявить.

Тем не менее человек способен рассуждать о них.

Это показывает, что интеллект не ограничивается обработкой непосредственных сенсорных данных.

Он способен создавать внутренние объекты, которые становятся предметами дальнейшего мышления.

И здесь возникает фундаментальная возможность рекурсии:

разум создаёт понятие;

затем создаёт понятие о понятии;

затем понятие о системе понятий;

затем теорию, описывающую создание теорий.

Где заканчивается эта лестница?

Если она не имеет естественного последнего уровня, то идея полного самопознания становится подозрительной.

Мышление о мышлении

Человек способен думать.

Но он способен также думать о том, как он думает.

Он способен заметить собственную ошибку.

Он способен построить теорию когнитивного искажения.

Он способен обнаружить, что сама теория может быть ошибочной.

Он способен создать метод проверки теории.

А затем подвергнуть сомнению сам метод проверки.

Это и есть метакогнитивная рекурсия.

На практическом уровне она бесконечна не всегда. Человек прекращает её на определённом уровне и продолжает действовать.

Но если поставить более сильное требование — построить абсолютно полную и окончательную модель собственного мышления, — проблема становится гораздо серьёзнее.

Может ли мозг полностью описать мозг?

Представим идеальную нейровизуализацию, способную регистрировать каждое существенное состояние мозга.

Мы получаем колоссальный массив данных.

Можем ли мы из него вывести полную теорию сознания?

Не обязательно.

Данные и теория — разные вещи.

Полная запись состояния системы не является автоматически объяснением того, почему система имеет определённые свойства.

Можно записать траекторию движения каждого атома в сложной системе, но это ещё не даёт компактной теории её поведения.

Научное объяснение требует выделения закономерностей.

Поэтому полное знание микросостояния не обязательно тождественно пониманию макроскопического явления.

Более того, если система пытается включить саму себя в модель, возникает рекурсивная проблема.

Модель мозга должна содержать модель процесса построения модели мозга.

Эта модель должна содержать модель построения предыдущей модели.

И так далее.

Возможно, на практике рекурсия обрывается благодаря приближённым моделям. Но абсолютное самописание сталкивается с трудностями, которые мы ещё только начинаем формулировать.

Мозг и компьютер: не вопрос «кто настоящий»

В общественной дискуссии часто возникает ложная дилемма: либо человек — машина, либо машина никогда не сможет быть подобна человеку.

Это слишком грубая постановка.

Человек является физической системой.

Компьютер является физической системой.

Обе системы преобразуют информацию.

Обе могут обладать памятью, внутренними состояниями, обратными связями и механизмами адаптации.

Различия существуют, но вопрос заключается не в том, «является ли человек машиной», а в том, какие свойства человеческой когнитивной архитектуры существенны для конкретного феномена.

Для арифметики биологическая природа мозга может оказаться несущественной.

Для человеческого эмоционального опыта — возможно, чрезвычайно существенной.

Для сознания — вопрос открыт.

Для языка — вероятно, важны и архитектура, и обучение, и социальная среда.

Для самосознания — возможно, важны механизмы, которые ещё недостаточно изучены.

Поэтому универсальный ответ невозможен.

Может ли вычисление породить смысл?

Это один из наиболее глубоких вопросов всей книги.

Если сознание и понимание являются вычислительными процессами, каким образом из преобразования символов возникает значение?

Можно утверждать, что значение появляется благодаря связи системы с окружающим миром.

Символ «опасность» приобретает смысл, если состояние системы связано с определёнными последствиями для её поведения.

Тогда семантика возникает не внутри отдельного символа, а в системе отношений между восприятием, внутренним состоянием и действием.

Такой подход связывает интеллект с агентностью.

Система не просто преобразует данные.

Она действует в мире.

Её внутренние представления имеют значение потому, что от них зависит дальнейшее поведение.

Но и здесь появляется проблема. Можно ли считать смыслом только функциональную роль?

Если да, то достаточно сложный искусственный агент может обладать собственной семантикой.

Если нет, необходимо найти дополнительное свойство.

И мы снова возвращаемся к субъективному опыту.

Вычисление и субъективность

Предположим, что два искусственных агента функционально идентичны.

Они получают одинаковые входы, формируют одинаковые внутренние состояния и производят одинаковые действия.

Но допустим, что один обладает субъективным опытом, а другой — нет.

Может ли существовать такая пара?

Если да, то функционального описания недостаточно для объяснения сознания.

Если нет, то субъективность должна следовать из определённой функциональной организации.

Это один из центральных вопросов философии сознания.

Его невозможно решить простым увеличением количества вычислений.

Можно построить машину в миллион раз быстрее. Но скорость не отвечает на вопрос о том, почему существует субъективный опыт.

Можно увеличить память.

Можно увеличить количество параметров.

Можно увеличить количество нейронов.

Но ни один из этих параметров сам по себе не объясняет, почему существует «что-то, каково это — быть этой системой».

Именно поэтому проблема сознания отличается от обычной проблемы вычислительной эффективности.

Почему этот вопрос важен для пределов разума

На первый взгляд может показаться, что всё это философская прелюдия, не имеющая отношения к пределам интеллекта.

На самом деле всё наоборот.

Если интеллект полностью сводим к вычислению, тогда его пределы можно исследовать через теорию вычислимости, сложности и формальных систем.

Если интеллект содержит невычислительный компонент, необходимо понять, что именно это за компонент.

Если сознание не сводится к вычислению, возникает вопрос, может ли искусственная система обладать тем же типом сознания.

Если понимание зависит от физического субстрата, то вычислительная эквивалентность может оказаться недостаточной.

Если же понимание полностью функционально, тогда потенциальные искусственные интеллекты могут не иметь принципиального биологического ограничения.

Таким образом, ответ на вопрос о природе мышления непосредственно определяет наше представление о возможных пределах искусственного интеллекта.

Человек как система с ограниченным вычислительным ресурсом

Есть ещё один аспект.

Человеческий мозг не является идеальным вычислителем.

Он ограничен энергией, временем, объёмом рабочей памяти, скоростью передачи сигналов и физической архитектурой.

Однако эти ограничения не только мешают мышлению.

Некоторые из них могут быть его частью.

Ограниченная память заставляет мозг использовать абстракции.

Ограниченное внимание заставляет выделять релевантные признаки.

Ограниченное время заставляет использовать эвристики.

Ограниченные вычислительные ресурсы делают невозможным полный перебор вариантов, поэтому разум ищет приближённые стратегии.

Парадоксально, но интеллект может возникать не вопреки ограничениям, а частично благодаря способности эффективно работать в условиях ограничений.

Система, которая пытается вычислить всё, может проиграть системе, которая умеет отбрасывать почти всё.

Рациональность как управление вычислительным ресурсом

В этом смысле рациональность можно понимать как оптимальное распределение ограниченного вычислительного ресурса.

Невозможно рассмотреть все возможные будущие состояния мира.

Невозможно проверить все гипотезы.

Невозможно запомнить всю информацию.

Невозможно провести бесконечное количество экспериментов.

Следовательно, интеллектуальная система должна решать, на что потратить вычисление.

Это уже метауровень.

Система вычисляет не только ответ на задачу.

Она вычисляет, стоит ли вообще тратить ресурсы на поиск ответа.

В человеческом мышлении это происходит постоянно.

Мы не просчитываем каждую возможную траекторию автомобиля перед переходом дороги. Мы не строим полную физическую модель чашки перед тем, как взять её рукой. Мы используем приближённые модели, потому что точность, необходимая для конкретной задачи, ограничена.

Таким образом, человеческий интеллект является не абсолютным вычислителем, а системой адаптивного приближения.

И это может оказаться одной из причин его удивительной эффективности.

Приближение вместо полноты

Полная модель мира практически бесполезна для большинства задач.

Если человек хочет приготовить пищу, ему не нужна квантово-механическая модель каждой молекулы. Если инженер строит мост, ему не нужно вычислять траекторию каждого фотона, проходящего через конструкцию.

Разум выбирает уровень описания.

Это называется модельной редукцией: сложная система представляется через ограниченное число переменных, существенных для конкретной задачи.

Интеллектуальность состоит не в том, чтобы отказаться от упрощения.

Она состоит в том, чтобы упрощать, не разрушая причинно значимую структуру.

Плохая модель выбрасывает существенное.

Хорошая модель выбрасывает несущественное.

Гениальная модель иногда обнаруживает, что то, что казалось существенным, на самом деле было следствием более глубокой структуры.

Именно поэтому научный прогресс часто связан с изменением представления.

Новая форма вычисления

Если человек способен создавать новые уровни абстракции, можно ли считать создание абстракции отдельной формой вычисления?

Формально, возможно.

Но обычная теория алгоритмов не обязательно передаёт интеллектуальную значимость такого перехода.

Алгоритм работает внутри пространства представлений.

Творческий акт иногда изменяет само пространство представлений.

До создания отрицательных чисел определённые математические задачи выглядели иначе.

До введения координат геометрические задачи решались иначе.

До появления комплексных чисел существовали уравнения, которые казались лишёнными решений в действительных числах.

Каждый новый математический язык расширял пространство возможных рассуждений.

Таким образом, один из важнейших аспектов интеллекта — создание новых языков, в которых старые проблемы становятся проще.

Это уже не просто вычисление внутри системы.

Это изменение системы представления.

Именно здесь мы приблизились к тому, что можно назвать интеллектуальной трансформацией пространства задач.

### Возможно ли автоматизировать создание новых представлений?

Если да, то различие между человеческим мышлением и машинным вычислением становится значительно менее очевидным.

Современная вычислительная система способна находить новые внутренние представления данных, которые не были явно заданы программистом. Обучение нейронных моделей демонстрирует, что полезные признаки могут возникать автоматически.

Но остаётся вопрос: насколько далеко может зайти этот процесс?

Может ли машина создать принципиально новый математический язык?

Может ли она обнаружить категорию объектов, которую человек не способен представить?

Может ли она построить теорию, истинность которой человек сможет проверить, но смысл которой не сможет интуитивно понять?

Если да, то человеческое мышление столкнётся с совершенно новой формой эпистемической асимметрии.

Человек будет получать знания от системы, которую не способен полностью понимать.

Это уже не просто вопрос производительности.

Это вопрос границы человеческого познания.

От вычисления к пределу

Теперь мы можем вернуться к центральному вопросу книги.

Если человеческое мышление является хотя бы частично вычислительным, значит, теория вычислений становится теорией возможных и невозможных форм мышления.

Если определённая задача невычислима, никакое увеличение скорости обычного вычисления её не решит.

Если определённое утверждение недоказуемо в некоторой формальной системе, добавление вычислительной мощности само по себе не делает его доказуемым.

Если определённый класс вопросов требует внешней информации, никакая внутренняя обработка данных не создаст отсутствующие данные.

Если субъективный опыт не сводится к вычислению, то вычислительная теория интеллекта может оказаться принципиально неполной.

Таким образом, изучение вычисления становится не технической темой, а исследованием границы возможного.

Но прежде чем мы перейдём к Гёделю, Тьюрингу и невычислимости, необходимо сделать ещё одно различие.

Вычислимость не равна практической решаемости.

Некоторая задача может быть вычислимой, но настолько ресурсоёмкой, что практически недоступна даже сверхмощной системе.

Другая задача может быть практически решаемой, но не иметь эффективного алгоритма в общем случае.

Третья может быть принципиально невычислимой.

Эти три ситуации совершенно различны.

Именно поэтому утверждение «компьютер когда-нибудь станет достаточно мощным и решит всё» является логически необоснованным.

Иногда проблема действительно заключается в недостатке ресурсов.

Иногда — в сложности.

А иногда — в том, что универсального решения не существует.

Три вида пределов

Уже сейчас мы можем выделить три уровня.

Первый — ресурсный предел.

Задача решима, но требует слишком много времени, памяти или энергии.

Второй — вычислительно-сложностный предел.

Задача формально решима, но её решение может требовать ресурсов, растущих настолько быстро, что практическая реализация становится невозможной.

Третий — принципиальный предел.

Не существует общего алгоритма, который решал бы задачу для всех допустимых входов.

Для интеллектуального исследования особенно важен третий уровень.

Потому что он означает: существует класс задач, где проблема не в том, что разум недостаточно умён.

Проблема в том, что определённый способ решения не существует.

Это фундаментально меняет понятие интеллектуального превосходства.

Более быстрый разум может преодолеть ресурсный предел.

Более эффективный алгоритм может преодолеть сложностный барьер.

Но если задача невычислима в общем случае, увеличение мощности вычислителя не решает проблему.

И всё же человек не сводится к алгоритму?

Здесь возникает последний вопрос этой главы.

Если существуют невычислимые функции, может ли человеческий разум вычислять невычислимое?

Некоторые философы и исследователи пытались использовать результаты Гёделя именно в таком направлении: если человек способен увидеть истинность утверждения, недоказуемого внутри некоторой формальной системы, значит ли это, что человеческий разум не является формальной системой?

Такой вывод чрезвычайно спорен.

То, что человек способен принять некоторое утверждение как истинное, ещё не означает, что он способен доказать его в строгом смысле. Кроме того, из теорем Гёделя нельзя напрямую вывести, что человеческий мозг обладает неалгоритмической вычислительной мощностью.

Это будет принципиально важно помнить, когда мы перейдём к следующей главе.

Гёдель не доказал, что человеческий разум магическим образом превосходит любую машину.

Тьюринг не доказал, что компьютеры никогда не смогут мыслить.

А существование невычислимых функций не означает автоматически существование человеческого способа их вычисления.

Но эти результаты действительно сделали нечто гораздо более важное.

Они показали, что между истиной, доказуемостью, вычислимостью и пониманием существуют различия, которые невозможно стереть простым увеличением вычислительной мощности.

Именно в этих различиях начинает проявляться настоящая архитектура пределов разума.

Мы подошли к порогу, за которым математика перестаёт быть только инструментом описания мира и становится инструментом исследования собственных возможностей.

В следующей главе мы войдём в этот мир непосредственно.

Нам предстоит рассмотреть период, когда математики попытались построить систему, способную дать строгий ответ на вопрос: можно ли для каждого математического утверждения установить его истинность посредством конечной формальной процедуры?

Ответ оказался гораздо глубже, чем простое «да» или «нет».

В центре этой истории появится человек, который показал, что достаточно мощная формальная система может содержать утверждения, говорящие о самой себе, и что именно способность системы к самореференции открывает дверь к фундаментальным ограничениям.

Его имя — Курт Гёдель.

А следующий вопрос будет звучать ещё радикальнее:

может ли разум построить формальную систему, настолько совершенную, чтобы она смогла доказать собственную непротиворечивость и тем самым гарантировать абсолютную надёжность собственного мышления?

ГЛАВА 5. КУРТ ГЁДЕЛЬ И НЕВОЗМОЖНОСТЬ ЗАВЕРШЁННОЙ ФОРМАЛЬНОЙ ИСТИНЫ

Почему математика вообще должна иметь пределы?

На первый взгляд этот вопрос может показаться странным. Математика традиционно воспринимается как наиболее строгая область человеческого знания. В физике мы зависим от точности измерений, в биологии — от сложности живых систем, в истории — от неполноты источников, а в повседневном мышлении — от ошибок памяти и восприятия. Математика выглядит иначе. Если доказательство построено правильно, оно не зависит от качества прибора, времени суток или субъективного состояния исследователя. Из определённых исходных положений посредством строго установленных правил можно получить заключение, которое считается необходимым. Именно поэтому на протяжении долгого времени существовала естественная надежда: если сделать математические основания достаточно точными, то можно будет построить завершённую систему, способную в принципе определить математическую истину посредством формального рассуждения. Казалось, что математика должна быть не просто совокупностью доказательств, а полностью прозрачной интеллектуальной конструкцией, в которой для каждого правильно поставленного вопроса существует принципиальная процедура получения ответа.

Эта надежда особенно усилилась в конце девятнадцатого и начале двадцатого века, когда математики начали систематически исследовать основания своей науки. Появление парадоксов теории множеств показало, что даже чрезвычайно развитая математическая теория может скрывать логические трудности. Поэтому возникла необходимость понять, на чём именно основана математическая строгость. Что считать допустимым доказательством? Какие исходные положения можно принять? Как убедиться, что из них нельзя вывести противоречивые утверждения? Можно ли описать все правила математического рассуждения настолько точно, чтобы проверка доказательства превратилась в механическую процедуру? Эти вопросы постепенно привели к созданию формальных систем — математических конструкций, в которых язык, исходные утверждения и правила вывода задаются максимально строго. На этом фоне особенно значимой стала программа Давида Гильберта, стремившегося исследовать основания математики с беспрецедентной степенью строгости. Идея заключалась не в том, чтобы превратить математику в примитивный набор механических операций, а в том, чтобы сделать сам процесс математического доказательства объектом строгого анализа. Если доказательство представляет собой конечную последовательность шагов, а правильность каждого шага определяется формальным правилом, то можно исследовать уже не только математические объекты, но и сами доказательства.

Можно ли построить систему, которая способна доказать все истины, выражаемые на её языке?

Чтобы понять проблему, необходимо представить себе формальную систему не как книгу с формулами, а как строго организованный механизм рассуждения. В ней существует определённый язык, существуют исходные утверждения, которые принимаются без доказательства, и существуют правила, позволяющие получать новые утверждения из уже известных. Доказательство в такой системе представляет собой конечную последовательность шагов, каждый из которых разрешён правилами. Важнейшее свойство заключается в том, что правильность доказательства можно проверить независимо от интуитивного понимания его содержания. Можно не понимать философского смысла теоремы, но проверить, является ли каждый переход допустимым. Именно эта возможность формальной проверки создавала впечатление, что математическое знание можно в конечном счёте сделать полностью контролируемым. Если доказательство является конечным объектом, а правила его построения конечны и однозначны, то почему бы не создать процедуру, которая будет последовательно исследовать возможные доказательства и находить ответ для любого математического вопроса? В этой надежде содержалось очень сильное предположение: будто между математической истиной и формальной доказуемостью существует полное соответствие.

Именно это предположение Гёдель подверг фундаментальному испытанию. Его результат не разрушил математику и не показал, что математические доказательства ненадёжны. Наоборот, он использовал саму строгость формальных систем для демонстрации того, что они имеют внутреннюю границу. Для этого необходимо было совершить чрезвычайно необычный шаг. Гёдель показал, что формулы и доказательства формальной системы можно представить посредством числовых конструкций. Это означает, что выражения языка системы могут стать объектами арифметического рассуждения. Формула получает определённый код, последовательность формул, составляющая доказательство, также получает код, а свойства этих кодов позволяют системе говорить о том, что происходит с её собственными выражениями. Таким образом, система, которая первоначально предназначалась для рассуждений о числах, получает возможность косвенно рассуждать о собственных формулах и доказательствах. Это был принципиальный момент. Граница между математическим объектом и математическим описанием объекта стала проницаемой. Система получила возможность каким-то образом включить собственную структуру в пространство того, о чём она способна рассуждать.

Что происходит, когда формальная система начинает говорить о самой себе?

Самореференция является одним из наиболее глубоких явлений логики. Обычное утверждение говорит о чём-либо другом: о числе, фигуре, функции, множестве или физическом объекте. Самореферентное утверждение каким-то образом относится к самому себе. В естественном языке подобные конструкции могут приводить к парадоксам, но Гёдель создал гораздо более строгую конструкцию. Благодаря кодированию формул числами он смог построить математическое утверждение, которое по своему смыслу сообщает о собственной недоказуемости внутри рассматриваемой системы. В упрощённой словесной форме его содержание можно передать примерно так: «Это утверждение не может быть доказано в данной системе». Такая формулировка не является самой теоремой Гёделя и не заменяет её строгого доказательства, однако она позволяет увидеть архитектуру аргумента. Если система непротиворечива, то она не может доказать это утверждение. Но именно тогда утверждение оказывается истинным в соответствующем метаматематическом смысле. Возникает фундаментальное расхождение между истинностью и доказуемостью. Утверждение может быть истинным, но не иметь доказательства внутри конкретной формальной системы.

Это открытие изменило представление о математической полноте. До Гёделя можно было надеяться, что достаточно мощная формальная система способна в принципе охватить все математические истины, выражаемые на её языке. После Гёделя стало ясно, что для достаточно сильных и непротиворечивых систем такая надежда не может быть реализована в простом виде. Внутри системы существуют утверждения, которые она не способна доказать. При этом речь идёт не о случайном пробеле, который можно устранить, обнаружив недостающий алгоритм. Проблема имеет структурный характер. Если система достаточно выразительна, чтобы описывать арифметику и определённым образом кодировать собственные доказательства, то механизм самореференции позволяет построить утверждения, находящиеся за пределами её доказательной способности. И здесь возникает важное различие между ограничением конкретного исследователя и ограничением самой системы. Если человек не знает доказательства теоремы, это ещё не означает, что доказательства не существует. Но если доказано, что определённое утверждение не может быть доказано внутри данной системы при соответствующих предположениях о её непротиворечивости, то увеличение человеческого интеллекта само по себе не устраняет эту границу. Необходимо изменить систему или перейти к более сильным основаниям.

Но разве нельзя просто добавить недоказуемое утверждение в качестве новой аксиомы?

Можно. И именно здесь становится особенно хорошо видно, что теорема Гёделя не является заявлением о существовании одной вечной математической загадки. Если некоторое утверждение недоказуемо в системе, можно расширить систему, приняв это утверждение в качестве нового исходного положения. Тогда в расширенной системе оно станет доказуемым. Однако проблема не исчезнет. Более сильная система сама становится объектом дальнейшего анализа, и для неё можно получить новые ограничения. Иными словами, расширение системы позволяет перейти на следующий уровень, но не уничтожает сам принцип неполноты. Это очень важная особенность гёделевского результата. Он не говорит: «Вот конкретная теорема, которую математика никогда не сможет доказать». Он говорит о более глубокой структуре: достаточно сильная система не может одновременно получить определённую полноту и окончательную внутреннюю замкнутость. Можно переходить к более сильным системам, можно добавлять новые аксиомы, можно строить новые уровни метаматематики, но сам вопрос о границах доказательства возникает снова.

В этом смысле математическое знание начинает напоминать бесконечную иерархию. На одном уровне мы имеем формальную систему, которая позволяет доказывать множество утверждений. На следующем уровне мы можем рассуждать о свойствах этой системы. Ещё выше можно исследовать свойства системы, которая описывает предыдущую. Каждый переход даёт дополнительные возможности. Более сильная система способна доказать то, что было недоступно более слабой. Но вместе с новой мощностью появляется и новое пространство утверждений, включая утверждения о самой системе. Поэтому переход на более высокий уровень не является окончательным освобождением от ограничений. Он скорее создаёт новый горизонт. Это принципиально отличается от представления о познании как о движении к одной последней точке, после достижения которой уже нечего исследовать. В гёделевской картине увеличение выразительности системы одновременно увеличивает пространство потенциальной самореференции и новых вопросов.

Может ли система доказать собственную абсолютную надёжность?

Именно здесь особенно важна вторая теорема Гёделя о неполноте. Её содержательный смысл состоит в том, что достаточно сильная непротиворечивая формальная система не может средствами самой себя доказать собственную непротиворечивость. Для человека, не знакомого с логикой, это утверждение может показаться странным. Если система является математической конструкцией и мы знаем все её правила, почему бы ей не проверить себя? Но проблема заключается в различии между применением правил и доказательством того, что вся система применения правил никогда не приведёт к противоречию. Отдельное доказательство можно проверить. Отдельную последовательность шагов можно проверить. Можно даже формально проверить огромное количество доказательств. Но утверждение о том, что вся система в целом непротиворечива, является утверждением более высокого уровня. Чтобы получить такую гарантию, приходится рассматривать систему как объект. Если гарантия строится средствами другой, более сильной системы, то она действительно может быть получена. Но тогда возникает вопрос о надёжности этой более сильной системы. Поэтому абсолютная самогарантия оказывается принципиально иной задачей, чем проверка отдельных рассуждений.

Это различие имеет непосредственное отношение к проблеме самопознания. Разум способен анализировать собственные мысли. Человек может исследовать собственную память, внимание, логические ошибки, механизмы принятия решений. Он может изучать мозг посредством нейронауки и создавать математические модели собственной деятельности. Аналогичным образом искусственный интеллект может анализировать собственный программный код, архитектуру, внутренние состояния и результаты своей работы. Но наличие модели самого себя ещё не означает полного знания самого себя. Описание системы и сама система — разные вещи. Можно иметь полное описание правил шахмат и всё равно не иметь заранее готового знания о каждой возможной партии. Можно знать исходный код программы и при этом не иметь универсальной процедуры, которая заранее определит каждое возможное следствие её выполнения. Можно знать физические законы некоторой системы и не иметь простого способа вычислить все возникающие в ней состояния. Таким образом, знание правил не тождественно знанию всех последствий применения этих правил.

Почему знание собственных правил не означает знания всех собственных последствий?

Это различие является одним из ключевых для понимания пределов интеллекта. Интеллект может обладать совершенным описанием определённой системы и всё же сталкиваться с задачами, которые возникают из поведения этой системы. Простые правила способны порождать чрезвычайно сложные последствия. Поэтому нельзя считать, что полное знание исходного описания автоматически даёт полное знание всего, что из него следует. Именно здесь возникает разрыв между информацией и выводом. Если у нас есть правила, но нет возможности эффективно получить определённое следствие, проблема находится уже не в недостатке исходной информации. Она находится в структуре самого процесса вывода. Это особенно важно для искусственного интеллекта. Даже если представить систему, имеющую доступ ко всему собственному коду и всем своим внутренним параметрам, остаётся вопрос: способна ли она заранее вычислить всё, что может произойти с ней в будущем? А если она способна изменять собственную архитектуру, задача становится ещё сложнее, поскольку сама попытка построить модель может изменить объект моделирования.

Самопознание поэтому нельзя рассматривать как простое получение копии собственного описания. Если интеллект анализирует себя, то результат анализа может повлиять на дальнейшее поведение интеллекта. Человек узнаёт определённую особенность собственного характера, после чего начинает сознательно изменять поведение. Искусственный интеллект обнаруживает недостаток в собственном алгоритме и изменяет алгоритм. После изменения старая модель уже описывает систему не полностью. Необходимо строить новую модель. Новая модель может привести к новому изменению. Возникает рекурсивный процесс, в котором объект и его описание постоянно воздействуют друг на друга. Это означает, что полное самопознание должно учитывать не только текущее состояние системы, но и тот факт, что сама информация о системе способна становиться причиной её последующих изменений.

Существует ли окончательный уровень, на котором интеллект сможет полностью понять самого себя?

Теоремы Гёделя не дают прямого ответа на этот философский вопрос применительно к человеческому сознанию или искусственному интеллекту. Было бы ошибкой утверждать, что Гёдель доказал невозможность полного самопознания человека или доказал превосходство человеческого сознания над любой машиной. Такие выводы не следуют непосредственно из его теорем. Однако гёделевская логика показывает, почему идея полностью замкнутой системы, способной одновременно быть достаточно мощной, описывать собственные процессы и давать окончательную внутреннюю гарантию собственной надёжности, требует чрезвычайно осторожного отношения. Чем больше система способна говорить о себе, тем более сложными становятся вопросы, связанные с её собственными доказательствами, моделями и основаниями. Это не доказывает невозможность самопознания вообще. Но показывает, что между частичным, практически полезным самопознанием и абсолютным самопознанием существует огромная логическая дистанция.

Для нашего исследования особенно важно другое обстоятельство. Ограничение формальной системы нельзя автоматически преодолеть простым увеличением скорости. Если компьютер работает слишком медленно, можно создать более быстрый компьютер. Если памяти недостаточно, можно добавить память. Если алгоритм неэффективен, можно попытаться найти более эффективный алгоритм. Но если конкретное ограничение связано с тем, что определённое утверждение невозможно доказать внутри данной системы, увеличение скорости работы не меняет логического статуса этого утверждения. Более быстрый процессор не превращает недоказуемое в доказуемое. Огромная память не устраняет принципиальную неполноту. Бесконечное количество вычислительных ресурсов не обязательно означает наличие универсального метода решения всех задач внутри той же системы. Для преодоления структурного ограничения может потребоваться изменение самих оснований рассуждения.

Существуют ли такие задачи, для которых увеличение интеллекта не является решением?

Именно этот вопрос становится центральным после знакомства с Гёделем. Если под увеличением интеллекта понимать просто ускорение вычислений, расширение памяти и увеличение количества доступной информации, то существуют основания считать, что этого недостаточно для преодоления некоторых фундаментальных ограничений формальных систем. Однако здесь необходима предельная точность. Это не означает, что существует один фиксированный набор вопросов, недоступный абсолютно любому возможному интеллекту. Более сильная система может решить задачу, недоступную более слабой. Новая математическая теория может доказать утверждение, которое не удавалось доказать в предыдущей системе. Более мощный интеллект может обнаружить способ представления, который человек не замечал. Поэтому граница проходит не просто между «умными» и «глупыми» системами. Она проходит между уровнями формализации и способами рассуждения.

Можно представить интеллект, который способен обнаруживать ограничения используемой им формальной системы и самостоятельно создавать более сильную систему. Такой интеллект будет обладать значительно большей гибкостью, чем обычный алгоритм. Он не просто выполняет заданные правила, а анализирует сами правила и ищет способы расширения пространства доказуемого. В некотором смысле это уже напоминает научное развитие человеческой математики. Мы создаём теорию, исследуем её возможности, обнаруживаем проблемы, расширяем основания, строим более общую теорию, а затем снова анализируем её границы. Если когда-нибудь искусственный интеллект сможет осуществлять такой процесс автоматически и в огромном масштабе, его интеллектуальное развитие может приобрести рекурсивный характер. Но даже тогда из этого не следует появление абсолютного знания. Способность переходить на новый уровень означает способность расширять границы, а не уничтожать сам факт существования границ.

Именно здесь необходимо пересмотреть привычное представление о сверхразуме. В массовом воображении сверхразум часто представляется как конечная точка интеллектуального развития: система, которая знает практически всё, способна решить любую задачу и понимает устройство мира с такой глубиной, которая человеку недоступна. Но если рассматривать результаты математической логики серьёзно, такая картина становится слишком простой. Интеллект может превосходить другой интеллект в огромном числе измерений и всё же иметь собственные ограничения. Более сильный разум может видеть больше, быстрее рассуждать, строить более сложные модели и использовать более совершенные методы доказательства. Но если он достаточно мощен для создания богатых формальных систем, перед ним вновь возникает вопрос о границах этих систем. Сверхразум может выйти далеко за пределы человеческого знания, не становясь при этом абсолютным разумом.

Это приводит нас к различию между неизвестным и принципиально недоступным в рамках определённого метода. Неизвестное может быть обнаружено завтра. Недоказанное может получить доказательство после появления новой теории. Неизвестный алгоритм может быть найден новым поколением исследователей. Но если доказано, что конкретная система не способна решить определённую задачу средствами собственных правил, то необходимо изменить систему или метод. Это принципиально другой тип ограничения. Он не говорит, что знание невозможно вообще. Он говорит, что знание невозможно получить определённым способом. И именно эта разница будет иметь огромное значение в дальнейшем исследовании искусственного интеллекта. Если система обнаруживает, что некоторый класс задач находится за пределами её метода, перед ней появляется возможность искать другой метод. Но тогда возникает новый вопрос: существует ли универсальный метод, который способен находить правильные методы для любых задач? И здесь мы постепенно подходим к ещё более глубоким ограничениям.

Гёдель тем самым не поставил точку в истории человеческого познания. Он сделал обратное: он открыл пространство новых вопросов. После его работ стало невозможно безоговорочно отождествлять математическую истину с доказуемостью внутри одной формальной системы. Стало ясно, что достаточно мощная система может содержать утверждения, которые не решаются её собственными средствами. Стало также ясно, что попытка усилить систему не обязательно уничтожает проблему, а создаёт новый уровень анализа. И это чрезвычайно важный урок для теории интеллекта. Возможно, разум следует понимать не как завершённую машину знания, а как систему, способную переходить между уровнями представления, обнаруживать собственные ограничения и создавать новые средства их исследования.

Но что произойдёт, если ограничение связано уже не с доказательством, а с самим вычислением?

Этот вопрос переводит нас от Гёделя к Алану Тьюрингу. Гёдель показал, что существуют ограничения формального доказательства. Тьюринг исследовал другой фундаментальный вопрос: существуют ли универсальные алгоритмы, способные заранее определить результат работы произвольной программы. Можно ли взять описание программы, её исходные данные и построить универсальную процедуру, которая всегда скажет, завершится ли выполнение этой программы или будет продолжаться бесконечно? На интуитивном уровне кажется, что достаточно мощный анализатор должен быть способен это сделать. Ведь программа состоит из конечного количества инструкций, её правила известны, а компьютер может им следовать. Но именно здесь возникает следующий фундаментальный предел. Тьюринг показал, что универсального алгоритма, который решал бы такую задачу для всех возможных программ и входных данных, не существует. Это уже не просто ограничение конкретной математической теории. Это ограничение самого понятия алгоритмического вычисления.

Результат Тьюринга станет следующим шагом нашего исследования. Он позволит увидеть, что некоторые задачи не становятся решаемыми только потому, что мы создаём более быстрый компьютер или более интеллектуальную программу. Иногда проблема находится глубже: невозможно построить универсальную процедуру, которая гарантированно даст ответ во всех случаях. Тогда мы впервые сталкиваемся с различием между задачей, которая чрезвычайно сложна, и задачей, для которой в общем случае не существует алгоритмического решения. Это различие будет иметь огромное значение для понимания искусственного интеллекта. Если система просто слишком медленная, её можно ускорить. Если ей не хватает памяти, память можно увеличить. Если алгоритм плох, его можно заменить. Но если сама задача неразрешима для соответствующего класса вычислительных процедур, увеличение мощности не устраняет принципиального ограничения.

Таким образом, после Гёделя перед нами остаётся уже не вопрос о том, насколько умным может стать разум, а вопрос гораздо более глубокий: существует ли класс проблем, перед которыми даже чрезвычайно мощный интеллект будет вынужден признать не недостаток своих знаний, а принципиальную границу метода, которым он пытается получить ответ? Именно с этого вопроса начнётся следующая глава. Мы перейдём от неполноты формальных систем к проблеме остановки, а затем к самому понятию вычислимости. Там граница между «мы ещё не знаем» и «универсального способа узнать это не существует» станет особенно ясной.

ГЛАВА 6. САМОРЕФЕРЕНЦИЯ: КАК СИСТЕМА СТАНОВИТСЯ ОБЪЕКТОМ САМОЙ СЕБЯ

Самореференция — одно из самых глубоких явлений, с которыми сталкивается теория познания, логика и исследование интеллекта. В простейшем виде она означает ситуацию, когда некоторое высказывание, процесс, система или объект каким-либо образом обращается к самому себе. На первый взгляд здесь нет ничего особенно загадочного. Человек может сказать: «Я сейчас думаю», программа может анализировать собственный код, математическая теория может содержать утверждение о доказуемости утверждений внутри этой же теории. Однако именно в тот момент, когда система получает возможность сделать себя объектом собственного анализа, возникает совершенно особый класс проблем. Система уже не просто исследует внешний мир. Она исследует механизм, с помощью которого сама осуществляет исследование.

Обычная познавательная ситуация предполагает разделение между наблюдателем и объектом наблюдения. Человек изучает физический объект, математик исследует структуру, биолог наблюдает клетку, компьютер обрабатывает внешние данные. В каждом из этих случаев можно хотя бы условно провести границу: вот исследователь, а вот то, что он исследует. Но если исследователь начинает исследовать самого себя, граница исчезает. Возникает рекурсивная структура, в которой средство познания становится одновременно предметом познания. Именно здесь появляются парадоксы, ограничения, неожиданные уровни сложности и вопросы, которые невозможно решить простым увеличением объёма информации.

Почему обращение системы к самой себе настолько сильно меняет характер задачи?

Причина заключается в том, что система, описывающая внешний объект, может в принципе оставаться отделённой от объекта. Но система, создающая описание самой себя, должна каким-либо образом включить в собственную модель то, что производит эту модель. Возникает замкнутый контур. Если разум строит модель мира, эта модель может содержать описание самого разума. Но как только модель начинает учитывать тот факт, что она сама является продуктом деятельности этого разума, возникает следующий уровень. Теперь разум должен учитывать модель, которая содержит его самого. Затем можно представить модель этой модели. И так далее. Это не просто бесконечное усложнение описания. Это фундаментальная проблема, связанная с тем, что объект и средство его описания оказываются взаимно включёнными.

Самореференция существует далеко за пределами математической логики. Человек способен думать о собственных мыслях, сомневаться в собственных выводах, оценивать собственную память, анализировать собственные ошибки. Он может задать себе вопрос: «Почему я считаю это утверждение истинным?» Но затем возникает ещё более глубокий вопрос: «Почему я считаю правильным тот способ, которым я оцениваю правильность своих рассуждений?» Ответ потребует анализа механизма оценки. После этого появляется возможность спросить, насколько надёжен сам этот анализ. Таким образом, метапознание естественным образом создаёт рекурсивную последовательность уровней.

Однако человеческий разум обычно не проходит эту последовательность бесконечно. Он останавливается на некотором практически достаточном уровне. Мы принимаем определённые способности мышления как рабочие предпосылки. Мы доверяем памяти, органам чувств, логическим операциям и способности различать противоречия, хотя не можем каждый раз заново доказать абсолютную надёжность всех этих механизмов. Это позволяет нам действовать. Но философская проблема остаётся: если разум никогда не может полностью вынести за пределы самого себя все основания собственной деятельности, на чём в конечном счёте основана его уверенность в правильности собственного мышления?

Именно этот вопрос становится особенно важным, когда мы говорим не просто о человеке, а об искусственной системе, способной анализировать собственное устройство.

Что произойдёт, если интеллект получит полное описание самого себя?

На первый взгляд кажется, что это должно решить проблему самопознания. Предположим, существует чрезвычайно мощная искусственная система, которая имеет доступ ко всему своему программному коду, архитектуре, внутренним состояниям, журналам работы, истории обучения и всем алгоритмам, участвующим в принятии решений. Можно представить, что такая система знает о себе практически всё. Она может исследовать каждый компонент, моделировать собственные вычисления и предсказывать собственные реакции. Возникает соблазн сделать следующий вывод: если система знает своё устройство полностью, то она должна знать и всё о собственном поведении.

Но этот вывод слишком поспешен.

Описание устройства системы и предсказание всех её будущих состояний — не одно и то же. Можно знать правила функционирования механизма и одновременно сталкиваться с фундаментальными трудностями при определении того, к чему приведёт конкретное применение этих правил. Знание программы не обязательно означает способность эффективно или вообще принципиально вычислить результат каждого возможного запуска программы. Знание законов физики не означает возможность мгновенно определить будущее каждой физической системы. Знание математических правил не означает автоматического знания всех математических следствий из этих правил.

Здесь появляется различие между описанием механизма и вычислением его поведения. Первое может быть компактным, второе — чрезвычайно сложным или даже недостижимым посредством универсальной процедуры.

Представим программу, которая анализирует собственный код. Если её задача заключается в простом поиске синтаксической ошибки, такая самореференция может быть вполне управляемой. Но если программа должна определить, приведёт ли любая возможная будущая версия её собственного поведения к определённому результату, задача становится принципиально иной. Для ответа системе приходится моделировать саму себя. Но результат этого моделирования зависит от того, что именно система делает с результатом моделирования. Возникает обратная связь.

Именно такие структуры лежат в основе многих наиболее глубоких результатов теории вычислений.

Самореференция в математике становится особенно мощной тогда, когда система получает возможность кодировать утверждения и операции внутри самой себя. Для этого не требуется мистический механизм. Достаточно, чтобы объекты, которыми занимается система, можно было представить в некоторой формальной форме. Если математические выражения получают условные числовые или иные коды, то высказывание о математическом выражении можно превратить в выражение внутри самой системы. А если система способна рассуждать о свойствах таких кодов, она получает возможность косвенно рассуждать о собственных утверждениях и доказательствах.

Именно здесь находится один из ключевых интеллектуальных переходов, связанных с теоремами Гёделя. Внешнему наблюдателю может казаться, что он смотрит на математическую систему со стороны. Но внутри достаточно выразительной системы появляется возможность создать конструкции, которые позволяют системе говорить о собственных формулах, доказательствах и свойствах.

Это напоминает зеркало, которое способно отражать не только человека, стоящего перед ним, но и само зеркало в системе отражений. Одно зеркало создаёт одно отражение. Два зеркала позволяют увидеть бесконечную последовательность отражений. Однако математическая самореференция ещё сложнее: речь идёт не просто об изображении объекта, а о системе, способной формально описывать собственные операции.

Когда система начинает говорить о себе, она перестаёт быть просто системой правил.

Она становится системой, которая содержит представление о собственных правилах. А представление может стать объектом дальнейшего анализа. Это принципиальное изменение. Обычная программа может выполнять определённую процедуру. Самореферентная программа способна анализировать собственное выполнение. Более развитая система может анализировать механизм такого анализа. Затем может анализировать результаты этого анализа.

В человеческом сознании подобная структура проявляется постоянно. Мы можем не просто воспринимать информацию, но замечать, что воспринимаем её. Мы можем не просто ошибаться, но обнаруживать собственную ошибку. Мы можем не просто иметь убеждение, но знать, что имеем это убеждение. Более того, мы можем сомневаться в том, что правильно понимаем собственное убеждение.

Например, человек может сказать: «Я уверен, что это утверждение истинно». Здесь существует объектный уровень — само утверждение. Затем появляется метауровень — уверенность человека в его истинности. После этого возникает метаметаровень — оценка того, насколько надёжен механизм, породивший эту уверенность. Далее можно спросить, насколько надёжна сама эта оценка.

В повседневной жизни такая рекурсия почти незаметна. Но в фундаментальной теории познания она становится центральной.

Можно ли создать разум, который полностью понимает механизм собственной работы?