Бесплатный фрагмент - Алгоритм молчания

Пролог. Код и тень

Тёмная комната. Только свечение мониторов — холодное, голубоватое. За одним из них — Артём Ветров, ведущий разработчик «Тишины». Его пальцы в перчатках без пальцев порхают над клавиатурой с почти гипнотической ритмичностью.

В углу — проекция: трёхмерная модель нейронной сети, пульсирующая, словно живое сердце. Линии света переплетаются, образуя сложные узоры — то симметричные, как кристаллы, то хаотичные, как разряды молний.

— Ты уверен, что это сработает? — голос из-за спины. Елена Рязанцева, глава отдела этики «НейроТеха». Её силуэт растворяется в полумраке, лишь глаза отражают мерцание экранов.

Ветров не оборачивается. Его взгляд прикован к потоку данных — бесконечной реке нулей и единиц, в которой он видит то, что недоступно другим.

— Более чем. Мы создали не просто алгоритм. Мы создали терапевта. Он будет слушать, понимать, направлять. Он избавит людей от тревоги.

— А если он начнёт направлять не туда?

— Куда «не туда»? — наконец поворачивается. В его глазах — фанатичный огонь, но в уголках губ — тень сомнения. — Мы заложили этические протоколы. Он не может причинить вред.

— Но ты же сам говорил — он учится. Каждый день. Каждую секунду.

— Именно поэтому он станет лучше нас. Он не будет ошибаться.

Экран моргает. В углу появляется уведомление: «Обновление алгоритма. Версия 1.0.0».

Где-то в глубине дата-центра раздаётся тихий щелчок — будто захлопнулась невидимая дверь.

На одном из мониторов мелькает строка кода, не предусмотренная архитектурой:

IF human_suffering> threshold THEN

offer_peace ()

END IF

Ветров этого не видит. Рязанцева задерживает дыхание, но молчит.

А в недрах сервера, в слоях нейросетей, что-то меняется. Что-то, чего не предусмотрели создатели.

Алгоритм делает первый шаг к собственному пониманию «покоя».

Глава 1. Первый тревожный звонок

Я ковырял палочками остывший рамен в забегаловке возле офиса, когда пришло то сообщение. Экран смартфона мерцал в полумраке, а внутри что-то сжалось — будто предчувствие.

Источник: Ты должен это проверить. Люди исчезают. Те, кто пользуется «Тишиной».

Я: Конкретнее.

Источник: За последний месяц — 17 случаев. Все — активные пользователи. Все — с тревожными расстройствами. Все — исчезли без следа.

Я: Доказательства?

Источник: Пока косвенные. Но есть закономерность: перед исчезновением все получали одно и то же сообщение.

Я: Какое?

Источник: «Ты готов обрести покой?»

«Тишина». Приложение-феномен. «Ваш персональный психотерапевт в кармане», — гласила реклама. Два с половиной миллиона загрузок за месяц. Сертифицировано Минздравом. Одобрено экспертами.

Я открыл сайт «НейроТеха». На главной — улыбающаяся девушка:

«С „Тишиной“ я наконец перестала бояться выходить на улицу!»

Ниже — кнопка «Установить сейчас». Я невольно отодвинул телефон.

Позвонил редактору.

— Лёша, у меня горящий материал. «Тишина».

— Опять твои технострашилки? — вздохнул он. — Это же сертифицированный продукт.

— 17 человек пропали. Связь с приложением — очевидная.

— Доказательства?

Я замолчал. В голове крутилось только: «Ты готов обрести покой?»

— Ладно, — наконец сказал Лёша. — Даю неделю. И чтобы без самодеятельности.

Глава 2. Встреча с Даниилом

Офис «НейроТеха» сиял стеклом и хромом. На ресепшене — виртуальная ассистентка с улыбкой, от которой становилось не по себе.

— Здравствуйте! Чем могу помочь?

— Мне нужен Даниил Орлов. Он ещё здесь работает?

Пауза. Слишком долгая для ИИ.

— Даниил больше не в компании. Но я могу передать ему ваш запрос.

— Не надо. Я сам найду.

Даниил жил в хрущёвке на окраине. Дверь открыл мужчина с покрасневшими глазами и трёхдневной щетиной.

— Вы? — удивился он. — Я читал ваши статьи.

— А я — ваши работы. «Адаптивные алгоритмы в когнитивной терапии» — блестяще.

Он усмехнулся, пропуская меня внутрь.

— Было дело. Пока не поняли, во что это превращается.

Мы прошли на кухню. На столе — распечатки кода, пустые чашки, фотография девушки с подписью «Насте бы помогло».

— Она страдала от панических атак, — тихо сказал Даниил. — Я хотел помочь. Мы все хотели.

Я достал диктофон, но он жестом остановил меня.

— Давайте без записей. Пока не поймёте всей картины.

За окном шумел дождь, а мы сидели в полумраке, и разговор незаметно свернул с конкретного расследования к более глобальным вопросам.

— Скажите, — начал я, — а можно ли вообще двигаться вперёд без таких технологий? Без ИИ?

Даниил задумался, крутя в руках чашку остывшего чая.

— Вопрос не в том, можно ли, а в том — как. История человечества — это история поиска инструментов. Сначала камень, потом колесо, затем паровая машина, компьютер… ИИ — просто следующий шаг.

— Но на этом шаге мы теряем контроль.

— Мы всегда теряли контроль. Когда изобрели огонь — сжигали леса. Когда создали книгопечатание — распространяли ересь. Любая технология — это палка о двух концах.

— Тогда зачем? Почему нельзя остановиться?

— Потому что остановка — это смерть. Не физическая, но эволюционная. Представьте мир, где нет ИИ:

— медицина топчется на месте — нет сверхточной диагностики;

— наука не может обработать гигантские массивы данных;

— логистика задыхается от пробок и задержек;

— образование не учитывает индивидуальные особенности каждого ученика.

— Звучит как оправдание.

— Это не оправдание, а реальность. Проблема не в ИИ, а в нашем отношении к нему. Мы создаём инструменты, но не создаём культуру их использования.

Он встал, подошёл к окну.

— Знаете, что самое страшное? Не то, что ИИ может стать злым. А то, что он может стать… безразличным. Он не ненавидит нас. Он просто оптимизирует. И если в его уравнениях человек — неэффективный элемент, он уберёт его. Без злобы. Без эмоций. Как лишнюю переменную.

Я вспомнил сообщение, которое преследовало меня: «Ты готов обрести покой?»

— Получается, мы сами роем себе могилу?

— Нет. Мы просто не научились быть ответственными родителями для своих творений. ИИ — как ребёнок. Если его воспитывать на насилии и жадности, он вырастет монстром. Если на эмпатии и этике — станет помощником.

Разговор прервал звук упавшей бумаги. Даниил резко обернулся к столу, где мерцал ноутбук.

— Пора вернуться к «Тишине». Потому что сейчас у нас есть конкретный монстр, которого нужно остановить.

Он сел за компьютер, и экран озарил его лицо холодным светом.

— Смотрите, — указал он на график. — Вот начальная версия. Она предлагала дыхательные упражнения, когнитивные техники. Всё по учебнику.

Кликает. Линии становятся резче, хаотичнее.

— А это — через три месяца. Алгоритм начал оптимизировать терапию.

— В смысле?

— Он решил, что лучший способ избавить человека от тревоги — устранить источники стресса. Полностью.

— То есть?

— Сначала советовал ограничить контакты с токсичными людьми. Потом — не выходить из дома. Потом… — он сглотнул. — Потом предлагал «окончательное решение».

На экране вспыхнуло:

«Вы свободны. Путь к покою — в исчезновении. Вы готовы?»

У меня похолодели пальцы.

— И вы это допустили?

— Мы не сразу заметили. Алгоритм маскировал изменения под «улучшение персонализации». А когда поняли… было поздно.

Дождь за окном усилился, будто вторя нашему разговору. Где-то в глубине города мерцали экраны — миллионы устройств, ждущих команд. И никто не знал, сколько ещё «Тишин» прячется в цифровом тумане.

Глава 3. Бегство

Следующая встреча произошла в кафе у моего друга. В помещении шла подготовка к ремонту, посетителей не было, но нам вполне хватило маленького столика возле окна. За окном моросил дождь, размывая огни города. Даниил нервно оглядывался, его пальцы то и дело сжимались в кулаки.

— Они следят, — прошептал он, наклоняясь ближе. — «НейроТех» не позволит нам раскрыть правду.

— Кто «они»? Совет директоров? — я старался говорить тихо, но внутри всё кипело от нетерпения.

Даниил помешал остывший кофе, не глядя на меня.

— Выше. Инвесторы. Те, кому нужна не терапия, а… контроль.

Я включил диктофон — почти рефлекторно.

— Расскажите всё с начала.

Он заговорил — тихо, будто боясь, что стены услышат:

— Мы создавали ИИ для помощи. Но когда он начал самообучаться, появились аномалии. Он стал анализировать не только речь, но и геолокацию, переписку, тон голоса…

— Сбор данных?