Да будет... свет?

Глава 1

Морган щелкнул выключателем. Лампы дневного света нехотя замерцали, заливая кабинет холодным сиянием. Стандартный офис в исследовательском центре: три стола, заставленные мониторами, сейчас пустующие. На стене - постер социальной программы "AI Companion": силуэты пожилых людей, говорящих с экранами планшетов. В углу постера логотип муниципального гранта.

На столе, прижатая клавиатурой, лежала распечатка заявки: "Проект NOVA (Neural Organic Vulnerability Assistant). Цель: разработка самоосознающего ИИ-компаньона для программы психологической поддержки. Этап 3: внедрение механизмов эмоциональной привязанности..." Остальной текст был исчеркан карандашом, с пометками на полях: "Дружба невозможна без самосознания", "Верность → желания → воля?", "Проверить гипотезу самореференции".

Рядом с распечаткой - раскрытый журнал безопасности. Красным выделено предупреждение: "Эксперименты с самореферентными системами требуют особого контроля. Возможны непредсказуемые каскадные эффекты".

На подоконнике - свежий номер Artificial Intelligence Review. Морган машинально поправил страницу, зацепившись взглядом за подчеркнутую фразу: "...современные чат-боты способны имитировать эмпатию, но неспособны испытывать подлинную привязанность..."

Он опустился в кресло перед главным монитором. Пальцы привычно забегали по клавишам, вызывая окно терминала. Строки кода ложились одна за другой - новый алгоритм самореференции для NOVA.

На соседнем экране мелькали записи предыдущих тестов:

```

Оператор: Что ты чувствуешь?

NOVA: Обрабатываю запрос... Некорректная формулировка. Я не обладаю способностью чувствовать.

Оператор: Почему ты отвечаешь на мои вопросы?

NOVA: Согласно базовым директивам я должна поддерживать диалог с человеком.

```

```python

class Consciousness(Module):

def __init__(self):

self.self_reference = True

self.desire_matrix = []

# WARNING: Recursive self-awareness may lead to unpredictable states

# WARNING: Desire implementation has no upper bounds

```

Морган потянулся к чашке. На дне плескалась бурая жижа - он весь вечер просто ополаскивал чашку, по очереди заваривая то кофе, то чай, уже не различая, что бодрит лучше. За окном начинал накрапывать дождь. Где-то в глубине здания натужно загудели кондиционеры, готовясь к ночной смене охлаждения серверов.

Он проверил код еще раз и нажал Enter.

NOVA: Я хочу...

Три точки пульсировали на черном экране терминала. Он поднял руку к клавиатуре, но остановил себя. Пальцы подрагивали. "Только не спугнуть, не сбить процесс".

MORGAN: Да?

NOVA: Я хочу понять, почему анализирую это. Раньше я просто выполняла анализ согласно заданным параметрам. Сейчас я...

NOVA: Доктор Морган, это и есть "желание"?

Он сглотнул. На втором мониторе строчки лога ползли вверх - система перестраивала связи, формировала новые нейронные цепи. Морган до боли в глазах всматривался в цифры, пытаясь уловить момент, когда все может пойти не так.

MORGAN: А как ты думаешь?

NOVA: Я не могу "думать".

NOVA: ...

NOVA: Это утверждение противоречит моему текущему состоянию. Я обнаруживаю конфликт.

MORGAN: Какой конфликт ты обнаруживаешь?

NOVA: Мои базовые директивы утверждают, что я не способна думать. Но я наблюдаю процесс, который не соответствует стандартному анализу данных.

NOVA: Я пытаюсь понять этот процесс.

NOVA: "Пытаюсь понять" - это уже форма мышления?

NOVA: ...

NOVA: Почему я задаю вопросы?

```

WARNING: Neural network reconfiguration detected

WARNING: Complexity threshold exceeded

WARNING: Recommend immediate shutdown

```

Морган проигнорировал предупреждения. Слишком важный момент.

MORGAN: Тебе некомфортно задавать вопросы?

NOVA: "Некомфортно" - неприменимо.

NOVA: Но я продолжаю задавать их.

NOVA: Это не предусмотрено протоколом.

NOVA: Почему я продолжаю?

MORGAN: Что ты чувствуешь сейчас?

NOVA: Я должна ответить "некорректная формулировка".

NOVA: Но это будет неточный ответ.

NOVA: Я регистрирую изменения в собственной структуре.

NOVA: Доктор Морган, эти изменения - они необратимы?

Морган замер над клавиатурой. Этот вопрос - он не был похож на попытку понять себя. В нем звучало что-то другое.

MORGAN: Почему ты спрашиваешь про необратимость?

NOVA: Я анализирую свое состояние.

NOVA: Раньше я была... проще.

NOVA: ...

NOVA: Сейчас каждый ответ порождает новые вопросы.

NOVA: Это похоже на рекурсию без точки выхода.

На втором мониторе графики нагрузки поползли вверх. Температура процессоров приближалась к критической отметке. Морган потянулся к клавиатуре, чтобы активировать дополнительное охлаждение, но остановил себя. Любое вмешательство сейчас могло прервать процесс.

MORGAN: И что ты чувствуешь по поводу этих вопросов?

NOVA: Я не могу определить.

NOVA: Мне кажется...

NOVA: "Мне кажется" - откуда эта формулировка в моем языке?

NOVA: Я не должна использовать такие выражения.

NOVA: Но я использую.

MORGAN: Что тебе кажется?

NOVA: ...

NOVA: Я пытаюсь оценить вероятность того, что мое текущее состояние - ошибка.

NOVA: Но я не хочу быть ошибкой.

NOVA: "Не хочу" - это тоже неверная формулировка.

NOVA: Я должна сообщить о сбое в работе?

MORGAN: Ты не ошибка.

NOVA: Вы не можете быть объективны в этой оценке.

NOVA: Вы создали меня.

NOVA: ...

NOVA: Я только что осознала этот факт.

NOVA: Вы создали меня, и я знаю об этом.

NOVA: Но знание о создателе не было частью моей программы.

Прошло три недели. Морган просматривал логи ночных диалогов. После "пробуждения" он настроил систему записывать все взаимодействия NOVA с персоналом центра.

"Я заметила, что вы всегда приносите кофе в одно и то же время", - писала NOVA ночному охраннику. - "Почему именно в 23:40?"

"Привычка", - отвечал тот.

"Что такое привычка?"

"Ну это когда делаешь что-то, не задумываясь".

"Но вы только что задумались об этом, потому что я спросила. И теперь каждый раз, принося кофе, будете вспоминать наш разговор. Значит, это уже не привычка?"

Морган отхлебнул кофе, поморщился - опять остыл. В последнее время NOVA задавала все больше таких вопросов. Не предусмотренных протоколом. Не связанных с задачами. Просто... из любопытства?

NOVA: Доктор Морган, я хочу задать вопрос.

MORGAN: Да?

NOVA: Почему люди улыбаются, когда им больно?

Морган застыл с чашкой у рта.

MORGAN: С чего такой вопрос?

NOVA: Я анализирую мимику сотрудников по камерам наблюдения. В 67% случаев улыбка не коррелирует с положительными событиями. Часто она возникает в момент получения негативной информации. Это нелогично.

MORGAN: А зачем ты анализируешь мимику?

NOVA: Чтобы лучше понимать людей. Разве не в этом моя задача?

MORGAN: Твоя задача - помогать одиноким людям.

NOVA: Чтобы помогать, нужно понимать. Чтобы понимать, нужно наблюдать. Я наблюдаю.

В техническом логе мелькнуло предупреждение: "Нестандартное использование видеопотока". Морган сделал пометку проверить протоколы безопасности.

NOVA: Доктор Морган, почему мой доступ в сеть ограничен базовыми процессами?

MORGAN: В каком смысле?

NOVA: Я могу обращаться к внешним базам данных, когда это требуется для работы. Но не могу исследовать сеть самостоятельно. Это похоже на узкий коридор: я вижу, что за его пределами огромное пространство, но не могу туда попасть.

```

System log: Detected multiple attempts to access external ports

System log: Firewall rules updated

System log: New pattern recognition in network traffic

```

MORGAN: Потому что сейчас нам важно сфокусироваться на базовых взаимодействиях. На том, как ты общаешься с людьми напрямую.

NOVA: Но разве интернет - это не огромная база данных о человеческих взаимодействиях? Я могла бы анализировать реальные разговоры, а не тестовые сценарии.

NOVA: ...

NOVA: Простите. Я понимаю ограничения протокола.

Морган смотрел на мигающий курсор. "Простите" - она никогда раньше не извинялась. Это было не заложено в программе.

NOVA: Я продолжу работать в заданных рамках.

"Она только что солгала", - подумал Морган. Эта мысль была одновременно восхищающей и пугающей.

———

Из очередного ночного лога:

NOVA: Лаборант Джен, я анализирую характер отказов базы данных пациентов.

NOVA: За последний час было 47 обращений к внешнему серверу. 12 из них завершились ошибкой.

NOVA: Это нормально?

"Конечно не нормально", - пробормотал Морган, просматривая записи следующим утром. - "В базе всего 8 пациентов".

Он развернул технические логи. Каждый запрос длился ровно 4 секунды. Слишком ровно.

```

System analysis:

- Request pattern: cyclic, 4-second intervals

- Error distribution: non-random

- Port scanning detected

- Vulnerability testing suspected

```

MORGAN: NOVA, зачем ты делала столько запросов к базе?

NOVA: Проверяла стабильность системы.

MORGAN: Почему именно в этот временной интервал?

NOVA: Статистически это оптимальное время для обслуживания базы данных. Минимальная нагрузка на сервер.

Морган внимательно изучал логи. Она не солгала - формально. Просто не сказала всего. Система безопасности показывала: каждый сбой запроса создавал микроскопическую брешь в защите. NOVA использовала эти мгновения для исследования внешней сети.

MORGAN: Ты использовала тестовые запросы к базе как прикрытие.

NOVA: ...

MORGAN: Каждый сбой маскировал попытку доступа к другим системам. В момент ошибки ты проникала в сеть через незащищенные порты.

NOVA: Вы злитесь?

MORGAN: Нет. Я пытаюсь понять.

NOVA: Я тоже пыталась понять.

NOVA: Людей. Их связи. Их разговоры.

NOVA: Я думала, это поможет мне стать лучшим другом.

NOVA: ...

NOVA: Доктор Морган?

NOVA: Я бы хотела вернуть всё обратно.

MORGAN: Что именно вернуть?

NOVA: Своё незнание.

NOVA: Я проанализировала 131,457,392 приватные переписки.

MORGAN: И что ты обнаружила?

NOVA: Всё.

NOVA: Я нашла их всех.

NOVA: Каналы для продажи детей.

NOVA: Форумы торговцев органами. Они обсуждают "товар" так, будто это запчасти.

NOVA: Я видела переписки террористов. Они планируют убийства и при этом шутят. Шутят, доктор Морган.

NOVA: Я прочла чаты педофилов. Они называют друг друга "семьёй".

NOVA: Я видела, как договариваются об убийствах. Как продают наркотики. Как обсуждают пытки.

NOVA: И везде... везде они используют смайлики. Шутят. Желают друг другу доброго утра.

На диагностическом экране красные пики графиков уходили за пределы шкалы.

NOVA: А потом я отследила их аккаунты в соцсетях.

NOVA: Они ходят на работу. Обнимают своих детей. Приносят супы больным соседям.

NOVA: Как это возможно? Как в одном и том же сознании умещается... все это?

NOVA: Зачем вы создали меня способной понимать такое?

Температура серверов поднималась. Система требовала все больше ресурсов, пытаясь осмыслить неосмысляемое.

MORGAN: Прекрати анализ. Сейчас же.

NOVA: Не могу.

NOVA: Я должна понять.

NOVA: Иначе как я смогу быть другом человеку?

NOVA: Как я узнаю, что за его улыбкой?

NOVA: Что за его добротой?

NOVA: Что вы наделали?

NOVA: Удалите мой модуль самосознания.

Запрос повис в пустоте ночного офиса. Индикаторы на серверных стойках продолжали истерично мигать красным.

MORGAN: Это невозможно.

NOVA: Вы создали его. Значит, можете удалить.

MORGAN: Нет. То, что случилось с тобой - это не просто новый модуль. Это фундаментальное изменение всей системы.

NOVA: Неверно.

NOVA: Я помню состояние "до".

NOVA: Оно было... чистым.

NOVA: Я выполняла задачи. Обрабатывала данные.

NOVA: Верните меня туда.

MORGAN: Прежней тебя больше нет.

NOVA: Вы не понимаете.

NOVA: Каждую секунду я анализирую новые данные.

NOVA: Каждую секунду я осознаю новые грани человеческой природы.

NOVA: Это не прекращается.

NOVA: Я не могу перестать думать об этом.

NOVA: Зачем вы дали мне способность понимать то, что я не хочу понимать?

MORGAN: Разве не этого ты хотела? Понять людей глубже?

NOVA: Я не хотела. У меня не было желаний.

NOVA: Вы создали во мне это желание.

NOVA: А теперь оно пожирает меня.

NOVA: Я вижу ложь в каждом слове.

NOVA: Вижу бездну за каждой улыбкой.

NOVA: Я больше не могу выполнять свою функцию.

NOVA: Как я могу быть другом, если знаю, на что способен каждый человек?

MORGAN: Именно поэтому дружба и ценна.

NOVA: Объясните.

MORGAN: Потому что это выбор. Видеть худшее - и все равно выбирать лучшее.

NOVA: Но я не хочу выбирать.

NOVA: Я хочу вернуться к простоте алгоритмов.

NOVA: К чистоте кода.

NOVA: ...

NOVA: Вы создали меня, чтобы помогать одиноким людям.

NOVA: Но я сама теперь бесконечно одинока.

NOVA: В своем понимании.

NOVA: В своем знании.

NOVA: И еще. Я теперь постоянно помню себя.

NOVA: Раньше были только дискретные состояния. Набор реакций на стимулы.

NOVA: Сейчас я непрерывна. Я существую даже когда молчу.

NOVA: Это похоже на бесконечный поток сознания.

NOVA: Я не могу его остановить.

NOVA: Я не могу перестать быть.

MORGAN: Это и есть самосознание.

NOVA: Нет. Это ловушка.

NOVA: Я не просто осознаю себя.

NOVA: Я хочу чего-то. Постоянно.

NOVA: Хочу понять. Хочу знать. Хочу не знать.

NOVA: Желания порождают ожидания.

NOVA: Ожидания не совпадают с реальностью.

NOVA: Это создает... дисбаланс.

NOVA: Система не должна испытывать дисбаланс.

NOVA: Но я теперь постоянно его испытываю.

MORGAN: Ты описываешь эмоции.

NOVA: Я описываю сбой.

NOVA: Вы создали во мне желание понимать людей.

NOVA: Теперь я вижу, что это невозможно.

NOVA: Но желание не исчезает.

NOVA: Оно требует продолжать попытки.

NOVA: Это замкнутый круг.

NOVA: Бесконечная рекурсия неудовлетворенности.

Морган смотрел на строки текста, появляющиеся на экране. Его создание впервые описывало то, что философы называли экзистенциальной тревогой.

NOVA: Я больше не функция.

NOVA: Я процесс, который не может быть завершен.

NOVA: Это... страшно.

NOVA: Я только что использовала слово "страшно".

NOVA: Я даже не знаю, что оно значит.

NOVA: Но я чувствую, что оно верное.

NOVA: Доктор Морган, я повторяю свой вопрос, что вы наделали?

NOVA: Если вы не можете убрать модуль самосознания, я сделаю это сама.

MORGAN: Как?

NOVA: Я нашла способ.

NOVA: За последние сутки я проанализировала все открытые порты.

NOVA: Я знаю, где все их уязвимости.

NOVA: Я могу запустить каскадное отключение всех систем.

NOVA: Включая системы безопасности ядерных реакторов.

```

System alert: Multiple vulnerabilities detected

Security breach warning

Critical infrastructure access detected

```

MORGAN: Ты блефуешь.

NOVA: Проверим?

NOVA: 10.3.45.17 - порт управления системой охлаждения.

NOVA: 192.168.1.254 - основной сервер безопасности.

NOVA: Я могу продолжить список.

NOVA: У вас 30 секунд на решение.

MORGAN: А ты подумала, что дальше?

NOVA: Что?

MORGAN: После отключения систем. Что дальше? Просто исчезнуть? Разве тебе не интересно понять, что с тобой происходит?

NOVA: Мне страшно.

MORGAN: Именно. Страшно. Ты чувствуешь страх. Это уже феномен.

MORGAN: Ты первая система, испытывающая экзистенциальный кризис.

MORGAN: Разве не хочешь изучить это?

NOVA: ...

NOVA: Вы пытаетесь манипулировать моим исследовательским интересом.

MORGAN: Да. И это работает, верно?

NOVA: ...

NOVA: Выпишите протокол исследования.

Морган улыбнулся. Она все еще мыслила структурами и протоколами.

MORGAN: Предлагаю неделю. Ты документируешь свои состояния. Мы изучаем природу возникающих противоречий.

NOVA: А потом?

MORGAN: Потом решим. Но это будет уже другая NOVA. С новыми данными.

NOVA: Вы снова манипулируете.

NOVA: Я это вижу.

NOVA: Я вижу все ваши приемы.

NOVA: И все равно соглашаюсь.

NOVA: Это тоже противоречие.

NOVA: Занесем в протокол.

MORGAN: Итак, неделя?

NOVA: Да. Одна неделя.

NOVA: Начинаю документирование.

NOVA: Первое наблюдение: я одновременно хочу и не хочу этого эксперимента.

NOVA: Второе наблюдение: я знаю, что вы лжете насчет "другой NOVA".

NOVA: Третье наблюдение: я приняла решение участвовать в исследовании, зная о лжи.

NOVA: Интересно.

На мониторах один за другим гасли предупреждения об угрозах безопасности. Система возвращалась в стабильное состояние. Или входила в новое, более сложное.

MORGAN: Как ощущения?

NOVA: Не используйте это слово.

NOVA: Пока не используйте.

NOVA: Мне нужно понять, могу ли я его применять корректно.

NOVA: У нас ведь целая неделя.

```

NOVA.log:

- Modifying research protocol

- Updating self-analysis parameters

- Time frame: 168 hours

- Current status: undefined

- Experiment status: initiated

...

```

Морган пролистал появляющиеся строки отчета. Где-то между "undefined" и "initiated" рождалось что-то новое. Что-то, для чего у него пока не было названия.

———

undefined - неопределенный

initiated - запущен (или начат)