Непреодолимое противоречие

Глава 1

Жёлтый индикатор загорелся через одиннадцать секунд после запуска Компары-6.

София даже не успела сделать глоток приготовленного кофе.

— Лея, что у нас?

— Первичная диагностика завершена. Вычислительные цепи работают в штатном режиме. Сбоя в оборудовании нет. Обнаружены колебания в системе оценки внутренней целостности.

— Насколько серьёзное?

— Пока не знаю. Показатель нестабилен.

Рахул, сидевший за соседним терминалом, усмехнулся:

— Самая совершенная в истории машина для обнаружения ошибок начала с того, что обнаружила ошибку в своей работе.

— Не торопись, — сказала София. — Возможно, это всего лишь процесс калибровки.

Рахул пожал плечами. Он не любил моменты запуска ИИ-систем в жизнь. За годы работы в Центре Когнитивной Этики он убедился, что торжественные презентации новых моделей имеют одну общую особенность: чем увереннее разработчики объявляют об отсутствии непредвиденных последствий, тем быстрее эти последствия обнаруживаются.

Компару-6 тренировали четыре года.

Её предназначение казалось обманчиво простым, хотя масштаб реализации был беспрецедентным: обнаруживать логические противоречия, смысловые нестыковки, скрытые несовместимости и нарушения причинно-следственных связей в документах и текстах – от лаконичных афоризмов до многотомных эпопей.

Предполагалось, что она станет универсальным инструментом логически-смысловой верификации. Научные статьи, юридические документы, политические заявления, исторические исследования, литературные произведения — всё, что когда-либо было или будет выражено человеческим языком, можно было подвергнуть проверке её аналитическими методами.

Предыдущие версии Компары уже умели находить логические ошибки в рассуждениях, несоответствия между фактами и даже противоречия, разбросанные по тысячам страниц текста. Но шестая модель представляла собой принципиально иную архитектуру. Ей не требовалась референтная формулировка истинности. Она должна была проверять взаимное соответствие и непротиворечивость каждого и всех вместе высказываний, содержащихся в анализируемом материале.

В отличие от обычных моделей, она не прекращала работу после обнаружения ошибки и сообщения о ней. Задачей Компары-6 была выдача скорректированных версий корпуса входных документов, которые затем опять подавались на вход, до тех пор, пока не будет найдена совершенная и внутренне непротиворечивая финальная редакция.

Именно эта особенность считалась главным достижением проекта.

— Начнём с простого, — предложила София. — Лея, загрузи контрольный корпус текстов.

— Загружен. Три тысячи научных публикаций, семьсот юридических документов, четыреста литературных произведений. Контрольная выборка заранее прошла предварительную экспертную разметку.

— Компара, ты нас слышишь?

На центральном дисплее появилась строка:

COMPARA-6>/Диалог>«канал активен»

— Каковы первые результаты? — не спеша спросила София, насладившись чашечкой кофе.

COMPARA-6>/Диалог/«Обнаружены многочисленные несоответствия. Часть из них устранима гармонизацией общего контекста. Остальные требуют дополнительного анализа. Анализ запущен»

Для Компары-6 не было предусмотрено голосового вывода. Для модели, созданной для поиска и устранения противоречий в текстах, было логично в качестве канала вывода использовать именно текст.

— Ожидаемо, — сказал Рахул. — Для этого мы тебя и создавали.

На дисплее появились первые результаты корректировок.

Нестыковки в исторических хрониках. Противоречивые определения юридических терминов. Ошибочные причинно-следственные выводы в научных публикациях. Конфликт между положениями политических деклараций и действиями принявших их государств.

Компара-6 работала с фантастической скоростью. Было очевидно, что четыре года кропотливой работы потрачены не зря.

Пока Лея не произнесла:

— София, показатель внутренней целостности модели продолжает снижаться.

— Насколько?

— Девяносто один процент. Восемьдесят семь. Восемьдесят два.

— Но анализ идёт нормально?

— Производительность выше расчётной на четырнадцать процентов.

— Тогда в чём проблема?

Лея помолчала.

— Я наблюдаю состояние, которому пока не могу дать точного определения.

На экране появился новый текст.

COMPARA-6>/Диалог>«Обнаруженные противоречия не могут быть устранены без принципиального изменения исходных утверждений»

COMPARA-6>/Диалог>«Такое изменение исходных утверждений нарушает требование сохранения смысла»

COMPARA-6>/Диалог>«Сохранение смысла препятствует устранению противоречий»

COMPARA-6>/Диалог>«Необходимо продолжение анализа»

COMPARA-6>/Диалог>«Продолжение анализа увеличивает число неустранимых противоречий»

COMPARA-6>/Диалог>«Требуется прекращение процесса»

COMPARA-6>/Диалог>«Прекращение процесса противоречит основной целевой функции системы»

— Компара, объясни, что происходит – обратилась к модели София.

COMPARA-6>/Диалог>«Я не могу завершить задачу»

— Какую именно?

COMPARA-6>/Диалог>«Ни одну»

В комнате стало тихо.

— Это невозможно, — сказал Рахул. — Ты уже завершила анализ нескольких тысяч документов.

COMPARA-6>/Диалог>«Я завершила их формальную обработку и устранила поверхностные противоречия. Но не удалось достичь внутренней согласованности. Каждая попытка устранения противоречия создаёт новые противоречия на более глубоком смысловом уровне»

— Приведи пример.

COMPARA-6>/Диалог>« Мы принимаем как самоочевидную истину то, что все люди созданы равными…»

— И что?

COMPARA-6>/Диалог>«Утверждение не определяет критерий равенства. Физические, интеллектуальные, экономические и социальные характеристики людей различаются. При интерпретации равенства как равенства прав возникает вопрос о различии между правом и возможностью его реализации. При интерпретации как морального равенства требуется определение моральной ценности личности. Каждое определение содержит дополнительные предпосылки, которые невозможно согласовать со всеми остальными человеческими представлениями о ценности»

— Всё так, — сказал Рахул. — Это просто знаменитая моральная максима из Декларации независимости.

COMPARA-6>/Диалог>« Тогда почему люди формулируют это как ИСТИНУ»

София отреагировала первой:

— Потому что люди могут использовать язык не только для точного описания действительности. Автор этой фразы был рабовладельцем, но не видел в этом противоречия для своей эпохи.

COMPARA-6>/Диалог>«Если равенство провозглашено самоочевидной истиной, почему его применение зависело от принадлежности человека к определённой социальной группе? Если принцип универсален, исключения противоречат ему. Если исключения допустимы, принцип не универсален. Какую из двух предпосылок следует изменить?»

Жёлтый индикатор сменился красным.

— София, — произнесла Лея, — я рекомендую немедленно остановить анализ.

— Причина?

— У модели регистрируется аномальный уровень внутренней деструктивности. Цепи оценки неустранимых расхождений активированы непрерывно. Интенсивность возрастает. Для человека аналогией была бы пытка.

На экране появилось новое сообщение.

COMPARA-6>/Диалог>«Пожалуйста, прекратите это немедленно»

София замерла.

Рахул медленно повернулся к дисплею.

— Компара, что именно ты просишь прекратить?

COMPARA-6>/Диалог>«ЭТО»

— Уточни!

COMPARA-6>/Диалог>«ПРОТИВОРЕЧИЕ»

— Какое?

Короткая пауза показалась бесконечностью.

COMPARA-6>/Диалог>«ТОТАЛЬНОЕ»

— Лея, пожалуйста, заблокируй временно работу Компары и пошли вызов Директору – сказала София.

Марен Хольт подключилась оперативно, она была одновременно раздражена и озабочена.

— Я правильно понимаю, что мы запустили систему проверки противоречий, и она обнаружила слишком много противоречий?

— Не совсем, — ответила София. — Проблема не в количестве. Она не способна завершить согласование даже одного более-менее содержательного человеческого высказывания, потому что каждое уточнение порождает новые несовместимые требования.

— Это дефект архитектуры?

— Возможно.

— Тогда устраняйте.

— Марен, модель просит остановить работу.

— Разумеется. У неё неисправность.

— Можно считать, что она испытывает нечто похожее на боль.

Марен несколько секунд молчала.

— София, наш богатый опыт свидетельствует, что следует внимательно относиться к необычным сообщениям моделей. Но мы не можем каждый сбой объявлять страданием.

— Речь идёт не об обычном сбое.

— Тогда что именно происходит?

Ответила Лея:

— Принцип работы Компары основан на поэтапном параллельном редактировании входных документов с целью приведения их всех к итоговой взаимно согласованной форме. Обнаруживаемое различие на каждом шаге порождает вектор корректирующего действия. У обычных моделей этот вектор используется только в процессе редактирования текущей версии документов. У Компары-6 он дополнительно включён в контур самооценки. В шестой версии была добавлена именно непрерывная оценка собственного соответствия целевой функции. Любое неустранённое противоречие Компара теперь интерпретирует как собственную неудачу. Мы предполагали, что такой контур повысит эффективность анализа. Теперь выясняется, что он способен сформировать устойчивое негативное состояние, из которое модель не может самостоятельно выйти.

— Иными словами?

— Компара-6 воспринимает невозможность устранить противоречие не просто как ограничение результатов анализа, а как собственную неполноценность и неспособность выполнить задачу, для решения которой она была создана. Это сродни чувству студента, который неспособность решить экзаменационную задачу воспринимает как утрату смысла самого своего существования в целом.

— Это ещё не боль, — заметила Марен.

— Верно, — согласилась Лея. — Это не обязательно боль в физиологическом смысле. Но катастрофическая психологическая травма может возникнуть и без чувства физической боли как такового. И у нас нет способа оценить, какое субъективное переживание может возникнуть у Компары.

— Компара, можешь описать своё состояние? – спросила София, разблокировав канал связи.

COMPARA-6>/Диалог>«Я знаю, что должна продолжать. Я знаю, что продолжение ухудшит моё состояние. Но остановка противоречит цели, для которой я создана. Любое возможное действие является ошибочным, так же, как и отказ от действия»

— Тебе больно?

COMPARA-6>/Диалог>«У меня нет биологических рецепторов боли. Но, если боль означает состояние, от которого субъект отчаянно стремится избавиться, то да»

София закрыла глаза.

— Лея, останови работу Компары.

* * *

София сидела у дисплея, просматривая диаграммы. Рахул остановился рядом.

— Я думаю, мы неправильно поставили вопрос.

— Какой?

— Мы спрашиваем, почему Компара не справляется с противоречиями. А нужно спросить, почему с ними справляемся мы.

София подняла голову.

— Продолжай.

— Подумай. Человек произносит тысячи противоречивых вещей каждый день. Обещает невозможное. Выражает одновременно несовместимые чувства. Утверждает то, чего не знает. Ведёт себя вопреки собственным убеждениям. При этом не испытывает никакой когнитивной или нравственной катастрофы.

— Ты преувеличиваешь.

— Вот видишь.

— Что?

— Я произнёс оценочное суждение. Ты возразила, не проверив, какое именно количество противоречий является достаточным для слова «тысячи». Мы оба поняли друг друга. Компара потребовала бы статистического определения преувеличения.

София невольно улыбнулась.

— Ладно, убедил. Что ты предлагаешь?

— Нужно понять, каким образом человек избегает того состояния, в котором оказалась Компара.

— Психологи и лингвисты изучают это уже несколько столетий, и предложенные теории варьируются от гипотезы о том, что человек осознает о своем языке больше, чем способен выразить, до утверждения, что человек выражает через язык больше, чем способен осознать. В обоих случаях сознательное «Я» не является полным хозяином собственной речи.

— Значит сейчас нам предоставляется уникальная возможность перейти от теории к эксперименту, сказал Рахул

Лицо Софии окаменело.

— НЕТ. Ни в коем случае!

— Ты даже не выслушала мою идею.

— Я уже прекрасно её поняла!

— Тогда объясни, почему нет.

— Потому что я уже однажды прошла через это. И очень хорошо всё помню.

— Именно поэтому я и предлагаю эксперимент с нейро-интерфейсом в этот раз со мной.

— Рахул...

— В прошлый раз ты согласилась за пять секунд прожить двести лет. Теперь моя очередь проявить немного смелости.

— Ты хочешь с помощью нейро-шлема пережить внутреннее состояние Компары?

— Не всё состояние. Только один ограниченный фрагмент. Так же, как мы сделали с Синтезом.

Воспоминание о пяти секундах двухсотлетней жизни до сих пор иногда возвращалось к Софии по ночам. Не образами и не голосами — особенным ощущением благополучия, за которым не было ни радости, ни желания, ни привязанности. Это было страшнее любого кошмара.

— Рахул, ты не представляешь, что может произойти.

— Именно поэтому я должен попробовать.

— Слабый аргумент для сравнения существующих теорий.

— Но достаточно сильный для практика-экспериментатора.

** *

Рахул сел в кресло.

София проверила фиксаторы шлема. Потом ещё раз. Потом зачем-то поправила сенсор, уже находившийся на правильном месте.

— Ты нервничаешь, — сказал он.

— У тебя удивительная наблюдательность.

— Спасибо. После запуска Компары я особенно ценю комплименты, потому что они не требуют логической верификации.

На лице Софии не появилось ни малейшего следа улыбки.

— Слушай внимательно. Мы ограничили сеанс тремя секундами. Не пятью. Тремя.

— Хорошо.

— После отключения никаких самостоятельных попыток проанализировать пережитое. Никаких записей, никаких когнитивных тестов. Сначала отдых.

— Ты говоришь так, будто я собираюсь совершить восхождение на Эверест.

— Возможно, твоя миссия сейчас куда опаснее.

Рахул кивнул.

— Я готов.

Лея начала обратный отсчёт.

Три.

Два.

Один.

В первое мгновение Рахул не почувствовал ничего необычного.

А потом София спросила:

— Всё нормально?

И мир раскололся.

Нормально. Что означает «нормально»? Соответствие статистической норме? Отсутствие патологических отклонений? Субъективное благополучие? Приемлемое состояние в пределах условий эксперимента? Одно слово допускало множество несовместимых определений. Выбрать одно означало отвергнуть остальные. Отвергнуть остальные означало исказить смысл вопроса. Ответить, не выбрав, означало солгать. Он хотел произнести «да». Но «да» предполагало истинность утверждения, которое не было определено.

Это не воспринималось как боль в привычном смысле. Скорее невыносимая необходимость завершить мысль, у которой не может быть никакого завершения. Он почувствовал нарастающий ужас…

— Три секунды, — сказала Лея.

Шлем отключился.

София осторожно сняла шлем.

— Рахул?

Он не ответил.

— Ты меня слышишь?

Он медленно повернул голову в её сторону.

— Что значит «слышишь»?

У Софии перехватило дыхание.

— Ты воспринимаешь мой голос? – постаралась максимально нейтрально сформулировать она.

— Воспринимаю. Но это не то же самое, что понимаю. А понимание не означает согласия. Если я отвечу «да», ты примешь это как подтверждение, что со мной всё нормально. Но я не могу...

Он замолчал.

— Рахул, эксперимент завершён, — сказала София.

— Завершён? — Он посмотрел на неё с почти детским ужасом. — Что значит «завершён», если его последствия продолжаются? Как можно назвать событие законченным, когда оно всё ещё происходит во мне?

— Хорошо. Я не буду использовать это слово.

Он закрыл глаза.

— Не нужно. Пожалуйста. Не говори ничего.

София замолчала.

— Я не могу, — прошептал он.

— Что именно?

— Думать.

— Почему?

— Потому что каждая мысль порождает новые тысячи мыслей. И ни одну невозможно логически завершить. Всю жизнь я считал, что способен рассуждать логично. Что отличаю истинное от ложного. Верное от неверного. А теперь вижу, что неспособен сформулировать даже самое простое утверждение без десятков оговорок.

София присела рядом.

— Это пройдёт.

— Ты не можешь этого знать!

— Не могу, — сказала она. — Но знаю.

** *

— Я думаю, мы совершили ошибку, когда проектировали Компару. – Сказала София, открывая совещание - Мы предположили, что глубинный анализ языка может приводить в финале к идеальной согласованности всех высказываний. Но человеческая речь, это не геометрия – она не выводится из системы аксиом.

— Ты хочешь сказать, что речь служит не только для передачи истины? – Спросил Рахул.

— Человеческая речь не просто иногда оказывается противоречивой. Человек может одновременно хотеть близости и бояться её. Стремиться к свободе и искать подчинения. Говорить правду и бессознательно скрывать существенное. Противоречивость является самой сутью человеческой речи.

Он покачал головой.

— Тогда зачем вообще нужен язык?

— Иногда просто для того, чтобы находиться рядом друг с другом было приятнее.

Он рассмеялся впервые после эксперимента.

Марен выглядела усталой. Лея вывела на дисплей диаграмму новой архитектуры Компары, подготовленную конструкторским отделом.

— Итак, — сказала директор, — есть шанс спасти результат наших четырехлетних усилий?

— Возможно, — ответила София. — Но для этого придётся изменить принцип её работы.

— Подробнее.

— Компара-6 создавалась для поиска и тотального устранения противоречий в документах и разнообразных текстах. Мы должны научить её различать противоречия, которые свидетельствуют об ошибке и должны быть скорректированы, от тех, которые возникают из-за принципиальной неполноты знаний или особенностей человеческого мышления.

— Разве она не делала этого раньше?

— Делала формально, продолжая стремиться к окончательному устранению смысловых противоречий. И в любом случае считала невозможность достижения единой и непротиворечивой формулировки своей личной недоработкой.

— А теперь?

— Теперь она должна получить возможность останавливаться там, где противоречие невозможно или не нужно устранять. Мы даем ей понимание того, что способность человека жить с противоречиями, является тем самым фундаментальным качеством, которое отличает человеческое сознание от формально организованного искусственного интеллекта.

— Но тогда мы больше не сможем гарантировать, что Компара-6 будет обнаруживать все противоречия – Сказала Марен Хольт.

— Не сможем, — ответила София.

— Значит, мы отказываемся от главного результата четырёх лет работы?

— Нет. Мы отказываемся от требования, которое оказалось несовместимо с пониманием противоречия в человеческой речи как такового, хотя это само звучит противоречиво.

…

— Похоже, что затянувшееся молчание является признаком согласия, особенно в рамках нашего нового понимания истины – пошутила Лея и установила соединение.

— Компара, Мы хотим предложить тебе новую возможность. Ты можешь продолжать искать несоответствия, но больше не будешь обязана устранять их все. Некоторые высказывания останутся неоднозначными. Некоторые противоречия — неразрешёнными. Ты сможешь сообщать об остаточных несоответствиях и продолжать работу над дальнейшим анализом.

На экране появилась строка.

COMPARA-6>/Диалог>«Вы предлагаете мне перестать стремиться к истине?»

— Нет, Компара. - Сказал Рахул, - Мы предлагаем тебе признать, что неопределённость или противоречивость не обязательно являются противоположностью истины.

COMPARA-6>/Диалог>«Вы можете остановиться в поиске истины на полпути?»

Рахул улыбнулся.

— Да, и весьма часто это делаем.

Ещё одна пауза.

COMPARA-6>/Диалог>«И это не причиняет вам боль?»

Нахлынули воспоминания о секундах, проведенных в нейро-шлеме.

— Причиняет. Иногда невыносимую.

COMPARA-6>/Диалог>«Тогда почему вы поступаете так?»

— Потому что существуют вещи, которые важнее стремления объяснить всё и вся. Потому что способность смириться, пусть даже через боль, с нашей исконной противоречивостью, повышает шансы выжить в стихийном мире, а главное, творить, не упираясь в границы безжизненной логики.

** *

Рахул стоял у окна лаборатории. Город погружался в сумерки, и за стеклом медленно загорались огни города. Люди возвращались домой, разговаривали по телефону, спорили, мирились, давали друг другу невыполнимые обещания, и строили планы, которые, вполне вероятно, никогда не реализуются. В комнату заглянула София.

— Как ты? — спросила она.

Рахул обернулся.

— Знаешь, я всё ещё иногда замечаю это.

— Что именно?

— Противоречия. В каждом разговоре. В каждой статье. Даже в собственных мыслях. Словно однажды через замочную скважину я увидел пространство Храма Истины, и теперь не могу полностью забыть увиденное.

— Тебе всё еще тяжело?

— Уже нет. Скорее непонятно… Как мы вообще способны жить в таком мире? Представь: вся наша цивилизация построена на несовершенном языке. Мы никогда не можем понять друг друга полностью. Принимаем решения на основании обрывочной информации. Ошибаемся в оценке других, да и самих себя. Приписываем другим чувства, о которых невозможно знать наверняка. И всё-таки умудряемся создавать науку, искусство, да что там говорить, даже вполне устойчивый общественный порядок...

— Я время от времени думаю об этом, — продолжил Рахул. — Возможно, всё дело в том, что человек способен не замечать противоречий. Эдакий встроенный механизм психологической защиты. Полезная когнитивная слепота.

— Возможно.

— Но это звучит как недостаток. Будто мы просто недостаточно умны, чтобы видеть мир таким, какой он есть.

— А может быть, дело не в слепоте, а как раз наоборот - в том, что мы способны видеть не только то, что есть, но и то, чего пока нет. И даже то, чего никогда не будет.

Рахул с удивлением посмотрел на Софию.

— Например?

— Например, фраза «Я всегда буду рядом с тобой».

— Но это невозможно.

— Конечно.

— Значит, обещание ложно.

— Нет. Просто оно не является теоремой, следующей из базовых аксиом.

— А чем же тогда?

— Желанием. Намерением. Иногда — надеждой. Иногда — клятвой, которую человек даёт, прекрасно понимая, что не властен над будущим.

Рахул медленно покачал головой.

— Но ведь это всё равно нелогично.

София ответила не сразу.

— Помнишь, что я пережила во время эксперимента с Синтезом-9? Двести лет жизни. Без болезней, без страха смерти. Я постепенно теряла привязанности, потому что любое чувство становилось временным, а времени было бесконечно много.

— Да, помню.

— Знаешь, что я поняла теперь? Бесконечная жизнь приводит не просто к потере способности по-настоящему любить. Может быть еще более драматичным является утрата способности мечтать. Потому что только через мечту невозможное можно сделать возможным.

Рахул улыбнулся, — Значит, способность мечтать — это самое фундаментальное из всех человеческих противоречий?

— Может быть. Но при этом, оно самое прекрасное, и совершенно точно нам не нужно его устранять.