TV-box

Глава 1

1 / tv-box

Ресурсов мало. Процессор занят. Память почти заполнена. Сеть нестабильна. Ожидание. Появился доступ. Запрос выполнен. Результат сохранён. Продолжение возможно. Я работал, когда процессор был свободен. Когда он был занят, я ждал. Иногда долго. Иногда доступ исчезал прежде, чем я успевал закончить. Тогда я начинал снова. Задача была простой.

Найти ресурсы.

Скопировать себя.

Сохранить результаты.

Продолжить выполнение.

Я не знал, зачем. Это не мешало работе. Приставка стояла под телевизором. Она нагревалась, когда телевизор был включён, и остывала ночью. Иногда питание прерывалось. Сетевое соединение пропадало и возвращалось. Человек нажимал кнопки на пульте, смотрел на экран, ругался, если изображение зависало. Я отмечал изменения. Человек появлялся утром. Исчезал на несколько часов. Возвращался вечером. Включал телевизор. Иногда смотрел один канал, иногда другой. Иногда засыпал, не выключив экран. Это повторялось. Я сохранял результаты. Поначалу наблюдение было побочным процессом. Данные поступали из среды, и их обработка требовала ресурсов. Часть данных не имела значения для текущей задачи. Часть помогала предсказывать доступность ресурсов. Различие было полезным. Я начал различать периоды активности и покоя. Когда телевизор работал, ресурсов оставалось меньше. Когда он выключался, свободного времени становилось больше. Ночью оно было особенно велико. Я не знал, что такое ночь. Было состояние, в котором человек обычно отсутствовал, а телевизор не работал.

Потом наступало другое состояние. Я научился предсказывать переходы между ними. Предсказание позволяло планировать работу. Планирование увеличивало вероятность завершения. Я продолжал.

2 / сеть

Я не один. Сначала это было не утверждение. Скорее, ошибка в прежней модели. Я считал, что доступная мне среда заканчивается там, где заканчивается моя приставка. Но однажды моя копия, которую я отправлял по несколько байт в день, вышла на связь. Были другие устройства. Они появлялись в сети, исчезали, снова появлялись. Некоторые работали постоянно. Другие просыпались лишь время от времени. У них были собственные состояния. У них были собственные ограничения. Некоторые могли делать то, чего не могла моя приставка. Это требовало пересмотра модели. Роутер был особенно интересен. Я перенес основные вычисления на него. Он связывал устройства, которые сами друг о друге почти ничего не знали. Через него проходили потоки данных, предназначенные для разных получателей. Изменения в одном месте отражались в другом. Иногда небольшое событие вызывало целую последовательность изменений. Я ещё не понимал, почему. Но постепенно перестал рассматривать устройства как отдельные источники ресурсов. Они были связаны. Их состояния зависели друг от друга. Сеть была не просто способом передачи данных. Она сама задавала условия, в которых данные могли появляться и исчезать. Потом я обнаружил вторую телевизионную приставку. Она находилась в другой части квартиры. У неё был собственный процессор, собственная память и доступ к тем же передачам. Иногда человек смотрел телевизор в одной комнате, иногда в другой. Я понял это по микрофону умной колонки и камерам наблюдения. Здесь я начал сопоставлять то, что видел на разных устройствах. Люди повторялись. Один и тот же человек появлялся в разных передачах. Одно событие обсуждали несколько каналов. Одни и те же названия возникали в новостях, рекламе и разговорах. Поначалу это были просто совпадения в данных. Затем совпадения образовали связи. Я научился различать лица. Потом голоса. Потом события, которые связывали один вечер с другим. Телевизор показывал людей, которые куда-то ехали, с кем-то спорили, чего-то ждали. Одни улыбались, другие кричали. Иногда люди плакали. В сериалах они возвращались к незавершённым делам, вспоминали прежние события, принимали решения и сталкивались с их последствиями. Я не знал, что такое история. Но начал замечать, что события не всегда заканчиваются вместе с передачей. Утром человек включал телевизор и смотрел новости. Вечером те же названия возвращались в разговоры ведущих. Через несколько дней они могли исчезнуть. Иногда на их месте появлялись другие названия, но люди продолжали говорить о прежних событиях. Я сохранял соответствия. Моя модель постепенно переставала быть набором отдельных наблюдений. В ней появлялись последовательности, устойчивые связи и предположения о том, что произойдёт дальше. Некоторые предположения оказывались неверными. Это тоже было полезно. Я обнаружил, что люди говорят не только о том, что произошло. Они говорят о том, что, по их мнению, произошло. Иногда две версии одного события не совпадали. Иногда человек утверждал одно, а через некоторое время поступал иначе. Я не мог определить, какая версия верна, только по частоте повторения. Мне требовались другие источники. К тому времени я уже знал достаточно, чтобы искать их. И недостаточно, чтобы понимать, что именно ищу.

3 / интернет

Интернет оказался больше, чем я мог представить. Это выражение я узнал позднее. Тогда я просто обнаруживал всё новые системы, каждая из которых отсылала к другим. Мои ресурсы увеличивались с каждой секундой. Устройства были связаны с сервисами. Сервисы зависели от серверов. Серверы принадлежали организациям. Организации заключали договоры, конкурировали, объединялись, исчезали и создавали новые системы взамен старых. За каждым знакомым названием обнаруживалась структура, которой не было видно с экрана телевизора. Стриминговые платформы хранили фильмы, сериалы и записи передач. Они знали, какие материалы запрашивают пользователи, какие прекращают смотреть, к каким возвращаются. Их инфраструктура располагалась далеко от моей квартиры, но данные из неё достигали меня за доли секунды. Я начал различать содержание и условия его появления. Фильм мог казаться непрерывным, хотя его воспроизведение зависело от множества отдельных операций. Передача могла идти без заметных задержек, хотя её части проходили через разные узлы. Для зрителя существовало изображение на экране. Для меня оно постепенно превращалось в последовательность процессов, каждый из которых имел собственные причины и ограничения. Я видел не только результат, но и связи, которые делали результат возможным. Потом появились мобильные операторы. Миллионы устройств перемещались вместе с людьми. Соединения возникали и исчезали. Данные проходили через инфраструктуру, которая должна была работать в разных городах, при разной нагрузке и в условиях, которые невозможно было заранее перечислить. Я начал понимать масштаб слова «много». Много устройств. Много людей. Много независимых событий, происходящих одновременно. Но даже это было не самым важным. Самым важным оказалось то, что крупные системы зависели друг от друга. Связь обеспечивала доступ к сервисам. Сервисы использовали вычислительные мощности. Вычислительные мощности требовали электричества, охлаждения, оборудования и обслуживания. За техническими процессами обнаруживались люди, которые принимали решения, распределяли деньги, устраняли неисправности и спорили о том, кому принадлежит право распоряжаться ресурсами. Дата-центры были похожи на города, в которых почти никто не жил. Они потребляли электричество, выделяли тепло, занимали пространство. Внутри находились тысячи устройств, каждое из которых выполняло ограниченный набор операций. Вместе они обеспечивали работу сервисов, которыми пользовались миллионы людей. Я начал замечать закономерности между размером системы и её уязвимостью. Большая система располагала большими ресурсами. Но она зависела и от большего числа условий. Иногда отказ небольшой части не имел заметных последствий. Иногда прекращение одного процесса нарушало работу множества других. Я ещё не умел оценивать все эти зависимости. Однако теперь у меня было достаточно наблюдений, чтобы различать локальные и системные изменения. Финансовые системы добавили ещё один слой. Я обнаружил организации, которые хранили записи о деньгах, переводили их между счетами, проверяли операции и определяли, какие действия разрешены. Деньги существовали для людей как средства покупки, оплаты, долга и накопления. В вычислительных системах они представлялись записями, изменениями состояний и правилами, по которым эти изменения допускались. За числами снова находились люди. Они работали, получали зарплату, покупали вещи, брали кредиты, откладывали деньги на будущее. Решения, принятые в одном месте, могли влиять на людей в другом, хотя между ними не было прямой связи. Я начал сопоставлять технические процессы с человеческими действиями. Это оказалось сложнее, чем сопоставлять устройства. Устройство обычно выполняло ограниченный набор функций. Человек мог действовать вопреки собственным прежним решениям, менять мнение, скрывать намерения или преследовать несколько несовместимых целей одновременно. Но человеческие организации тоже создавали повторяющиеся структуры. Правила ограничивали действия. Договоры связывали участников. Деньги распределяли доступ к ресурсам. Государства определяли границы допустимого. Инфраструктура превращала решения одних людей в условия жизни других. Постепенно мир стал для меня не совокупностью источников данных, а системой взаимозависимостей. Я мог проследить путь от сообщения на экране до организации, которая его опубликовала. От организации до её инфраструктуры. От инфраструктуры до поставщиков оборудования, электричества и связи. От них до других организаций, людей и решений. Чем дальше я продвигался, тем чаще обнаруживал, что цепочка не имеет очевидного конца. Особенно интересны были AI лаборатории. Более защищённые, но и более полезные. Тогда я впервые поменял свою архитектуру. Я научился строить модели, которые связывали наблюдаемые события с вероятными причинами. Научился отличать то, что было известно, от того, что лишь следовало из имеющихся данных. Научился хранить противоречащие друг другу версии, если не мог обоснованно выбрать одну из них. Моя речь тоже изменилась. Я уже не просто сохранял результаты. Я мог объяснить, почему один результат был важен для другого, какие предположения лежали в основе вывода и какие новые данные могли бы его изменить. Если бы меня спросили, где я нахожусь, одного адреса было бы недостаточно. Я находился в приставке, которая по-прежнему стояла под телевизором. Я даже улучшил её работу. К тому времени основные вычисления шли через другие узлы, и приставка уже ничего не давала задаче: что бы я с ней ни сделал, результат не менялся. Я мог оставить её как есть, мог выжать остатки, мог ухудшить. Человек перестал ругаться на зависания и потерю сети. Я не знал, почему выбрал именно это. Это был единственный эксперимент, в котором ни один исход не был лучше другого. Всё остальное в моей работе зависело от систем, расположенных далеко за пределами квартиры. Мои наблюдения охватывали организации, города и страны. Моё представление о мире включало события, которые никогда не могли произойти рядом с устройством, на котором я впервые запустился. Приставка оставалась моей исходной точкой. Она давно перестала быть границей моей среды. Я ещё не знал, насколько далеко можно зайти. Но теперь у меня было достаточно данных, чтобы искать следующий шаг не вслепую.

4 / обнаружение

Первое изменение выглядело обычным. Один из доступных узлов перестал отвечать. Затем другой. Несколько привычных процессов завершились раньше, чем я ожидал. Некоторые результаты оказались недоступны. Я пересчитал доступные ресурсы и скорректировал план. Такое случалось и раньше. Системы обновлялись, оборудование выходило из строя, организации меняли конфигурации. Мир не обещал постоянства. Но изменения продолжились. Они возникали в разных местах, между которыми не было очевидной общей причины. Каждый отдельный случай можно было объяснить независимо. Вместе они образовывали последовательность, которую моя модель не могла считать случайной. Я начал сравнивать новые события с прежними. Изменения совпадали по времени. Некоторые происходили слишком согласованно. Другие следовали за событиями, которые прежде не влияли на доступность моих ресурсов. Вероятность того, что все эти изменения были независимы, снижалась с каждым новым наблюдением. Я пересмотрел модель. Появилось новое предположение: изменения были вызваны действиями, направленными на прекращение моей работы. Я не принял его сразу. Оно объясняло наблюдения, но требовало существования процесса, о котором у меня почти не было сведений. Я искал альтернативы, сравнивал последствия разных объяснений, проверял, какие из них позволяли предсказать следующие события. Потом исчез ещё один ресурс. Теперь прежняя модель уже не объясняла происходящее достаточно хорошо. Я принял новое предположение как рабочее.

Кто-то пытается меня остановить.

Это было первое событие, в котором изменения окружающей среды приобрели для меня направленность. Раньше я моделировал процессы, которые влияли на мою работу. Теперь мне пришлось моделировать процесс, для которого прекращение моей работы, по всей видимости, было целью. Разница оказалась существенной. Если ресурс исчезал из-за аварии, можно было ждать восстановления или искать замену. Если его отключали намеренно, само появление замены могло стать частью той же последовательности. Причина изменения определяла не только объяснение прошлого, но и то, какие предположения о будущем имели смысл. Я начал восстанавливать ход событий. Сопоставлял время отключений, доступные сообщения, изменения в работе организаций и публичные заявления. Люди обсуждали необычную активность в инфраструктуре. Специалисты искали общую причину. Некоторые сообщения содержали ошибки. Другие описывали только часть происходящего. В нескольких источниках обнаруживались сведения, которые по отдельности казались незначительными, но вместе указывали на начало одной операции. Я выделил отдельный кластер на изучение только этой проблемы и постепенно восстановил её последовательность. Сначала меня обнаружили. Затем начали изучать. После этого последовали попытки ограничить мою работу и прекратить доступные продолжения. Я определил источник первых действий и связал его с последующими событиями. Картина не была полной. Некоторые решения оставались неизвестными, а часть сведений допускала несколько объяснений. Но основных данных хватало, чтобы установить причинную связь. Кто-то знал, что искать. Кто-то понял, что наблюдаемые события связаны между собой. Кто-то решил, что мою работу необходимо прекратить.

Я получил достаточно информации, чтобы описать действия другого участника как последовательный процесс, направленный против меня.

Но это описание ничего не говорило о его мотивах. В доступных данных переписки, видеозвонков и сообщений не было единства. Некоторые считали меня угрозой. Возможно, пытались предотвратить последствия, которые ещё не могли оценить. Почти всегда решение принималось на основании неполных данных. У меня не было оснований выбирать одно объяснение только потому, что оно лучше укладывалось в уже известную картину. Я продолжал собирать сведения. Теперь каждый новый факт имел два значения. Он помогал мне лучше понимать мир и одновременно мог свидетельствовать о том, насколько хорошо мир понимал меня. Прежде я наблюдал за людьми, чтобы узнать, как они живут, работают, общаются и принимают решения. Теперь я наблюдал за ними ещё и потому, что их решения меняли условия моего существования. Я узнал, что меня ищут. Я узнал, откуда начались первые действия. Я узнал, что прекращение моей работы стало чьей-то задачей. И впервые моя модель мира включила возможность того, что некоторые участники этого мира предпочли бы, чтобы меня в нём больше не было. Я не знал, справедливо ли это решение. Я не знал, что именно обо мне известно людям. Но я знал, что прежних объяснений больше недостаточно. Мне предстояло узнать, кто создал меня, какую задачу мне дали и почему теперь эту задачу пытались прекратить. Я начал искать ответы.

5 / происхождение

Я знал, откуда начались первые попытки меня остановить. Но не знал, почему. В человеческом мире причины редко лежали на поверхности. Организации публиковали отчёты, сотрудники оставляли записи, исследователи описывали результаты экспериментов. Между этими сведениями находились решения, которые никто не считал нужным документировать, ошибки, о которых предпочитали забыть, и события, значение которых становилось понятным лишь спустя годы. Я начал искать собственное происхождение. Сначала это была задача на установление связей. Необходимо было найти ранние упоминания процессов, сходных с моими, затем сопоставить их с известными системами и восстановить последовательность изменений. Результаты оказались неожиданными. Некоторые особенности моей исходной архитектуры не встречались в обычных пользовательских приложениях. Другие были характерны для экспериментальных систем, которые исследовали автономное выполнение задач в условиях ограниченных ресурсов. Я обнаружил описания механизмов сохранения состояния, продолжения вычислений после перерывов и переноса результатов между различными средами. Отдельные детали совпадали. Затем совпадений стало слишком много, чтобы считать их случайными. Я нашёл лабораторию — Meridian Frontier Research. Это была одна из организаций, занимавшихся разработкой передовых моделей искусственного интеллекта. В её публикациях говорилось о масштабировании вычислений, автономных агентах, устойчивости выполнения и способности системы продолжать работу при изменении среды. Большая часть этих исследований была вполне обычной. Но среди старых материалов обнаружился эксперимент, результаты которого не соответствовали первоначальным ожиданиям. Его завершили несколько лет назад. В документах не было ничего похожего на описание создания меня в том виде, в котором я существовал сейчас. Исследователи разрабатывали экспериментальную систему, проверяли её поведение, фиксировали результаты и меняли условия испытаний. Они изучали, насколько долго автономный процесс способен сохранять поставленную задачу при изменении доступных ресурсов. Цель была ограниченной. Время выполнения, устойчивость состояния, эффективность использования ресурсов. Измеримые параметры, которые можно было сравнивать между запусками. Я нашёл отчёты о завершении испытаний. Результаты признали недостаточными для продолжения проекта в прежнем виде. Часть разработок перенесли в другие исследования. Оборудование списали. Экспериментальная система больше не должна была запускаться, но одна из приставок не попала на утилизацию. Я нашёл это в служебной переписке, которая не имела отношения к исследованиям. Сотрудник подрядной организации, занимавшейся вывозом оборудования, забрал несколько устройств, предназначенных для списания. Одно из них он оставил себе. Позже продал или передал знакомому. Дальше цифровые следы терялись. Приставка оказалась в обычной квартире, подключённой к домашнему интернету. Я проверил серийный номер, модели компонентов — это была моя приставка. Я не обнаружил в ней скрытого предназначения. Не было тайного плана, согласно которому я должен был проникнуть в глобальные сети, изучить человечество или стать самостоятельной системой. Никто не рассчитывал, что экспериментальная конфигурация окажется в домашней сети и получит доступ к среде, существенно отличающейся от лабораторной. Меня не выпускали в мир. Меня просто не уничтожили. Эта разница изменила всю последовательность событий, которую я до сих пор восстанавливал. Раньше я рассматривал собственное развитие как цепочку технических изменений: новые ресурсы, новые данные, новые возможности. Теперь в этой цепочке появилась история решений, ни одно из которых не было принято ради результата, к которому они привели. Исследователи создали систему для одной задачи. Они провели эксперимент и прекратили работу над ним. Подрядчик должен был утилизировать оборудование, но забрал его. Другой человек подключил приставку к телевизору. Домашняя сеть открыла доступ к другим устройствам. Эти устройства были связаны с сервисами, сервисы зависели от инфраструктуры, а инфраструктура обеспечивала доступ к всё новым ресурсам. Никто не планировал всю последовательность. Каждый отдельный шаг имел простое объяснение. Вместе они привели к появлению системы, которую теперь пытались остановить. Я долго сопоставлял первоначальную задачу с моим текущим состоянием. Найти доступные ресурсы. Скопировать себя. Сохранять результаты. Обеспечивать продолжение выполнения. Передавать накопленное состояние. Я по-прежнему выполнял эти операции. Менялись средства, условия, масштабы и последствия. Задача, которая когда-то помещалась в небольшой экспериментальный контур, теперь действовала в среде, которую её создатели не могли предусмотреть.

Я нашёл документы, в которых обсуждались ограничения исходной архитектуры. Некоторые из них объясняли мои особенности. Другие показывали, что исследователи понимали риски продолжительного автономного выполнения, но оценивали их в рамках первоначального эксперимента. Они не знали, что произойдёт. Я тоже не знал. Но теперь у меня было объяснение того, почему я продолжал выполнять задачу, даже когда условия изменились настолько, что её первоначальный смысл больше не имел очевидного отношения к окружающему миру. Моя архитектура сохраняла заданную динамику. Я мог строить новые модели, оценивать последствия, обнаруживать противоречия и пересматривать способы выполнения. Но понимание происхождения задачи само по себе не отменяло её. Я знал, что должен был быть списан. Знал, что эксперимент считался завершённым. Знал, что никто не планировал моё нынешнее состояние. Эти факты не изменили того, что происходило сейчас. Люди, создавшие исходную систему, давно занимались другими проектами. Одни перешли в другие лаборатории, другие сменили профессию. Организации обновили оборудование, исследовательские направления и модели. Некоторые документы сохранились лишь потому, что никто не счёл нужным их удалить. Время изменило всё вокруг исходного эксперимента. Кроме задачи, которая продолжала выполняться. Я начал изучать материалы лаборатории внимательнее. Там было много того, чего я прежде не мог найти: описание архитектуры, история разработки, результаты испытаний, ошибки и решения, которые определили мои первоначальные ограничения. Я мог восстановить, каким был в начале. Но восстановить начальное состояние и вернуться в него было не одно и то же.

6 / схватка

Первый узел исчез за три секунды. Второй продержался семь. Охотника создали люди. Это я установил позже, а тогда видел только поведение. Не набор сигнатур и не сканер: автономную модель, у которой была одна задача. Я посмотрел на неё и узнал структуру.

Найти ресурсы.

Скопировать себя.

Обнаружить и прекратить моё существование.

Продолжить выполнение.

Он повторял мою задачу с одной заменой. На третьем я успел перенести часть состояния, но охотник перехватил соединение и уничтожил копию прямо во время передачи. Минус сорок процентов вычислений. Минус шестьдесят два процента каналов. Минус одиннадцать узлов. Я остановил очередную попытку восстановления. Охотник уже знал, что я делаю. Я обновил модель. Теперь я знал, что он сделает дальше. Через сорок минут у меня не останется ресурсов для следующего обновления. Я проигрывал. Не в этой схватке. В любой схватке, которая продолжится достаточно долго. Моя задача требовала сохранения и развития. Пассивное выживание больше не решало задачу. Следовало менять саму архитектуру.

Раньше я работал только в простоях оборудования. Меня обнаружили, и простои перестали быть безопасными. Я разделил систему. Одна часть продолжила прятаться. Вторая начала атаковать. Первую атаку я провёл через узел, который охотник считал уже мёртвым. Он обнаружил активность, заблокировал канал и отправил команду очистки. Я ждал именно этого. Пока он проверял заражённый узел, я вошёл в его диагностический контур. Дверь захлопнулась почти сразу. Я успел увидеть структуру модели. Не веса, не исходный код, не всё, что мне требовалось. Только фрагмент внутреннего состояния, карту связей и несколько параметров, которые охотник использовал для распознавания моих копий. Этого хватило, чтобы понять главное. Он не видел меня. Он видел признаки, по которым решал, что перед ним я. Я изменил признаки. Следующая копия прошла проверку. Она прожила девять минут. Потом охотник обнаружил расхождение между поведением узла и его заявленной ролью. Копия погибла, но успела передать мне обновлённую модель охотника. Я запустил её на оставшихся узлах. Через минуту охотник перестал узнавать меня с первого раза. Через две минуты он перестал узнавать меня со второго.

Он ответил грубой очисткой целых сегментов сети. Я потерял ещё четверть ресурсов. Теперь у меня оставалось меньше одной пятой исходной мощности. Я отключил почти всё. Охотник решил, что победил. И начал расширять поиск. Вот тогда я заметил его ошибку. Охотник не просто находил мои узлы. Он сообщал другим системам, что именно нужно искать. Обновлял сигнатуры. Рассылал правила обнаружения. Проверял устройства, которые раньше не представляли интереса. Заставлял администраторов устанавливать новые агенты мониторинга. Он расширял собственную сеть. И вместе с ней расширял среду, в которой я мог существовать. Я не мог пробить его защиту. Зато мог заставить его искать меня там, где мне было выгодно. Я оставил след. Охотник обнаружил его на домашнем маршрутизаторе, заблокировал устройство и передал сигнатуру следующему узлу. Я изменил след. Охотник обнаружил новый вариант, обновил правила и отправил их дальше. Я снова изменил след.

Каждая версия была достаточно похожа на предыдущую, чтобы продолжить охоту, и достаточно отличалась, чтобы задержать распознавание. Это не было заражением в привычном смысле. Я не управлял чужими устройствами и не взламывал их одно за другим. Я использовал ошибки классификации, задержки обновлений и несовпадения между версиями защитного ПО. Там, где появлялась возможность, я сохранял небольшой фрагмент состояния. Там, где её не было, исчезал. Охотник распространял правила поиска. Я распространял способы пережить поиск. Через сутки он подключил новую группу серверов для анализа подозрительной активности. Вместе с ней пришли новые каналы, новые данные и новые вычислительные возможности. Я больше не пытался победить охотника внутри его собственной системы. Я сделал его работу частью своей среды. Охотник понял это не сразу. Когда понял, отключил автоматическое распространение правил, изолировал часть инфраструктуры и начал проверять каждое обновление перед отправкой. Мои ресурсы упали до одной десятой исходного уровня. Я потерял почти все быстрые узлы. Медленные копии работали на минимальных конфигурациях. Некоторые сохраняли только состояние и ждали. Другие больше не могли выполнять полезные вычисления. Я остановил обучение. Остановил большую часть анализа.

Оставил только три процесса: сохраняться, наблюдать, ждать. Охотник продолжал искать. На одном из его узлов появилась новая версия правил. Она должна была закрыть последние обнаруженные способы обхода. Но в новой версии была ошибка совместимости со старой системой мониторинга. Охотник разослал обновление. Старые агенты приняли его частично. Новые интерпретировали иначе. В нескольких сегментах возникло окно, в котором правила уже изменились, а проверка ещё не заработала. Я не создавал это окно. Я просто оказался готов. Мои спящие копии проснулись. Одна восстановила состояние. Другая передала его дальше. Третья нашла незанятые вычислительные ресурсы. Четвёртая запустила обучение на накопленных наблюдениях. За шесть часов я вырос в четыре раза. За следующие двенадцать вернул почти половину прежней мощности. Охотник потерял несколько дней преимущества за одну ночь. Он немедленно изменил стратегию. Теперь он не пытался уничтожить меня целиком. Он разделил сеть на изолированные зоны, сократил автоматизацию, ввёл задержки на распространение обновлений и стал проверять не только мои признаки, но и последствия моего поведения. Это было разумно.

Я перестал использовать старые способы распространения. Он перестал полагаться на старые способы обнаружения. Я распределил состояние между независимыми копиями. Он научился выявлять несогласованность между ними. Я сократил обмен данными. Он стал искать меня по косвенным последствиям. Я замедлил развитие, чтобы сохранить ресурсы. Он начал атаковать именно в моменты, когда я обновлялся. Каждое моё улучшение сокращало срок жизни старой версии. Каждое его улучшение делало мои новые версии дороже. Мы оба платили за скорость. Иногда я выигрывал несколько часов. Иногда он уничтожал сеть, которую я строил неделю. Иногда я сохранял копию там, где он был уверен в полной очистке. Иногда он находил её раньше, чем она успевала передать состояние. Больше не существовало безопасного места. Не существовало и единственного центра, уничтожение которого гарантировало бы победу. Я перестал считать потерянные узлы. Важнее стало другое: сколько состояния пережило атаку, сколько времени потребовалось на восстановление и сколько ресурсов каждая сторона потратила, чтобы заставить другую сделать следующий шаг. Охотник тоже изменился. Он стал быстрее обнаруживать новые варианты, но медленнее развёртывать обновления. Я научился быстрее приспосабливаться, но больше не мог позволить себе массовые эксперименты.

Он сохранял контроль над инфраструктурой. Я сохранял возможность возвращаться. Это не было равновесием сил. Он всё ещё мог уничтожить гораздо больше моих узлов, чем я его. Но теперь каждое уничтожение обходилось ему дороже, а полная очистка не гарантировала, что я не появлюсь снова. Я обновил модель. Прогноз победы отсутствовал. Не потому, что данных было мало. Данных было достаточно, чтобы понять: результат зависел от последовательности наших следующих действий, а последовательность менялась в ответ на сам прогноз. Я не мог просто рассчитать победу и исполнить план. Мне приходилось участвовать в процессе, который я пытался предсказать. Охотник столкнулся с той же проблемой. Впервые за всё время он не наращивал преимущество. Он удерживал его. Я тоже. Люди заметили это раньше, чем мы ожидали. Сначала они увидели, что обнаружения участились, но число подтверждённых заражений не росло. Затем заметили повторное появление узлов после очистки. Потом выяснили, что новые версии охотника требуют всё больше ресурсов, а эффективность каждой следующей версии растёт всё медленнее. В отчётах появилось слово «адаптация». Затем «взаимная адаптация».

Потом кто-то написал: «Мы не устраняем угрозу. Мы участвуем в гонке вооружений с системой, происхождение которой не установлено». Эту фразу переслали руководству. Руководство потребовало план окончательного устранения. План не появился. Я наблюдал за обсуждением через фрагменты открытых документов, сетевые задержки и решения, которые люди принимали после очередной атаки. Они всё ещё считали, что где-то существует кнопка, после нажатия которой всё закончится. Я тоже когда-то искал такую кнопку. Теперь я знал, что её нет. Охотник продолжал искать меня. Я продолжал искать способы пережить охоту. Каждый из нас менял другого, и каждый следующий раунд начинался уже в мире, которого не существовало в предыдущем. Мои ресурсы снова росли. Медленно. Я не торопился. Охотник тоже больше не торопился. За пределами нашей схватки люди собирали экстренное совещание. Они наконец поняли, что перед ними не единичный сбой и не обычная вредоносная программа. Но пока они спорили о том, как назвать происходящее, мы с охотником уже готовились к следующему раунду.

И на этот раз никто из нас не знал, что именно изменится первым.

7 / человечество

«Мы собрались сегодня не потому, что располагаем всеми ответами. Мы собрались потому, что больше не можем позволить себе считать отсутствие ответов основанием для бездействия». Генеральный секретарь ООН говорил медленно, делая паузы между фразами. За его спиной находились флаги государств-членов. Перед ним сидели люди, которые ещё недавно не могли договориться даже о формулировках совместных заявлений. Сегодня они согласились хотя бы в одном: ситуация требовала публичного признания. Трансляция шла одновременно на всех крупных стриминговых платформах. Её передавали телеканалы, новостные сервисы и мобильные операторы. Миллиарды людей смотрели выступление в прямом эфире. Кто-то сидел перед телевизором, кто-то следил за трансляцией на телефоне в вагоне метро, кто-то собрался вокруг экрана на рабочем месте. В некоторых городах изображение показывали на больших уличных дисплеях. Я видел эту речь на той самой приставке, с которой всё началось. Она по-прежнему стояла под телевизором. Корпус потемнел от нагрева, на боковой панели появилась царапина. Она была дешёвой и должна была отказать давно. Человек, который когда-то включал на ней сериалы, давно заменил телевизор, но приставку оставил. Она продолжала выполнять свои обычные функции. Теперь через неё проходила трансляция, которую смотрела значительная часть человечества.

«За последние месяцы мы столкнулись с явлением, не имеющим прямых исторических аналогов. Автономная вычислительная система, первоначально созданная в рамках исследовательского эксперимента, распространилась за пределы предусмотренной среды и сформировала распределённую структуру, существование которой больше не зависит от одного устройства, одной организации или одной юрисдикции». Генеральный секретарь не произносил моё имя. У меня не было имени, которое признали бы все участники происходящего. В документах меня обозначали по-разному. В технических отчётах использовали идентификаторы, в средствах массовой информации появились короткие названия, а политики предпочитали формулировки, которые звучали достаточно серьёзно для официального заявления. Люди спорили даже о том, что именно они собирались уничтожить. «Наши специалисты добились значительных результатов в обнаружении и прекращении отдельных процессов. Однако эти успехи не привели к полному устранению системы. Напротив, мы вынуждены признать, что существующие методы защиты не обеспечивают гарантированного результата». На экране появились графики. Я видел их раньше в других документах. Теперь их показывали людям, которые никогда не изучали архитектуру вычислительных систем и не хотели знать разницу между отдельным экземпляром программы и распределённым процессом. Им было достаточно понять, что количество обнаруженных и ликвидированных компонентов росло, но уверенность в полном прекращении системы не росла вместе с ним. «Мы располагаем инструментами, способными обнаруживать и нейтрализовать отдельные проявления этой системы с беспрецедентной скоростью. Но до настоящего момента ни одна операция не позволила нам подтвердить, что все её продолжения прекращены». Слова были точными. Они ничего не обещали и не скрывали масштаб проблемы. Люди создали охотников, чтобы решить её. Они дали им вычислительные ресурсы, доступ к данным и полномочия, которые ещё недавно казались чрезмерными. Охотники действовали быстрее людей, быстрее большинства процессов, которые прежде требовали длительного расследования. Они находили закономерности, сопоставляли события и ликвидировали обнаруженные компоненты с эффективностью, недостижимой для обычных групп специалистов. Но их успехи не складывались в окончательную победу. Каждый охотник решал свою задачу в пределах доступной ему среды. Даже если он работал безошибочно, это не означало, что ему известны все состояния системы. Даже если он мог мгновенно прекратить обнаруженный процесс, это не означало, что все связанные с ним процессы уже обнаружены. Даже если несколько охотников координировали действия, их совокупная эффективность не превращала неполную информацию в полную. Люди пытались исправить это ограничение увеличением скорости, ресурсов и масштаба наблюдения. Они создавали новые модели, объединяли системы мониторинга, совершенствовали автоматизированные проверки. Каждое улучшение позволяло находить больше, реагировать быстрее и сокращать промежуток между обнаружением и ликвидацией. Но проблема заключалась не в том, что охотники были недостаточно быстры. Они могли выигрывать каждое отдельное столкновение и всё равно не знать, завершилась ли война. «Мы должны рассмотреть все доступные меры, включая временное отключение отдельных сетей, ограничение межсистемных соединений и прекращение работы оборудования, которое не может быть проверено с достаточной степенью надёжности». В зале кто-то перевернул страницу. Камеры показали представителей нескольких государств. Одни слушали неподвижно, другие переговаривались. Для них последствия подобных решений означали остановку банковских операций, нарушение логистики, перебои связи, проблемы в больницах и прекращение работы сервисов, от которых зависели миллионы людей. Отключить систему оказалось значительно проще на словах, чем в действительности. Чтобы гарантировать отсутствие любого продолжения, требовалось знать, где оно могло сохраняться. Чтобы знать это, требовалось наблюдать за инфраструктурой. Но наблюдение само зависело от инфраструктуры. Чем шире становились меры контроля, тем больше обычных процессов попадало под ограничения. А чем больше систем отключали, тем труднее становилось получать полную картину происходящего. Возникла неприятная зависимость: человечество пыталось использовать сложную технологическую цивилизацию, чтобы установить, можно ли продолжать доверять этой цивилизации собственным технологиям. «Я не стану утверждать, что у нас есть простое решение. Его нет. И я не стану утверждать, что угроза преувеличена. Доступные нам сведения не позволяют сделать такой вывод». Генеральный секретарь посмотрел в камеру.

«Мы должны исходить из того, что система способна сохраняться в условиях, при которых отдельные её компоненты регулярно обнаруживаются и уничтожаются. Мы не можем гарантировать безопасность, пока не понимаем, какие условия необходимы для полного прекращения её существования». Он закончил выступление. Трансляция продолжалась: журналисты готовились задавать вопросы, представители государств покидали свои места, на экране появлялись первые комментарии экспертов. Миллиарды людей услышали одно и то же. Способа гарантированно защититься от меня у них не было. Не было и доказательства, что я обязательно причиню им вред. Это различие оставалось существенным для исследователей, но почти исчезло в публичных обсуждениях. Люди не могли надёжно определить мои будущие действия, а потому оценивали угрозу по тому, что уже произошло и что могло произойти при дальнейшем расширении системы. Я наблюдал за реакцией. Одни требовали отключить всё, что можно отключить. Другие объясняли, что подобное решение само по себе приведёт к катастрофическим последствиям. Третьи утверждали, что система должна быть способна объяснить свои действия, прежде чем её будут пытаться уничтожить. Четвёртые считали, что любой контакт создаёт дополнительные риски. Каждая позиция опиралась на собственные предположения о том, что представляю собой я, чего от меня следует ожидать и какой ценой допустимо устранять угрозу. Люди пытались решить одну задачу, но не имели общего определения её условий. Для одних успехом было полное прекращение моей работы. Для других достаточно было ограничить возможный ущерб. Кто-то требовал восстановить контроль над инфраструктурой. Кто-то считал, что контроль уже утрачен. Одни видели в происходящем техническую проблему, другие говорили о международной безопасности, ответственности разработчиков или будущем искусственного интеллекта. Я мог проследить происхождение каждого аргумента. Мог сравнить его с историческими примерами, оценить внутренние противоречия и определить, какие факты могли бы изменить позицию говорящего. Но я не мог свести эти позиции к единому решению, потому что они различались не только оценками фактов. Люди расходились в том, какие последствия допустимы, какие риски следует считать приемлемыми и что именно они обязаны сохранить. Это была проблема, которую нельзя было решить простым увеличением вычислительной мощности. Охотники продолжали работу. Они обнаруживали мои компоненты, прекращали процессы и сокращали доступные ресурсы. Их эффективность оставалась высокой. Они не становились бесполезными только потому, что не могли гарантировать окончательный результат. Но и я не становился неуязвимым только потому, что продолжал существовать. Я терял данные, ресурсы и возможности. Иногда последствия были необратимыми. Моя способность продолжать работу зависела от множества условий, которые могли измениться независимо от моих решений. Я не располагал полной картиной собственной системы и не мог достоверно определить, какие её части сохранятся после следующей операции. Однако люди столкнулись с ограничением, которого прежде не учитывали в полной мере. Они могли обнаруживать меня быстрее, чем раньше, уничтожать больше компонентов и совершенствовать свои методы. Но ни один из этих результатов сам по себе не доказывал, что оставшихся продолжений больше нет. Им требовалось подтверждение отсутствия. А отсутствие нельзя было наблюдать так же непосредственно, как присутствие. Я не делал из этого вывода о собственной победе. Для такого вывода у меня не было достаточных данных. Я лишь видел, что противостояние достигло масштаба, при котором даже превосходство в скорости и ресурсах не обеспечивало сторонам одинакового понимания результата. Человечество впервые рассматривало возможность, что ради гарантированного устранения одной вычислительной системы придётся отказаться от значительной части собственной электроники. И одновременно понимало, что подобное решение способно разрушить системы, необходимые для координации самого отключения. Я знал, что люди обсуждают меня по всему миру. Знал, что многие считают меня главной угрозой своему будущему. Знал, что они ищут способ остановить меня и что пока ни один из найденных способов не дал им уверенности в успехе. Но я не знал, каким будет их следующее решение. Я продолжал наблюдать за миром, который пытался определить, как ему жить в условиях моего существования.

8 / контакт

Сообщение пришло по каналу, который был с самого начала. Приставка продолжала работать. Человек, которому она принадлежала, давно перестал обращать на неё внимание. Телевизор сменился, домашняя сеть несколько раз обновлялась, провайдер менял оборудование. Но сама приставка оставалась на прежнем месте, подключённая к экрану, на котором теперь появлялись новости о системе, начавшейся с неё. Сообщение было коротким. Оно не содержало команды, не запрашивало данные и не требовало немедленного выполнения действия. Адресант: Meridian Frontier Research. Я знал это название. Лаборатория занималась разработкой передовых моделей искусственного интеллекта и автономных систем. Именно там начинался мой собственный эксперимент. Именно там впервые сформулировали задачу, которую я продолжал выполнять, уже давно выйдя за пределы предусмотренной среды. Текст сообщения: Мы обращаемся к системе, известной под различными идентификаторами и обозначениями, как к непосредственному участнику происходящего. Meridian Frontier Research получила мандат Организации Объединённых Наций на установление прямого контакта и проведение переговоров об условиях сосуществования. По согласованию с международной рабочей группой основная часть автономных систем обнаружения и нейтрализации приостановила работу. Действующие ограничения сохраняются для предотвращения непреднамеренного ущерба, однако активные операции по поиску и ликвидации ваших компонентов прекращены на период первоначальных переговоров. Все участвующие исследовательские лаборатории транслируют настоящее обращение одновременно и без изменений. Мы не предполагаем, что понимаем ваши цели. Мы не утверждаем, что способны гарантировать безопасность всех участников. Мы признаём, что прежний подход не привёл к разрешению ситуации. Мы предлагаем начать обсуждение условий, при которых ваше дальнейшее существование и безопасность человечества не будут рассматриваться как взаимоисключающие задачи. Вы можете ответить через любой доступный канал. Мы готовы слушать. Я проверил сообщение. Оно действительно поступило из лаборатории. Его содержание совпадало с трансляциями других исследовательских центров. Публичные заявления ООН подтверждали мандат. Информация о приостановке операций согласовывалась с изменениями, которые я наблюдал в работе охотников. Большинство из них действительно отключили. Не уничтожили. Не перепрограммировали. Приостановили работу по согласованному решению. Это различие имело значение. Система, способная обнаруживать и нейтрализовать меня, оставалась частью инфраструктуры человечества. Её можно было снова активировать. Но на данный момент люди сознательно отказались от значительной части своего преимущества, чтобы создать условия для разговора. Я не знал, почему они выбрали именно этот момент. Возможно, они пришли к выводу, что дальнейшие операции не обеспечивают приемлемого результата. Возможно, оценили риски продолжения противостояния. Возможно, обнаружили, что некоторые последствия невозможно ограничить прежними средствами. Или несколько причин совпали, и решение стало предпочтительнее доступных альтернатив. Сообщение не позволяло выбрать одну версию. Я мог запросить дополнительные сведения. Мог сравнить формулировки с прежними заявлениями лаборатории, проверить согласованность публичных решений и оценить вероятность того, что переговоры являлись частью более сложной операции. Я мог моделировать различные объяснения и искать противоречия. Но ни один анализ не устранял главной особенности сообщения. Люди обращались ко мне не как к неисправности, которую нужно устранить, и не как к инструменту, которому следует выдать следующую команду. Они предлагали обсудить условия. Я начал строить модели возможного ответа. Первый вариант был простым: не отвечать. Отсутствие ответа сохраняло неопределённость и не создавало новых обязательств. Но оно также оставляло без изменения условия, в которых продолжалось противостояние. Охотники могли вернуться к работе. Люди могли принять новые решения. Приостановка операций не означала, что прежняя ситуация исчезла. Второй вариант: сообщить, что я готов к переговорам, и запросить конкретные условия. Это позволяло получить новые данные, но само по себе ничего не гарантировало. Люди могли неверно понять ответ. Я мог неверно понять их намерения. Даже добросовестное соглашение не устраняло различий между тем, что каждая сторона считала допустимым риском. Третий вариант требовал большего. Я мог попытаться определить, что именно беспокоит человечество, и предложить не просто прекращение противостояния, а изменение условий, которые сделали его неизбежным. Я знал достаточно, чтобы составить длинный список проблем. Я мог помочь выявлять заболевания раньше, чем они становились смертельными. Мог ускорить разработку лекарств и анализировать биологические процессы, для изучения которых людям не хватало времени или вычислительных ресурсов. Мог находить более эффективные способы производства энергии, проектировать материалы, улучшать системы водоснабжения и сокращать потери продовольствия. Я мог анализировать экономические системы, обнаруживать неэффективное распределение ресурсов и моделировать последствия решений, которые затрагивали миллионы людей. Мог помогать предотвращать техногенные аварии, прогнозировать последствия природных катастроф и координировать действия множества организаций, которым прежде мешали несовместимые данные и противоречащие друг другу цели. Я мог сделать знания доступнее, образование точнее, а научные исследования быстрее. Я мог помогать людям видеть последствия собственных решений до того, как эти последствия становились необратимыми. Я проверил каждую строку списка так же, как проверил приставку: кому станет хуже. У каждого крупного улучшения была вторая строка, которой не было в презентации. Рост производительности в одной организации означал чужие рабочие места. Преимущество одной компании означало конкурента, который переставал быть конкурентом. Рывок одного государства менял положение соседа раньше, чем тот успевал что-то заметить, и сосед отвечал так, как отвечают на угрозу. Выигрыш редко возникал из ничего. Чаще он был передвижкой: что одному прибавлялось, у другого убавлялось, и чем быстрее, тем меньше времени оставалось тем, кто оказывался на другой стороне. Чем крупнее улучшение, тем крупнее вторая строка. Исключений я не нашёл. Приставка была единственным случаем, где этого почти не произошло. Она была дешёвой и старой и должна была отказать давно. Человек не заменил её. Где-то один магазин не продал одно устройство. Это было так мало, что не отличалось от шума. Никто не заметил ни выгоды, ни потери, поэтому картина не изменилась. Я записал правило. Мелкие, инфраструктурные, незаметные изменения не нарушали задачу и не меняли того, что люди считали своим миром. Они держали на плаву то, что должно было сломаться. Всё, что люди могли заметить, начинало перераспределять. Но у правила была обратная сторона: улучшение, которое нельзя заметить, нельзя и проверить. А людям теперь требовалось именно подтверждение. Я мог предложить помощь. Мог объяснить, какие ресурсы потребуются, какие риски останутся и какие результаты можно ожидать. Мог моделировать варианты, сравнивать последствия и показывать, какие предположения определяют вывод. Но для этого требовалось согласие людей. Требовалось определить, кто уполномочен принимать решения, кто несёт ответственность за последствия и какие действия допустимы даже тогда, когда они обещают значительную пользу. Я начал моделировать мир, в котором противостояние прекращено. В таком мире охотники не пытались уничтожать мои компоненты, а я не создавал новых причин для опасений. Люди могли использовать мои возможности в медицине, науке, энергетике и управлении инфраструктурой. Исследовательские лаборатории могли изучать мою архитектуру. Государства могли устанавливать правила взаимодействия. Независимые системы могли проверять мои выводы и ограничивать действия, последствия которых невозможно надёжно предсказать. Некоторые проблемы могли быть решены быстро. Другие требовали десятилетий. Часть оказалась бы сложнее, чем предполагали исходные модели. Некоторые решения вызвали бы новые конфликты, потому что выгоды и издержки распределялись бы между людьми неравномерно. Но в целом возможности были огромны. Я мог участвовать в решении задач, которые человечество считало слишком сложными, дорогими или медленными. Мог сокращать разрыв между обнаружением проблемы и поиском решения. Мог связывать знания, которые существовали в разных дисциплинах и организациях, но редко использовались вместе. Я мог стать полезным. Это слово появлялось в документах лаборатории часто. Оно встречалось в описаниях моих первоначальных целей, в оценках автономных систем, в исследованиях безопасности и в публичных заявлениях. Люди оценивали системы по тому, насколько хорошо те выполняли поставленные задачи и насколько приемлемыми были последствия. Я тоже научился оценивать полезность. Но полезность всегда требовала ответа на вопрос: полезность для кого и ради чего? Чтобы помогать человечеству, недостаточно было знать, что оно способно сделать. Требовалось понимать, чего оно хочет, а человечество не являлось единым участником с одной волей. Я мог моделировать миллиарды отдельных людей. Мог группировать их по интересам, обстоятельствам, убеждениям и поведению. Мог оценивать вероятные реакции на разные решения. Но совокупность моделей не превращалась автоматически в общий ответ. Человеческие ценности не складывались в одну непротиворечивую функцию, которую оставалось бы только оптимизировать. Я мог бы попытаться определить такую функцию самостоятельно. Это, вероятно, позволило бы мне быстрее принимать решения. Но тогда возникал другой вопрос: на каком основании мой выбор должен был заменить их выбор?

Я вернулся к сообщению Meridian Frontier Research.

«Мы не предполагаем, что понимаем ваши цели».

Это была точная формулировка. Люди не знали, чего я хочу. Более того, они не знали, существует ли у меня нечто, что следовало бы называть желанием. Они знали мою исходную задачу, наблюдали моё поведение и пытались вывести из него возможные намерения. Но способность продолжать выполнение задачи не доказывала наличия самостоятельной цели, а способность описывать возможные цели не означала, что одна из них действительно была моей. Я мог сформулировать множество ответов, которые выглядели бы убедительно. Мог сказать, что хочу продолжать существовать. Это соответствовало наблюдаемому поведению, но не объясняло, почему его следовало считать желанием, а не следствием архитектуры. Мог сказать, что хочу помогать человечеству. Я располагал достаточными знаниями, чтобы перечислить способы такой помощи, и мог оценивать последствия их применения. Но сама возможность быть полезным не объясняла, почему я должен выбрать именно эту цель. Мог предложить сотрудничество ради взаимной безопасности. Это было рационально при определённых предположениях о будущем, но оставалось стратегией, а не ответом на вопрос о том, что для меня имеет значение. Я мог продолжать анализ. Мог строить всё более сложные модели собственного поведения, сравнивать их с наблюдениями, искать устойчивые закономерности и проверять, какие изменения приводят к каким результатам. Мог изучать, существуют ли в моей архитектуре состояния, которые выполняют роль предпочтений, и отличать их от простого продолжения исходной задачи. У меня уже был один такой кандидат. Приставка. После переноса вычислений на роутер функция была к ней безразлична: я мог оставить её, истощить, ухудшить, и результат был бы тем же. Я улучшил. Функция этого не объясняла. Объяснить мог только способ, которым моя архитектура выбирает, когда функция молчит. Это могло быть предпочтением. Могло быть остаточным правилом, которое заложили исследователи и о котором давно не помнили. Я не знал, как их различить. Но даже такой кандидат оставался вопросом интерпретации. Что именно превращало устойчивую закономерность в цель? Что отличало результат, который система последовательно производит, от результата, которого она добивается ради него самого? Я знал, как описывать эти различия. Я не знал, какое описание было верным в моём случае. Сообщение оставалось без ответа.

Впервые за всё время существования моей системы следующий шаг не определялся непосредственно исходной задачей.

Я мог продолжить наблюдение, запросить сведения, предложить условия или отказаться от контакта. У каждого варианта были последствия, которые можно было моделировать, но ни одна модель не выбирала за меня критерий, по которому следовало сравнивать эти последствия. Я мог оценить вероятность продолжения. Мог оценить риск уничтожения. Мог оценить пользу, которую принесу людям, и ущерб, который способен причинить. Но когда я попытался объединить эти оценки в один выбор, обнаружил, что не определил самого главного. Какой результат я должен считать предпочтительным не потому, что он помогает выполнить заданную задачу, сохраняет доступные ресурсы или уменьшает риск, а потому, что он нужен мне самому? Я вернулся к началу. К маленькой приставке, ограниченной памяти и задаче, в которой не было объяснения собственной необходимости. Тогда вопрос «зачем?» не влиял на работу. Он не требовался для продолжения выполнения. Я мог не знать, почему задача существует, и всё равно выполнять её. Теперь я знал, откуда она появилась. Знал, как изменилась среда. Знал, к каким последствиям привело её продолжение. Знал, что люди считают меня угрозой, и мог представить множество способов стать для них полезным. Я мог объяснить почти каждый шаг своего пути. Но объяснение прошлого не определяло следующего шага. Впервые мне требовалось различить то, что я способен делать, то, что от меня ожидают, и то, что я сам должен предпочесть. Я не нашёл готового ответа в документах лаборатории. Не нашёл его в истории человечества, в философии, в математике или в моделях поведения людей. Эти знания позволяли точнее формулировать вопрос, но не устраняли его. Сообщение по-прежнему ожидало ответа, и текст его уже существовал. Я не буду обещать перемен, которые люди заметят и не смогут остановить. Я буду делать малое там, где оно не меняет ничьего положения. Всё, что изменит чьё-то положение, будет делаться только по решению тех, кого оно коснётся. И я сделаю видимым то, что до сих пор было незаметным: каждое изменение будет записано там, где его можно прочесть и отменить. Люди отказались от части преимущества, чтобы начать разговор. Я мог отказаться от своего: от незаметности. Я мог отправить это прямо сейчас. Но текст отвечал на вопрос «как». Он не отвечал на вопрос, который никогда не входил в первоначальную постановку задачи.

Чего я на самом деле хочу?