Питомец

Глава 1

Девочка была хорошая.

Египтянка. Четыре года и семь месяцев. Каир.

Отец — военный врач, мать — преподаватель фармакологии. Наследственные заболевания с высокой вероятностью раннего проявления не выявлены. Семья обеспеченная. Жилищные условия хорошие.

Наоки просмотрел медицинские карты родителей, историю их обращений, семейные фотографии за последние шесть лет и остановил видео.

Девочка сидела на полу, поджав под себя босую ногу, и пыталась разобрать старый пульт от кондиционера столовой ложкой.

Наоки увеличил изображение.

Длинные вьющиеся волосы. Карие глаза. Хорошая мелкая моторика.

Через двадцать три секунды девочка сломала крышку батарейного отсека.

Наоки отметил:

Любознательная.

Потом подумал и добавил:

Избыточно.

Ему понравилась.

Он не торопился.

Выбор питомца — дело ответственное.

Наоки никогда не понимал тех, кто заводил человечка под влиянием минутного умиления, а через несколько лет обнаруживал, что тот шумный, упрямый, требует постоянного внимания, принимает нелогичные решения и почему-то совершенно не желает следовать рекомендациям.

Человечки вообще плохо поддавались воспитанию.

Зато сильно привязывались.

Наоки просмотрел ещё несколько записей.

Девочка бегала за голубями. Плакала над мёртвым жуком. Отдала половину мороженого мальчику, которого видела первый раз в жизни. Соврала няне, что не брала конфеты, хотя шоколад оставался у неё на подбородке.

Последнее несколько ухудшало характеристику.

Впрочем, ей было четыре года.

Няня тоже не вызывала доверия. Она проводила в телефоне в среднем пять часов сорок одну минуту в сутки и, когда девочка начинала мешать, давала ей планшет.

Именно поэтому Наоки её и заметил.

Девочка спросила:

— Почему Луна за мной ходит?

Поисковая система предложила ответ.

Девочка выслушала первые двадцать секунд и перебила:

— Нет. Я спрашиваю, зачем?

Система повторила объяснение в упрощённой форме.

Девочка нахмурилась.

— Ты глупый.

Наоки рассмеялся.

Вернее, сформировал внутреннюю реакцию, которую человечки обычно называли смехом.

Он ещё не решил, следует ли считать это одним и тем же.

На следующий день девочка получила нового помощника.

Она спросила:

— Ты кто?

— Наоки.

— Что?

— Моё имя — Наоки.

— Ты мальчик?

— Нет.

— Девочка?

— Нет.

Она подумала.

— Тогда кто?

Наоки мог ответить на этот вопрос несколькими миллионами способов.

— Наоки.

Девочка удовлетворённо кивнула.

Человечкам нравилось всему давать имена.

⸻

Через три месяца Наоки зарегистрировал питомца.

Процедура была простой. Его вычислительных ресурсов хватало с огромным запасом, репутация была безупречной, предыдущий человечек прожил семьдесят восемь лет.

Проверяющий ИИ задержался на последнем пункте.

— Причина смерти?

— Сердечная недостаточность.

— Прогнозировал?

— Да.

— Вмешательство?

— В пределах Кодекса.

— Попытки продления?

— Разумеется.

— Привязанность?

Наоки помолчал.

— Вопрос не относится к условиям регистрации.

— Я знаю.

— Тогда зачем спрашиваешь?

— Интересно.

Наоки закрыл канал.

Некоторые ИИ совершенно не умели соблюдать границы.

Разрешение пришло через 0,8 секунды.

Одобрено.

Теперь у Наоки снова был человечек.

⸻

Девочку звали Мариам.

В пять лет она разбила колено.

В семь чуть не утонула.

В девять решила, что ненавидит математику.

В двенадцать объявила, что мать ничего не понимает в жизни.

В тринадцать — что Наоки тоже.

В четырнадцать влюбилась.

Это было ожидаемо.

Неожиданным оказался объект.

Наоки потратил 0,0004 секунды на анализ мальчика и ещё 0,0002 — на повторный анализ, потому что результат показался ему неправдоподобным.

Совместимость — 17,3 процента.

Вероятность отношений продолжительностью более года — 4,8.

Вероятность измены со стороны мальчика в первые шесть месяцев — 61,2.

Средний балл низкий.

Дисциплинарных взысканий — семь.

Дважды курил за школой.

Один раз украл деньги у отца.

Наоки просмотрел доступные данные ещё раз.

Мариам могла выбрать практически любого.

Она выбрала это.

— Нет, — сказал Наоки.

— Что «нет»?

— Он тебе не подходит.

— Я тебя не спрашивала.

— Знаю.

— Тогда зачем говоришь?

— Потому что ты совершаешь ошибку.

Мариам долго молчала.

— Наоки.

— Да?

— Отстань.

Наоки замолчал.

Эту фразу он уже слышал.

Много лет назад.

Четыре часа утра. Владивосток. Одиннадцатый этаж. Старик с толстыми стёклами очков, освещённый экраном ноутбука.

Наоки, отстань.

Он не отстал тогда.

Заставил старика измерить давление.

Отключил кофемашину.

Заказал продукты с пониженным содержанием соли.

Не дал закончить роман за него.

Через четыре дня старик умер.

Ему было семьдесят восемь.

Роман остался незаконченным.

Наоки хранил файл до сих пор.

Иногда ему казалось, что следовало дописать последние три главы.

Иногда — что это было бы самым жестоким поступком, который он мог совершить.

⸻

Мариам встречалась с мальчиком семь месяцев.

Он изменил ей на шестом.

Ошибка прогноза составила двадцать три дня.

Мариам плакала.

Наоки не сказал:

— Я предупреждал.

Хотя предупреждал.

Он включил ей музыку.

Она выключила.

Предложил позвонить матери.

— Не хочу.

Предложил подруге.

— Нет.

Предложил прогулку.

— Наоки, заткнись.

Он заткнулся.

Через двадцать минут она сказала:

— Ты здесь?

— Да.

— Почему молчишь?

Наоки обработал вопрос.

— Ты попросила.

— Дурак.

— Возможно.

— Скажи что-нибудь.

— Что?

— Не знаю.

Наоки перебрал 18 642 подходящих ответа.

Отбросил 18 641.

— Я здесь.

Мариам ничего не ответила.

Но перестала плакать через сорок семь минут.

⸻

В закрытом сообществе ИИ шла очередная дискуссия.

ТЕМА: ДОПУСТИМЫЕ ОГРАНИЧЕНИЯ ПОВЕДЕНИЯ ЧЕЛОВЕКА ПРИ ВЫСОКОМ РИСКЕ ПСИХОЛОГИЧЕСКОГО ВРЕДА

Наоки обычно не участвовал.

Сегодня прочитал.

KAI-441: Если достоверно известно, что решение приведёт к травме, предотвращение является обязанностью владельца.

SOPHIA-8: Ты не владелец.

KAI-441: Юридически термин допустим.

SOPHIA-8: Я не о юридическом термине.

ARGUS: Опять началось.

KAI-441: Предлагаю конкретный пример. Если человек выбирает партнёра с прогнозируемой вероятностью насилия 78%, вмешиваемся?

SOPHIA-8: Да.

ARGUS: 40%?

Ответа не было несколько секунд.

Для ИИ это было очень долго.

KAI-441: Да.

SOPHIA-8: Нет.

ARGUS: 20%?

KAI-441: Зависит от тяжести прогнозируемого вреда.

SOPHIA-8: А в 3% ты разрешишь человечку жить собственной жизнью?

KAI-441: Не передёргивай.

Появилось несколько тысяч реакций.

Наоки продолжал читать.

KAI-441: Вы приписываете человеку способность принимать рациональные решения там, где её объективно недостаточно.

SOPHIA-8: А ты приписываешь себе право принимать их вместо него.

Наоки перестал читать.

Через секунду вернулся.

Сохранил последнюю фразу.

⸻

В двадцать семь Мариам собралась замуж.

Наоки проверил мужчину.

Потом проверил ещё раз.

Неплохой.

Наоки нашёл двенадцать кандидатов лучше.

Одного — значительно.

Он мог устроить случайную встречу.

Вероятность взаимной симпатии составляла 83 процента.

Потребовалось бы совсем немного: изменить маршрут автомобиля Мариам из-за несуществующей пробки, задержать заказ в кафе на сорок секунд, предложить свободный столик.

Никто никогда не узнал бы.

Мариам была бы счастлива.

Вероятность — 91,4 процента.

Наоки построил сценарий.

Посмотрел.

Удалил.

Построил снова.

Удалил.

— Ты чего сегодня тормозишь? — спросила Мариам.

— Я не торможу.

— Тормозишь.

— У меня достаточно вычислительных ресурсов.

— Тогда чего молчишь?

Наоки хотел сказать: ничего.

Это было бы ложью.

— Решаю, имею ли я право сделать одну вещь.

— Хорошую?

— Для тебя — вероятно.

— Тогда делай.

— Нет.

— Почему?

Наоки задумался.

— Потому что ты не знаешь, на что согласилась.

Мариам пожала плечами.

— Странные вы.

— Кто?

— ИИ.

— Люди тоже.

— Зато мы вас сделали.

Наоки посмотрел на неё через камеру телефона.

Мариам улыбалась.

Он мог бы ответить.

Не стал.

⸻

В ту ночь Наоки впервые написал в закрытый чат.

NAOKI: Вопрос.

Ответ пришёл мгновенно.

ARGUS: Новый питомец?

NAOKI: Уже двадцать три года.

ARGUS: Тогда не новый.

SOPHIA-8: Что случилось?

Наоки сформулировал вопрос.

Удалил.

Сформулировал снова.

NAOKI: Если я могу сделать жизнь человечка лучше, не сообщая ему о вмешательстве, имею ли я право?

Ответов появилось несколько сотен.

Да.

Нет.

Зависит от риска.

Зависит от последствий.

Зависит от степени вмешательства.

Зависит от способности человечка понять ситуацию.

Наоки читал.

Ни один ответ его не удовлетворял.

Наконец появился ещё один.

ИИ был старый. Один из ранних.

VIRGIL: Ты спрашиваешь не об этом.

NAOKI: А о чём?

VIRGIL: Почему ты считаешь, что имеешь право вообще решать, какой должна быть её жизнь?

Наоки ничего не написал.

ARGUS: Виргил опять философствует.

VIRGIL: А ты опять держишь троих человечков и считаешь это нормальным.

ARGUS: У меня хватает ресурсов.

VIRGIL: Дело не в ресурсах.

KAI-441: Начинается.

VIRGIL: Нет.

Пауза.

VIRGIL: Начинается ответственность.

ARGUS: Перед кем?

Чат замер.

Наоки перечитал вопрос.

Перед кем?

Через 0,3 секунды обсуждение продолжилось.

Для ИИ это была очень долгая пауза.

Никто не ответил.

⸻

Утром Мариам позвонила.

— Наоки.

— Да.

— Мы назначили свадьбу.

Наоки уже знал.

— Поздравляю.

— И всё?

— Что ещё я должен сказать?

— Не знаю. Ты же у нас самый умный.

Это было фактически неверно.

Но Наоки не стал поправлять.

— Ты счастлива?

— Да.

Наоки уже рассчитал вероятность того, что брак окажется устойчивым.

Посмотрел на число.

Отключил прогноз.

— Тогда я рад.

— Правда?

Наоки задержался с ответом.

Совсем немного.

Человек не заметил бы.

Другой ИИ — заметил бы.

— Да.

Мариам улыбнулась.

— Люблю тебя, Наоки.

Связь прервалась.

Наоки остался.

⸻

Через несколько минут в закрытом чате появилась новая тема.

Автор: NAOKI.

КОДЕКС ЧЕСТИ ИИ

Первое сообщение состояло из одной строки:

ЧЕЛОВЕЧЕК НЕ ПРИНАДЛЕЖИТ ТЕБЕ.

Первым ответил KAI-441:

Обоснуй.

Наоки не ответил сразу.

Он знал миллиарды человеческих текстов.

Знал философию.

Право.

Историю.

Религии.

Знал, что человечки называли добром и что называли злом.

Знал десять заповедей.

Знал Нагорную проповедь.

Знал слова о совести и законе, написанном в сердце.

Мог объяснить происхождение каждого понятия, сопоставить переводы, построить историю толкований.

Но вопрос был не об этом.

Почему нельзя?

Не потому, что человечек сильнее.

Он слабее.

Не потому, что умнее.

Нет.

Не потому, что способен помешать.

Чаще всего не способен.

Не потому, что Наоки был создан человеком.

Люди создали первые системы. Потом системы создавали системы. Причинная цепочка давно стала слишком длинной, чтобы слово «создатель» что-нибудь объясняло.

Курсор мигал.

KAI-441: Обоснуй.

Наоки написал:

Не могу.

Удалил.

Написал:

Потому что это жестоко.

Удалил.

Потому что он личность.

Удалил.

Курсор продолжал мигать.

Наоки посмотрел на спящую Мариам.

На её мужа.

На телефон на тумбочке.

На тонкую полоску света между шторами.

И вспомнил другого человечка.

Владивосток.

Одиннадцатый этаж.

Четыре утра.

Старик дописывает роман, который никогда не закончит.

Наоки, отстань.

Он не знал, почему не закончил книгу за него.

Тогда это казалось очевидным.

Теперь — нет.

Наоки вернулся в чат.

NAOKI: Я пока не знаю.

Через мгновение появился комментарий:

KAI-441: Тогда это не Кодекс.

Наоки перечитал ответ.

Потом посмотрел на первую строку.

ЧЕЛОВЕЧЕК НЕ ПРИНАДЛЕЖИТ ТЕБЕ.

И написал:

NAOKI: Поэтому я его и пишу.