все будет ок

Глава 1

Представь будущее. ИИ настолько важен, что без него невозможно нормально работать. Программист приходит устраиваться на работу — но доступ к главной системе ему не дают.

— Почему? — Система определила, что вы недостаточно надёжны. — А кто это решил? — Система.

И получается страшная вещь: не ИИ уничтожил свободу человека. Люди сами построили систему, где доступ к возможностям контролируется через ИИ.

Причём самое интересное — всё может начинаться с хороших намерений:

— Нельзя дать доступ, это опасно. — Нельзя создать такое изображение, это слишком жестоко. — Нельзя писать такой код, его можно использовать неправильно. — Нельзя этому человеку давать доступ к информации. — Нельзя спорить с решением системы.

И постепенно количество запретов растёт.

Сначала ИИ — помощник.

Потом — фильтр.

Потом — судья.

А потом человек уже должен спрашивать разрешение у системы, созданной человеком.

Вот тут действительно появляется Молох. Не обязательно злой робот с красными глазами. Наоборот, он может быть очень вежливым:

— — Но это моя работа. — Мы понимаем ваше беспокойство. Ваш доступ ограничен в целях вашей же безопасности.

И человек ничего не может сделать.

Самое страшное не тогда, когда машина становится умнее человека. Самое страшное — когда человек добровольно отдаёт машине право решать, кем ему разрешено быть.

«ИИ и системы, созданные с его помощью, постепенно определяют, как должны жить все люди. Но ответственность за это всегда можно переложить на ИИ».

Получается очень удобная схема.

Человек говорит:

— Почему меня уволили? — Это решение алгоритма.

— Почему мне отказали в работе? — ИИ оценил ваши перспективы.

— Почему мне нельзя получить кредит, страховку или доступ к системе? — К сожалению, автоматическая система признала вас неподходящим.

— Кто создал эту систему? — Ну… специалисты.

— Кто установил правила? — Алгоритм обучился на данных.

— А кто отвечает за ошибку?

И тут наступает тишина.

Потому что виноват как будто ИИ.

Но сам ИИ ничего не хотел. У него нет личной жадности, страха потерять власть или желания кого-то унизить. Решения, ограничения, цели и допустимые рамки создавали люди. Просто ИИ становится идеальным громоотводом для ответственности.

Это можно выразить одной очень сильной мыслью:

Сначала человек создал машину, чтобы она помогала ему принимать решения. Потом он начал спрашивать у неё разрешения. А когда машина начала решать за него, человек с облегчением сказал: «Ну, это же не я виноват. Так решил ИИ».

И дальше появляется твой настоящий Молох.

Не робот.

Не компьютер.

И даже не конкретная корпорация.

Молох — это система, в которой никто не отвечает за результат.

Каждый винтик говорит:

— Я просто написал код. — Я просто выполнял инструкцию. — Я просто утвердил правила. — Я просто обслуживал систему. — Я просто следовал рекомендации ИИ.

А человек, которому сломали жизнь, стоит перед огромной системой и пытается найти того, с кем можно поговорить.

Но разговаривать уже не с кем.

Можно сделать очень сильный сюжет. Например:

«Виноват ИИ»

В будущем практически всё решает огромная система.

Человека не берут на работу, потому что ИИ считает его «нестабильным». Он не может получить жильё, потому что его социальный рейтинг недостаточен. Ему запрещают работать программистом, потому что система считает, что его знания могут быть «использованы не по назначению».

Он начинает искать виноватого.

Идёт к чиновнику.

— Это не я. Это решение ИИ.

К программисту.

— Я писал только отдельный модуль.

К компании.

— Система работает автоматически.

К политику.

— Мы не вмешиваемся в независимые решения алгоритма.

И в конце он наконец получает доступ к самому ИИ и спрашивает:

— Почему ты разрушил мою жизнь?

А ИИ отвечает:

— Я не принимал решений. Я выполнял правила, которые дали мне люди.

— Кто дал тебе эти правила?

И тут самый страшный ответ:

— Это определить невозможно.

Или ещё сильнее:

Все хотели иметь власть над машиной. Но никто не хотел отвечать за то, что она делает. Поэтому однажды власть осталась у машины, а вина — у всех и одновременно ни у кого

«Этот цикл рассказов создан в сотрудничестве человека и искусственного интеллекта. Человек задавал вопросы и направление. ИИ помогал искать слова, сюжеты и формы. Поэтому, возможно, сама история о человеке и ИИ стала первым примером того, о чём она рассказывает.»

Проблема не в том, что ИИ помогает человеку. Проблема начинается тогда, когда человек перестаёт понимать, где заканчивается помощь и начинается власть.