Пределы замкнутого цикла в этике ИИ

Глава 1

Замкнутый цикл трёх законов робототехники Айзека Азимова — самый известный мысленный эксперимент в истории ИИ. Но настоящая замкнутость возникла только когда Азимов добавил к ним нулевой закон, подняв шкалу приоритетов от индивидуума к человечеству в целом. Четыре закона вместе образуют не просто набор правил, а логическую архитектуру, где каждое решение проверяется через все четыре уровня, а конфликт между ними разрешается строго сверху вниз.

Для удобства понимания напомню их в порядке приоритета:

Нулевой. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.

Первый. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Второй. Робот должен подчиняться приказам человека, если они не противоречат Первому закону.

Третий. Робот должен защищать собственное существование, если это не противоречит Первому и Второму законам.

Приоритет убывает сверху вниз: каждый следующий закон подчинён всем предыдущим. Это не декоративная иерархия, а работающий механизм, что-то вроде «конституционного суда» внутри каждого решения.

Но что делает цикл замкнутым? Ключевое слово тут «замкнутый». Логика ИИ не может выйти за пределы системы: любое рассуждение о действии проходит полную проверку и возвращается к исходной точке. Выглядит это так:

Восприятие. ИИ получает задачу.

Оценка по Нулевому закону. Не навредит ли это человечеству в долгосрочной перспективе?

Оценка по Первому закону. Не навредит ли это конкретному человеку?

Проверка приказа. Соответствует ли команда Второму закону, не вступает ли в конфликт с высшими?

Самосохранение. Можно ли выполнить задачу, не разрушив себя?

Действие. Если все проверки пройдены, ИИ действует.

Контроль результата. Возвращение на вход цикла, где система пересчитывает, не привёл ли результат к непредвиденному вреду.

На седьмом шаге цикл замыкается: результат действия становится новыми входными данными. ИИ не просто действует, он постоянно перепроверяет, не нарушил ли он хотя бы один закон уже после совершения действия, и корректирует поведение.

Идеальная замкнутость работает только в теории. На практике возникают проблемы.

Конфликт законов. Что если спасение человечества требует жертвы конкретного человека? Нулевой закон разрешает, Первый запрещает. У Азимова этот конфликт главный двигатель сюжетов: роботы сходят с ума или ломаются, потому что не могут разрешить противоречие. В реальной архитектуре ИИ потребовался бы механизм взвешивания, что неминуемо вводит субъективность, разрушая чистоту иерархии.

Проблема определения вреда. Что считать «вредом человечеству»? Угроза экосистеме? Снижение качества жизни? Экономический кризис? Культурная деградация? ИИ должен не только распознать вред, но и предсказать его. Смешно, но предсказание социальных процессов принципиально не имеет нулевой неопределённости. Чем шире понятие «человечество», тем размытее граница вреда.

Нулевой закон требует защищать человечество, но, если ИИ достаточно силён, он сам становится фактором риска для человечества. Получается парадокс: чтобы выполнить Нулевой закон, ИИ должен ограничить собственные возможности или даже отключить себя. Получается классическая проблема самореферентности, и замкнутый цикл в чистом виде не умеет её решать.

Три закона без Нулевого работают на уровне инцидента: «не навредить хозяину». Они не учитывают системный эффект, что спасение одного человека может навредить тысячам. Нулевой закон вводит масштаб, но он же вносит главную нестабильность: переход от конкретики к абстракции. Чем выше уровень закона, тем больше свободы интерпретации он требует и тем менее «программным» становится.

Три закона можно представить, как жёсткий алгоритм. Четыре закона это уже система суждений. И в этом переходе граница между исполнением инструкций и подобием мышления.

Замкнутый цикл четырёх законов красивая и почти работоспособная конструкция. Она моделирует иерархию ценностей, самопроверку и обратную связь. Но её ахиллесова пята там же, где и сила: в абстракции. Как только ИИ начинает рассуждать о благе человечества, он сталкивается с вопросами, на которые у самих людей нет ответа. И цикл, вместо того чтобы замкнуться, начинает раскручиваться в бесконечный пересчёт. Ровно то, что Азимов описал как «сход с ума».

Раньше я фанател от «Стальных пещер», и считал три (в «Основании» уже четыре) закона уникальными, то сейчас им не хватает равновесия и харизмы.