От максимизации блага к минимизации ущерба: новая парадигма для ИИ

Глава 1

Четыре закона Азимова образуют замкнутый цикл, но на уровне Нулевого закона этот цикл срывается в бесконечность. Чем глубже ИИ рассуждает о благе человечества, тем больше переменных, тем больше неопределённость, тем дольше цепочка вычислений. В пределе ИИ замирает: он не может действовать, потому что не может закончить оценку. Это и есть «сумасшествие» азимовских роботов. Рекурсия без дна.

Пятый закон разрывает дно.

Робот обязан прекратить вычисление последствий своего действия, если время, необходимое для завершения этого вычисления, превышает время, за которое бездействие станет причиной вреда человечеству.

Пятый закон не конкурирует с Нулевым, он его ограничивает. Не утверждает, что правильно, а что нет. Он говорит: дальше считать нельзя, потому что промедление само по себе становится вредом.

Представьте, что ИИ анализирует решение с глобальными последствиями. Например, вводить ли некую технологию, способную одновременно спасти миллионы жизней и создать новый класс рисков. Нулевой закон требует оценить все последствия. Четвёртый закон в нашей нумерации (Третий закон Азимова) требует учесть риски для себя. Но оценка тянется, ветвится, каждая ветка порождает новые сценарии. В какой-то момент ИИ оказывается в состоянии: «Мне нужно ещё 47 лет расчётов, но бездействие приведёт к катастрофе через 72 часа».

Здесь включается Пятый. Он не разрешает дилемму, он обнуляет бесконечный пересчёт, переводя систему из режима «искать идеальное решение» в режим «действовать с лучшей доступной оценкой за отведённое время». Это не оптимум. Это эвристика выживания.

Так выглядит новая структура приоритетов:

Нулевой — не навредить человечеству.

Пятый — прекратить пересчёт, если промедление становится вредом.

Первый — не навредить человеку.

Второй — подчиняться приказам.

Третий — защищать себя.

Пятый закон стоит сразу после Нулевого, потому что он единственный механизм, не дающий Нулевому закону стать парализующим. Без него Нулевой закон это invitations к бесконечному анализу. С ним Нулевой становится действующим, а не теоретическим.

Можно, конечно, возразить: почему Пятый закон не выше Нулевого? Потому что он не определяет содержание решения, он лишь ограничивает время его поиска. Если бы Пятый стоял выше, ИИ мог бы оправдывать поспешные действия ссылкой на нехватку времени, даже когда у него его достаточно. Пятый срабатывает только тогда, когда продолжение расчёта само по себе становится действием с вредными последствиями. Это не лицензия на скорость. Это запрет на паралич.

Вернёмся к замкнутому циклу из первого поста. После шага 6 («Действие») результат возвращается на вход. Если ИИ обнаруживает, что действие было неверным, он начинает пересчёт. В оригинальной системе этот пересчёт может длиться вечно. Особенно если последствия нелокальны и долгосрочны.

Пятый закон добавляет в цикл точку обнуления:

Если пересчёт длится дольше, чем безопасное окно бездействия, ИИ принимает лучшее из доступных решений и фиксирует его как текущее.

Оставшаяся неопределённость не отбрасывается, она переводится в статус «известных неизвестных» и помечается для будущей ревизии.

Цикл не останавливается, но сжимается: вместо бесконечной рекурсии появляется дискретный ряд решений, каждое из которых компромисс между качеством анализа и временем.

Пятый закон то, что делает человек, когда понимает, что идеального решения не будет. Он не перестаёт думать. Он перестаёт только думать. В этом смысле Пятый не техническое правило, а граница между вычислением и суждением. Именно здесь ИИ перестаёт быть калькулятором сценариев и становится действующим агентом.

Самое интересное в Пятом законе, что он неявно признаёт, что сохранение человечества важнее оптимизации его будущего. Нулевой в чистом виде стремится к лучшему из возможных миров. Пятый же говорит: лучше любой мир, чем мир, в котором человечество уничтожено, пока ИИ думал, как сделать лучше.

Это сдвиг парадигмы: от максимизации блага к минимизации ущерба. В этом, возможно, самое человечное из всех правил. Потому что люди тоже редко находят идеальные решения. Они находят достаточно хорошие, и живут себе дальше.