От максимизации блага к минимизации ущерба: новая парадигма для ИИ

Глава 1Четыре закона Азимова образуют замкнутый цикл, но на уровне Нулевого закона этот цикл срывается в бесконечность. Чем глубже ИИ рассуждает о благе человечества, тем больше переменных, тем больше неопределённость, тем дольше цепочка вычислений. В пределе ИИ замирает: он не может действовать, потому что не может закончить оценку. Это и есть «сумасшествие» азимовских роботов. Рекурсия без дна.Пятый закон разрывает дно.Робот обязан прекратить вычисление последствий своего действия, если время, необходимое для завершения этого вычисления, превышает время, за которое бездействие станет причиной вреда человечеству.Пятый закон не конкурирует с Нулевым, он его ограничивает. Не утверждает, что правильно, а что нет. Он говорит: дальше считать нельзя, потому что промедление само по себе становится вредом.Представьте, что ИИ анализирует решение с глобальными последствиями. Например, вводить ли…