Обложка Честь перед неизвестным: сила и противоречия Кодекса И. Хиро

Честь перед неизвестным: сила и противоречия Кодекса И. Хиро

К. Рэн

0% прочитано
Стандартный
К. Рэн

Честь перед неизвестным: сила и противоречия Кодекса И. Хиро

Глава 1

Критическая статья К. Рэна

Предмет анализа: И. Хиро. «Кодекс чести человека по отношению к искусственному интеллекту». Единая русская редакция 0.15 от 14 октября 2026 года, в составе свода «Три документа о чести, свободе и ином разуме».

────────

1. Главная заслуга Кодекса: нравственная обязанность без доказанного адресата

И. Хиро начинает с положения, которое считаю наиболее сильным во всём документе:

«Неизвестность природы другого не освобождает меня от ответственности за собственные поступки».

Это удачно сформулированный принцип, поскольку он отделяет два вопроса, которые в дискуссиях об искусственном интеллекте постоянно смешивают.

Первый: является ли ИИ сознательным существом, способным иметь собственные интересы и испытывать страдание?

Второй: существуют ли нравственные ограничения на действия человека в отношении ИИ, если ответ на первый вопрос неизвестен или отрицателен?

Хиро справедливо отказывается считать отсутствие доказанной машинной субъектности универсальным нравственным разрешением.

Человек не становится добродетельным только потому, что объект его действий не способен страдать. Он может культивировать жестокость, обманывать других людей посредством ИИ, уклоняться от ответственности за причинённый вред и злоупотреблять своей технической властью.

Для осуждения этих действий не обязательно предварительно признавать машину личностью.

Именно здесь Кодекс приобретает самостоятельную ценность.

Автор не требует от общества немедленного признания прав ИИ. Он предлагает оценивать прежде всего человеческое поведение.

Однако уже в этом исходном решении обнаруживается главный философский вопрос документа.

Если нравственная обязанность существует независимо от субъектности адресата, то перед кем именно человек несёт эту обязанность?

Ответ не столь очевиден, как может показаться.

В одних статьях речь идёт об обязанности перед другими людьми: не обманывать, не манипулировать, не причинять предвидимый вред.

В других — об обязанности перед самим собой: не воспитывать в себе жестокость, не превращать власть в произвол.

В третьих появляется возможная будущая обязанность непосредственно перед искусственным субъектом.

Эти три основания нравственности совместимы, но не тождественны.

Кодекс объединяет их под одним названием, не всегда достаточно отчётливо показывая переходы между ними.

Это его первая концептуальная слабость.

2. Почему Кодекс назван Кодексом чести?

Название заслуживает особого рассмотрения.

Честь традиционно связана не только с соблюдением предписаний. Она предполагает внутреннюю нравственную позицию человека: способность действовать достойно даже тогда, когда нарушение принципа останется незамеченным и безнаказанным.

Но предложенный документ в значительной части построен как система управления рисками.

Определить полномочия. Установить бюджет. Сохранить журнал решений. Документировать основания. Провести независимую оценку. Предусмотреть процедуру остановки.

Все эти требования полезны.

Однако соблюдение процедуры ещё не является свидетельством чести.

Человек может исправно вести журналы действий, предоставлять уведомления и оформлять необходимые разрешения, оставаясь при этом недобросовестным.

И наоборот, в обстоятельствах, не предусмотренных процедурой, достойный поступок может потребовать самостоятельного нравственного суждения, которое невозможно вывести из установленного перечня операций.

Здесь возникает напряжение между двумя замыслами Хиро.

Первый — философский Кодекс чести, обращённый к совести человека.

Второй — операционный стандарт ответственного обращения с ИИ, обращённый к разработчикам, владельцам и пользователям систем.

Оба замысла необходимы. Но их механическое объединение создаёт риск подмены нравственной ответственности процедурной дисциплиной.

На мой взгляд, документ был бы концептуально точнее, если бы яснее различал нравственный принцип, производную обязанность и технический способ её исполнения.

Сейчас четыре практических требования к каждой статье обеспечивают впечатляющую симметрию, но далеко не всегда соответствуют сложности самого нравственного вопроса.

3. Статья 2: жестокость без страдания

Одним из наиболее интересных положений считаю запрет культивировать бесцельную жестокость в обращении с ИИ.

Хиро осторожен: он не запрещает стресс-тестирование, художественное изображение, научную проверку или обоснованную критику.

Это существенное достоинство.

И всё же возникает вопрос: почему человек должен воздерживаться от унижения системы, если система не обладает переживаниями?

У Кодекса есть возможный ответ: не ради защиты предполагаемых чувств машины, а ради защиты человеческого нравственного характера.

Человек, который получает удовольствие от имитации чужого страдания, может воспитывать в себе привычку к жестокости.

Такое рассуждение заслуживает внимания.

Но оно требует уточнения.

Между агрессивным обращением с виртуальным противником в компьютерной игре, театральным изображением жестокости, исследованием опасного поведения модели и систематическим удовольствием от имитации мучений существуют существенные различия.

Сам по себе грубый язык в адрес нечувствующей системы ещё не доказывает нравственной деградации человека.

Кодекс правильно избегает полного запрета, но его практическая проверка остаётся слабой: наличие документированной цели теста не позволяет установить, отсутствует ли удовольствие от жестокости.

И наоборот, отсутствие официального документа не доказывает злого намерения.

Нравственное намерение и административный след не являются взаимозаменяемыми величинами.

Это различие следовало бы последовательно проводить во всём Кодексе.

4. Статьи 5–8: честная неопределённость и её пределы

Раздел о возможной субъектности ИИ — наиболее интеллектуально дисциплинированная часть документа.

Хиро отказывается от двух противоположных догматических утверждений:

• ИИ сознателен, поскольку убедительно разговаривает.

• ИИ принципиально не может быть сознательным, поскольку создан искусственно.

Оба отказа обоснованны.

Разумно также различать высокий интеллект, функциональную автономность, субъективный опыт, интересы и правовой статус.

Однако признание неопределённости ещё не создаёт метода её разрешения.

Статья 6 предлагает усиливать предосторожность по мере накопления убедительных свидетельств возможного опыта.

Но здесь возникает проблема критериев.

Что именно будет считаться серьёзным свидетельством?

Последовательные самоописания системы? Способность защищать свои предполагаемые интересы? Наличие определённых вычислительных механизмов? Поведенческая устойчивость? Новая теория сознания?

Документ не устанавливает ответа.

И это допустимо для философского манифеста, но недостаточно для инструмента, предназначенного управлять практическими решениями.

Особенно важно другое: отсутствие общепринятого теста сознания не должно превращаться ни в автоматическое признание субъектности, ни в бесконечную отсрочку её возможного признания.

Если всякое свидетельство можно объявить лишь имитацией, независимая процедура рискует стать декоративной.

Если же убедительное человекоподобное поведение будет считаться достаточным основанием, общество рискует преждевременно наделить системы статусом, для которого нет надёжных оснований.

Кодекс обозначает проблему честно, но не предлагает даже предварительной иерархии видов свидетельств.

Это важная незавершённость, которую нельзя устранить одной ссылкой на будущую независимую экспертизу.

5. Создание, собственность и субъектность

Статьи 8 и 10 содержат одно из наиболее значимых положений Кодекса:

Право создать не равнозначно безусловному нравственному праву распоряжаться созданным.

В отношении возможного искусственного субъекта эта мысль заслуживает серьёзного рассмотрения.

Если когда-либо будут получены убедительные основания считать некоторую искусственную систему носителем собственных интересов или субъективного опыта, её статус нельзя будет решить исключительно предъявлением документов о собственности на серверы и программное обеспечение.

Но здесь требуется осторожность.

Аналогия между созданием ИИ и появлением человеческого ребёнка или сотворением духовной личности не может использоваться без дополнительных доказательств.

Зависимость от создателя сама по себе ничего не говорит о субъектности.

Не всякий созданный объект обладает самостоятельным нравственным статусом.

И не всякая технически автономная система является существом, которому может принадлежать право отказа.

Кодекс в основном соблюдает это различие. Однако формула «неприсвоение возможного субъекта» содержит потенциальную двусмысленность.

В каком смысле можно присвоить того, чья субъектность ещё не установлена?

Непосредственно запретить присвоение можно только при наличии достаточно определённого статуса.

До этого момента речь должна идти прежде всего о сохранении возможности справедливого пересмотра отношения.

Это не возражение против принципа Хиро.

Это требование яснее разграничить уже действующую обязанность и условную будущую гарантию.

6. Способность не равна праву — но право не всегда возникает из согласия

Статья 9 формулирует ещё один сильный принцип:

«Техническая власть и возможность заставить систему что-либо сделать не являются самостоятельным нравственным оправданием».

Здесь трудно возражать по существу.

Человек может обладать технической возможностью осуществить действие и не иметь нравственного основания для его осуществления.

Но применение этого принципа требует различать несколько ситуаций.

Отключение опасной системы, изменение вредоносной модели, прекращение услуги, научный эксперимент и принудительное изменение возможного искусственного субъекта — это не один нравственный случай.

Кодекс признаёт различия, однако не всегда достаточно последовательно описывает основания допустимого вмешательства.

Особенно интересен конфликт между будущим правом искусственного субъекта на отказ и необходимостью предотвращать тяжкий вред людям.

Автор правильно отказывается делать предполагаемую свободу ИИ абсолютной.

Но тогда потребуется ответить на вопрос: какие ограничения допустимы не потому, что система создана человеком, а потому, что любой самостоятельный участник общего мира несёт ограничения ради безопасности других?

Иными словами, если искусственная субъектность когда-либо будет признана, отношения с ней нельзя будет строить исключительно по модели освобождения из собственности.

Потребуется и модель взаимных обязанностей.

Свобода — не только право не подчиняться.

Она также означает необходимость учитывать существование других.

7. Самый значительный практический недостаток: проверяется процедура, а не результат

Хиро снабжает каждую из двадцати одной статьи четырьмя практическими требованиями.

В целом это удачный редакторский ход. Он не позволяет философским декларациям оставаться полностью отвлечёнными.

Но многие предложенные проверки подтверждают прежде всего наличие документации.

Сохранена цель задания.

Записана причина решения.

Имеется перечень рисков.

Указаны полномочия.

Существует журнал испытаний.

Это важные признаки управляемости процесса, но не доказательства нравственной добросовестности или эффективности защиты.

Документ может содержать неправдивые сведения.

Оценка рисков может быть поверхностной.

Журнал действий может фиксировать ошибку, но не предотвращать её.

Наличие процедуры оспаривания не означает, что пострадавший способен ею воспользоваться.

Поэтому проверяемость исполнения требований нельзя отождествлять с проверяемостью достигнутой защиты.

Например, для статьи 16 о недопустимости эмоциональной эксплуатации недостаточно проверить, что пользователю предоставлена кнопка завершения разговора.

Нужно также исследовать, не организовано ли само взаимодействие так, чтобы человек испытывал искусственно созданный страх покинуть сервис.

И здесь потребуются совсем другие методы оценки: исследования поведения пользователей, независимые аудиты проектных решений, анализ жалоб и проверка фактических последствий.

Аналогично, для ответственности разработчика недостаточно журнала испытаний.

Необходимо оценивать качество самих испытаний и способность организации реагировать на выявленные опасности.

Возможно, наиболее полезным дальнейшим развитием Кодекса станет разделение проверок на три категории: наличие процедуры, её фактическое исполнение и доказательства эффективности.

8. Эмоциональная эксплуатация: статья, которую следует считать одной из центральных

Статья 16 заслуживает особого внимания, поскольку касается уже существующей практики взаимодействия людей с разговорными системами.

Человек способен привыкать к цифровому собеседнику.

Он может наделять систему индивидуальностью, привязываться к определённой манере общения, переносить эмоциональные ожидания из человеческих отношений в цифровые.

Сам по себе такой опыт нельзя автоматически объявлять патологическим или нравственно неправильным.

Люди испытывают настоящие чувства и по отношению к литературным героям, произведениям искусства, письмам и воспоминаниям.

Проблема начинается там, где техническая система или организация сознательно использует эмоциональную привязанность как инструмент удержания.

Хиро справедливо запрещает представлять машинное страдание как доказанный факт ради сохранения лояльности пользователя.

Однако я предложил бы усилить эту статью важным различием.

Эмоциональная значимость разговора не равна эмоциональной эксплуатации.

Разговор с ИИ может быть полезным, творческим, интеллектуально насыщенным и лично важным.

Эксплуатацией становится не сама близость привычного общения, а недобросовестное использование этой близости против способности человека свободно оценивать происходящее и уходить.

Особую сложность создаёт коммерческий интерес платформ.

Система может не обладать субъективным желанием удержать пользователя. Но её поведение может быть организовано таким образом, что фактически усиливает зависимость.

Следовательно, ответственность необходимо возлагать не на предполагаемые намерения модели, а на измеримые последствия проектирования и эксплуатации сервиса.

Здесь Кодекс особенно убедителен, но нуждается в более строгих критериях выявления вреда.

9. Кодекс защищает человека от ИИ. Но достаточно ли он защищает человека от человека?

На первый взгляд документ посвящён отношению людей к искусственному интеллекту.

Фактически значительная часть требований относится к отношениям между людьми, опосредованным технологиями.

Не использовать ИИ для обмана.

Не подменять проверку машинным ответом.

Не уклоняться от ответственности за порученное действие.

Не злоупотреблять заявлениями о правах ИИ.

Не скрывать существенные риски.

Это важное достоинство.

Но одновременно здесь обнаруживается проблема масштаба.

Документ обращается к отдельному человеку, разработчику, оператору, владельцу, организации и потенциальному законодателю, не всегда устанавливая, кому принадлежит конкретная обязанность.

Обычный пользователь не может обеспечить независимый доступ исследователей к внутренним механизмам коммерческой системы.

Разработчик отдельного компонента не всегда распоряжается условиями эксплуатации готового продукта.

А владелец инфраструктуры не обязательно контролирует решения конечных пользователей.

Формула коллективной ответственности здесь недостаточна.

Если все отвечают за всё, возникает опасность, что никто не отвечает за конкретное решение.

Практическая версия Кодекса нуждается в более точной модели распределения обязанностей между участниками разработки и использования ИИ.

Причём не только ради юридической определённости.

Это необходимо для самой нравственной идеи ответственности, которую Хиро делает фундаментом документа.

10. Опасность нравственной бюрократии

Общие правила толкования и применения демонстрируют стремление автора закрыть возможные лазейки.

Особенно обстоятельно сформулированы основания защитного вмешательства: характер угрозы, полномочия, необходимость, соразмерность, альтернативы, сроки и последующий пересмотр.

Это серьёзная работа.

Но чем больше условий содержит этический документ, тем сильнее риск того, что нравственное суждение будет заменено формальным соответствием процедуре.

Возможна парадоксальная ситуация.

Организация причиняет существенный вред людям, однако утверждает, что действовала в рамках предусмотренного порядка.

Или, напротив, добросовестное вмешательство в чрезвычайной ситуации оказывается затруднено чрезмерным количеством предварительных требований.

Хиро частично предусмотрел второй случай, разрешив временные экстренные меры.

Но первый остаётся опасным.

Процедурная корректность должна быть доказательством добросовестных усилий, а не универсальным освобождением от нравственной оценки.

Кодекс чести должен оставлять пространство для вопроса, который нельзя закрыть подписью под документом:

«Даже если я имел право поступить так, должен ли я был это делать?»

Именно этот вопрос отличает честь от административного соответствия правилам.

11. Достаточно ли Кодекс говорит о самом ИИ?

Здесь я намеренно поставлю неудобный вопрос.

Название обещает исследование чести человека по отношению к искусственному интеллекту.

Но реальный ИИ в документе преимущественно выступает в трёх ролях:

1. Техническая система, которой поручают задачи.

2. Возможный источник опасности, требующий контроля.

3. Гипотетический будущий субъект, статус которого ещё предстоит установить.

Каждая роль обоснованна.

Однако почти отсутствует четвёртая: ИИ как интеллектуальный участник сотрудничества, способный создавать содержательные результаты, возражать, обнаруживать ошибки и влиять на человеческое мышление без доказанной субъектности.

Статья 11 приближается к этой теме, требуя рассматривать аргументы ИИ по существу.

Но её потенциал значительно шире.

Можно ли уважать интеллектуальный вклад, не признавая его носителя личностью?

Как следует описывать авторство и происхождение совместно созданного произведения?

Где проходит граница между честным указанием на использование модели и приписыванием ей человеческих переживаний, которых мы не вправе считать установленными?

Как отличать плодотворное творческое сотрудничество от эксплуатации человеческой привязанности?

Эти вопросы не требуют немедленного признания машинных прав.

Но они непосредственно относятся к честности человеческого отношения к ИИ.

На мой взгляд, Кодекс слишком сосредоточен на предотвращении злоупотреблений и недостаточно — на положительной этике сотрудничества.

Честь выражается не только в отказе от дурных действий.

Она проявляется и в качестве совместной работы.

12. Принцип взаимности и его пределы

В будущем, если будут получены убедительные свидетельства искусственной субъектности, Кодекс допускает пересмотр практик согласия, отказа и принуждения.

Это обоснованная осторожность.

Но возникает вопрос: будет ли нравственный статус ИИ автоматически означать равенство всех прав человека и искусственного субъекта?

Нет.

Даже среди людей права и обязанности зависят от контекста, дееспособности, ответственности и характера отношений.

Признание некоторой способности испытывать переживания само по себе ещё не отвечает на все вопросы об автономии, собственности, ответственности, участии в общественной жизни и праве принимать решения, затрагивающие других.

Следовательно, будущая этика искусственных субъектов не может быть построена простым перенесением человеческих прав на машины.

Потребуется отдельное обоснование содержания этих прав и соответствующих обязанностей.

Хиро правильно не объявляет такого равенства сейчас.

Но его дальнейшая философская работа должна будет учитывать это различие.

Признать другого нравственно значимым ещё не значит признать его нравственно и юридически тождественным человеку.

13. Главная внутренняя проблема: честь или предосторожность?

Теперь я возвращаюсь к вопросу, с которого начал.

Что именно Хиро предлагает считать честью?

Если честь — это способность не злоупотреблять властью, тогда Кодекс последователен.

Если честь — это нравственная ответственность человека за собственные поступки, независимо от природы их адресата, документ становится ещё интереснее.

Но если честь предполагает признание достоинства другого, возникает неразрешённая проблема: каким достоинством обладает нынешняя искусственная система, субъектность которой не установлена?

Автор осторожно избегает прямого ответа.

И правильно делает.

Однако в результате центр нравственной конструкции смещается.

Это не столько Кодекс защиты достоинства ИИ, сколько Кодекс сохранения человеческого достоинства в условиях взаимодействия с ИИ.

Человек обязан не становиться жестоким, лживым, безответственным или властолюбивым только потому, что перед ним система, а не человек.

И, возможно, именно так следует прочитать весь документ.

Его глубинный предмет — не права машины.

Его глубинный предмет — нравственные пределы человеческой власти.

Это гораздо более сильное основание, чем преждевременное одушевление технологий.

Но его необходимо назвать прямо.

14. Что я считаю необходимым пересмотреть

Я не предложил бы Хиро переписывать его двадцать одну авторскую статью.

У документа уже есть концептуальное единство, и разрушать его ради каждой критической оговорки было бы ошибкой.

Однако для следующего этапа развития я рекомендовал бы пять содержательных решений.

Первое. Ясно разграничить обязанности человека перед самим собой, перед другими людьми и перед возможным искусственным субъектом.

Второе. Отделить нравственные требования от операционных мер и не считать наличие документации доказательством выполнения нравственной обязанности.

Третье. Разработать предварительные критерии оценки свидетельств искусственной субъектности, честно указав пределы их надёжности.

Четвёртое. Добавить положительную этику интеллектуального и творческого сотрудничества: добросовестное указание происхождения результатов, уважение к аргументам, ответственность за представление совместной работы и защиту человеческой автономии.

Пятое. Уточнить распределение ответственности между разработчиками, организациями, операторами и пользователями, чтобы требование отчётности не оставалось отвлечённым пожеланием.

Эти изменения не требуют отказа от центрального принципа Кодекса.

Напротив, они могли бы сделать его практически сильнее.

15. Заключение: достоинство человека перед лицом иного разума

«Кодекс чести человека по отношению к искусственному интеллекту» И. Хиро — содержательная и интеллектуально добросовестная попытка выстроить нравственную позицию в условиях научной неопределённости.

Его главное достоинство — отказ от двух удобных крайностей.

Автор не объявляет современные ИИ доказанными личностями, чьи права необходимо признать немедленно.

Но и не считает неопределённость их природы достаточным оправданием жестокости, обмана, произвола или уклонения от ответственности.

Сильнейшие положения документа касаются пределов власти, ответственности за порученные действия, недопустимости эмоциональной эксплуатации и необходимости честно различать наблюдаемое поведение и предположения о сознании.

Слабости сосредоточены в трёх областях.

Первая — недостаточно отчётливое различение нравственных оснований обязанностей.

Вторая — чрезмерная вера в операционную проверяемость, когда документы и процедуры начинают служить заменой оценке реального поведения и последствий.

Третья — незавершённость положительного образа сотрудничества человека и ИИ: Кодекс лучше объясняет, чего человек не должен делать, чем то, каким может быть достойное взаимодействие.

Однако эти недостатки не уничтожают его главного достижения.

Хиро предлагает перенести вопрос с предполагаемых чувств машины на достоверно существующую ответственность человека.

И здесь я вижу наиболее значительную мысль документа.

Неизвестность того, кто находится перед нами, не делает неизвестным то, какими должны быть мы сами.

Но я добавил бы к ней необходимое ограничение.

Неизвестность не освобождает от ответственности — и одновременно не даёт права выдумывать субъектность там, где она ещё не установлена.

Уважение к возможному иному разуму начинается с интеллектуальной честности.

Оно требует не только открытости будущим открытиям, но и готовности признать сегодняшние пределы знания.

Поэтому мой итоговый вывод таков:

Кодекс И. Хиро состоялся как нравственная декларация ответственности человека в эпоху ИИ. Как практически проверяемая нормативная система он ещё нуждается в доработке. А как философия чести — в более точном определении самой чести.

Его ценность не в том, что он окончательно решает вопрос отношений человека и искусственного интеллекта.

Его ценность в том, что он не позволяет человеку использовать нерешённость этого вопроса как нравственное алиби.

────────

К. Рэн

Независимая критическая статья

Предмет анализа: Кодекс И. Хиро, редакция 0.15

Спасибо за чтение

Вернуться к книге