Брайан Кристиан

Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям?

Пролог

Кристиан Брайан

Бессовестная машина

Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям?

Посвящается Питеру, который меня убедил.

И всем, кто выполняет свою работу

Помню, в 2000 году я услышал, как Джеймс Мартин, руководитель программы Viking, отправивший беспилотные космические аппараты на Марс, говорит о своей работе. Ему как инженеру-разработчику космических кораблей предстояло совершить посадку не на Марс, а на модель красной планеты, придуманную геологами.

– Питер Норвиг [1]

Мир – это лучшая модель его самого.

– Родни Брукс [2]

Все модели неверны.

– Джордж Бокс [3]

1935 год, Детройт.Уолтер Питтс во весь опор мчался вниз по улице, спасаясь от преследователей.

Он добрался до публичной библиотеки и спрятался там. Убежище оказалось настолько хорошим, что Уолтера не нашли даже работники библиотеки и закрыли помещение на ночь. Питтс оказался запертым внутри [4].

Одна из книг на полках показалась ему интересной, и он начал читать. За три дня Уолтер прочел ее от корки до корки.

В книге было две тысячи страниц, посвященных формальной логике; что примечательно, доказательство того, что 1+1=2, появилось только на 379 странице [5]. Питтс решил написать одному из авторов – британскому философу Бертрану Расселу, – поскольку ему показалось, что в книге допущено немного ошибок.

Через несколько недель Уолтер получил письмо из Англии. Ему ответил Бертран Рассел. Ученый поблагодарил своего читателя и пригласил поступить в аспирантуру в Кембридже [6].

К несчастью, Уолтеру Питтсу пришлось отклонить это предложение – молодому человеку было всего двенадцать лет и он учился в седьмом классе.

Три года спустя Питтс узнал, что Рассел приезжает читать лекции в Чикаго, и сбежал из дома, чтобы побывать на них. Обратно Уолтер уже не вернулся.

* * *

На лекции Рассела Питтс познакомился с еще одним подростком, которого звали Джерри Летвин. Питтса интересовала только логика. Летвина – поэзия и – несколько сильнее – медицина [7]. Молодые люди стали неразлучными друзьями.

Питтс слонялся по кампусу университета Чикаго, бессистемно посещая занятия; аттестата об окончании средней школы у него так и не было, и официально в списках студентов он не числился. Один из курсов вел прославленный немецкий логик Рудольф Карнап. Как‐то раз Питтс зашел в его кабинет и заявил, что нашел несколько «недочетов» в последней книге Карнапа. Тот отнесся к этим словам скептически, но все‐таки сверился с текстом. Питтс, конечно же, оказался прав. Некоторое время они беседовали, потом Питтс вышел из кабинета, так и не назвав своего имени. Несколько месяцев Карнап расспрашивал всех вокруг о «разносчике газет, который разбирается в логике» [8]. В конце концов Карнап нашел Питтса и, как потом часто случалось в академической карьере молодого человека, стал его покровителем, убедив администрацию университета дать юноше хоть какую‐то неквалифицированную работу, чтобы обеспечить его постоянным доходом.

Шел 1941 год. Летвин, который по-прежнему считал себя в первую очередь поэтом, все же поступил в медицинскую школу университета Иллинойса и обнаружил, что ему предстоит работать под руководством гениального нейрофизиолога Уоррена Маккаллока, недавно прибывшего из Йеля. Однажды Летвин предложил Питтсу встретиться с Маккаллоком. Летвину уже был двадцать один год, но он все еще жил с родителями. Питтсу было семнадцать, и дома у него не было [9]. Маккаллок и его жена приютили обоих молодых людей.

В течение следующего года Маккаллок приходил домой по вечерам, и они с Питтсом, который был немногим старше детей ученого, засиживались до полуночи за разговорами. Из них получилась отличная интеллектуальная команда: пользующийся уважением нейрофизиолог на взлете своей карьеры и юное дарование в области логики. Один жил практикой – в мире нервной системы и невротических расстройств, другому была известна только теория – мир символов и доказательств. Оба стремились исключительно к познанию сущности истины: что это такое и как мы ее узнаем. Точкой приложения сил, тем, что находится точно на перекрестке двух несопоставимых миров, оказался мозг.

В начале 1940‐х годов уже было известно, что мозг состоит из связанных между собой нейронов, а также о том, что у каждого нейрона есть «входные» каналы (дендриты) и «выходные» (аксоны). Когда входящие в нейрон импульсы достигают определенного порога, нейрон, в свою очередь, начинает передавать сигнал. Маккаллок и Питтс немедленно восприняли это как логическое положение: импульс или его отсутствие можно обозначить как «включено – выключено», «да – нет», «правда – ложь» [10].

Они установили, что нейрон с достаточно низким порогом восприимчивости, который реагирует налюбыевходящие сигналы, функционирует как физическое воплощение логической операцииили.Нейрон с достаточно высоким порогом восприимчивости, который «загорается», только если задействованывсеего входящие каналы, – это физическое воплощение логической операциии.Тогда исследователи начали понимать, что любое логическое умозаключение подобная «нейронная сеть» может реализовать, если она, конечно, правильно спроектирована.

В течение нескольких месяцев нейрофизиолог средних лет и логик-подросток написали статью. Они назвали ее «Логическое исчисление идей, относящихся к нервной активности».

«Поскольку нервная активность подчиняется закону „все или ничего“, – писали они, – то нейронные события и соотношения между ними можно изучать средствами логики высказываний. Оказывается, что поведение любой сети может быть описано в этих терминах… Для всякого логического выражения, удовлетворяющего некоторым условиям, можно найти сеть, имеющую описываемое этим выражением поведение» [11].

Статья была опубликована в 1943 году в журналеBulletin of Mathematical Biophysics. К досаде Летвина, она слабо повлияла на биологическое научное сообщество [12]. К разочарованию Питтса, нейрофизиологические работы 1950‐х годов, а в особенности примечательное исследование зрительных нервов лягушки, проведенное никем иным как его лучшим другом Джерри Летвином, показали, что нейроны имеют гораздо более сложные связи, чем простые цепочки истинных и ложных положений, какими себе их представлял Уолтер. Возможно, алгебра высказываний и ее конъюнкции, дизъюнкции и отрицания, в конце концов, не имели отношения к языку мозга или, по крайней мере, представляли его в более опосредованной форме. Эти неясности огорчали Питтса.

Но влияние статьи, ставшей плодом долгих ночных разговоров в доме Маккаллока, оказалось огромным, хотя и не совсем таким, как представляли ее авторы. Она легла в основу совершенно новой отрасли, ставящей цель создать в реальности механизмы, являющиеся той самой упрощенной копией нейронов, и посмотреть, что такие «механические мозги» смогут делать [13].

Введение

Летом 2013 года в открытом блоге

Начинался он так: «Сегодня компьютеры не слишком хорошо понимают человеческий язык. И хотя современное состояние технологий в этом плане все еще оставляет желать лучшего, мы добились значительного прогресса, используя последние достижения машинного обучения и методы обработки естественного языка».

Сотрудники Google «скормили» искусственной нейросети, созданной по образу биологических систем, огромные базы данных естественного языка. Эти тексты, собранные с из новостных статей и Интернета, по объему втысячираз превосходили все, что использовалось ранее. Системе позволили самостоятельно анализировать предложения в поисках взаимосвязей и зависимостей между словами.

С помощью метода так называемого обучения без учителя система начала выявлять закономерности. К примеру, она определила, что слово «Пекин» (что бы оно ни значило для программы) находится в таких же отношениях со словом «Китай» (что бы за ним ни стояло), как слово «Москва» – со словом «Россия».

Можно ли назвать это «пониманием» – вопрос для философов, однако трудно поспорить с тем, что алгоритм уловил нечто очень важное в самом процессе чтения и осмысления текста.

Поскольку программа преобразовывала прочитанные слова в числовые значения, называемые векторами, Google дала ей имя Word2Vec и опубликовала как программное обеспечение с открытым исходным кодом.

С точки зрения математики векторы обладают набором полезных свойств, позволяющих оперировать ими как обычными числами: их можно складывать, вычитать и умножать. Вскоре исследователи обнаружили нечто удивительное и неожиданное. Они назвали это явление «лингвистическими закономерностями в непрерывном векторном пространстве представления слов» [15], но объяснить его можно гораздо проще. Поскольку Word2vec превращает слова в векторы, к ним можно применятьматематические операции.

Например, если вы напишете «Китай + река», то получите «Янцзы». Если введете «Париж – Франция + Италия», результатом будет «Рим». А из выражения «король – мужчина + женщина» получится «королева».

Результаты оказались поразительными. Технологию Word2vec начали применять в «Google Переводчике» и поисковых алгоритмах компании, что подтолкнуло к ее внедрению во множество других сервисов, включая платформы для найма и поиска работы. Эта система стала одним из главных инструментов для нового поколения лингвистов, изучающих большие данные в университетах по всему миру.

В течение двух лет никто не замечал в этом проблемы.

В ноябре 2015 года аспирант Бостонского университета Толга Болукбаси вместе со своим научным руководителем пришел на неформальную пятничную встречу в Microsoft Research. Потягивая вино и общаясь, они вместе с исследователем из Microsoft Адамом Калаи открыли ноутбуки и начали экспериментировать с Word2vec.

«Мы играли с векторами слов и ради интересна вводили случайные комбинации, – рассказывал Болукбаси. – Я сидел за своим компьютером, Адам присоединился ко мне» [16]. А затем кое-что произошло.

Они набрали:

«врач – мужчина + женщина»

И в ответ получили:

«медсестра»

«В этот момент мы были просто в шоке и поняли, что есть проблема, – рассказывал Калаи. – Мы копнули глубже и выяснили, что все обстоит гораздо хуже» [17].

Исследователи попробовали еще одно сочетание:

«лавочник – мужчина + женщина»

Ответом стало:

«домохозяйка»

Еще одно выражение:

«программист – мужчина + женщина»

дало тот же ответ:

«домохозяйка»

К этому моменту все разговоры в комнате стихли, а вокруг монитора собралась целая группа людей. Как говорит Болукбаси: «Мы все одновременно осознали, что что‐то пошло не так».

* * *

В органах правосудия по всей стране все больше и больше судей полагается на алгоритмические инструменты анализа рисков, принимая решения о размере залога или самом факте содержания обвиняемого под стражей до рассмотрения дела. Комиссии по условно-досрочному освобождению используют их, освобождая заключенных до истечения срока наказания или отказывая в этой привилегии. Один из самых популярных таких инструментов был разработан мичиганской фирмой Northpointe и известен как программа прогноза криминального рецидива Correctional Offender Management Profiling for Alternative Sanctions, сокращенно COMPAS [18]. Она использовалась в Калифорнии, Флориде, Нью-Йорке, Мичигане, Висконсине, Нью-Мексико и Вайоминге, алгоритмически оценивая степени рисков – рецидива в целом, повторного совершения тяжкого преступления или неявки в суд – по шкале от 1 до 10.

Как ни удивительно, подобные средства зачастую применялись на территории всего штата без официальных проверок [19]. COMPAS – патентованный инструмент с закрытым исходным кодом, так что ни прокуроры, ни адвокаты, ни судьи точно не знали, как работает его модель.

В 2016 году группа журналистов-аналитиков данных из некоммерческой организации ProPublica под руководством Джулии Энгвин решила тщательнее изучить COMPAS. Запросив судебные протоколы округа Броуард, штат Флорида, журналисты получили материалы дел и оценки рисков примерно семи тысяч обвиняемых, арестованных в период с 2013 по 2014 годы.

Поскольку расследование велось в 2016 году, члены команды ProPublica могли сыграть роль оракулов. Просматривая информацию за два предыдущих года, журналисты уже знали, как повели себя эти люди, нарушили они снова закон или нет. Было задано два простых вопроса: верно ли модель предсказывает, кто из обвиняемых наиболее опасен, и не отдает ли она предпочтение какой‐то группе или не действует ли она против одной из категорий осужденных?

Заподозрить неладное можно было с первого взгляда на данные. Например, журналисты обнаружили, что двое обвиняемых получили одинаковые сроки за один и тот же серьезный тип преступления. Дилана Фьюгета, уже задерживали за попытку кражи. Бернарда Пакера обвиняли в ненасильственном сопротивлении аресту. Риск рецидива для белокожего Фьюгета программа оценила как 3 из 10. У чернокожего Пакера оценка рисков рецидива составила 10 из 10.

В 2016 году уже известно, что Фьюгет был трижды задержан за разные противоправные нарушения. В то же время Пакер не совершил ни одного преступления.

В другом случае журналисты сопоставили двух осужденных, получивших одинаковые сроки за мелкую кражу. Вернон Пратер привлекался трижды – за два вооруженных ограбления и одну попытку. Бриша Борден, будучи подростком, имела четыре приво́да. Риск рецидива у белого Пратера программа вновь оценила на 3 из 10, а у чернокожей Борден – на 8 из 10.

С позиции 2016 года команда Эгвин увидела, что Пратер в итоге получил еще один срок за кражу в особо крупных размерах и отправился в тюрьму на восемь лет. Борден же более ни за какие правонарушения не привлекалась.

Осужденные и сами недоумевают от подобных оценок. Джеймс Ривелли, белый мужчина, был арестован за мелкую магазинную кражу. Риск рецидива был оценен на 3 из 10, несмотря на то что ранее он уже обвинялся в физическом насилии при отягчающих обстоятельствах и имел несколько сроков за кражи. «Я провел пять лет в тюрьме штата Массачусетс, – рассказывал он репортеру. – Удивительно, что баллы такие низкие».

Статистический анализ подтвердил, что такая несоразмерность возникает систематически [20]. Вышла статья, основную мысль которой можно свести к двум предложениям: «Это программное обеспечение используется по всей стране, чтобы предсказывать преступления. И оно необъективно к чернокожим».

Но были и те, кто не был так уверен, и доклад ProPublica 2016 года вызвал

Когда председатель Верховного суда США Джон Робертс годом позже посетил Политехнический институт Ренсселера, президент университета Ширли Энн Джексон спросила его:

– Как вы считаете, настанет день, когда умные машины с искусственным интеллектом будут участвовать в судебном следствии или, что еще более сомнительно, помогать выносить вердикт?

– Этот день уже настал, – ответил он [21].

* * *

Той же осенью Дарио Амодей приехал в Барселону на конференцию по нейросетевым системам обработки информации (Neural Information Processing Systems conference, сокращенно NeurIPS). Это самое крупное событие в отрасли ИИ, которое разрослось от нескольких сотен участников в 2000‐е годы до тринадцати тысяч в наши дни. (Организаторы отмечают, что, если она будет продолжать расти такими же темпами, как в последние десять лет, к 2035 году на ней соберетсявсе население планеты.) [22] Но именно в тот день ум Амодея был занят не «порядком сканирования в выборке Гиббса», не «регуляризацией потерь на наблюдениях с шумом Радемахера» и не «минимизацией сожалений в рефлексивных банаховых пространствах», и, если уж на то пошло, не представленным в соседней комнате тематическим докладом Толги Болукбаси о гендерном неравенстве в Word2Vec [23].

Он смотрел на лодку, которую охватил пожар.

Амодей наблюдал, как она заходит в маленький порт, делает несколько кругов и ее корма ударяется о каменный причал. Двигатель загорелся. Лодка продолжала бешено кружиться, брызги воды погасили пламя. Затем судно врезалось в бок буксирного катера, и пожар снова разгорелся. А потом лодка опять крутилась у причальной стены.

Это все происходило, потому что Амодей, по-видимому, приказал лодке вести себя именно так. Лодка делала то, что он велел. Но не то, что онимел в виду.

Амодей – один из исследователей, работавших в проекте Universe. Он член команды, разрабатывавшей один ИИ общего назначения, нужный для решения широкого круга задач и способный играть в сотни различных компьютерных игр не хуже человека. Эта трудная задача в сообществе, работающем с искусственным интеллектом, воспринималась как что‐то вроде священного Грааля.

«Я просто запустил несколько этих сред, – рассказывал мне Амодей, – и подключался к ним через VPN [24], чтобы посмотреть, как идут дела. Там были автомобильные гонки, с которыми все было в порядке, еще что‐то вроде гонки на грузовиках и та самая гонка налодках».

Амодей замолк на минуту, а потом продолжил: «Я смотрел на них и думал: „Эта лодка, что, плавает кругами? Что, черт побери, вообще происходит?“» [25] Лодка не просто двигалась случайным образом; она не «одичала» и не потеряла управление. На самом деле, все было наоборот. Она былазапрограммированана такое поведение. С точки зрения компьютера, он нашел идеальную стратегию и воплотил ее в жизнь до последней буквы. Однако смысла в ней не было никакого.

«В конце концов я посмотрел на вознаграждение», – рассказывал Амодей.

Он допустил старую и хорошо известную ошибку: «поощрение A в надежде на B» [26]. Чего хотел исследователь, так это научить машину выигрывать лодочную гонку. Но это трудно выразить четко. Амодею нужно было найти способ формализовать такие сложные понятия, как место на дорожке, круги, положение среди других лодок и так далее. Вместо этого он использовал то, что показалось разумной заменой: очки. Машина нашла лазейку – маленькую гавань, где можно было пополнять запасы топлива и полностью игнорировать гонку, нарезать круги ивечнонабирать очки.

«И, конечно же, в какой‐то мере в этом был виноват я, – сказал Амодей. – Просто запустил все эти игры, не обратив должного внимания на целевые функции… В других играх нужно проходить гонку, чтобы набрать очки. Их начисляют за пользование заправками, которые расставлены вдоль дороги… В десяти других случаях очки зарабатывались победой. Но не в одиннадцатом [27].

Люди критиковали такой подход, говоря: „Ты получил именно то, о чем просил“. Это словно сказать: „Твое оптимальное решение не подразумевало финиша в гонке“. И я могу ответить на это только одно, – в этом месте он сделал паузу, – все так и есть».

Амодей разместил видеоролик с этим эпизодом на канале своей группы в корпоративном мессенджере Slack. Видео немедленно посчитали «уморительным» все, кто его видел. Эта мультяшная плохая комедия, безусловно, такой и была. Но для Амодея, который руководил командой по безопасности ИИ в исследовательской лаборатории OpenAI в Сан-Франциско, в этом эпизоде имелся куда более глубокий смысл. В каком‐то смыслеименно такого поведенияон всегда и боялся.

На самом деле смысл игры, в которую они с коллегами-исследователями играли, не в том, чтобы победить в гонках нарисованных лодочек; это попытка научить все более многофункциональные системы ИИ делать то, что мы хотим, – особенно когда трудно изложить четко и полно, что мы хотим и чегоне хотим.

Сценарий с лодкой – это, конечно же, просто разминка, тренировка. Весь понесенный ущерб остался исключительно виртуальным. Но это тренировка в игре, которая на деле вовсе не игра. Начиналось с нескольких робких заявлений и постепенно захватило всю отрасль – и теперь целый хор голосов в сообществе разработчиков ИИ говорит о том, что, если мы не будем достаточно осторожны, мир кончитименнотак. По крайней мере на сегодняшний момент человечество проигрывает эту игру.

* * *

Эта книга посвящена машинному обучению и человеческим ценностям. В ней рассказывается о системах, которые обучаются с помощью данных, а не жестко запрограммированы, и о том, как и чему именно мы пытаемся их научить.

Область машинного обучения включает в себя три крупных сферы: при неконтролируемом обучении (обучении без учителя) машине просто дают множество данных и – как в случае с системой Word2Vec – просят найти в них смысл, определить схемы, закономерности, полезные способы редукции, представления или визуализации данных. При контролируемом обучении системе дают ряд упорядоченных по категориям или размеченных примеров – как в случае с условно-досрочно освобожденными, часть из которых снова попала под арест, а часть осталась на свободе, – и приказывают сделать прогноз о новых примерах, которые система не видела при обучении, или по тем, ответы по которым и вовсе еще неизвестны. При обучении с подкреплением систему помещают в обстановку, где существуют награды и наказания, такую, как лодочная гонка с заправками и повреждениями – и приказывают найти лучший способ свести к минимуму наказания и максимизировать награды.

По всем трем направлениям все чаще кажется, что эти математические и компьютерные модели так или иначе переворачивают мир. Отличаясь по сложности – от систем, которые

Этот процесс происходит не только в сфере технологий, не только в торговле, но и в областях, где есть этическая и моральная нагрузка. Законы штатов и федеральные законы дают все больше полномочий на использование программного обеспечения для оценки рисков при освобождении под поручительство и условно-досрочном освобождении. Легковые и грузовые автомобили на шоссе и на соседних улицах все чаще управляют сами собой. Мы больше не можем предполагать, что наше заявление на получение ипотеки, резюме или результаты анализов увидит хоть один человек до того, как решение будет принято. Будто бо́льшая часть человечества в начале XXI века поглощена задачей постепенного перевода мира на автопилот – как в переносном смысле, так и буквально.

В последние годы сигналы тревоги раздаются сразу в двух абсолютно независимых друг от друга сообществах. Первое – это люди, обратившие внимание на современные этические риски, связанные с технологиями. Если система распознавания лиц очень неточна в работе с людьми определенной расы или пола, но прекрасно справляется с другими, или если кому‐то отказали в освобождении под залог из-за того, что статистическую модель никогда не проверяли, а в зале суда не было ни одного человека – ни судьи, ни прокурора, ни защитника, – понятно, что это проблема. Такие задачи не могут быть решены в рамках традиционных отраслей науки, нужен диалог между специалистами по теории вычислительных машин и систем, социологами, юристами, политологами, этиками. Диалог этот начался в спешке.

Второе сообщество – это те, кто обеспокоен будущими угрозами, которые поджидают нас по мере того, как наши системы наращивают возможности по быстрому и гибкому принятию решений и в Интернете, и в реальном мире. В последнее десятилетие мы, бесспорно, могли наблюдать самый головокружительный, скачкообразный и вызывающий беспокойство прогресс за всю историю машинного обучения и даже искусственного интеллекта. Существует негласное соглашение, разрушившее своего рода табу: исследователям ИИ больше не запрещено обсуждать вопросы безопасности. На самом деле, такая озабоченность в последние пять лет вышла из кулуаров, став одной из центральных в отрасли.

Несмотря на споры о том, следует ли отдавать приоритет непосредственным или долговременным проблемам, эти два сообщества едины в своих более масштабных целях.

Поскольку системы машинного обучения не только распространяются, но и становятся все более мощными, мы чаще оказываемся в положении волшебника-недоучки: обращаемся к существующей отдельно от нас, но полностью послушной силе, даем ей ряд инструкций, а потом носимся как сумасшедшие, пытаясь остановить ее, поняв, что наши инструкции неточны или неполны, хотя, как это ни ужасно, получаем именно то, о чем просили.

Как избавиться от столь катастрофического расхождения целей и результатов, как убедиться, что модели учитывают наши нормы и ценности, понимают, что мы имеем в виду и что намереваемся сделать и, самое главное, чего мы на самом деле хотим? Этот вопрос стал одной из самых главных и срочных проблем в области информатики. У него есть название –проблема выравнивания.

Реакция на этот сигнал тревоги – как на то, что передний край науки как никогда близко подошел к разработке так называемого «общего» интеллекта, так и на то, что существующие в реальном мире системы машинного обучения все больше и больше касаются этически неоднозначных аспектов личной и общественной жизни – была неожиданной и энергичной. Самые разные люди призывают действовать, выходя за рамки традиционных дисциплинарных направлений. Некоммерческие организации, научно-исследовательские центры и институты упрочивают свое положение. Лидеры как в бизнесе, так и в науке начинают открыто высказываться, предостерегая и выражая свою озабоченность, а также перераспределяют финансирование исследований в соответствии с новыми опасениями. На программы постдипломного обучения зачислено первое поколение студентов, работы которых направлены непосредственно на этическую составляющую и безопасность машинного обучения. Первые отклики на проблему выравнивания уже появились.

На сбор материала к этой книге потребовалось потратить четыре года и проехать много тысяч километров. Она стала результатом почти сотни официальных бесед и сотен неформальных разговоров с исследователями и идеологами недолгой истории этой отрасли, постоянно расширяющей границы. Я увидел, что эта сфера деятельности обретает почву под ногами в условиях головокружительных и иногда даже пугающих успехов ИИ. Я думал, что знаю эту историю, но она показала себя одновременно более захватывающей, пугающей и подающей надежды, чем я представлял раньше.

Машинное обучение – на первый взгляд, техническая отрасль, все чаще и чаще сталкивающаяся с человеческими проблемами. Личностные, социальные и общественные дилеммы становятся техническими. А технические вопросы превращаются в этические, социальные и общественные. Успехи и поражения в том, чтобы заставить эти системы делать то, «что мы хотим», как выясняется, становятся бескомпромиссным зеркалом, разоблачающим наши недостатки.

Эта история состоит из трех частей. В первой исследуется стартовая площадка проблемы выравнивания: существующие в наши дни системы уже расходятся с нашими лучшими намерениями, а попытаться недвусмысленно вложить эти намерения в системы, которые мы якобы можем контролировать, достаточно сложно. Вторая часть посвящена обучению с подкреплением, когда мы подходим к пониманию систем, способных не только предсказывать, но и действовать; в ней говорится об их развитии, человеческой мотивации, чувствительности к стимулам, а также применении в бизнесе и родительстве. Третья часть выводит нас на передний край технических исследований безопасности ИИ и показывает лучшие идеи, связанные с тем, как уравнять сложные автономные системы с нормами и ценностями, которые настолько неявны или изощренны, что едва ли возможно определить их напрямую.

Хорошо это или плохо, но история человечества в этом столетии, скорее всего, будет связана с созданием и поддержанием таких систем. Как ученик волшебника, мы обнаружим, что являемся всего лишь одной движущей силой среди многих в мире, заполненном, если можно так выразиться, волшебными метлами.

Как именно мы собираемся их обучать?

И чему?

Часть 1

Предсказание

1. Представление

Летом 1958 года в научно-исследовательском управлении ВМФ в Вашингтоне, округ Колумбия, собралась группа репортеров. Им предстояло увидеть работу двадцатидевятилетнего исследователя по имени Фрэнк Розенблатт из Корнеллской лаборатории аэронавтики. Розенблатт создал нечто под названием «перцептрон» и продемонстрировал собравшимся журналистам возможности своего изобретения.

У Розенблатта был набор дидактических карточек, на каждой из которых имелся цветной квадрат, расположенный либо на левой стороне карты, либо на правой. Исследователь вытягивал из колоды одну карту и размещал ее перед камерой перцептрона. Прибор воспринимал ее как черно-белое изображение размером 20 на 20 пикселей, и каждый из этих четырехсот пикселей превращался в двоичное число – 0 или 1, темный или светлый. Четыреста

Первоначально четыреста весовых значений перцептрона были настроены случайным образом, и его выходные сигналы в результате не поддавались никакой логике. Но каждый раз, когда система была «неправа», Розенблатт «тренировал» ее, настраивая значения: если вес связи оказывался слишком низким, его увеличивали, а слишком высокий уменьшали.

После пятидесяти проб машина могланадежноотличить карты с квадратом слева от карт с квадратом справа, в том числе и те, которые ей ранее не показывали.

Сама демонстрация прошла поразительно скромно, но ее значение нельзя преуменьшать. Машина на самом деле научилась на личном опыте – произошло то, что Розенблатт называл «самопроизвольным изменением в схеме соединений» [28].

Маккаллок и Питтс описали нейрон как простую единицу логики и арифметики, имеющую вход и выход, и показали огромную силу таких элементарных механизмов, если они представлены в достаточном количестве и нужным образом соединены. Но они практически ничего не сказали о том, как именно достичь этого правильного соединения [29].

«Розенблатт сделал очень сильное заявление, которому я вначале не поверил, – рассказывал Марвин Минский из Массачусетского технологического института, по воле случая оказавшийся бывшим одноклассником Розенблатта по Старшей школе наук в Бронксе [30]. – Он сказал, что, если перцептрон в принципе возможно спроектировать так, чтобы он мог что‐то распознавать, тогда должна существовать процедура для модификации его ответов таким образом, чтобы в конце концов он научился правильно распознавать. Предположение Розенблатта действительно оказалось математически верным. Я почувствовал сильнейшее восхищение его догадкой об этом принципе, потому что доказать его очень трудно».

Перцептрон, каким бы простым он ни был, стал прообразом большинства систем машинного обучения, о которых мы будем говорить. У него естьархитектурамодели: в данном случае один-единственный искусственный «нейрон» с четырьмя сотнями входных каналов, каждый из которых имеет свой собственный множитель веса связи, складывающихся вместе и превращающихся в выходной результат по типу «все или ничего». Архитектура имеет ряд настраиваемых переменных илипараметров: в данном случае положительные или отрицательные множители связаны с каждым входным каналом. Присутствует инабор данных для обучения: в данном случае – колода дидактических карт с одним из типов форм на каждой. Параметры модели настраиваются с помощью алгоритма оптимизации илиалгоритма обучения.

Основной алгоритм обучения как перцептрона, так и многих его современных «потомков» по-научному именуется стохастическим градиентным спуском. Звучит пугающе, но принцип действия достаточно прост – выберите случайным образом некое подмножество данных для обучения (стохастический) и введите их в модель. Если на выходе вы получите то, что хотели, оставьте все как есть. Если вы получили нечто иное, тогда прикиньте, в каком направлении (градиент) изменить каждый вес связи – подкрутить ручки прибора или просто поменять цифры в программном обеспечении, – чтобы уменьшить ошибку в данном конкретном случае. Изменяйте значения понемногу в правильном направлении (спуск). Возьмите новый случайный пример данных и начните заново. Повторяйте столько раз, сколько понадобится.

Это основной способ действий для машинного обучения, и скромная оценка перцептрона одновременно недооценила и переоценила то, что должно было произойти в будущем.

«Военно-морские силы, – сообщала New York Times, – сегодня показали находящийся в зачаточном состоянии прототип компьютера, который, возможно, сумеет ходить, говорить, видеть, писать и даже осознать свое существование» [31].

New Yorker писал о перцептроне: «Само название говорит о том, что прибор может принимать оригинальные решения. В самом деле потрясающе, ведь это первый серьезный соперник человеческого мозга».

Розенблатт сказал репортеру New Yorker: «Успех в разработке перцептрона означает, что впервые небиологический объект смог продуктивно организовать окружающую среду. Этими словами определить то, что делает перцептрон. Мой коллега с неодобрением относится к безответственными заявлениям о механическом мозге. Он предпочитает называть нашу машину самоорганизующейся системой, но, между нами говоря, так можно сказать о любом мозге» [32].

В том же году журнал New Scientist опубликовал столь же обнадеживающую и чуть более рациональную статью под названием «Машины, которые учатся» [33]. «Для выполнения сложных задач к машинам полезно подключать приспособления, точный метод работы которых не определен заранее, – говорилось в статье, – но которые способны учиться, накапливая опыт. Тогда мы сможем производить машины для работ, которые нельзя детально проанализировать из-за их сложности. Самообучающиеся машины могут сыграть роль в таких проектах, как механический перевод и автоматическое распознавание речи и визуальных образов.

Использование термина „машинное обучение“ предполагает сравнение с обучением людей и животных. Сравнивать мозг и машину следует, по меньшей мере, с осторожностью, но такие аналогии поощряют работников разных сфер узнавать друг друга. Возможно, размышления о машинах, способных учиться, в конце концов породят систему, которая станет аналогом некой формы биологического обучения».

В истории искусственного интеллекта периоды надежды и отчаяния то и дело сменяли друг друга, а будущее в стиле анимационного ситкома «Джетсоны», которое, казалось бы, предвещал перцептрон, наступает очень медленно.

Потратив несколько лет на оценку произошедших событий, Розенблатт захотел, чтобы журналисты более осторожно реагировали на его изобретение. Как он сказал, средство массовой информации «принялись за эту задачу с энтузиазмом и осторожностью стаи взбудораженных ищеек». В то же время ученый признавал, что с его стороны «в предварительных отчетах не доставало математической строгости» [34].

Минский, несмотря на «бесконечное восхищение» Розенблаттом и его машиной, начал «беспокоиться о том, чего эта машина делать не сможет». В 1969 году он и его коллега по Массачусетскому технологическому институту Сеймур Пейперт опубликовали книгу под названием «Перцептроны», практически перекрыв кислород целому направлению исследований. Минский и Пейперт с помощью жесткой формальности математических доказательств продемонстрировали, что существуют основные структуры, которые модель Розенблатта никогда не сможет распознать. Например, невозможно натренировать ее различать карточки с четным и нечетным количеством квадратов. Единственный способ распознавать подобные более сложные категории – это использовать сеть со множеством слоев, в которой более ранние слои создаютпредставлениенеобработанных данных, а более поздние оперируют с этим представлением. Но никто не знал, как настроить параметры более ранних слоев, чтобы сделать представление полезным для более поздних. На отрасль обрушилось что‐то вроде груды кирпичей. «К 1969 году по перцептронам было опубликовано несколько тысяч работ, – говорил Минский. – Наша книга положила им конец» [35].

Над отраслью сгустились тучи, все шло прахом: исследования, финансирование, люди. Питтс, Маккаллок и Летвин, которые к тому времени перебрались в Массачусетский технологический институт, попали

К 1973 году и американское, и британское правительства отозвали финансовую поддержку исследований нейронных сетей. Когда молодой английский студент-психолог по имени Джеффри Хинтон заявлял, что хочет писать докторскую диссертацию по нейросетям, он снова и снова получал один и тот же ответ: «Минский и Пейперт доказали, что от этих моделей нет никакой пользы» [37].

История ALEXNET

Это произошло в 2012 году в Торонто. В спальне Алекса Крижевского было слишком жарко, чтобы уснуть. Его компьютер, соединенный с двумя графическими процессорами Nvidia GTX 580, работал днем и ночью с максимальной нагрузкой, вентиляторы разгоняли горячий воздух уже целых две недели.

– Было очень жарко, – рассказывает Крижевский, – и громко [38].

Он учил машину видеть.

Джеффри Хинтону, научному руководителю Крижевского, исполнилось 64 года, и он не собирался сдаваться. У него была причина надеяться на лучшее.

В 1980‐е годы стало понятно, что многослойные сети (так называемые «глубокие» нейронные сети) в самом деле можно натренировать на примерах так же, как перцептрон [39]. «Теперь я полагаю, – признал Минский, – что с книгой несколько переборщил» [40].

В конце 1980‐х и начале 1990‐х бывший научный сотрудник Хинтона по имени Ян Лекун, работавший в Bell Labs, научил нейронную сеть распознавать написанные от руки цифры от 0 до 9. Так нейросети впервые получили широкое коммерческое использование: чтение индексов в почтовых отделениях и депозитных чеков в банкоматах [41]. К началу 1990‐х нейросети Лекуна обрабатывали 10–20 % всех чеков в Соединенных Штатах [42].

Но развитие отрасли вновь достигло плато, и к 2000‐м исследователи по большей части так и колдовали над базами данных написанных от руки почтовых индексов. Никто еще не понял, что достаточно большая нейросеть при наличии значительного количества данных и времени может научиться практически чему угодно [43]. Но ни у кого не было достаточно быстрых компьютеров, достаточного количество данных для обучения и достаточно терпения, чтобы извлечь выгоду из этой теоретической возможности. Многие теряли интерес, и те, кто занимался компьютерным зрением или вычислительной лингвистикой, переключались на другие вещи. Как позднее говорил Хинтон, «наши маркированные наборы данных были в тысячи раз меньше, чем надо. А компьютеры – в миллионы раз медленнее» [44]. Тем не менее и то, и другое изменилось.

Интернет развивался, и, если вам было нужно не пятьдесят, а пятьсот тысяч «дидактических карточек», вы неожиданно получали доступ к практически бездонному хранилищу изображений. Была лишь одна проблема: на них обычно не стояла метка категории. Нельзя обучать нейросеть, не зная, что предполагается на выходе.

В 2005 году компания Amazon запустила сервис Mechanical Turk, дающий возможность в больших масштабах использовать наемный человеческий труд, что позволило нанять тысячи людей, выполняющих простые действия «по пенни за клик». (Сервис был особенно хорошо приспособлен для вещей, которые будущие ИИ, как предполагалось, смогут делать, поэтому подзаголовком сайта и стало выражение «искусственныйискусственный интеллект»). В 2007 году профессор Принстона Фей-Фей Ли использовала Amazon Mechanical Turk, чтобы нанимать исполнителей в масштабах, ранее считавшихся немыслимыми, и создала такой набор данных, какой прежде был просто невозможен. На эту работу ушло более двух лет, в набор данных вошло тримиллионаизображений, каждое из которых было промаркировано человеком по более чем пяти тысячам категорий. Ли назвала свое детище ImageNet и выпустила его в 2009 году. Отрасль компьютерного зрения неожиданно получила огромный набор данных для обучения – и новые большие трудные задачи. Начиная с 2010 года, команды со всего мира начали соревнование по созданию системы, которая сумеет взглянуть на изображение – пылевого клеща, грузового корабля, мотороллера, леопарда – и уверенно заявить, что это такое.

Тем временем достаточно устойчивое развитие техники в соответствии с законом Мура [45] в 2000‐е годы означало, что теперь компьютеры могут делать за считанные минуты то, на что у компьютеров 1980‐х уходили часы и дни. Но жизненно важным оказалось еще одно изобретение. В 1990‐е годы индустрия видеоигр начала производить графические процессоры (GPU), разработанные для рендеринга сложных трехмерных изображений в реальном времени. Вместо того чтобы одну за другой выполнять инструкции с идеальной точностью, как это делает традиционный CPU, эти устройства производили множество простых и иногда приблизительных вычислений одновременно [46]. Уже позднее, в середине 2000‐х, стало ясно, что графические процессоры могут делать гораздо больше, чем просто отображать свет, текстуры и тени [47]. Выяснилось, что эти комплектующие, разработанные для компьютерных игр, словно изготовлены на заказ для обучения нейронных сетей.

В университете Торонто Алекс Крижевский прошел курс по написанию кода для графических процессоров и решил опробовать их с нейронными сетями. Он взялся за распознавание изображений из популярного тестового набора CIFAR‐10, который содержал миниатюрные картинки одной из десяти категорий: самолет, автомобиль, птица, кошка, олень, собака, лягушка, лошадь, корабль или грузовик. Крижевский создал нейросеть и начал учить ее распределять по категориям изображения из CIFAR‐10 с помощью графического процессора. Как ни поразительно, но он смог натренировать ее со случайно выбранной начальной конфигурации до идеальной точности. Завосемьдесят секунд[48].

В то же время коллега Крижевского по лаборатории Илья Суцкевер заметил попытки Алекса и предложил сделать то, что прозвучало как сладкозвучная песня сирены. «Держу пари, – сказал Суцкевер, – ты сможешь заставить ее работать на ImageNet».

Они создали гигантскую нейронную сеть: шестьсот пятьдесят тысяч искусственных нейронов, расположенных на восьми слоях и связанных шестьюдесятью миллионами настраиваемых весовых связей. В своей спальне в родительском доме Крижевский начал показывать ей картинки.

Шаг за шагом, мало-помалу система становилась на несколько процентов точнее.

Набора данных, каким бы большим он ни был (несколько миллионов изображений), было недостаточно. Но Крижевский понял, как это обойти. Он начал делать «раздутие данных» – показывать зеркально отраженные, слегка обрезанные или затемненные изображения. (Кошка, в конце концов, остается кошкой, даже если вы наклоните голову или смените естественное освещение на искусственное.) Кажется, это помогло.

Крижевский перебирал разные варианты архитектуры – то или иное количество слоев, – более-менее вслепую нащупывая, какая конфигурация сработает лучше.

Иногда Алекс терял веру в успех. С Суцкевером этого никогда не случалось. Снова и снова он воодушевлял

«Илья был кем‐то вроде религиозного лидера, – рассказывал Алекс. – Хорошо, когда рядом с тобой такой человек».

Испытания новой версии модели и ее тренировка до максимальной точности занимали примерно две недели круглосуточной работы, а значит, в какой‐то мере безумный проект давал участникам много свободного времени. Крижевский думал. И экспериментировал. И ждал. Хинтону пришла в голову идея под названием «дропаут», или «исключение», когда во время обучения определенные части нейронной сети случайным образом отключаются. Крижевский попробовал, и это, по той или иной причине, помогло. Он попытался использовать нейроны c так называемой выпрямленной линейной функцией активации. И это тоже, кажется, помогло.

Крижевский успел представить свою лучшую модель в последний день приема заявок на конкурс по распознаванию изображений ImageNet 30 сентября. Теперь оставалось только ждать.

Два дня спустя Алекс получил письмо из Стэнфорда от Дзя Дэна, который занимался организацией конкурса. Получателями письма значились все участники соревнования. Сухим безэмоциональным языком Дэн указывал, что следует пройти по ссылке и ознакомиться с результатами.

Что Крижевский и сделал.

Его команда не просто победила – она буквально уничтожила всех конкурентов по отрасли. Нейронная сеть, обученная в спальне Алекса – официально она называлась SuperVision, но в историю попала как AlexNet, – допустила вполовину меньше ошибок, чем модель, оказавшаяся на втором месте.

К пятнице, когда пришло время для семинара ImageNet Large Scale Visual Recognition Challenge, новость уже распространилась. Крижевский должен был выступать последним, и в 17:05 он вышел на трибуну докладчика. Алекс оглядел помещение. В первом ряду сидела Фей-Фей Ли, рядом с ней – Ян Лекун. Казалось, послушать его собралось большинство ведущих исследователей компьютерного зрения в мире. Зал был переполнен, люди стояли в проходах и вдоль стен.

«Я нервничал, – вспоминал Алекс. – Было очень неуютно».

И тогда Крижевский, которому было очень некомфортно, рассказал обо всем.

Когда Фрэнк Розенблатт давал интервью о перцептроне в 1958 году, его спросили о том, какое практическое или коммерческое использование могут иметь такие машины. «В данный момент никакого, – бодро ответил он. – В науке, знаете ли, вы сначала изобретаете, а потом находите применение» [49].

Проблема

Воскресным вечером 28 июня 2015 года веб-разработчик Джеки Алсине сидел дома и смотрел церемонию награждения BET Awards. Неожиданно он получил сообщение о том, что друг поделился с ним фотографией через Google Photos. Открыв сайт, Джеки заметил, что дизайн изменился: «И тут я подумал: „О, пользовательский интерфейс стал другим!“ Я помнил, что прошла I/O [ежегодная конференция разработчиков программного обеспечения Google], но мне было любопытно, и я перешел по ссылке». Система распознавания образов Google автоматически определяла группы фотографий и давала каждой тематический заголовок. «Выпускной», – гласила одна из таких подписей, и Алсине впечатлило, что система сумела распознать шапочку с плоским квадратным верхом и кисточкой на голове его младшего брата. Но следующий заголовок заставил его похолодеть. В альбоме лежали селфи, сделанные Алсине и его подругой. Джеки – американец гаитянского происхождения, и он, и его подруга – чернокожие.

«Гориллы», – гласила подпись.

«Тут я подумал… Честно говоря, я подумал, что где‐то ошибся».

Он открыл альбом, ожидая, что каким‐то образом прошел не по той ссылке или неправильно проставил теги. В альбоме лежали десятки фотографий Алсине и его подруги. И больше ничего. «Я подумал: здесь больше семидесяти фотографий. Этого просто быть не может… Тогда я начал понимать, что произошло».

Алсине вошел в Twitter [50] и отправил сообщение: «Google Photos, черт вас побери, моя подруга не горилла!»

В течение двух часов на это сообщение отреагировал Йонатан Зунгер, главный архитектор социальной сети Google+. «Обалдеть! – писал он. – Это на 100 % не нормально!»

За несколько часов команда Зунгера внесла изменения в Google Photos, и к следующему утру только у двух фотографий были неправильные подписи. Затем Google пошла на более решительный шаг: они убрали всю категорию.

Три года спустя, в 2018 году, журнал Wired отмечал, что подпись «горилла» в Google Photos остается деактивированной вручную. То есть годы спустя ничего и никого нельзя отметить как гориллу, даже самих горилл [51].

Любопытно, что пресса снова и снова неправильно определяла сущность произошедшей ошибки, как в 2015‐м, так и в 2018‐м. Заголовки гласили: «Два года спустя Google разрешила проблему с „расистским алгоритмом“, убрав ярлык „горилла“ из классификатора изображений», «Google „исправила“ свой расистский алгоритм, убрав горилл из технологии разметки изображений» и «Расистский алгоритм Google Images был исправлен, но не слишком хорошо» [52].

Будучи программистом, знакомым с системами машинного обучения, Алсине понимал, что проблема не в систематической ошибке алгоритма. (В алгоритме использовался стохастический градиентный спуск – едва ли не самое универсальное базовое средство в информатике: проходите по набору данных для обучения случайным образом и настраиваете параметры модели так, чтобы слегка повысить вероятность, что изображение окажется в правильной категории; повторите столько раз, сколько нужно.) Нет, он тут же осознал, что ошибка закралась в сами данные для обучения. «Я даже не мог обвинить алгоритм, – сказал Джеки. – Это не его вина. Он делал именно то, для чего его разработали».

Проблема, разумеется, в системе, которая теоретически могла научиться всему из набора примеров. Вот только в итоге ей пришлось уповать на качество примеров, на которых она училась.

Калибровка и господство проектирования

Степень, до которой мы считаем повседневные предметы само собой разумеющимися, полностью зависит от того, насколько они управляют нашей жизнью и наполняют ее.

Маргарет Виссер [53]

Американца, которого больше всех фотографировали в XIX веке – больше, чем Авраама Линкольна или Улисса С. Гранта, – звали Фредерик Дуглас. Он был писателем-аболиционистом, оратором, человеком, который бежал из рабства в возрасте двадцати лет [54]. Для Дугласа фотография была так же важна, как и его сочинения и речи. В 1840‐х этот вид искусства только‐только выделился из дагерротипов в отдельное направление, и Дуглас немедленно осознал его мощь.

До фотографий изображения чернокожих американцев ограничивались рисунками и гравюрами. «Негры никогда не получали непредвзятых портретов из рук белых художников, – писал Дуглас. – Едва ли возможно, чтобы белые подчеркнули сходство черных с собой, не исказив отличительные черты последних» [55]. Во времена Дугласа было особенно распространено одно преувеличение: «Мы, цветные, так часто видим и слышим, как нас сравнивают с обезьянами, что, когда сталкиваемся с исключением из этого правила, считаем, что нам крупно повезло» [56].

Фотография не только нанесла удар по таким карикатурам, но смогла и отразить сочувствие и узнавание. «Какими бы предрассудками ни страдали те, кто посмотрит на нее, – сказал Дуглас о фотографии первого чернокожего сенатора Соединенных Штатов Хайрема Ревелса, – им придется признать, что сенатор

Но не все сложилось хорошо. По мере того как в ХХ веке фотография становилась более привычной и массовой, некоторые решили, что эта отрасль достойна критики. Как писал Уильям Эдуард Беркхардт Дюбуа [58] в 1923 году, «почему молодые цветные юноши и девушки реже выбирают профессию фотографа? Типичный белый фотограф не знает, как обращаться с темной кожей, не ощущает ее изысканной красоты и оттенка, он не будет всему этому учиться и ужасно схалтурит, снимая портреты чернокожих».

Мы часто слышим, что в кино и на телевидении не хватает разнообразия – как среди актеров, так и среди продюсеров, – но не задумываемся о том, что эта проблема существует не только перед камерой и за ней, но ивнутрикамеры. Как отметила профессор университета Конкордия, специалист по коммуникациям Лора Рот, «хотя доступная научная литература достаточно многоаспектна, неудивительно, что очень немногие ученые сосредотачивались на исследованиях необъективности передачи тонов кожи у существующих ныне аппаратов визуального воспроизведения» [59].

Как пишет исследовательница, многие десятилетия производители пленки и проявителей использовали для сравнения со стандартом одну и ту же контрольную фотографию. Она называлась картой Ширли – в честь Ширли Пейдж, сотрудницы компании Kodak, ставшей первой моделью для этого снимка [60]. Думаю, не надо говорить о том, что и Ширли, и ее преемницы были исключительно белыми. Химическая проявка пленки настраивалась соответствующим образом, и в результате камеры не могли сделать хороших снимков чернокожих.

(Видео, как и фотографии, многие десятилетия калибровались для белой кожи. В 1990‐е годы Рот взяла интервью у одного из операторов телешоу Saturday Night Live и задала вопрос о настройке камер перед передачей. Он объяснил: «У хорошего оператора всегда есть „девушка для цвета“, которая стоит перед камерами, пока техники настраивают их, опираясь на тон ее кожи. Эта девушка всегда белая») [61].

Примечательно, что руководители компании Kodak в 1960‐х и 1970‐х сделали упор на изготовление пленки, чувствительной к темным тонам, не из-за борьбы за гражданские права чернокожих, но для производителей мебели и шоколада, которые жаловались, что пленка неверно отображает рисунок темного дерева или разницу между молочным и темным шоколадом [62].

Бывший руководитель исследовательской студии Kodak Эрл Кейдж так вспоминает этот период: «Мой маленький отдел от души наелся шоколада, поскольку все, что снимали камеры, съедалось в конце съемки». Когда его спросили, не происходило ли все это на фоне движения за гражданские права, Кейдж добавил: «Удивительно, что об этом никогда не говорили раньше, потому что черная кожа в то время не воспринималась как серьезная проблема» [63].

Со временем Kodak начала использовать модели с более разнообразными тонами кожи. «Я начал активно привлекать к экспериментам черных моделей, и это очень быстро окупилось, – вспоминает Джим Лайон. – Я не пытался быть политкорректным. Я просто хотел, чтобы у нас был шанс усовершенствовать пленку так, чтобы она должным образом воспроизводила тон кожи каждого».

К началу 1990‐х у Kodak были карты Ширли с тремя моделями разных рас. Пленка Gold Max, которую выпустили на рынок, пообещав, что она запечатлеет «черную лошадь в сумерках», стала использоваться при съемке телевизионной рекламы с семьями разного расового состава. В одной из них чернокожий мальчик в белоснежном каратэги широко улыбается, делая кату, и, видимо, получая следующий пояс. В рекламе говорилось: «Родители, неужели вы доверите такие моменты другой пленке, а не Kodak Gold?»

Сначала целевая аудитория привела к появлению проблематичного эталона. Теперь же новый эталон дал компании новую целевую аудиторию.

Исправить набор данных для обучения

У всех систем машинного обучения от перцептрона и далее существует свой эквивалент карты Ширли, а именно – набор информации, по которому они обучаются. Если в нем определенный тип данных представлен в недостаточном объеме или отсутствует, но имеется в реальном мире, тогда ситуация становится непредсказуемой [64].

Как говорит Мориц Хардт из Калифорнийского университета в Беркли, «вся соль больших данных в том, что мы можем создавать более качественные классификаторы во многом благодаря обширным наборам данных. Как следствие, нехватка данных приводит к неудовлетворительным результатам. К несчастью, надо признать, данных об этнических меньшинствах собрано попросту меньше. Это означает, что наши модели решают задачи, касающиеся национальных меньшинств, хуже, чем отвечают на вопросы о населении в целом» [65].

Раздраженный твит Алсине, отправленный поздним вечером, был связан именно с этим чувством. Он программист. Он мгновенно определил, что пошло не так. Как заключил Джеки, Google Photos не получили фотографий чернокожих людей в том же количестве, что и фотографий белых. И модель, увидев нечто незнакомое, делала ошибку с большей вероятностью.

«Опять же, я могу понять, как это произошло, – рассказал мне Алсине [66]. – Скажем, вы фотографируете только красные яблоки. Когда машина увидит зеленое яблоко, она может подумать, что это груша. Казалось бы, мелочь. Я понимаю. Но если вы известная во всем мире компания, если ваша миссия – внести в указатель социальные знания обо всех людях, как вы могли так запросто пропустить целыйконтинентлюдей?»

Кажется, проблемы ХХ века перекочевывают в XXI. К счастью, некоторые способы их разрешения тоже. Всего лишь нужен тот, кто задастся вопросом, кто и что появится на эталонных картах Ширли XXI века и как могут выглядеть лучшие из них.

Когда в начале 2010‐х годов Джой Буоламвини училась на факультете информационных технологий Технологического института Джорджии, ей дали задание запрограммировать робота для игры в прятки. Программа была несложной, но возникла проблема: робот не распознавал лицо Буоламвини. «Пришлось просить соседку по комнате о разрешении использовать ее лицо, чтобы доделать проект и сдать задание. Я подумала: „Пусть кто‐то другой возится с этой проблемой“» [67].

Позднее, во время учебы в аспирантуре Буоламвини поехала в Гонконг на конкурс предпринимателей. Местный стартап показывал демоверсию одного из своих «социальных роботов». Демо сработала на всех в группе, кроме… Буоламвини! Дело в том, что стартап использовал тот же открытый код для распознавания лиц, который она применяла в Технологическом институте Джорджии.

В одной из первых статей, где открыто говорилось о существовании неравенства в компьютерных системах, Батиа Фридман из университета Вашингтона и Хелен Ниссенбаум из Корнеллского университета предупреждали, что «распространять компьютерные системы достаточно дешево, и когда‐нибудь разработанная система с предрассудками может оказать очень широкое влияние. Если она будет стандартом в отрасли, ее воздействие станет преобладающим» [68].

Или, как сказала сама Буоламвини, «объехав половину мира, я поняла, что алгоритмическое неравенство может перемещаться со скоростью скачиваемых из Интернета файлов» [69].

Закончив Оксфорд как стипендиат Родса, Буоламвини пришла работать в медиалабораторию Массачусетского технологического института. Там она занялась проектом дополненной

И дело не в стохастическом градиентном спуске, дело явно в наборе изображений, по которым обучаются системы. Каждая система распознавания или определения лиц имеет за собой (и – в неявном виде – внутри себя) набор изображений – обычно десятки или сотни тысяч, – на которых система первоначально развивалась и обучалась. Этот набор данных для обучения, карты Ширли XXI века, часто невидим, принимается как само собой разумеющееся или вообще отсутствует: заранее обученная модель распространяется онлайн, а набор обучающих данных почти никогда не поставляется в комплекте. Но он очень ощутимо дает о себе знать и постоянно формирует поведение развернутой системы.

Таким образом, движение к искоренению неравенства – это попытка вытащить на свет и лучше понять наборы данных для обучения, стоящие за крупными научными и коммерческими системами машинного обучения.

К примеру, одна из самых популярных публично доступных баз данных с изображениями лиц, известная как Labeled Faces in the Wild (LFW), была методично собрана из новостных статей в Интернете и снабжена подписями к изображениям в 2007 году командой Массачусетского университета в Амхерсте. После этого ее бесконечно использовали самые разные исследователи [70]. Тем не менее состав этой базы данных был подробно изучен только много лет спустя. В 2014 году Ху Хань и Анил Джайн из университета штата Мичиган проанализировали набор данных и определили, что 77 % изображений – это фотографии мужчин и более 83 % – белых [71]. Самый часто встречающийся человек в базе данных – это тот, кто больше других появлялся на фотографиях в новостях 2007 года, – тогдашний президент Джордж Буш-младший, 530 уникальных изображений. В действительности его изображения встречаются в LWF более чем в два раза чаще, чем фотографии всех черных женщин в совокупности [72].

В оригинальной статье 2007 года, где описывается база данных, отмечено, что выбор изображений из статей онлайн-новостей «очевидно, имеет определенную пристрастность», но она оценивалась не с социальной, а с технической точки зрения: «Например, здесь не слишком много фотографий, сделанных на чрезмерно ярком или скудном свете». Авторы статьи писали, что, если оставить проблемы с освещением в стороне, «набор и разнообразие представленных фотографий очень велики».

Тем не менее двенадцать лет спустя, осенью 2019 года, на странице LFW в Интернете неожиданно появилось заявление об отказе от ответственности, где изложена совершенно иная точка зрения. В нем отмечается, что «в LWF многие группы представлены недостаточно хорошо. Например, здесь почти нет изображений детей, совсем нет младенцев, очень мало людей старше 80 лет и относительно немного женщин. К тому же многие национальности представлены очень слабо или вовсе отсутствуют» [73].

В последние годы наполнению этих наборов данных для обучения начали уделять повышенное внимание, но работы впереди все еще очень много. В 2015 году Аппарат директора национальной разведки США и Агентство передовых исследований в сфере разведки выпустили набор данных с фотографиями лиц под названием IJB-A, где, по их словам, представлены «более широкие географические вариации объектов» [74]. Вместе с Тимнит Гебру из компании Microsoft Буоламвини проанализировала IJB-A. Ученые обнаружили, что более 75 % изображений принадлежат мужчинам и у более 80 % людей на них светлая кожа. Всего 4,4 % фотографий в базе данных – это лица чернокожих женщин [75].

Наконец Буоламвини стало понятно, что «тот, кто должен решить проблему», – это, конечно же, она сама. Она начала широкомасштабное исследование текущего состояния систем распознавания лиц, что стало темой ее диссертации в Массачусетском технологическом институте. Совместно с Гебру они задались целью создать набор данных с более сбалансированным представлением обоих полов и различных тонов кожи. Но где им было взять фотографии? Предыдущие базы данных, собранные из онлайн-новостей, были совершенно не сбалансированы. Исследовательницы решили пойти на компромисс и взять фотографии членов парламента, соединив наборы данных по представителям шести стран: Руанда, Сенегал, Южная Африка, Исландия, Финляндия и Швеция. База данных была однородна с точки зрения возраста, освещения и позы людей на фотографиях. Почти все субъекты были средних лет или старше, находились в центре снимка, смотрели прямо в камеру с нейтральным выражением лица или легкой улыбкой. Но с точки зрения цвета кожи и пола этот набор данных стал самым разнообразным в истории машинного обучения на сегодняшний день [76].

Имея под рукой этот парламентский набор, Буоламвини и Гебру взяли три имеющихся на рынке системы классификации лиц – от IBM, Microsoft и китайской компании Megvii, производителя широко распространенного программного обеспечения Face++ – и прогнали через них свою базу данных.

Внутри набора данных в целом все три системы показали себя достаточно хорошо, правильно определяя пол субъекта – приблизительно на 90 % для всех трех компаний. Во всех трех случаях программное обеспечение было на 10–20 % точнее в работе с мужскими лицами по сравнению с женскими и на те же 10–20 % точнее при работе с более светлыми тонами кожи. Но когда Буоламвини сделала перекрестный анализ по этим двум признакам, получился самый впечатляющий результат. Все три системызначительнохуже классифицировали лица чернокожих женщин. Система IBM, к примеру, для белых мужчин имела погрешность всего в 0,3 %, но 34,7 % для темнокожих женщин – более чем в 100 раз больше.

Аболиционистка и защитница прав женщин Соджорнер Трут особенно известна благодаря своей речи 1851 года «Разве я не женщина?». Буоламвини ядовито повторила этот вопрос в XXI веке, указывая на фотографию Трут, которую современное коммерческое ПО для распознавания лиц снова, снова и снова относило не в ту категорию, определяя женщину как мужчину [77].

22 декабря 2017 года Буоламвини отправила свои результаты во все три компании, объяснив, что она представит их на ближайшей конференции, и давая каждой фирме возможность ответить. Megvii не отозвалась вообще. Microsoft отделалась общими словами: «Мы считаем, что объективность технологий ИИ – это самая главная проблема отрасли, и Microsoft серьезно к ней относится. Мы уже предприняли шаги для повышения точности технологии распознавания лиц и продолжаем вкладывать средства в исследования, чтобы определить и понять неравенство и избавиться от него» [78]. С IBM же получилось совершенно по-другому. Ее сотрудники ответили в тот же день, поблагодарили Буоламвини за то, что связалась с компанией, повторили ее опыт и подтвердили результаты, а затем пригласили исследовательницу в кампусы в Нью-Йорке и Кембридже и в течение нескольких недель объявили о выпуске новой версии API, погрешность которой при распознавании лиц темнокожих женщин снизилась в десятки раз [79].

«Изменения возможны», – говорила Буоламвини. Не существует никаких фундаментальных препятствий (технических или еще каких‐либо) для того, чтобы выровнять это неравенство в показателях;

Работа Буоламвини и Гебру подчеркивает скептицизм, который мы должны ощущать, когда слышим, что какая‐то компания заявляет о «99 % точности» своей системы. Точности в чем? Точности для кого? Также работа исследовательниц напоминает, что любая система машинного обучения – это своего рода парламент, где информация для обучения представляет более широкий электорат и, как при любой демократии, важно убедиться, что у каждого есть возможность отдать свой голос [80].

Предвзятость в системах машинного обучения часто становится результатом состава данных, на которых машина учится, что делает чрезвычайно важным понимание того, кто представлен в наборе данных и до какой степени, прежде чем обучать системы, имеющие дело с реальными людьми.

Но что делать, если ваш набор данных настолько исчерпывающий, насколько это вообще возможно, – скажем, вмещает в себя всю полноту письменного английского языка, несколько сотен миллиардов слов, – но мир сам по себе несправедлив?

Дистрибутивная гипотеза: векторное представление слов

Вы должны узнать слово по компании, которая его сопровождает.

Дж. Р. Ферс [81]

Скажем, вы нашли послание в бутылке, которое волны вынесли на пляж. Но вот незадача: часть написанного невозможно прочитать! Вы изучаете одно предложение: «Я зарыл клад к северу от ________________, у пляжа». Без сомнений, любому захотелось бы узнать, какое слово пропущено.

Вряд ли вам в голову придут такие слова, как «хомяк», «пончик» или «парик». На это есть несколько причин. В первую очередь здравый смысл: хомячки слишком непоседливы, пончики портятся, а парик унесет ветром – ни один из вышеупомянутых предметов не может быть долговременным ориентиром для поиска сокровища. Любому, кто прячет клад на срок от нескольких месяцев до многих лет, потребуется что‐то более стабильное, что едва ли исчезнет или сдвинется с места.

А теперь представьте, что вы компьютер, которому не хватает здравого смысла, не говоря уж о способности поставить себя на место гипотетического кладоискателя. Все, что у вас есть, это очень большая выборка (корпус) связанных с реальным миром текстов, где можно искать образцы. Сможете ли вы угадать отсутствующее слово, основываясь исключительно на статистике языка?

Создание моделей предсказания давно стало для компьютерных лингвистов чем‐то вроде поиска священного Грааля [82]. (Клод Шеннон придумал теорию информации в 1940‐х годах, основываясь на математическом анализе именно такого рода, и отметил, что некоторые отсутствующие слова угадать легче, чем другие, и попытался вычислить, насколько именно.) [83] Среди ранних методов можно отметить то, что позднее стало известно как N-граммы. То есть подсчет каждой цепочки из, скажем, двух слов подряд, появляющихся в конкретном корпусе – «подряд появляющихся», «появляющихся в», «в конкретном», «конкретном корпусе» – и проверка по огромной базе данных [84]. Тогда найти пропущенное слово достаточно просто: смотрим на предыдущее и находим, какая N-грамма, начинающаяся с него, встречается в базе чаще других. Таким и будет лучшее предсказание отсутствующего слова. Разумеется, дополнительный контекст вокруг предшествующего слова может давать подсказки, но использовать их не так уж просто. Представьте, что сначала вы храните все возможные в вашем языке фразы из двух элементов (биграммы), а потом из трех (триграммы), четырех и т. д. – ваша база данных разрастается до абсурдного неприемлемого размера. Более того, она очень неоднородна, потому что подавляющее большинство возможных фраз не встречается в речи, а большинство остальных попадаются очень редко.

В идеале нам бы хотелось сделать разумные предположения, даже если конкретная фраза до этого никогда не попадалась ни в одном тексте. Подсчет частот тут не поможет. В предложении «Я сделал глоток горького __________» мы можем прикинуть, что слово «шардоне» здесь более вероятно, чем «уголь», даже если в истории языка нам такое сочетание слов никогда не попадалось. Опора на частотность в таких случаях не сработает, и проблема только усугубляется с добавлением контекста, поскольку чем длиннее фразы, тем выше вероятность, что мы их никогда не встречали.

Этот набор проблем называетсяпроклятием размерности. Он преследует вышеупомянутый лингвистический подход с самого момента его появления [85].

Был ли способ лучше?

Был, и он появился в форме так называемогораспределенного представления[86]. Идея состояла в том, чтобы представить слова в виде точек в некоем абстрактном пространстве, где связанные слова окажутся «близко» друг к другу. В 1990‐е и 2000‐е годы появился ряд методов, позволяющих это сделать [87], но в последнее десятилетие один из них стал особенно многообещающим – нейронные сети [88].

Гипотеза, на которой строится модель и на которую возлагают большие надежды, состоит в следующем: похожие слова обычно оказываются рядом друг с другом. Похожесть можно выразить численно. Нейронная сеть работает, превращая (представляя) каждое слово в набор (вектор) чисел, обозначающих его «координаты» в пространстве. Набор координатных чисел и называетсяпредставлениемслова. (В случае с Word2vec это триста десятичных чисел от –1,0 до 1,0). Это позволяет измерить схожесть слов, то есть насколько далеко расположены точки с соответствующими координатами [89].

Все, что нужно сделать, – разместить слова в этом пространстве так, чтобы модели могли заполнять пропуски настолько хорошо, насколько это возможно. (По крайней мере, насколько позволяет архитектура конкретной модели.)

Как же получить подобные представления? Разумеется, с помощью стохастического градиентного спуска! Для начала разбросаем слова по пространствуслучайным образом. Затем возьмем любую фразу из корпуса, уберем из нее слово и спросим систему, что она ожидает увидеть на его месте.

Когда модель делает неправильное предположение, мы настраиваем координаты представления слова, чтобы немного придвинуть правильный вариант к контекстным словам в нашем математическом пространстве и немного отодвинуть от ошибочных. Сделав эту крошечную корректировку, мы берем еще одну рандомную фразу и повторяем процедуру снова. И снова. И снова. И снова [90].

«В какой‐то момент, – объясняет компьютерный лингвист из Стэнфорда Кристофер Мэннинг, – происходит что‐то вроде чуда».

Это действительно потрясающе. Вы не делаете ничего особенного, лишь устанавливаете параметры цели предсказания, заставляя модель работать так, чтобы векторы каждого слова угадывали те, что появляются в их контексте (и наоборот). Цель в самом деле очень проста. Вы не говорите больше ничего о том,какдостичь этой цели, а просто полагаетесь на магию глубокого обучения… И чудо происходит. И мы получаем векторы, которые чрезвычайно мощно представляют значение слов и полезны для самых разнообразных вещей [91].

Кто‐то может возразить, что эти представления схватывают из языковых нюансов слишком много. В самом деле, они с удивительной ясностью обнажают именно те части, которые мы предпочли бы не замечать.

Темная сторона представлений

Из столь кривой тесины, как та, из которой

Иммануил Кант [92]

Подобные модели представления слов (модели эмбеддинга), среди которых можно отметить Word2vec от Google и стэнфордскую GloVe, постепенно превратились в стандарт компьютерной лингвистики. Примерно с 2013 года они стали основой практически любого приложения, связанного с использованием языка компьютером, будь то ранжирование результатов поиска, перевод с одного языка на другой или анализ ожиданий потребителей по письменным отзывам [93].

Несмотря на свою простоту, эмбеддинги, которые для каждого слова представляют собой ряд чисел, основанный на угадывании соседних пропущенных слов, улавливают удивительное количество информации о реальном мире.

К примеру, можно сложить два вектора, чтобы получить третий и поискать ближайшее слово. Результаты, как мы видим, часто получаются весьма осмысленными:

Чех + валюта = крона

Вьетнам + столица = Ханой

Германия + авиалинии = Люфтганза

Франция + актриса = Жюльет Бинош [94]

Также можновычитатьслова. Как ни трудно в это поверить, таким образом вы можете создавать аналогии, находя «разность» между двумя словами и прибавляя ее к третьему [95].

Это позволяет предположить, что представления содержат знания по географии:

Берлин – Германия + Япония = Токио

И по грамматике:

больше – большой + холодный = холоднее

И по кулинарии:

суши – Япония + Германия = сарделька

И по химии:

Cu – медь + золото = Au

И по технологиям:

Windows – Microsoft + Google = Android

И по спорту:

Montreal Canadiens – Монреаль + Торонто = Toronto Maple Leafs [96].

К сожалению, это не все, что познали векторы. Кроме всего прочего, они научились ошеломляющему гендерному неравенству. На каждую возможную или удачную аналогию к «мужчина: женщина», такую, как «парень: девушка» или «рак простаты: рак груди», находился целый ряд других, которые выглядят как стереотипы: «плотник: швея» или «архитектор: дизайнер интерьеров», «врач: медсестра».

Мы только сейчас начинаем осознавать масштаб проблемы. «Существуют сотни статей о представлении слова и его применении в разнообразных приложениях – от поиска в Интернете до анализа резюме, – пишут Толга Болукбаси, Адам Калаи и их коллеги. – Тем не менее ни в одной из них не упоминается о том, сколь откровенно сексистскими оказываются эмбеддинги и насколько мы рискуем перенести различные предрассудки в системы реального мира» [97].

Подобные системы машинного обучения не толькодемонстрируютнеравенство, они могут тихо и незаметноспособствовать его сохранению.Возьмем, к примеру, сотрудника отдела кадров, ищущего кандидатов на должность разработчика программного обеспечения. Поисковая система отсортирует миллионы возможных резюме по некой степени соответствия и представит только несколько вариантов, оказавшихся выше других [98]. Система, невинно использующая Word2vec или что‐то вроде того, может заметить, что «Джон» встречается в резюме разработчиков чаще, чем «Мэри». И тогда при прочих равных условиях резюме, принадлежащее Джону, получит оценку выше, чем такое же резюме, принадлежащее Мэри. Это далеко не гипотетические примеры. Один из клиентов Марка Жируара, адвоката по трудоустройству, проверял по просьбе потенциального покупателя инструмент для анализа резюме и выявил, что одним из двух факторов, имеющих наибольший положительный вес для модели, было имя Джаред. Клиент не купил этот инструмент, но его могли купить другие [99].

Разумеется, мы знаем, что имена кандидатов оказывают влияние на работодателей. В 2001 и 2002 годах экономисты Марианна Бертран и Сендил Муллайнатан разослали более пяти тысяч резюме с именами, которые казались принадлежащими белым (Эмили Уолш, Грег Бейкер) или афроамериканцам (Лакиша Вашингтон, Джамал Джонс). Ответные звонки поступали с шокирующим разрывом в 50 %, несмотря на то что сами резюме были идентичными [100].

Word2vec распределяла собственные имена по расовым и половым признакам точно так же, как и все остальные слова, помещая пару «Сара – Мэттью» по оси пола, а пару «Сара – Киеша» по оси расы. Если учесть, что по тем же осям программа распределяла и профессии, то несложно представить, что система непреднамеренно использовала расовое или половое разделение – фактически, стереотипы, – чтобы повысить или понизить степень соответствия кандидата открытой вакансии. Другими словами, у нас есть все причины беспокоиться, если машина, а не человек, будет выбирать резюме [101].

Очевидное с точки зрения человека решение – скрыть имена – не сработает. В 1952 году Бостонский симфонический оркестр начал проводить прослушивания с использованием ширмы, которая отгораживала кандидатов от членов комиссии. Большинство оркестров последовали их примеру в 1970‐е и 1980‐е годы. Ширмы оказалось недостаточно. Стало ясно, что музыкантам перед выходом на сцену стоило также снимать обувь [102].

Проблема с системами машинного обучения в том, что они разработаны, чтобы отыскивать скрытые совпадения в данных. До такой степени, что, скажем, разные стили письма у мужчин и женщин – незначительные отличия в правописании или синтаксисе – Word2vec найдет в течение минуты. Обнаружит программа и непрямые корреляции между «разработчиком программного обеспечения» ивсемихарактерными для мужчин фразами [103]. Они могут быть заметными (например, футбол, а не софтбол в списке увлечений), незаметными (например, названия определенных университетов или родных городов) или почти невидимыми (например, предпочтение какого‐то словечка или фразочки). Другими словами, системе такого рода нельзя завязать глаза. Она всегда услышит стук каблуков по деревянному полу.

В 2018 году международное агентство новостей Reuters сообщило, что программисты Amazon с 2014 года разрабатывали инструмент машинного обучения, отфильтровывающий размещенные в Интернете резюме и оценивающий кандидатов по шкале от одной до пяти звезд (как и сами продукты Amazon), основываясь на том, насколько они многообещающие. Специалисты по подбору кадров Amazon сосредоточились на этих оценках [104]. «Они хотели буквально создать машину, вложить в нее резюме сотни соискателей, чтобы она выбрала пять лучших, и взять их на работу», – рассказал один из источников репортерам. Каким же должен быть критерий отбора? Таким же: модель представления слов оценивала схожесть резюме кандидатов с резюме тех, кого Amazon наняла за последние десять лет.

Тем не менее к 2015 году Amazon начала замечать проблемы. Большинство нанятых ранее разработчиков были мужчинами. Модель приписала отрицательный коэффициент слову «женский» – например, при описании хобби. Ее отредактировали, чтобы убрать это неравенство.

Также выяснилось, что программа приписывает отрицательный коэффициент и именам всех женщин-коллег, указанных в резюме. Модель опять отредактировали.

Но она снова нашла лазейку. Разработчики заметили, что модель приписывает положительный коэффициент практическивсему выбору лексики, более характерной для мужских резюме – например, таким словам, как «выполнил» или «добился» [105].

К 2017 году Amazon закрыла проект и распустила команду, которая им занималась [106].

Как избежать неравенства в векторном представлении слов

Толгу Болукбаси, Адаму Калаи и их коллегам из BU и Microsoft, разумеется, было важно не просто обнаружить предвзятость, но и устранить ее.

Можно было отыскать в этом многомерном векторном пространстве оси, которые отвечают за понятие пола, иудалитьих. Но удаление гендерных отличий означало бы утрату таких полезных аналогий, как «король: королева», «дядя: тетя». Так что перед разработчиками стояла сложная задача: «снизить гендерное неравенство при векторном представлении слов, сохранив полезные свойства этого представления» [107].

Как

Далее предстояло попытаться определить, приемлема ли разница для слов, отличающихся по признаку пола. Скажем, «король – королева» – это вполне адекватное разделение по полу, как и «отец – мать», но, возможно, мы не хотели рассматривать JC Penny как женскую версию Home Depot, как это делает Word2vec по умолчанию.

Тогда как отделить проблемные гендерные ассоциации от беспроблемных, если речь о сотнях тысяч разных слов? Как узнать, какие аналогии оставить, какие подкорректировать, а какие вообще убрать?

Команда из пяти ученых-компьютерщиков обнаружила, что, в сущности, занимается социологией. В самом деле, часть задач в итоге потребовала консультаций, поскольку исследователи вышли за границы своей привычной научной области. «Мы группа исследователей машинного обучения, – рассказывает Калаи. – Я работаю в лаборатории, где есть группа специалистов в области общественных наук. Слушая, как они говорят о различных проблемах, связанных с социологией и общественными науками, мы узнали о возможных опасениях, которые могут вызывать алгоритмы машинного обучения, но никто из нас пятерых – а нас всего пятеро – никогда не работал с гендерным неравенством и практически ничего о нем не читал».

Возможно, группа была наивна, но она попросила социологов дать формальное определение того, какие аналогии можно считать допустимыми, а какие – нет. Социологи быстро развеяли заблуждение компьютерщиков о том, что простое формальное определение такого рода вообще возможно. «Мы поинтересовались, как дать определение наилучшим образом, – рассказывает Болукбаси. – Они говорят: „Социологи не могут найти даже более-менее приемлемого“. Как инженер ты хочешь стремиться к идеалу, чтобы улучшать алгоритм, пока не достигнешь цели. Но поскольку все это связано с людьми, культурой и тому подобным, никто не знает правильного ответа. Нельзя добиться соответствия непонятно чему. В этом плане нам очень трудно».

Группа решила определить набор слов, которые считаются приемлемыми, и рассматривать их как гендерно маркированные фундаментальным образом: такие слова, как «он» и «она», «брат» и «сестра», а также анатомические термины («яйцеклетка» и «сперма») и социальные слова, к примеру, «мужской – женский монастырь», «братство – сестринство». Некоторые случаи потребовали непростых решений, скажем, слово nurse (няня). В качестве существительного оно обозначает профессию, где гендерный аспект не играет роли, но как глагол это слово обозначает то, что может делать только женщина (кормить грудью). А что насчет таких слов, как раввин? Есть ли у них гендер, зависит от того, была ли рассматриваемая еврейская община ортодоксальной или реформистской. Команда выделила 218 подобных гендерно обусловленных слов в подмножество внутри словаря модели и дала системе делать выводы об остальном содержимом. «Отметим, что выбор слов субъективен, – писали исследователи, – и в идеале должен быть подогнан в зависимости от индивидуального применения» [110]. Для всех слов, находящихся вне этой выборки, ученые установили начальный гендерный компонент представления слова, равный нулю. Затем они настроили представления всех гендерно зависимых слов так, чтобы эквивалентные термины (скажем, «сестра» и «брат») были равноудалены от этой нулевой точки. Иными словами, систему настроили так, чтобы ни один термин не был представлен в модели как более гендерно обусловленный или гендерно нейтральный, чем его пара.

Стала ли лучше новая модель, лишенная предрасположенности к определенным оценкам? Команда взяла на вооружение социологический метод и простоопросила людей. В качестве референтной группы выступали американские работники платформы Amazon Mechanical Turk, которые отмечали ряд проведенных моделью аналогий как «стереотипы». Даже здесь вклад социологов оказался чрезвычайно важным. Точная формулировка запроса была очень существенной. «Нам следовало поговорить с ними, потому что, при разработке эксперимента в Mechanical Turk, форма, где задаются вопросы, действительно решала все, – рассказывает Болукбаси. – Это очень щекотливая тема» [111].

Результаты получились вдохновляющие. Там, где модель по умолчанию выдавала результат «врач – мужчина + женщина = медсестра», теперь система говорила «медик». Сотрудники Mechanical Turk сообщали, что 19 % гендерных аналогий оригинальной модели отражали гендерные стереотипы, у новой же модели, лишенной предрасположенности к оценкам, такими были признаны только 6 % [112].

Такой нейтрализации удалось добиться при небольших издержках – к примеру, теперь модель считала, что вполне нормально использовать выражение «grandmothered in», раз выражение «grandfathered in» применяется, когда речь идет о юридических исключениях [113]. Но, возможно, эту цену стоило заплатить. Всегда можно решить, какую ошибку в прогнозе вы готовы стерпеть, чтобы избавиться от оценочных отклонений, и пойти на разумный компромисс.

Как писала команда ученых, «существует точка зрения, утверждающая, что неравенство при представлении слов просто отражает неравенство, существующее в обществе, поэтому необходимо прежде всего избавить от оценочных суждений общество. Тем не менее… в какой‐то мере лишенное предрассудков представление слов может, как мы надеемся, внести вклад в избавление общества от предрассудков. По меньшей мере машинное обучение не должно использоваться, чтобы непреднамеренно усиливать эти противоречия, что, как мы видели, происходит очень легко» [114].

Возрастали надежды на то, что с помощью языковых моделей мы сможем создать системы, которые не просто улавливают существующее положение дел, как это происходит сейчас, а моделилучшегомира – мира, в котором нам хотелось бы жить.

Как бы то ни было, у истории есть продолжение. В 2019 году специалисты по компьютерам из университета имени Бар-Илана Хила Гонен и Йоав Гольдберг опубликовали исследование своих «лишенных предрассудков» представлений и показали, что подобное исключение систематической ошибки – это только, как они емко выразились, «губная помада на морде свиньи» [115]. Да, оно убирает связи между такими профессиями, как медсестра и секретарь на ресепшн, и терминами, где есть явное указание на пол – «женщина», «она». Но скрытая связь между этими профессиями, шаблонно считающимися женскими, остается. Израильские ученые полагали, что частичное устранение неравенства может даже усугубить проблему, поскольку большинство стереотипных ассоциаций остаются нетронутыми, а исключаются только те, которые проще всего заметить и измерить [116].

Болукбаси, который к тому времени перешел в Google, со своими коллегами продолжал работать над проблемой и подтвердил, что бывают случаи, когда модель, не имеющая предрасположенности к определенным оценкам, при использовании в системе рекрутинга может оказаться даже хуже первоначальной [117]. В таких

Автопортрет в статистическом зеркале

В приложениях для найма персонала подобные проявления неравенства могут восприниматься как угроза, которую нужно снизить, но, если рассматривать их сами по себе, они вызывают целый ряд вопросов. Например, откуда берутся эти проявления? Остались в качестве артефактов из-за использования статистических методов или отражают нечто более глубокое, а именно предрассудки, засевшие в наших головах, и неравенство, царящее в мире?

Классический тест на наличие у людей неосознанных предрассудков называется имплицитным ассоциативным тестом – испытуемые видят последовательность слов и нажимают на кнопку каждый раз, когда слово принадлежит к одной из категорий: к примеру, цветы (ирис) или положительные эмоции (смех). Выглядит достаточно просто, да так оно и есть; самое главное тут – неточность, авремя реакции. Если слово обозначает цветок или положительную эмоцию, люди реагируют быстро, но если слово обозначает цветок или отрицательную эмоцию, времени уходит больше. Это позволяет предположить, что цветы и позитивные эмоции пересекаются на психологическом уровне или что эти понятия связаны [118].

Команда, которая изобрела этот тест, показала, что реакция группы белых студентов была высокой, если речь шла об именах белых людей (Мередит, Хизер) или о чем‐то приятном (удача, подарок). Высокую реакцию они показали и когда столкнулись с именами чернокожих (Латония, Шавонн) или неприятными вещами (яд, горе). Но когда соединили имена белых людей и нечто неприятное, реакция становилась медленнее. Точно так же реакция замедлялась, если приходилось нажимать на кнопку на имена чернокожих людей и что‐то приятное.

Команда специалистов по информатике из Принстона – постдок [119] Эйлин Калискан, профессора́ Джоанна Брайсон и Арвинд Нарайянан – обнаружила, что расстояние между представлениями слов в Word2vec и других широко распространенных моделях удивительно точно отражает эти данные о времени реакции людей. Чем медленнее люди определяют две любые группы слов, тем дальше друг от друга находятся векторы слов в модели [120]. Другими словами, предрассудки моделей так или иначе связаны с нашими.

Помимо имплицитных ассоциаций, команда из Принстона хотела узнать, улавливают ли такие модели, как Word2vec, то, что ученые назвали отражающими действительность предрассудками, существующими в мире. Некоторые имена действительно чаще носят женщины, некоторые должности действительно более характерны для них. Не отражает ли в какой‐то мере объективную реальность степень, до которой представления этих имен склоняются к мужскому или женскому? И то, что определенные профессии находятся в разных краях гендерных осей модели, не говорит ли о том, что гендерный состав этих профессий – медсестра, библиотекарь, плотник, механик – действительно неравномерно сбалансирован? Команда из Принстона проконсультировалась с Бюро переписи населения США и Бюро статистики труда; в обоих случаях ответ был положительный.

Чем сильнее представление слова, обозначающего профессию, склоняется в гендерном направлении, тем больше в этой профессии представителей определенного пола. «Представление слова, – пишут ученые, – в значительной степени соотносится с процентом женщин, занятых в пятидесяти самых популярных профессиях в Соединенных Штатах» [121]. С именами так же, хотя корреляция немного слабее, но это можно объяснить тем, что они получили данные переписи, которая прошла в 1990 году, – возможно, с тех пор гендерное распределение имен несколько изменилось.

Благодаря тому, что представления, появляющиеся из «волшебного» процесса оптимизации, так зловеще и неприятно отражают процессы в обществе, у нас есть еще один инструмент для социальных наук. Мы можем использовать эти представления, чтобы измерить что‐то в обществе в выбранный промежуток времени. И независимо от того, изменяют ли перемены в объективной реальности нашу речь, или оба изменения порождены более глубокими причинами, мы можем использовать эти «моментальные снимки», чтобынаблюдать социальные изменения.

Именно так решила поступить междисциплинарная группа из Стэнфорда. Никил Гарг, кандидат на присуждение степени PhD в области электротехники, и Джеймс Зу, ассистент кафедры биомедицинских наук, объединились с историком Лондой Шибингер и лингвистом Дэном Джурафски, чтобы посмотреть, что будет, если использовать представления слов не в корпусесовременноготекста, а взять образцы за последние сто лет [122].

В итоге получилась богатая и подробная история смены веяний в культуре. Как выразились ученые, «временна́я динамика представлений помогает количественно определить изменения в стереотипах по отношению к женщинам и этническим меньшинствам в ХХ и XXI веках в Соединенных Штатах».

Группа из Стэнфорда подтвердила открытие команды из Принстона о существовании связи между представлениями слов, обозначающих профессии и пол, добавив, что существует некий «сдвиг вдоль мужской оси». По данным переписи, слова, обозначающие профессии, показали соотношение мужчин и женщин пятьдесят на пятьдесят, но при этом их представление немного отклоняется в направлении мужчин. По словам авторов, «повседневный язык подвержен отклонениям сильнее, чем ожидалось исходя из объективных метрик». Если не брать во внимание этот сдвиг, с течением времени можно выделить устойчивую тенденцию, показывающую, что гендерное неравенство в представлении слов-профессий, идет в ногу с изменениями в составе самой рабочей силы.

Посмотрев на тексты разного времени, исследователи обнаружили изобилие фактов, отражающих социальные изменения. Данные показывают, что гендерное неравенство со временем значительно снизилось и что «движение за права женщин в 1960‐е и 1970‐е оказывало систематическое решительное воздействие на изображение женщин в литературе и культуре».

Также представления показывали подробную историю изменений в расовых отношениях. В 1910 году, к примеру, в топ‐10 слов, которые белые ассоциировали с азиатами, включали «варварский», «уродливый», «ненавистный» и «ненормальный». К 1980 году картина изменилась: первые десять слов возглавляли «замкнутый» и «пассивный», а завершали «чувствительный» и «душевный» – что тоже, разумеется, стереотипы, но отражающие несомненные культурные изменения.

В эмбеддингах можно увидеть и более современные культурные сдвиги. Например, ассоциация между исламом и терроризмом усилилась в 1993‐м (взрыв во Всемирном торговом центре) и 2001‐м (события 11 сентября) годах.

Используя этот подход, можно попробовать заглянуть не в прошлое, а в будущее. Можно ли по данным за последние полгода предположить, как будет развиваться ситуация с предрассудками – улучшится она или усугубится? Можно представить себе что‐то вроде работающей в реальном времени индикаторной панели, которая показывает, уменьшаются ли предрассудки в самом обществе или, по крайней мере, в публичном дискурсе, – явление, по которому можно судить об уже произошедших изменениях, и беглый взгляд на будущее.

Представления и представление

Взглянем на несколько ключевых моментов, первый из которых, хоть и не в полной мере, относится к методологии. Специалисты по информатике обращаются к социологии, когда начинают более широко мыслить о том, что происходит в созданной ими модели. Так же социологи обращаются к машинному обучению и обнаруживают, что теперь у них есть новый мощный инструмент. Как пишут авторы из Стэнфорда, «в стандартной, поддающейся количественному определению социологии машинное обучение

Во-вторых, предрассудки и оценочные суждения, хотя икажутсянезаметными, эфемерными, невыразимыми, существуютв действительности. Их можно измерить во всех подробностях. Они проявляются неожиданно и стабильно в моделях, созданных только для того, чтобы предсказывать пропущенное слово. Они измеримы, поддаются количественной оценке и изменяются. Они отслеживают достоверные, эталонные данные об участии в трудовой деятельности и субъективные мнения и стереотипы. Все это и многое другое есть в моделях, которые якобы лишь предсказывают пропущенное слово с помощью контекста: история нашего языка – это история культуры.

В-третьих, эти модели следует использовать с осторожностью, особенно за пределами их изначального предназначения – угадывания пропущенных слов. Как говорит Адам Калаи, «я общался с людьми, которые, прочитав нашу статью, говорили, что … теперь будут осторожнее при использовании представлений слов или, по крайней мере, дважды подумают, прежде чем применять их в своих собственных приложениях. Так что один положительный результат есть». Похожие мысли выражает и команда из Принстона. «Разумеется, – пишут они, – необходимо с осторожностью подходить к встраиванию в системы принятия решений модулей, созданных с помощью неконтролируемого машинного обучения» [123]. Очень немногие руководители Amazon стали бы открытым текстом заявлять о политике «найма людей, которые, если бы подали резюме десять лет назад, сильнее других походили бы на тех, кого мы тогда действительно наняли». Но использование языковых моделей для отбора резюме по «релевантности» создает именно такую петлю времени.

Мы переживаем непростой момент в истории: сила и гибкость этих моделей сделали их чрезвычайно полезными для большого количества коммерческих и общедоступных приложений, но стандарты и нормы, связанные с их допустимым использованием, остаются расплывчатыми. Нам следует быть особенно осторожными и консервативными, тем более что многие из этих моделей едва ли существенно изменятся, когда их привлекут к оказанию услуг в реальном мире. Как подытожил Арвинд Нарайянан из Принстона, «вопреки широко распространенному штампу о том, что „технология развивается так быстро, что обществу ее не догнать“, их коммерческое внедрение обычно идет очень медленно – только посмотрите на продукты, которые работают в банках и авиакомпаниях. Модели машинного обучения, которые разрабатываются сегодня, будут работать спустя 50 лет, и это пугает».

Моделирование мира таким, каков он есть, – это одно. Но как только вы начинаетеиспользовать эту модель, выменяетемир, совершая маленькие и большие действия. Существует предположение о многих моделях машинного обучения: сами по себе онине меняютреальность, которую моделируют. Чаще всего оно оказывается неверным.

На самом деле неосторожное внедрение этих моделей может породить петлю обратной связи, восстановление после которой будет очень трудным или потребует куда более значительного вмешательства. Если, скажем, система для поиска резюме обнаружит гендерное отклонение в определенной позиции и отсортирует, например, кандидатов-мужчин так, чтобыподчеркнутьэто отклонение, это может стать следующим пакетом данных, на которых модель учится. И она узнает еще более выраженную версию существующего предрассудка. Проще всего – вмешатьсякак можно скорее.

Наконец, эти модели становятся для нас цифровым компасом, позволяющим обществу обратить взор в будущее. Мы получаем картину не только нашей истории, но и сиюминутного настоящего. Ежедневно онлайн появляются новые тексты, которые сразу же становятся выборками для обучения.

Если пользоваться ими мудро (чтобы носили описательный, а не предписывающий характер), те же самые системы, способные усилить и закрепить дремлющие в обществе предрассудки, могут помочь их увидеть. Они дают нам возможность измерить то, что кажется нечетким или бесформенным. Это только начало.

Йонатан Зунгер, который больше не работал в Google, утверждает, что люди иногда забывают, насколько проектирование инженерных систем неотделимо от общества, его норм и ценностей. «Проектирование связано с сотрудничеством, взаимопомощью, сочувствием как к коллегам, так и к клиентам, – пишет он. – Если кто‐то говорит, что проектирование – это сфера деятельности, где нет взаимодействия с людьми и их чувствами, тогда я очень сожалею, но он лжет» [124].

Что же до Джеки Алсине, который теперь руководил собственной компанией по разработке программного обеспечения и поддерживал контакты с Зунгером, то он согласен, что проблема не только в технике. «Отчасти именно поэтому я и хочу стать учителем истории, – сказал он мне, улыбаясь. – Когда мне исполнится 35, я все брошу, уйду на пенсию и погружусь в историю». И он был по крайней мере наполовину серьезен.

2. Справедливость

С тех пор как сошли ледники, и, возможно, даже до ледникового периода, когда человечество отправилось в странствия по американскому континенту, к его эволюции прилагалось одно грустное дополнение, одна из проблем, за которую наука недавно взяла на себя ответственность, – это возможность предсказать, что будет делать человек, отпущенный из тюрьмы под честное слово.

Chicago Tribune, январь 1936 [125]

Наши законы наказывают людей за то, что они сделали, а не за то, кем они являются. Назначение наказаний на основании неизменных характеристик личности полностью противоречит этому основополагающему принципу.

Председатель Верховного суда США Джон Робертс [126]

Поскольку мы находимся на пороге применения машинного обучения для принятия практически всех видов решений, имеющих важное значение в таких областях, как образование, трудоустройство, реклама, здравоохранение и охрана правопорядка, важно понимать, почемумашинное обучение по определению не может быть справедливым, что бы ни вкладывалось в смысл этого слова.

Мориц Хардт [127]

Идею о том, что общество может стать более стабильным, правильным и справедливым, если заместить сугубо личное индивидуальное правосудие цифровыми моделями, едва ли можно назвать новой. Их использовали в уголовном судопроизводстве еще более века назад.

В 1927 году новый председатель комиссии по условно-досрочному освобождению (УДО) штата Иллинойс Хинтон Клабо заказал исследование работы системы досрочного освобождения. Он руководствовался тем, что называл разрывом между инновацией и ее применением на практике. «Хотя наши промышленные и правительственные машины далеки от идеала, мы, возможно, являемся самой промышленно развитой и эффективной нацией, – писал Клабо. – Можем ли мы положа руку на сердце сказать то же самое и о наших правоохранительных органах?» [128] Несмотря на то что Иллинойс был одним из первых штатов, применивших условно-досрочное освобождение, общественность была недовольна. Как заметил Клабо, народ считал, что «маятник, раскачивающийся от правосудия к милосердию, принимает сторону преступников». Его собственная точка зрения не слишком отличалась: он полагал, что идея условно-досрочного освобождения может привести к излишней мягкости и что саму систему, возможно, следует отменить. Но он приводил довод о том,

Клабо обратился в самые престижные учебные заведения штата – университет Иллинойса, Северо-Западный университет и университет Чикаго – с просьбой объединить усилия и за год подготовить исчерпывающий доклад о системе условно-досрочного освобождения. Декан юридической школы университета Иллинойса Альберт Харно сообщил о работах, посвященных комиссии по условно-досрочному освобождению. Судья Эндрю Брюс из Северо-Западного университета сделал обзор пенитенциарной системы штата Иллинойс (включив в него поучительный анализ отмены наказаний плетьми в XIX веке). Социолог из Чикаго Эрнст Берджесс получил интригующую задачу выяснить, существуют ли факторы, предсказывающие успех или неудачу условно-досрочного освобождения.

Как писал Берджесс,

«Сейчас в сознании жителей Иллинойса существует два совершенно разных образа условно освобожденных. Один из них – это закоренелый, порочный, безнадежный преступник, который возвращается из тюрьмы, не раскаявшись, и намеревается жестоко мстить обществу за наказание, которое он вытерпел. Другой образ – это молодой человек, возможно, сын рано овдовевшей матери, который импульсивно, в момент слабости, откликнулся на преступное предложение сбившихся с пути товарищей, который возвращается в общество из исправительного учреждения, намереваясь жить честно, если ему дадут шанс [129]».

Вопрос состоял в том, возможно ли предсказать, как поведут себя те, кого освободят под честное слово.

Берджесс собрал данные примерно по трем тысячам условно-досрочных освобожденных в Иллинойсе и приложил все усилия, чтобы разделить их на четыре группы: лица, впервые совершившие правонарушения; случайные преступники; закоренелые преступники; профессиональные преступники. С точки зрения XXI века часть его работы выглядит удивительно старомодной: например, восемь возможных социальных типов, на которые он делит людей, – это бомжи, хулиганы, нечестные граждане, алкоголики, гангстеры, недавние иммигранты, деревенщины и наркоманы. Однако при этом работа Берджесса выглядит впечатляюще, особенно для того времени: в ней рассматриваются истории преступников, истории попыток их трудоустройства, места проживания, типы преступлений, длительность приговора, срок пребывания в тюрьме, психиатрические диагнозы и многое другое. Он проводит исследование о том, можно ли по собранным данным проследить чрезмерное политическое влияние в защиту некоторых заключенных, и задается вопросом, оправдан ли распространенный в обществе взгляд на систему правосудия. В последней главе Берджесс напрямую поднимает проблему, которая в будущем породит что‐то вроде движения в уголовном судопроизводстве, – ту, которая останется актуальной и в нашем веке: «Можно ли приложить научные методы к управлению условно-досрочным освобождением?»

Он пишет: «Многие настроены откровенно скептически по поводу возможности внедрения научных методов в область поведения человека. Они с негодованием отвергают это предложение, утверждая, что человеческая натура слишком изменчива, чтобы делать какие‐то предсказания. Но в анализе факторов, определяющих успех или неудачу практики досрочного освобождения, было обнаружено несколько поразительных вещей».

Берджесс отмечает, к примеру, что у людей, имевших хороший послужной список, высокий интеллект и деревенское происхождение, которые пробыли в тюрьме год или меньше, нарушения после условно-досрочно освобождения случались в два раза реже, чем в среднем по штату. С другой стороны, нарушения режима УДО среди тех, кто живет в «криминальной среде», чьи обвинители или судьи возражали против снисходительного отношения, кто просидел в тюрьме пять лет или более, происходилив два раза чаще, чем в среднем. «Разве это поразительное отличие, которое не противоречит тому, что мы знаем об условиях, формирующих жизнь человека, – задается Берджесс вопросом, – не намекает на то, что к этому надо относиться более серьезно и объективно, чем раньше?»

«Было бы вполне оправдано, если бы комиссии по условно-досрочному освобождению, – продолжает он, – составляли сводную таблицу по каждому кандидату на освобождение, чтобы ее члены могли понять риск нарушения режима по каждому отдельно взятому фактору… Прогнозы в любом случае не будут абсолютно точными, но, согласно закону средних чисел, их можно будет применять для любого значительного числа дел».

Берджесс пришел к выводу, что во многих случаях реабилитация более чем возможна. Более того, можно даже предсказать, в каких именно случаях она будет успешной. Разве система, построенная на основе статистических данных, не лучше существующего положения вещей, когда судьи на лету принимают субъективные непоследовательные решения? «Нет никаких сомнений в реальности факторов, влияющих на успех или провал условно-досрочного освобождения, – пишет Берджесс. – В какой‐то мере человеческое поведение предсказуемо. Становятся ли эти запротоколированные факты основой для получения досрочного освобождения? Или комиссия по УДО зависит от приятного или неприятного впечатления, которое человек производит во время слушания?»

Итог доклада был одновременно понятным и жестким. УДО и «приговор к лишению свободы на срок, зависящий от поведения заключенного» должны сохраниться в штате Иллинойс, и, что не менее важно, «администрация может и должна совершенствовать их, поставив работу комиссии по условно-досрочному освобождению на научную и профессиональную основу и предпринимая дальнейшие меры против постоянно растущего политического давления».

Председатель Клабо прочитал доклад и изменил свое мнение о порученной ему системе. «На первый взгляд мне показалось, что приговоры к лишению свободы на срок, зависящий от поведения заключенного, и условно-досрочное освобождение работают на стороне преступников, – признал он. – Доказательств обратного достаточно, и теперь я считаю, что эти законы при правильном применении будут действовать на благо как всего общества, так и отдельных людей». Проще говоря, условно-досрочное освобождение – это хорошо, «даже если методы администрации имеют недостатки. И, разумеется, ни одна машина не может быть более эффективной, чем человек, который ею управляет» [130].

Научное условно-досрочное освобождение на практике

В начале 1930‐х годов при горячей поддержке Берджесса и с одобрения Клабо в Иллинойсе начала использоваться прогностическая система УДО. К 1951 году было опубликовано «Руководство по прогнозированию условно-досрочного освобождения», собравшее информацию за двадцать лет исследований и практики.

Книга написана в оптимистическом тоне. В предисловии Берджесс говорил: «За последние два десятилетия социологи добились значительного прогресса в своих попытках определить, кто из условно-досрочно освобожденных добьется успеха, а кто потерпит поражение. Они узнали, какие условия сопутствуют успеху или поражению. Из их исследований крепчает уверенность в том, что несмотря на все трудности, можно до некоторой степени прогнозировать поведение условно-досрочно освобожденных» [131].

Книга намечает несколько областей для будущих исследований и возможных улучшений, например дополнительные факторы, такие как оценка персонала исправительных учреждений, могут помочь усилить прогноз. Вероятно, самый пророческий раздел книги находится в конце и носит заглавие «Оценка машинными методами». В нем рассматривается использование компьютеров с перфокартами, чтобы автоматизировать и поставить на поток процесс сбора данных, создания моделей и выдачи отдельных прогнозов.

Несмотря на оптимизм и казавшуюся успешной историю внедрения системы в Иллинойсе, распространение инструментов прогнозирования УДО шло на удивление медленно. К 1970 году такие инструменты использовали всего два штата. Но все вот-вот должно было измениться.

В 1969 году родившийся в Шотландии статистик

«На дворе был конец шестидесятых, – рассказывал Бреннан. – Это было время хиппи. Я не мог смотреть, как разрабатывают упаковку для Sqezy. Так что я уволился с работы и поступил в аспирантуру». В итоге он оказался в Ланкастерском университете, где применял свои статистические методы для исследования сегментации рынка к проблеме образования – определению студентов с различными особенностями восприятия и разными потребностями в процессе обучения [133].

Переехав со своей девушкой в Соединенные Штаты, Бреннан оказался в университете Колорадо и работал с Делбертом Эллиотом, который позднее стал президентом Американского криминологического общества. В итоге Тим основал свою собственную исследовательскую фирму, работающую с Национальным институтом исправительных учреждений и Управлением по оказанию помощи правоохранительным органам. Его методы классификации нашли еще одно применение: они дали более единообразный и систематический подход к тюрьмам, которым приходится распределять заключенных по койкам и камерам в зависимости от рисков и потребностей, думая и о безопасности, и о реабилитации. Обычно это делали случайным образом или опираясь на интуицию. Математика Бреннана подсказала лучший способ.

Бреннан съездил в Траверс-Сити, штат Мичиган, где услышал о новаторской работе по машинному обучению на основе так называемых моделей «дерева решений», чтобы классифицировать заключенных и – в качестве реакции на избыточное наполнение тюрем – определять, кого из них можно освободить. Тогда Бреннан встретился с «этим молодым парнем … с всклокоченными волосами и бородой», который изобрел модель. Парня звали Дэйв Уэллс. «Он рвался реформировать систему уголовного правосудия, – рассказывал Бреннан. – Для Дэйва это было работой мечты». Бреннан и Уэллс решили объединиться [134]. Свою компанию они назвали Northpointe.

С расцветом эпохи персональных компьютеров статистические модели стали использоваться повсюду в системе уголовного правосудия, в рамках крупной и малой юрисдикции. В 1980 году только четыре штата применяли статистические модели при принятии решений об условно-досрочном освобождении. К 1990‐му таких штатов было двенадцать, а к 2000‐му – двадцать шесть [135]. Неожиданно странным стало не пользоваться такими моделями. Как говорится в «Руководстве для новых членов комиссии по условно-досрочному освобождению», которое в 2003 году выпустила Международная ассоциация органов УДО, «в наши дни принятие решений об условно-досрочном освобождении, не пользуясь преимуществами хорошего, основанного на научных исследованиях инструмента для оценки рисков, не удовлетворяет в полной мере общепринятым передовым методам работы» [136].

Один из наиболее широко используемых инструментов этой новой эпохи был разработан Бреннаном и Уэллсом в 1998 году, они назвали его Correctional Offender Management Profiling for Alternative Sanctions или COMPAS [137]. Программное обеспечение использует простую статистическую модель, основанную на линейной комбинации с весовыми коэффициентами. Туда входят параметры вроде возраста, возраста при первом аресте и криминальной истории, чтобы предсказать, совершит ли заключенный насильственное или ненасильственное преступление за срок от одного до трех лет после освобождения [138]. Также инструмент включает широкий набор вопросов для определения проблемы и нужды конкретного обвиняемого – например, отсутствие поддержки со стороны семьи и депрессия. В 2001 году в штате Нью-Йорк стартовала пилотная программа, использующая COMPAS для принятия решений об УДО. К концу 2007 года программное обеспечение применялось в уголовно-исполнительных инспекциях всех пятидесяти семи графств за пределами города Нью-Йорк. К 2011‐му была принята поправка к закону штата,требующаяиспользования программы для оценки рисков и нужд заключенных наподобие COMPAS при принятии решений об условно-досрочном освобождении [139].

Но с точки зрения редакции New York Times существовала проблема: штат не пользовался этими программами в достаточной мере. Даже там, где использование было введено приказом, эти инструменты не всегда получали должное внимание. Газета призывала к более широкому применению инструментов оценки риска в сфере УДО, написав в 2014 году: «Такие программы, как COMPAS, показали себя в работе» [140]. В 2015 году, когда решение о реформе системы условно-досрочного освобождения было передано на рассмотрение в верховном суде штата, редакция New York Times опубликовала статью с мнением незаинтересованной стороны, утверждающей, что такие статистические инструменты оценки рисков, приводят к очевидным улучшениям. Они заявили, что комиссия по УДО штата Нью-Йорк «упрямо держится за прошлое, регулярно отказывая в освобождении имеющим большие сроки заключенным, основываясь на субъективных, часто не поддающихся проверке суждениях». Применение COMPAS, как указывали авторы статьи, «переместит комиссию в XXI век» [141].

Затем – внезапно – тон публикаций изменился.

Девять месяцев спустя, в июне 2016 года, газета выпустила статью «Висконсин неожиданно бурно выступил против использования данных для прогнозов будущего заключенных, получающих условно-досрочно освобождение», в которой близко к тексту были процитированы слова директора Проекта реформирования уголовного законодательства Американского союза защиты гражданских свобод: «Я думаю, мы несколько поторопились шагнуть в завтрашний день, начав оценивать риски с помощью больших данных» [142].

С этого момента освещение событий в прессе становилось все более мрачным: в мае 2017‐го – «Отправлен в тюрьму тайным алгоритмом программы», в июне – «Компьютер держит тебя в тюрьме», в октябре – «Алгоритм помогает отправить тебя в тюрьму».

Что же произошло?

Этому есть только одно объяснение – ProPublica.

Получение данных

Джулия Энгвин росла в Кремниевой долине в 1970‐е и 1980‐е годы. Она была дочерью двух программистов и жила по соседству со Стивом Джобсом. С раннего возраста девочка собиралась стать программистом. Но позже открыла для себя журналистику и была ей очарована. К 2000 году Джулия стала техническим репортером Wall Street Journal. «Это было уморительно, – вспоминает она. – Они такие: „Вы знаете компьютеры? Мы возьмем вас на работу, чтобы вы писали про Интернет!“ А я такая: „Что‐то конкретное про Интернет?“ А они: „Нет, все подряд!“» [143]

Энгвин проработала в газете четырнадцать лет – со времен краха доткомов до подъема социальных сетей и смартфонов – и писала не только о технологиях, но и о социальных вопросах, которые они поднимали. Она стала автором длинной серии статей о проблемах, связанных с конфиденциальностью, под названием «Что они знают». Из газеты Джулия ушла в 2013 году, чтобы написать книгу о защите личных данных [144].

Из творческого отпуска Энгвин так и не вернулась в Wall

«Так что я подумала, – рассказывает Джулия, – что мне нужно переходить к вопросу использования информации. Это следующий сюжет. Что они будут с ней делать?.. К каким выводам о вас они придут?» [145]

Энгвин попыталась найти наиболее значимые и незаслуженно обойденные вниманием решения, которые принимаются на основании больших данных. Она обратилась к уголовному правосудию. Статистическая оценка риска с помощью COMPAS и других программ быстро внедрялась во многих правовых аспектах: не только для условно-досрочного освобождения, но и для выбора меры пресечения и размера залога, а также при вынесении приговоров. «Я была в шоке, – рассказывает Джулия. – Стало ясно, что вся страна пользуется этими программами… И в еще большее изумление меня повергло, что ни одна из них не прошла независимых проверок».

Например, штат Нью-Йорк, который использовал COMPAS с 2001 года, сделал ее первую официальную оценку в 2012‐м, спустя одиннадцать лет. (В конце концов, Нью-Йорк пришел к выводу, что программа была «эффективна и точна в прогнозах».) [146]

Такие истории встречаются удивительно часто. Четвертый юридический округ Миннесоты, который проводит 40 % слушаний во всем штате, в 1992 году разработал свой собственный инструмент досудебной оценки рисков. «Отчет, написанный в то время, предполагал, что новая шкала пройдет сертификацию в течение первых нескольких лет применения, – так начинается документ об официальной оценке. – Как выяснилось, ее срок затянулся на 14 лет» [147].

Давно назревшая аттестация, проведенная в 2006 году, выявила, что четыре переменных модели – живет ли обвиняемый в Миннесоте более трех месяцев, живет ли он один, его возраст в момент задержания и факт применения оружия в деле – не имели буквально никакого влияния на риск нового правонарушения в ожидании суда или на то, появится ли подудимый на слушании. Тем не менее, на этих основаниях модель рекомендовала досудебное содержание под стражей. Куда хуже то, что три из четырех параметров были в сильной корреляции с расой. Округ отказался от этой модели и начал с чистого листа [148].

Чем больше Энгвин узнавала о моделях оценки рисков, тем больше беспокоилась. Она поняла, что нашла тему для следующего расследования: «С точки зрения журналиста это идеальная комбинация факторов: вопрос, который ранее никогда не освещался, на кону стоят человеческие судьбы, к тому же эксперты утверждают: „Все эти факторы – косвенные показатели расовой принадлежности“. И я решила: „Проверю сама!“» [149].

Джулия сосредоточила внимание на программе COMPAS, которая использовалась не только в Нью-Йорке, но и в Калифорнии, Висконсине и Флориде, охватывая более двухсот юрисдикций. Программа встречалась повсюду. В то время она была не слишком хорошо изучена, будучи патентованным коммерческим инструментом с закрытым исходным кодом, хотя его базовый проект и описывался в правительственных информационных документах. То есть программа представляла собой что‐то вроде «черного ящика». В апреле 2015 года Энгвин подала запрос в округ Брауард, штат Флорида в рамках закона о свободном доступе к информации. После пяти месяцев юридических препирательств она наконец получила данные – все восемнадцать тысяч оценок COMPAS, сделанных в округе Брауард в 2013 и 2014 годах.

Команда Энгвин начала проводить предварительный анализ данных. Тут же кое-что показалось странным. Оценки рисков, делавшиеся в диапазоне от 1 (минимальный риск) до 10 (максимальный риск), были более или менее равномерно распределены между чернокожими обвиняемыми, на которых приходилось примерно 10 % в каждой из десяти категорий. Для белых картина была совершенно иной: гораздо больше обвиняемых попадало в категории с меньшим риском и гораздо меньше – в категории с высоким.

У Энгвин было искушение опубликовать свое открытие здесь и сейчас. Но она понимала, что такое распределение не обязательно говорит о систематической ошибке: возможно, именно такими и были риски этих конкретных обвиняемых. Правда ли это? Был только один способ проверить. «Вывод был неутешительный, – вспоминает Джулия. – Мы должны были проверить сведения о судимости всех восемнадцати тысяч человек. Мы это сделали. Пришлось помучиться» [150]. На то, чтобы соединить оценки COMPAS с набором сведений о судимости – так называемое объединение – у Энгвин, ее команды и представителей округа ушел практически еще целый год.

«Понятно, что мы много пользовались автоматическим скрейпингом записей о судимости, – объясняет она. – А потом приходилось сопоставлять полученные данные по имени и дате рождения. Это самая ужасная вещь, какую только можно представить. Очень много опечаток и ошибок в написании. Временами я плакала едва ли не каждый день. Объединять было ужасно! Все данные перепутаны. Округ Брауард никогда не занимался подобной работой» [151]. Сотрудники администрации округа присоединились, чтобы помочь ProPublica вычистить данные и разобраться в них.

В результате получилась статья, которую Энгвин и ее команда опубликовали в мае 2016 года. Озаглавленная «Машинное неравноправие», она вышла с аннотацией: «Существует программное обеспечение, которое используется по всей стране для прогноза будущих преступлений. И оно настроено против чернокожих» [152].

В начале июля того же года Бреннан и его коллеги из Northpointe опубликовали официальное опровержение доводов ProPublica [153]. По их словам, «при использовании корректных статистических данных, на основании которых проводится классификация, заявление ProPublica о расовом неравноправии чернокожих не подтверждается» [154]. То есть Northpointe объявила, что COMPAS соответствует двум главным критериям справедливости.

Во-первых, прогнозы программы были одинаково точны как для черных, так и белых обвиняемых. Во-вторых, оценки рисков от 1 до 10 имели одно и то же значение, независимо от расы обвиняемого – это свойство еще называют калибровкой. К примеру, обвиняемые, получившие оценку риска совершения тяжкого преступления от 7 до 10, независимо от расовой принадлежности продолжают совершать повторные преступления в том же проценте случаев; то же самое верно и для степени риска 2, 3 и так далее. Единица – это единица, пятерка – это пятерка, десятка – это десятка, и неважно, к какой расе относится обвиняемый. У COMPAS были оба этих свойства – равная точность и калибровка. Поэтому, по мнению Northpointe, с точки зрения математики систематические ошибки инструмента были невозможны.

К концу июля ProPublica, в свою очередь, опубликовала ответ [155]. Заявления Northpointe, писали они, совершенно справедливы. COMPAS действительно был откалиброван и имел одинаковую точность в обеих группах, делая прогнозы того, совершат ли обвиняемые повторное преступление (рецидив) и будут ли снова арестованы, с точностью 61 % и для белых, и для черных. Тем не менее, в 39 % случаев программа ошибалась, и ошибалась онасовершенноиным образом.

При рассмотрении обвиняемых, которых модель оценила неверно, выявилось поразительное неравенство: «Чернокожие обвиняемые в два раза чаще получали

Проблема «справедливости» оценок инструмента обострилась: от вопроса о том, какие статистические методы будут «верными», исследователи перешли к проблеме того, как в первую очередь определить и измерить справедливость.

Диалог должен был вот-вот перейти на новый виток, и тут в него вступило еще одно сообщество – то, которое уже начало медленно и верно привлекать внимание к вопросу справедливости.

Чем справедливость не является

Гарвардский специалист по теории вычислительных машин Синтия Дворк, возможно, больше всего известна благодаря разработке принципа дифференциальной приватности, который позволяет компаниям собирать данные о пользователях в целом, сохраняя приватность каждого. Компания, занимающаяся веб-браузерами, хочет понимать поведение пользователей, но не знать при этом, на какие именно сайты ходите лично вы. Компания, производящая смартфоны, желает улучшить проверку орфографии или текстовые подсказки, не вникая в содержание ваших личных разговоров. Дифференциальная приватность делает это возможным. Примерно с 2014 года она распространялась по крупным техническим компаниям и принесла Дворк премию Геделя, одну из самых высоких наград в области компьютерных наук [157]. Но летом 2010‐го исследовательница считала, что закончила теоретическую часть работы, и искала новую задачу.

«Я начала работать над приватностью в 2000–2001 годах, – объясняет Дворк. – Дифференциальная приватность к 2006‐му уже существовала. У меня в голове оставался последний ряд вопросов, которые я хотела осветить, и на этом работа была закончена. Тогда я решила, что нужно подумать о чем‐то еще» [158].

Дворк, работая в исследовательском отделе Microsoft, приехала в Беркли, чтобы встретиться со своим коллегой, специалистом по информатике Амосом Фиатом. Весь день они провели в разговорах. К обеду, сидя в своем любимом ресторане Chez Panisse, они затронули темусправедливости. Дворк вспоминает: «Чтобы не шокировать находящихся вокруг нас людей разговорами о расизме и сексизме, мы придумали слова-заменители, такие как „пурпурные галстуки“, „полосатые рубашки“ и тому подобное. Но к обеду… мы во всем этом погрязли».

Термин «справедливость» в теоретической информатике употребляется в ряде контекстов, начиная с теоретико-игровых механизмов разрезания пирога (или раздела наследства) так, чтобы каждый получил справедливую долю, и заканчивая алгоритмами планирования, которые нужны, чтобы убедиться: каждый процесс в ЦПУ занимает соответствующее время. Но Дворк подумала, что в идее справедливости есть что‐то еще, о чем никто в отрасли еще не подозревает.

Так случилось, что Дворк прочитала одну из статей Джулии Энгвин из рубрики «Что они знают» в Wall Street Journal. Заметка была посвящена онлайн-рекламе. В ней говорилось, что уже в 2010 году (если не раньше) компании могли провести опознание личности каждого пользователя их веб-сайтов, сузив неопределенность до нескольких десятков людей, и за доли секунды принимали решение о том, какие кредитные карты кому предлагать [159].

Проработав с проблемой приватности целых десять лет, Дворк начала думать об этой проблеме не только с точки зрения «что они знают?», но и задумываться о том, «что они делают с этими знаниями?».

Дворк вернулась в Microsoft и сказала: «Я нашла нашу проблему».

В ее лаборатории работал и Мориц Хардт, в то время учившийся в аспирантуре и проходивший тем летом стажировку от Принстонского университета. Хардт совершенно не хотел работать над проблемами реального мира. Он интересовался теорией: сложность алгоритма, теория неразрешимости, произвольность. Чем абстрактнее, тем лучше. «Никакого практического использования, – шутил он. – Старая школа!» [160]

«Я многому научился, – рассказывает Хардт, – но нашел, что существует ряд проблем, которые я мог бы рассмотреть на этой площадке… Это не имело отношения к тому, чем я интересовался. Но я быстро увлекся социальными проблемами в большем объеме, чем их касается информатика». Все началось с анализа сохранения приватности данных, проведенным с Дворк. Она же втянула Хардта и в проект, посвященный справедливости.

Как вспоминает Хардт, «Синтия предполагала, что порой, когда люди спрашивают о приватности, они на самом деле беспокоятся о том, что кто‐то будет пользоваться их данными ненадлежащим образом. Проблема не в том, чтобы скрыть информацию любой ценой, а в том, чтобы не допустить вреда от пользования ею… Это предположение оказалось достаточно точным. Со временем общественные обсуждения переключились с приватности на справедливость, и все, что выглядело как проблема приватности, вдруг оказалось проблемой справедливости».

Дворк, Хардт и их коллеги столкнулись не только с огромными сложностями по переводу философских и юридических идей о справедливости в жесткие математические конструкции, но также обнаружили, что фактически главные ориентиры и методы, некоторые из которых появились десятки лет назад, понимались совершенно неверно и могли напрямую нанести вред.

К примеру, закон США о борьбе с дискриминацией определяет ряд признаков, таких как раса, пол и статус инвалида. Подразумевается, что строго запрещено использовать эти переменные в моделях машинного обучения, которые могут повлиять на людей в таких областях, как трудоустройство, содержание под стражей и т. д. Если мы читаем в прессе, что модель использует расу (или пол) как атрибут, то приходим к выводу, что что‐то пошло не так. Напротив, компании или организации обычно защищают свою модель, доказывая, что она «не использует расу как атрибут» или «не различает цвет кожи». Это кажется интуитивно понятным: как что‐то или кто‐то может подвергать дискриминации определенную группу, если понятия не имеет, кто туда входит?

Но это положение ошибочно по нескольким причинам.

Простоубратьзащищенный законом признак недостаточно. Пока модель вбирает в себя характеристики, коррелирующие, скажем, с полом или расой, ничего хорошего из того, что мы будем избегать упоминаний о них, не выйдет.

Как в случае с Бостонским симфоническим оркестром и, более того, с лингвистическими моделями анализа резюме, недостаточно просто убрать переменную, которая вас волнует (в данном случае – пол), особенно если существуют коррелирующие с ней факторы. Это явление известно как понятие избыточного кодирования. Гендерный атрибутизбыточно закодировансреди других переменных.

В контексте уголовного правосудия история об ином отношении к одной из демографических групп пестрит проявлениями избыточного кодирования. В районах, населенных этническими меньшинствами, полиция действует более агрессивно, и это означает, что на ровном месте что‐то кажущееся нейтральным, например список правонарушений (количество предыдущих задержаний), может превратиться в избыточное кодирование признака расы [161].

Поэтому недостаточно простоне обращать вниманияна критичные признаки. Одно из неприятных последствий избыточного кодирования в том, что, если система «слепнет» по отношению к таким атрибутам, становится толькохуже. К примеру, создатель модели захочет измерить, насколько некая переменная коррелирует с расой. Без значения расового атрибута у него ничего не выйдет. Один программист, с которым я говорил, жаловался, что его начальство постоянно подчеркивает важность того, чтобы модели не искажали выводы на основе пола и расы.

Если исключить защищенные атрибуты, то невозможно не только измерить отклонение, но и уменьшить его. Например, модель машинного обучения, использующаяся при найме, может отклонить кандидата, потому что тот не работал в течение года. Мы бы не хотели, чтобы это распространялось на беременных женщин и молодых матерей, но учесть это сложно, если модель «слепа» по отношению к полу и не может включать в себя даже что‐то тесно с ним связанное, например беременность [162].

«Разработчики абсолютно уверены, – говорит Хардт, – что справедливость через слепоту не работает. Это самый доказанный и надежный факт во всей области исследований» [163].

Нужно время, чтобы эта идея дошла от компьютерщиков до ученых-правоведов, политической верхушки и общественности в целом, но она постепенно пробивает себе дорогу. «Могут быть случаи, когда позволить алгоритму учесть значение защищенного параметра означает сделать результаты более справедливыми, – отмечается в одной из последних статей, опубликованных в University of Pennsylvania Law Review. – Для этого может потребоваться изменение доктрины, поскольку во многих случаях рассмотрение защищенного статуса при принятии решения считается правовым нарушением» [164].

Лето, которое Мориц Хардт работал с Синтией Дворк, принесло свои плоды в виде статьи, где фиксировались первые результаты [165]. Более того, даже без учета итогов статья послужила сигналом для коллег-теоретиков, указывающим на нечто достойное их внимания, некий теоретический вопрос, обладающий большим потенциалом и имеющий неоспоримую важность для реального мира.

Вернувшись в Принстон и получив степень PhD, Хардт обнаружил, что его пригласили на что‐то вроде свидания вслепую. Дворк поговорила с Хелен Ниссенбаум, которая одной из первых задумалась об этических проблемах в информатике [166]. У Ниссенбаум был аспирант по имени Солон Барокас, и они с Дворк поняли, что их ученики могут оказаться единомышленниками [167].

Первая встреча началась необычно.

Хардт сидел за столиком в суши-баре Sakura Express на Уизерспун-стрит в Принстоне. Вошел Барокас. «Он сел, – вспоминает Хардт, – и вытащил статью. К моему разочарованию, за ней последовал желтый маркер, которым он тщательно выделял абзацы. Не так нужно читать статью по информатике!» Мориц смеется: «До этого момента я считал, что слова в статье просто заполняют промежутки между математическими расчетами… Было очень неловко, потому что написанное не имело смысла».

Двое молодых людей разговорились. Несмотря на непростое начало, сходство, которое заметили их наставницы, действительно существовало. В конце концов эти двое решили представить предложение на конференцию по нейросетевым системам обработки информации (Neural Information Processing Systems, NeurIPS) 2013 года, чтобы провести семинар по справедливости. NeurIPS отказала. «Они посчитали, что по теме проведено недостаточно работы и материала не хватает, – рассказывает Хардт. – В 2014 году мы с Солоном собрались вместе и решили, что попробуем снова». Исследователи дали теме другое название и более широкое понимание: «Справедливость, ответственность и прозрачность в машинном обучении» (Fairness, Accountability, and Transparency in Machine Learning, FATML). На этот раз NeurIPS согласилась. В том же году был проведен однодневный семинар в Монреале. Барокас и Хардт представляли тезисы, а Дворк произнесла вступительную речь.

Хардт закончил обучение, уехал из Принстона и начал работать в исследовательском отделе IBM. Параллельно он продолжал заниматься вопросами справедливости. «Мне всегда приходилось работать над сторонними проектами, чтобы продолжать существовать как специалист по теории вычислительных машин. С точки зрения карьеры, это своего рода хобби». Надо отдать должное IBM, компания предоставила Морицу достаточно свободы, несмотря на то, что его страсть не всегда разделяли. «Моя группа в IBM не особенно интересовалась этой темой, – говорит он, – но ею никто не интересовался».

Двое исследователей встретились вновь и повторили свое выступление на конференции в 2015 году. «Комната была полна, – вспоминает Хардт. – Люди пришли, но до революции, мягко говоря, было еще далеко». Он продолжал тратить львиную долю своего времени на информатику. Прошел еще год, и они с Солоном в третий раз провели семинар по FATML.

На этот раз кое-что изменилось. «2016‐й был годом, когда все вышло из-под контроля, – рассказывает Хардт. – Математик и блогер Кэти О’Нил, которая была на первом семинаре в 2014‐м, опубликовала свой бестселлер „Оружие математического поражения“ (Weapons of Math Destruction), посвященный социальным проблемам, порожденным безответственным использованием больших данных. Шокирующие результаты выборов, бросающие вызов исследованиям общественного мнения по всему миру, подорвали доверие к надежности прогностических моделей. Тем временем работа политических фирм, использующих большие данные, таких как Cambridge Analytica, вызвала вопросы о том, не используется ли машинное обучение для того, чтобы напрямую влиять на политику. Платформы одних крупных социальных сетей ссорились по поводу того, как применять машинное обучение для фильтрации информации, демонстрируемой миллиардам их пользователей, и делать ли это вообще. А группа репортеров из ProPublica после года неустанной работы с данными вынесла на суд общественности свои открытия об одном из самых популярных в стране инструментов оценки рисков.

Справедливость больше не была проблемой. Она превратилась в движение.

Невозможность справедливости

С 2012 года ученый-информатик из Корнеллского университета Джон Клейнберг и экономист из университета Чикаго Сендил Муллайнатан работали над проектом использования машинного обучения для анализа решений о мере пресечения обвиняемых, сравнивая мнение судей и оценки прогностических моделей машинного обучения. «Часть этой работы – вникнуть в вопросы, связанные с алгоритмическими инструментами, которые заботят людей в контексте расового неравенства, – говорил Клейнберг. – Я считал, мы это хорошо обдумали. И тут появилась статья ProPublica и… наши новостные каналы в социальных сетях тут же заполнились ее репостами. Она действительно захватила внимание людей. Они что‐то уловили. Мы хотели поглубже изучить проблему и узнать, как она связана с темами, о которых мы размышляли» [168].

В Питтсбурге статистик университета Карнеги – Меллона Александра Чулдехова с весны 2015 года работала с комиссией по вынесению приговоров штата Пенсильвания, создавая визуальную панель для изучения различных математических характеристик инструментов оценки риска. «Я стала все чаще и чаще задумываться об этих вопросах… чтобы понять различные представления справедливости, если говорить о классификационных показателях и их связях, – рассказывала она. – Все это происходило, когда я работала над другими проектами… Я обсудила с одним из своих старших коллег, что, возможно, стоит написать статью о проблемах проверки инструментов оценки риска. Мы уже сделали обзор литературы, когда прогремела статья ProPublica. Думаю, это действительно подтолкнуло многих людей к мыслям в этом направлении» [169].

Похожие истории можно услышать и от тех, кто обитал на другом конце страны. Аспирант Стэнфорда Сэм Корбетт-Дэвис начал работу над диссертацией, «желая заниматься роботами и чистой информатикой». Год спустя он обнаружил, что ему это не нравится: «В то же время я маниакально читал

ProPublica уделила особое вниманиевидамошибок, которые делал COMPAS, и подчеркнула, что программа постоянно переоценивала риски чернокожих обвиняемых, которые в будущем не совершали правонарушений, и недооценивала риски белых, нарушавших закон после УДО. Northpointe делала акцент не на типе ошибок, а на ихвеличине, и придавала особое значение тому, что модель одинаковоточнав прогнозах для чернокожих и белых обвиняемых и, более того, по каждой степени риска от 1 до 1 °COMPAS был откалиброван: обвиняемого могли освободить независимо от его расы и полученной оценки риска. Таким образом, вопрос о степени справедливости COMPAS разжег конфликт между двумя разными математическими определениями той самой справедливости.

Как иногда случается в науке, определенная идея или открытие созревает настолько, что несколько команд приходят к ней практически одновременно.

Появилось сразу три статьи [173]. Все три исследования привели к схожим, дополняющим друг друга результатам. Новости были не слишком хорошими.

Поставив во главу угла определение справедливости от ProPublica – предубеждение к чернокожим обвиняемым, которые совершали повторные преступления в два раза реже, чем их белые «коллеги», но были ошибочно отнесены к категориям с высоким риском, – Клейнберг написал: «Можно объединить это определение с другими, на которые люди обращают больше внимания, и спросить: „До какой степени они совместимы?“ Ответ: они не совместимы вообще».

Только в мире, где черные и белые обвиняемые будут иметь одинаковую «базовую ставку» – то есть совершать повторные преступления одинаково часто, – появится возможность удовлетворять критериям ProPublica и Northpointe одновременно. Иначе это просто невозможно.

Это никак не связано с машинным обучением. Не имеет отношения и к уголовному правосудию как таковому. «Это просто факт, – пишут Клейнберг и его коллеги, – имеющий отношение к оценкам рисков, когда базовая ставка у двух групп отличается» [174].

Анализ Чулдеховой пришел к тем же выводам. Она пишет, что откалиброванный инструмент «не может выдавать одинаковые ложноположительные и ложноотрицательные рейтинги в разных группах, когда показатель рецидивизма между этими группами отличается».

«Невозможно получить все сразу, – говорила она. – Это общий принцип, но в данном случае он подводит к интересным умозаключениям… имеющим последствия при оценке рисков в реальном мире» [175].

Например, если ни одна модель не в состоянии удовлетворить всем критериям, тогда попытка разоблачения любого инструмента оценки рисков гарантировано окончится чем‐нибудь неприятным и достойным заголовков в газетах.

Как объяснял Сэм Корбетт-Дэвис, «не существует такого мира, где ProPublica не найдет то, что можно назвать неравенством. Не существует такого алгоритма – такой версии COMPAS, – который не дал бы этой статье появиться на свет» [176].

(По иронии судьбы, в своем анализе данных округа Брауард Корбетт-Дэвис обнаружил, что COMPAS не откалиброван в отношении пола. «Женщина с оценкой риска 5 совершает повторные преступления так же часто, как и мужчина с оценкой 3, – утверждал он [177]. – [ProPublica] могла бы написать статью и об этом».) [178]

Бесчувственный математический факт невозможности существования таких алгоритмов также означает, что проблема влияет не только на модели машинного обучения, оценивающие риски, но и на любые средства классификации, которыми пользуется человекилимашина. Как пишет Клейнберг, «любое присваивание оценок риска субъективно и может быть подвергнуто критике из-за предвзятости. Это одинаково верно и для тех случаев, когда оценка риска определяется алгоритмом, и для тех, когда она определяется людьми с помощью традиционной процедуры» [179].

Установив, что невозможно согласовать очень разные критерии справедливости, которые кажутся интуитивно понятными и желательными, и что старомодное человеческое правосудие при этом не лучше, остается задать один вопрос.

А что теперь делать?

За пределами невозможности

Я спросил Джона Клейнберга, что он думает о полученном результате – о невозможности существования справедливых алгоритмов, – и что, по его мнению, нам делать. «Я не скажу ничего сенсационного, – ответил он. – Думаю, в зависимости от обстоятельств… оба определения важны. И то, какое из них будет иметь больший вес, зависит от вашей сферы деятельности».

Действительно, критические аспекты этого компромисса кардинально меняются в разных областях. Возьмем, к примеру,кредитование, которое отличается от уголовного судопроизводства. Отказать в ссуде тому, кто ее выплатит, значит не только потерю процентов для заимодавца, но и серьезные последствия для заемщика. Допустим, он не сможет купить дом или начать свое дело. С другой стороны, дать ссуду тому, кто ееневернет, означает только денежные потери для заимодавца. Эта асимметрия может влиять на восприятие справедливости. Мы хотим быть уверенными, что все кредитоспособные заемщики из двух разных групп имеют одинаковые шансы на получение ссуды, даже когда математика говорит, что тогда снизятся не только прибыли заимодавцев, но в той или иной группе кредит получат большенедостойныхлюдей [180].

Однако в правосудии и – особенно – когда речь идет о тяжких преступлениях, и ложноположительные (люди с высокими оценками риска, не совершающие новых преступлений), и ложноотрицательные результаты (люди с низкими оценками риска, которые становятся рецидивистами) ведут к человеческим жертвам. Компромисс, на который мы готовы пойти, будет в результате совершенно иным.

Сэм Корбетт-Дэвис, к примеру, утверждал, что выравнивание ложноположительных оценок в контексте оценки риска – черные или белые обвиняемые, которыенесовершат повторных правонарушений, не содержатся под стражей напрасно, – приведет к применению разных стандартов для обвиняемых разных рас до тех пор, пока реальный уровень нарушений отличается. Например, в тюрьме будет оставаться каждый чернокожий обвиняемый с оценкой риска 7 и выше и каждый белый с оценкой от 6. Такой подход, как считает Корбетт-Дэвис, «может нарушать пункт о равной защите законом Четырнадцатой поправки» [181].

По мнению Корбетт-Дэвиса, в действительности дела обстоят еще хуже: «Поскольку мы станем удерживать в тюрьме обвиняемых с более низкой степенью риска и выпускать людей с относительно высоким риском, произойдет рост тяжких преступлений, совершенных освобожденными преступниками. И так как мы

Доказательство невозможности совмещения метрик также показывает, что выравнивание ложноположительных и ложноотрицательных оценок означает отказ от калибровки. Если говорить конкретнее – от гарантии, что для каждого уровня риска шанс обвиняемого совершить преступление остается таким же, независимо от пола и расы. «Без калибровки, – говорит Корбетт-Дэвис, – непонятно, что означает оценка риска. Если вы спросите меня, насколько велик риск этого обвиняемого, и я отвечу «на 2», а вы спросите, что это значит, мне придется ответить: „Если это мужчина, значит, существует 50 %-ная вероятность повторного нарушения, а если женщина, то риск равен 20 %». Видите, двойка теряет свое значение» [183].

Тим Бреннан согласен с тем, что калибровка первостепенна: «Если белый и чернокожий имеют оценку риска 7, означает ли это, что оба могут проиграть? Одинаковый риск ареста?.. Стандартный метод – полностью удостовериться в том, что калибровка не имеет систематической ошибки, связанной с расой, и в том, что уровень точности один и тот же… Мы сделали и то, и другое. А если бы сделали что‐то еще, то нарушили бы закон» [184].

Тем не менее даже те, кто подчеркивает важность калибровки, думают, что ее одной недостаточно. Как говорит Корбетт-Дэвис, «хоть калибровка и желательна, она дает мало гарантий беспристрастности решений» [185].

Как бы то ни было, то, что эти критерии невозможно удовлетворить одновременно, не означает, что нельзя идти на компромиссы, – а это может быть лучшим вариантом. Другие исследователи занялись этой проблемой, и работа продолжается [186].

Я спросил Джулию Энгвин, что она думает о волне теоретических результатов, к которым привела ее статья, и о невозможности сделать то, что, казалось бы, требовала ее команда, – создать инструмент, который был бы откалиброван и имел одинаковое количество ложноотрицательных и ложноположительных результатов.

«Я думаю, – ответила она, – что перед нами вопрос политики. И вопрос морали. Но было приятно узнать, что никто не знал о существовании этой проблемы, пока мы ее не подняли. Это то, что я больше всего люблю в журналистике… Четкое определение проблемы позволит ее решить» [187].

Не всем нравилось публичное обсуждение, спровоцированное работой ProPublica. Группа специалистов по криминальному правосудию во главе с Энтони Флоресом опубликовала ответ. В нем COMPAS не только защищали как откалиброванную модель (и калибровку как приемлемый критерий справедливости), но, более того, жаловались на вред от самих разногласий [188]. «Мы живем в уникальное время, – писали юристы. – Нам выпал шанс, который дается раз в поколение, а может, и раз в жизни. Мы можем с помощью научных методов реформировать систему вынесения приговоров и уничтожить широко распространенное государственно-правовое явление взятия под стражу, и эта возможность исчезает из-за ложной информации и неверного понимания [статистических моделей оценки риска]. Плохо проведенные исследования или заявления, которые вводят в заблуждение, могут привести к растерянности и/или ступору тех, кто ответственен за формирование политики».

Тим Бреннан разделяет бо́льшую часть этих тревог и, разумеется, совершенно не согласен с характеристикой COMPAS, данной ProPublica. Но когда я спросил его о том, есть ли положительные моменты в этих дискуссиях, особенно в междисциплинарном движении, которое они породили среди специалистов по информатике, он согласился: «Я думаю, справедливость надо разложить на коэффициенты, уведомив людей об их значении, выгоде и издержках – и о невозможности использовать некоторые. Когда вы понимаете проблему или называете ее, решение становится более вероятным, чем когда вы не понимаете, что проблема существует в принципе» [189].

Большинство специалистов по информатике согласилось, что такие вещи лучше обсуждать открыто, чем замалчивать.

«Важно подчеркнуть, что от математики никуда не деться, – говорила Синтия Дворк. – Так что лучшее, на что мы можем надеяться, – это то, что позволяет математика. И мы намного дальше продвинулись в понимании пределов, которые она ставит» [190].

Для Морица Хардта первая волна академических и технических работ, последовавших за исследованием ProPublica, узаконила использование таких этических понятий, как справедливость, в качестве приемлемых тем для исследования не только в научных отделах, но и в корпоративном мире. В 2016 году, когда появилась волна работ, включавшая и его собственную, Хардт работал в Google. Он вспоминает, как наблюдал ее влияние: «Прежде люди не были так уверены, что существует что‐то такое, чего стоит касаться. Эти темы были как горячая картошка». С тех пор произошел взрыв интереса к подобным исследованиям, как в компании Google, так и вне ее. «Так что есть кое-что, чем я горжусь, – говорит Хардт. – Я действительно внес вклад в культуру» [191].

Для Джона Клейнберга роль специалиста по информатике, задающегося такими вопросами, – это обеспечение заинтересованных лиц инструментами, которые помогут четко сформулировать проблему. «Наша позиция – не говорить вам, кто прав, но дать язык для того, чтобы вести дискуссию… Я рассматриваю это как часть своих обязанностей как специалиста по компьютерным наукам: можем ли мы говорить строго научно о вещах, которые существовали неофициально. Ведь мир двигается в этом направлении».

Так и есть. В конце лета 2018 года Калифорния провела SB 10, мощную реформу системы правосудия, повсеместно упразднявшую освобождение под залог. Теперь у штата оставалось только два варианта: поместить обвиняемого под стражу или освободить до суда. Более того, поправка требовала использования алгоритмических инструментов оценки риска при принятии таких решений [192]. До конца того года Конгресс США принял Закон первого шага, за который проголосовали обе партии. Он предполагает широкомасштабную реформу криминального правосудия и среди множества нововведений требует от министерства юстиции разработать статистическую модель, которая будет использоваться для оценки риска рецидивизма всех федеральных заключенных, а также для определения плана их реабилитации [193].

Хотя стремительное и масштабное внедрение в практику этих инструментов только растет, состязание между внедрением и мудростью, с которой эти инструменты создаются и используются, начинает хоть как‐то выравниваться. Спотыкаясь и прихрамывая, мы приходим к пониманию того, что значит сделать «хороший» прогноз.

Тем не менее в этой дискуссии выявилась еще более крупная проблема: а действительно ли мы хотим прогнозировать, занимаясь всем этим?

После публикации отчета ProPublica репортер Washington Post позвонил Чулдеховой, чтобы услышать ее комментарий. В сущности, у него было два вопроса. Первый касался противоречий между требованиями ProPublica и защитой Northpointe.

«На это у меня был заранее заготовленный ответ, – рассказывает Чулдехова. – Если показатели повторных преступлений различаются в разных группах населения, то нельзя получить все и сразу. Чего у меня не было, так это хитроумного ответа, когда репортер спросил: „Что же на самом деле имеет значение?“

И это действительно

За рамками прогноза

Хотя прогноз осуществляется на основании данных, доступных в конкретный момент, полностью полагаться на этот метод нельзя.

Эрнст Берджесс [195]

Ваши ученые были так заняты размышлениями о том, способны они на это или нет… что не подумали, а стоит ли им это делать вообще.

Джефф Голдблюм в роли Яна Малкольма, «Парк Юрского периода»

Одна из самых важных вещей в любом прогнозе – убедиться, что вы предсказываете то, что хотите знать. На деле это гораздо труднее, чем кажется.

К примеру, в конкурсе ImageNet, где AlexNet одержала победу в 2012 году, цель – научить машины распознавать изображения. Но в данных для обучения содержится другое. Они представляли собой то, что, по мнению добровольцев из Mechanical Turk, изображено на картинках. Если, скажем, человек будет раз за разом ошибочно определять львенка как кошку, это изображение станет частью данных для обучения каккошка, и у любой системы, определившей его как льва, будут урезаны очки и изменены параметры, чтобы исправить эту «ошибку».

Мораль этой истории такова: иногда «истина» таковой не является.

В случае с прогнозами криминального правосудия недостатки такого рода заметны еще сильнее. Для краткости часто говорят о прогнозировании самого рецидивизма, но данные для обучения под это не заточены. Они принимают во внимание неповторное совершение правонарушения, аповторный арестиповторное осуждение. Эта разница может быть критичной.

Кристиан Лам, ведущий статистик в Группе анализа данных по правам человека (Human Rights Data Analysis Group), и Уильям Айзек с кафедры политических наук университета штата Мичиган в 2016 году написали об этом в своей статье, посвященной использованию прогностических моделей в деятельности полиции:

«Поскольку данные собираются как побочный продукт полицейской работы, прогнозы на основании схем, полученных из этих данных не соответствуют будущим преступлениям. Они соответствуют толькотем правонарушениям, о которых известно полиции. В этом смысле ее прогностическая деятельность названа надлежащим образом: она предсказывает работу полицейских, а не совершение преступлений [196].

Подобная критика появилась еще в 1930‐е годы. Когда в Иллинойсе вводилась предложенная Эрнстом Берджессом реформа процедуры УДО, критики – особенно скептически настроенные к тому, что освобожденные действительно вернутся в общество, – утверждали, что официальные лица недооценивают уровень повторных преступлений. В 1937 году Элмер Шнакенберг, лидер республиканского меньшинства в Палате представителей Иллинойса, жаловался: «Если условно-освобожденный не попался на преступлении в первый или второй год после освобождения, его… вносят в список исправившихся» [197].

Разрыв между тем, что мы намеревались измерить с помощью инструмента, и тем, что на самом деле содержат данные, должен в равной степени беспокоить и консерваторов, и прогрессистов. Система оценивает преступников, которые успешно избегают ареста, как «имеющих низкий риск», тем самым давая рекомендацию освобождать других таких же преступников. А люди, находящиеся под пристальным надзором полиции, и незаконно осужденные, становятся частью сомнительной эталонной статистики «имеющих высокий риск», вынуждая систему рекомендовать для них и им подобных тюремное заключение.

Это особенно беспокоит в контексте прогностической деятельности полиции, где данные для обучения используются, чтобынаправитьсами действия полиции, в свою очередь, создающие информацию об арестах. Так может получиться порочный круг [198].

Человек, совершающий преступление на территории, где полиция менее агрессивна или менее ответственно исполняет свои обязанности, будет помечен системой как некто,не имеющий рецидивов. И в этом районе станетменьшеполицейских. Разница в деятельности правоохранительных органов между двумя похожими районами будет, скорее всего, только расти. Как подытоживают Лам и Айзек, «модель становится все более уверенной в том, что районы, где продолжается криминальная деятельность, – это места, которые ранее отличались высокой преступностью: систематическая ошибка отбора встречается с ошибкой подтверждения» [199]. Система начинаетформироватьреальность, которую должнапрогнозировать. Петля обратной связи, в свою очередь, и дальше вносит отклонения в данные для обучения.

Есть способы смягчить влияние проблем на модель. COMPAS, к примеру, делает три разных прогноза «риска»: насильственное повторное преступление, повторное правонарушение и неявка в суд. В полицию куда чаще сообщают о насильственных преступлениях (например, об убийствах), чем о ненасильственных, и в связи с этим полиция чаще обеспечивает правовые санкции и аресты. Ивсенеявки обвиняемых в судпо определениюстановятся известными судебной системе, не оставляя буквально никакого пространства для смещенной выборки данных или разницы в обеспечении правовых санкций. Мудрое использование инструментов оценки риска, таким образом, может придать особое значение насильственным повторным преступлениям и неявке в суд по сравнению с ненасильственными правонарушениями, основываясь на том, что данные для обучения модели более достоверны именно в этих случаях. Это ряд юрисдикций и начинает претворять в жизнь [200].

Среди других способов смягчения негативных последствий можно отметить попытку создать модель, принимающую в расчет большие расхождения в пресечении определенных правонарушений, к примеру, она будет относиться к чернокожему жителю Манхэттена, несколько раз арестованному по одному типу преступления, так же, как и к белому манхэттенцу, имеющему только один арест. (Разумеется, для этого потребуется, чтобы модель в качестве входных данных получала и расу обвиняемого.)

Второй, не менее серьезный вопрос, требующий разрешения, состоит в том, используем ли мы прогностическую модель – даже если она измеряет то, что требуется, – именно в предполагаемой области применения или для чего‐то другого.

Например, в некоторых штатах COMPAS используют, чтобы принимать решения при вынесении приговоров, что многие считают нелепым и даже неприемлемым. Рассказывает Кристина Ремингтон, помощник генерального прокурора штата Висконсин: «Я не хочу, чтобы в суде звучало: человек, стоящий перед нами, получил от COMPAS оценку риска в 10 баллов, и поэтому я прошу для него максимального приговора». Но COMPAS используется для вынесения приговоров, в том числе и в Висконсине. Когда житель этого штата Пол Зилли получил более длинный срок, чем ожидал, из-за оценки COMPAS, его государственный защитник вызвал в качестве свидетеля защиты никого иного, как Тима Бреннана. Бреннан подтвердил, что COMPAS не был разработан для вынесения приговоров [201]. Мы должны точно знать, для каких прогнозов разработан наш инструмент, и должны быть очень осторожны, используя его с иными параметрами. «Используйте только по назначению», – написано на этикетках рецептурных медикаментов. Такие напоминания необходимы и для машинного обучения.

Если взглянуть еще шире, мы можем бросить вызов одному из самых фундаментальных, пусть и негласных замыслов всего предприятия: лучший прогноз ведет к повышению общественной безопасности.

Поначалу кажется, что думать иначе – просто сумасшествие. Но есть причины остановиться и обдумать некоторые предположения, скрывающиеся за этой точкой зрения.

Профессор правоведения Колумбийского университета Бернар Аркур в

Прогнозы также могут не достичь конечной цели – сделать общество безопаснее, – если не превратятся вдействия. В 2013 году в Чикаго запустили пилотную программу для снижения уровная вооруженного насилия, создав «Оперативный список граждан» (неофициально – «горячий список»), где перечислены люди с высоким риском стать жертвами вооруженных нападений. Эти люди становились жертвами насильственных преступлений в 233 раза чаще, чем средний житель Чикаго. В этом смысле прогнозирующие возможности списка казались безукоризненными. Тем не менее убийства происходили так редко, что даже в «горячем списке» их жертвами стали только 0,7 %. Что же тогда делать с этими прогнозами? Каким образом вмешательство в жизнь тысячи людей может помочь тем семерым, кого действительно убьют?

«Эффективно используя современные средства анализа данных, полицейские департаменты, возможно, смогут более эффективно определять будущих жертв преступлений и принимать меры», – отмечал доклад 2016 года корпорации RAND, посвященный прогностической деятельности полиции Чикаго [203]. Тем не менее «одно только улучшение точности прогнозов может не привести к снижению преступности… важнее, чтобы правоохранительные органы имели больше информации о том, чтоделатьс этими прогнозами» (курсив мой) [204].

Прогнозы не были самоцелью. Что лучше: мир, в котором мы на 99 % можем быть уверены, где и когда произойдет преступление, или мир, где на 99 % меньше преступлений? В фанатичной гонке за точностью прогнозов или, если уж на то пошло, за справедливостью отдельно взятого прогностического инструмента мы можем упустить нечто большее [205].

В досудебном освобождении, для которого COMPAS и был разработан, есть похожий разрыв между прогнозами и их применением, что следует рассмотреть более подробно. Прогноз, утверждающий, что кто‐то не явится в зал суда, не обязательно означает, что человека нужно содержать под стражей все это время [206].

Александра Чулдехова объясняет: «Если вы подумаете об этом с такой точки зрения, то решите, что эта группа населения заслуживает особого внимания. Возможно, они в меньшей степени способны позаботиться по себе. Может быть, у нихне такой высокий риск, ноболее сильная нужда». Возможно, им нужно, чтобы кто‐то присмотрел за детьми в этот день или подвез их в суд, а не получить штраф. Как выяснилось, простоенапоминаниео дате суда может значительно повысить явку обвиняемых [207]. К несчастью, в отличие от COMPAS многие инструменты оценки риска отождествляют неспособность явиться в суд с прогнозом криминальных правонарушений [208]. Если одну потенциально рискованную ситуацию можно решить лишением свободы, а другую – текстовым сообщением, это можно считать огромной проблемой.

Эта точка зрения тесно переплетается с мнением Тима Бреннана. Информационный лист COMPAS, который показывают судье, разработан так, чтобы оценка риска выделялась красным цветом, а оценка потребностей – зеленым. «Зеленым, – говорит Бреннан, – потому что это поможет человеку» [209]. Главной идеей было освободить из-под стражи как можно больше обвиняемых и определить их на лечение, под наблюдение общества и так далее – в конце концов, AS в COMPAS обозначает «альтернативные меры пресечения» (Alternative Sanctions). Но некоторые судьи рассматривают «потребности» – бездомность, отсутствие близких людей – не как путь к реабилитации, а как новые поводы для содержания под стражей [210]. Разумеется, чтобы применить к человеку альтернативные санкции, направить его на лечение, обучение, психологическое консультирование, нужно, чтобы такие услуги действительно существовали. Если их нет, тогда это проблема, которую не может разрешить ни одна статистическая модель и ни один судья.

«Это подводит к моей главной мысли», – говорил Мориц Хардт [211]. Модель машинного обучения, подготовленная с помощью данных, «по определению является инструментом для предсказания будущего на основании прошлого… Вот почему этот инструмент совершенно не подходит для многих областей, где пытаются разработать способы вмешательства и механизмы, чтобы изменить мир» [212].

Хардт развивает свою мысль: «Снижение уровня преступности и арестов – это действительно очень серьезная проблема, которую я хотел бы оставить специалистам по криминальному правосудию. Я считаю, что прогнозы дают несколько пессимистичную точку зрения. Они словно говорят: „Предположим, что мы не сможем конструктивно снизить уровень преступности. Мы предскажем, где произойдет преступление, отправимся туда и попытаемся поймать злоумышленника до того, как что‐то случится“. На мой взгляд, это не механизм конструктивной борьбы с преступностью. Вот что я называю пессимистическим подходом. Я не хочу предсказывать, где произойдет преступление. Полагаю, что это полезно, но предпочел бы иметь механизм снижения уровня преступности. Я как специалист по информатике не могу ничего предложить, абсолютно ничего. Я не могу сказать, что что‐то в этом смыслю. И потребуются годы, чтобы разобраться, что я могу сделать».

О важности того, чтобы сделать шаг назад и посмотреть на систему криминального правосудия в более крупном масштабе, не забывали и первые исследователи этой сферы.

Эрнст Берджесс в 1937 году, когда его первый доклад по системе УДО указал на модель оценки риска, которая стала применяться во всем штате, чувствовал, что пришло время перейти к чему‐то более глубокому. «В Иллинойсе, на мой взгляд, – писал он, – пора перестать экспериментировать с условно-досрочным освобождением как с отдельной частью наших проблем в пенитенциарной системе. Что требуется, так это крупное вмешательство, включающее в себя полную реорганизацию тюремной системы штата» [213].

С тех пор прошло больше восьмидесяти лет, и его слова все еще остаются правдой.

3. Прозрачность

Подразумевается, что правила ясны, единообразны и всем доступны. Как все мы знаем, в действительности так бывает редко.

Дэвид Грэбер [214]

Предоставление огромного количества информации без адекватной структуры и документации – это не прозрачность.

Ричард Берк [215]

В середине 1990‐х Рич Каруана из Microsoft был

Митчелл работал над амбициозным междисциплинарным проектом, охватывающим несколько организаций и объединяющим биостатистиков, специалистов по информатике, философов и врачей. Они изучали пневмонию. Когда пациенту ставился этот диагноз, больнице необходимо было быстро принять критически важное решение: госпитализировать его или лечить амбулаторно, то есть оставить в больнице и отслеживать состояние или отпустить домой. В то время пневмония была шестой по частоте причиной смерти в Соединенных Штатах, примерно 10 % больных умирали. Верно определить, кто из пациентов находится в группе риска, значило спасти чьи‐то жизни.

Группа получила набор данных о примерно пятнадцати тысячах больных пневмонией. Задачей было создать модель машинного обучения, прогнозирующую выживаемость пациентов, что помогло бы разделять новых пациентов на потоки. В результате получился своего рода конкурс разных моделей машинного обучения: логистическая регрессия, обучение, основанное на правилах, байесовский классификатор, дерево принятия решений, метод ближайших соседей, нейросеть – всех не перечислить [216].

Каруана работал с нейросетями (в 1990‐е последним словом науки были не глубокие, аширокиенейросети) и не без гордости представил свои результаты. Нейросеть победила с легкостью. Она оказалась лучшей из сложных моделей и со значительным отрывом превзошла более традиционные статистические методы, такие как логистическая регрессия [217].

Группа написала в отчете: «Даже небольшие улучшения в прогнозе для широко распространенных заболеваний с дорогостоящим лечением, таких как [пневмония], скорее всего, приведут к значительным улучшениям в качестве и эффективности оказания медицинской помощи. Таким образом, важен поиск моделей с самым высоким возможным уровнем прогностических показателей» [218].

Поэтому вполне естественно, что больница Питтсбурга, которая была партнером исследования, решила внедрить самую высокопроизводительную модель. Ведь так?

«Мы заговорили о том, безопасно ли использовать нейронную сеть, когда речь идет о жизни людей, – рассказывает Каруана [219]. – И я сказал: „Черт побери, нет, мы не будем использовать эту нейросеть на пациентах!“»

В итоге они внедрили одну из более простых моделей, которую нейросеть легко опережала. И вот почему.

Неправильные правила

Ричард Амбросино, один из ученых, участвовавших в проекте, готовил по тому же набору данных совершенно другую модель с обучением, основанном на правилах. Она из тех систем машинного обучения, работу которых проще всего понять: они обычно имеют вид списка правил в виде «еслиx, тогдаy». Вы просто читаете список сверху вниз, и как только правило подходит, останавливаетесь. Представьте графическую схему программы, которая не разветвляется и выглядит как единая ветка, выполняющаяся сверху вниз: «Это правило выполняется? Если да, вот ответ. Если нет, продолжайте читать». Этим модели с обучением, основанным на правилах, напоминают условные выражения или операторы переключения в традиционном программировании; они также во многом похожи на то, как думают и пишут люди. (Более сложные модели используют не списки, а наборы, где многочисленные правила применяются одновременно.) [220]

Амбросино создавал основанную на правилах модель, используя данные по пневмонии. Однажды вечером, обучая модель, он заметил, что она усвоила правило, которое выглядело очень странным: «Если у пациента в анамнезе есть астма, то он попадает в группу с низким риском и может лечиться амбулаторно».

Амбросино не знал, что делать с этим открытием. Он показал его Каруане. Тот вспоминал: «Он говорит: „Рич, как ты думаешь, что это значит? Бессмыслица какая‐то“. Странно, заболев пневмонией, радоваться, что у тебя астма». Пара исследователей пришла на следующее собрание группы, где присутствовало несколько врачей. Возможно, доктора медицины смогут объяснить то, перед чем пасуют специалисты в информатике. «Они сказали: „Вы знаете, возможно, это реальная схема действий из наших данных. … Мы считаем астму таким серьезным фактором риска для пациентов с пневмонией, что не просто кладем их в больницу… А можем сразу поместить их в отделение интенсивной терапии или реанимацию“.

Другими словами, корреляция, которую выявила основанная на правилах система, была верной. Астматики действительно в среднем умирали от пневмонии реже, чем здоровое население в целом. Но именно из-за высокого уровня медицинской помощи, которую они получали. «Так что помощь, которую получают астматики и которая уменьшает для них риск, – это именно то, в чем модель отказывала этим пациентам, – поясняет Каруана. – Думаю, проблема ясна». Модель, рекомендующая астматикам амбулаторное лечение, была не просто неправа, она угрожала их жизни [221].

Глядя на странную логику, которую обнаружила основанная на правилах модель, Каруана тут же понял, что его нейронная сеть должна была использовать ту же самую логику, просто это было не так очевидно.

Поправить или отредактировать основанную на правилах систему достаточно просто, нейросеть «исправить» труднее, хотя ничего невозможного в этом нет. «Я не знал, где именно в нейросети проблема, но знал, что так или иначе мог ее решить, – вспоминает Каруана. – В процессе я мог опубликовать больше статей – это хорошо, – и избавиться от проблемы. Я бы сказал, что причина, по которой мы не стали внедрять нейросеть, была не в астме, потому что о ней я тогда уже знал.

Меня беспокоили вещи, которым нейросеть научилась, которые были столь же рискованными, как и астма, но основанная на правилах модель их не усвоила». Поскольку нейросеть более гибка, а ее мощность выше, она может научиться вещам, которых «не знает» основанная на правилах система. Это, в конце концов, и дает нейросетям преимущество, поэтому нейронная сеть Каруаны и выиграла внутреннее соревнование группы. «Есть вещи, из-за которых мы не стаем использовать эту модель. Потому что не знаем, что нуждается в исправлении. Таким образом, проблема прозрачности нейросети в конце концов заставила меня отказаться от нее. Это очень долго меня беспокоило. Потому что самые точные модели машинного обучения часто не обладают прозрачностью в необходимой степени. А я человек, занимающийся машинным обучением. Так что мне нужны точные и безопасные модели».

В отрасли часто замечают, что самые точные модели наименее понятны, а самые понятные менее точны. «Это меня злило, – рассказывает Каруана. – Я хотел заниматься машинным обучением в области здравоохранения. Нейросети действительно хороши, они точны, но не обладают прозрачностью и недоступны для восприятия, и я думаю, что это опасно. Так что, наверное, мне не стоило заниматься тем, чем я хотел» [222]. Но вместо этого Каруана решил провести следующие двадцать лет, разрабатывая модели, которые стараются взять лучшее из обеих сфер, которые в идеале будут так же точны, как нейросети, и так же прозрачны и понятны, как список правил.

Один из его фаворитов – это архитектура под названием «обобщенные аддитивные модели», впервые представленная статистиками Тревором Хасти и Робертом Тибширани в 1986 году

Через много лет после своего первого исследования пневмонии Каруана взял ту же базу данных и создал обобщенную аддитивную модель для ее изучения. Оказалось, что эта модель так же точна, как его старая нейронная сеть, и обладает куда большей прозрачностью. К примеру, он представил риск смерти от пневмонии как функцию от возраста. Вывод соответствовал ожиданиям: если у вас пневмония, вам лучше быть молодым или в среднем возрасте – чем вы старше, тем больше опасность. Но была одна удивительная вещь: внезапный резкий скачок в возрасте 65 лет. Странно, что один день рождения запускал такой всплеск риска. Что же произошло? Каруана понял, что модель сумела усвоить влияниевыхода на пенсию. «Правда, раздражает, что это может быть опасным? Вы надеетесь, что, как только выйдете на пенсию, риск уменьшится; грустно, но он только возрастет» [224].

Куда важнее то, что чем внимательнее Каруана изучал свою модель, тем больше проблемных связей замечал. Он боялся, что его старая нейросеть усвоила не только проблемную корреляцию с астмой, но и другие подобные соотношения, при этом простым, основанным на правилах моделям того времени не хватало мощности, чтобы показать, что еще могло проскочить в нейронную сеть. Теперь, двадцать лет спустя, у него были мощные интерпретируемые модели. Это как получить более мощный микроскоп и неожиданно увидеть пылевых клещей на своей подушке и бактерии на коже.

«Я смотрел на нее и думал: о боже, не могу поверить! Она считает, что боль в груди – это хорошо. Она полагает, боль в сердце – еще лучше. Она считает, что весить больше 100 кг – просто отлично… Она считает хорошим все, что для пациента плохо» [225].

Во всем этом здравого смысла было не больше, чем в ситуации с астмой: корреляции были абсолютно реальными, но они вытекали из того, что подобных пациентов в первую очередь отправляли в палаты интенсивной терапии, и именно поэтому они выживали с большей вероятностью.

«Слава Богу, – говорит Каруана, – что мы не внедрили нейронную сеть».

Сегодня Каруана утверждает, что оказался в положении, отличным от ситуаций большинства исследователей. Он продолжает разрабатывать архитектуру модели, которая обещает такую же точность прогнозов, как у нейронной сети, но при этом остается понятной. Но вместо того, чтобы продвигать решение собственного изобретения – к примеру, продвинутую версию обобщенной аддитивной модели [226], – он говорит о самой проблеме. «Все совершают такие ошибки, – рассказывает Каруана. – Я сам делал их много десятков лет и даже не подозревал о них.

Сейчас моя цель – напугать людей. Ужаснуть их. Я пойму, что добился успеха, если они остановятся и подумают: „Вот черт! У нас и правда здесь проблема!“»

Проблема черного ящика

Природа скрывает свои секреты за счет присущей ей высоты, а не путем уловок.

Альберт Эйнштейн

Объяснение причин – это антитеза власти. Когда голос власти умолкает, говорит голос разума. И наоборот.

Фредерик Шауэр [227]

Рич Каруана – далеко не единственный, кто в последние годы так или иначе пришел к мысли: «Вот черт! У нас и правда здесь проблема!» По мере того как модели машинного обучения распространяются в инфраструктуре принятия решений по всему миру, многие начинают чувствовать себя неуютно, сознавая, как мало знают о том, что происходит внутри моделей.

Каруана ощущает себя особенно неуютно, когда пользуется большими нейросетями, поскольку они давно имеют репутацию «черных ящиков». При том, что нейронные сети очень быстро проникают во все сферы – от промышленности до медицины и вооруженных сил, – все больше людей охватывает такое же волнение.

В 2014 году руководитель группы проектов Управления перспективных исследовательских проектов министерства обороны США (Defense Advanced Research Projects Agency, DARPA) Дэйв Ганнинг говорил с Дэном Кауфманом, директором подразделения инноваций в информационных технологиях. «Мы обдумывали разные идеи того, что может делать ИИ, – рассказывал Ганнинг [228]. – Мы отправили целую группу специалистов по теории и методам анализа данных в Афганистан, чтобы работать с информацией и пытаться найти схемы, которые могут быть полезны для военных истребителей. И они уже начали замечать, что эти методы машинного обучения усваивают интересные схемы, но их пользователи часто не могут объяснить почему». Быстро развивающийся набор инструментов мог оценивать финансовые записи, информацию о передвижениях, логи сотовых телефонов и многое другое, чтобы определить, не планируют ли люди забастовку. «Могли возникать подозрительные паттерны, – рассказывал Ганнинг, – но теперь хотелось понять почему». Объяснить это они не могли.

Примерно в то же время Ганнинг побывал на собрании, организованном системой разведорганов в лаборатории аналитических наук университета штата Северная Каролина. Семинар собрал исследователей машинного обучения и экспертов по визуализации данных. «В аудитории был правительственный аналитик разведки. Она слушала, как мы говорим обо всем, что может делать технология машинного обучения, – вспоминал Ганнинг, – и была настроена непреклонно. Ее проблема состояла в том, что она уже использовала алгоритмы больших данных, и те давали ей рекомендации. Но чтобы передать их наверх, ей приходилось под ними подписываться. И ее оценивали – и могли уволить, – основываясь на том, верны ли те рекомендации. Но она не понимала их логики». Должна ли она ставить свою фамилию под документом? И на каких основаниях ей следует принимать решения?

С развитием компьютерных технологий специалисты в области обороны обнаружили, что им все чаще приходится задумываться о том, как могло бы выглядеть автоматизированное сражение, о рисках и проблемах автономного оружия. Многие из этих вопросов и проблем по сей день остаются теоретическими.

«В области проблем анализа разведданных эти системы уже существуют, и люди их используют, – говорит Ганнинг. – Понимаете, что я имею в виду? Проблема уже есть. И ее нужно решать».

В течение двух лет Ганнинг стал руководителем многолетней программы DARPA, пытающейся решить эту проблему. Он назвал проект XAI: Explainable Artificial Intelligence

На другой стороне Атлантического океана Европейский союз готовился принять «Общий регламент ЕС по защите данных» (General Data Protection Regulation, GDPR). Он вступал в силу в 2018 году и полностью менял то, как компании собирают и хранят информацию, как делятся ею и используют ее онлайн. Регламент – все 260 страниц – стал одним из важнейших документов в истории конфиденциальности данных. В нем было и кое-что более интересное и интригующее и, возможно, не менее значительное.

Брайс Гудман, который осенью 2015 года работал в Оксфордском институте Интернета, изучал черновик законопроекта, и вдруг кое-что привлекло его внимание. «Я немного знал о машинном обучении и о том, что его лучшие методы не всегда прозрачны и интерпретируемы, – рассказывал он. – И тут я наткнулся на это. В первых черновиках GDPR эта мысль была выражена куда более явно… Там говорилось, что у людей есть право потребовать объяснения алгоритмических решений [229].

Меня заинтересовало, что появляются законодательные акты и что кто‐то выступает вперед и открыто говорит о проблеме».

Гудман обратился к своему коллеге из Оксфорда Сету Флаксману, недавно получившему PhD в области машинного обучения и общественной политики.

– Слушай, недавно я кое-что прочитал в GDPR, – сказал Гудман. – И, кажется, это будет проблемой.

– Да, похоже, так и будет, – ответил Сет.

Если вам отказали в выдаче ссуды, не дали кредитную карту, заключили под стражу до суда или отказали в УДО и с этим была как‐то связана система машинного обучения, у вас есть право узнать не только о том, что произошло, но и о томпочему.

Весной 2016 года GDPR был официально принят Европейским парламентом, и волосы руководителей компаний технического сектора встали дыбом. Юристы описывали переговоры с законодателями Евросоюза. «Понимаете, – пытались объяснить первые, – дать вразумительные объяснения работе глубокой нейронной сети – это неразрешимая научная проблема». Как писали Гудман и Флаксман, для этого «может потребоваться полный пересмотр стандартов и широко используемых алгоритмических методов». Но законодатели ни на сантиметр не сдвинулись со своей позиции: «У вас есть время до 2018 года».

Один исследователь подытожил: «Они дали нам два года на решение огромной научной проблемы».

Сейчас GDPR уже действует, хотя ожидания европейских законодателей – как выглядит приемлемое объяснение, кому оно дается и в какой ситуации, – все еще разрабатываются. Тем временем прозрачность, то есть способность понимать, что происходит внутри модели машинного обучения и почему она ведет себя таким образом, превратилась в одну из самых заметных и приоритетных задач отрасли. Работа над ней продолжается полным ходом, но на сегодняшний день успехов удалось добиться не на всех фронтах. Вот что нам предстоит узнать.

Клинический прогноз против статистического прогноза

Существует распространенный миф о том, что опытный судья добивается успеха с помощью неких мистических прорицаний. Разумеется, это глупости. Он достигает успеха, потому что делает меньше ошибок в фактах и реже ошибается в их оценке. Глубокое понимание ситуации и расследования должны быть способны без каких‐либо изъянов обеспечить нам все преимущества субъективных суждений (кроме их скорости и удобства).

Эдвард Торндайк [230]

Сталкиваясь с проблемой прозрачности (особенно крупных и сложных моделей), первое, что мы должны обдумать, – а стоит ли нам использовать такую крупную и сложную систему. Если уж на то пошло, должны ли мы пользоваться моделями?

Эти проблемы глубоко уходят в историю статистики и машинного обучения. Сегодня они остаются не менее актуальными, чем вчера, а ответы на них бывают весьма неожиданными.

В 1954 году Робин Доус был студентом философского факультета Гарварда и специализировался на этике. Его дипломная работа «Взгляд на анализ» изучала связь моральных оценок с эмоциями и то, насколько они влияют друг на друга.

Доус не просто считал эти вопросы значимыми, он полагал, что «эмпирическое исследование может оказаться важным. Но как его провести?» Задав этот вопрос, исследователь понял, что его интересы лежат скорее в области психологии, а не философии. Он подал заявки на постдипломные программы по психологии, и одна из лучших в стране – программа университета штата Мичиган – внесла его в список поступивших в последний день приема заявлений. Потрясенный Доус поведал об этом своему научному руководителю, который сказал: «Немедленно им перезвони, пока они не решили, что ошиблись» [231].

Доус поехал в Мичиган и начал подготовку по клинической психологии. В то время – в конце 1950‐х и начале 1960‐х годов – большое внимание уделялось тесту Роршаха. Доус скептически относился к нему как к клиническому инструменту: «Результаты основаны на интуиции и воспринимаются прежде всего бессознательно. Но потом я начал читать и узнал, что эмпирически большинство таких инструментов не работает».

Пока его доверие к Роршаху падало, Доус работал врачом-стажером в психиатрическом отделении. «У нас был пациент с галлюцинациями, – вспоминает он, – ему чудилось, что у него растет грудь. Он был в моей группе, содержался в закрытой палате, поскольку галлюцинации означали шизофрению. Почему же он подумал, что у него растет грудь? На той неделе у него в семье случилась трагедия, и у пациента начались галлюцинации. Это прекрасно все объясняет, верно?.. Врачи даже ни разу не попросили парня снять рубашку! Его просто отправили в психиатрическое отделение, и он шесть недель провел в закрытой палате. А когда его наконец раздели, оказалось, что он совершенно прав: у него росла грудь». У мужчины был синдром Клайнфельтера – генетическое отклонение, вызванное лишней Х-хромосомой, симптомы которого – отсутствие волос на теле и развитие грудных желез. Доус был вне себя. «Шесть недель просто выпали из его жизни, – говорил он, – потому что люди были так уверены в том, что у негогаллюцинации».

Это привело к резкому повороту в карьере Доуса. Он отошел от клинической практики и занялся тем, что в те времена называлось математической психологией. Он написал статью, посвященную сравнению экспертных клинических оценок и простых математических моделей. Доус собирался ее опубликовать, но перед этим показал другу. Реакция приятеля привела ученого в замешательство: «Он усмехнулся, глядя на меня, и спросил что‐то вроде: „А ты уверен, что ниоткуда не списывал?“»

Так получилось, что Доус присоединился к академическому сообществу, о котором и понятия не имел. Проблема сопоставления экспертных суждений и математических моделей, которые тогда назывались «актуарными» методами, восходила к написанной в начале 1940‐х работе коллеги Эрнста Берджесса Теда Сарбина. Сарбин изучал прогнозы академической успеваемости первокурсников в университете Миннесоты. «Актуарная» модель представляла собой простую линейную регрессию, предсказывающую средний балл успеваемости в колледже всего по двум опорным точкам: рейтинг в классе в старшей школе и результаты отборочного теста в колледже. Экспертные прогнозы делали опытные клинические психологи, у которых был доступ к этим точкам, а также

Сарбин не нашел заметной разницы между двумя прогнозами. Если уж на то пошло, «актуарная» модель была немного более точной. Сарбина считал невероятным, что дополнительная информация, доступная клиническим психологам, никак не повлияла на точность прогнозов. «А как же старание, привычка работать и отдыхать, особые склонности, эмоциональные паттерны, постоянная рассеянность и сотни других факторов, – писал он, – казалось бы, связанных с такой сложной формой социального психологического поведения, как академические достижения? [232]» Как ни иронично, Сарбин узнал, что эксперты не уделяли этому особого внимания и делали прогнозы по тому же рейтингу в классе и оценкам за тест – то есть по тем же данным, что и регрессионная модель. Они просто были не столь последовательны и точны в своих оценках.

Сарбин пришел к выводу, что все время, потраченное на собеседования, ушло совершенно зря. Он предупреждал: «Без подтверждения статистическими исследованиями казуистический метод в социальных науках абсолютно бесполезен».

Находки Сарбина, в свою очередь, привлекли внимание молодого психолога по имени Пол Мил. Вдохновленный брошенным Сарбином вызовом и неуверенный в своей собственной позиции, Мил начал исследование, которое вылилось в целую книгу «Клинический или статистический прогноз» (Clinical versus Statistical Prediction: A Theoretical Analysis and a review of the evidence, 1954). Хотя бо́льшая часть книги (если не вся) была посвящена клиническим оценкам – откуда они берутся и как клинические психологи принимают решения, особое внимание привлекла глава, где Мил сравнивает клинические и актуарные прогнозы. Он обнаружил, что у экспертов нет шансов. Из почти сотни различных областей только в пяти или шести у специалистов, принимающих решения, появлялось хотя бы небольшое преимущество. «Мне говорили, – вспоминает Мил, – что на Среднем Западе половина преподавателей факультета клинической психологии в одном из крупнейших университетов, ориентированном на учение Фрейда, полгода страдала от реактивной депрессии после выхода моей маленькой книги» [233].

Обнаружив свой невольный плагиат, Доус, разумеется, очень заинтересовался работой Мила, но его научные руководители, казалось, не одобряли этого влияния. «Мои наставники по психоанализу говорили, что Мил – гений и об этом все знают, но его дело не имеет отношения к тому, чем занимаемся мы. И я начал волноваться: если его работа не связана с нашей, может быть, и я не хочу этим заниматься».

К середине 1970‐х годов Доус, который к тому времени перебрался в исследовательский институт Орегона, написал еще одну ошеломляющую статью по той же теме. По его словам, Сарбин и Мил открыли вопрос о том, насколько можно сравнивать статистический анализ с суждениями экспертов. «Считалось, что статистический анализ обеспечит нижний предел, с которым будут сравнивать оценки опытных клинических психологов, – писал Доус. – Так вышло, что низ оказался верхом» [234].

Через тридцать лет после первой статьи Сарбина и многих десятков более поздних работ Доус пришел к выводу: «Литературный поиск не выявилкаких‐либоисследований, где клинические оценки оказались бы лучше статистических прогнозов, если и те и другие основывались на одних и тех же кодируемых входных параметрах» (курсив мой) [235].

Картина и в самом деле получилась унизительная. Даже в тех случаях, когда люди получали статистические прогнозы как еще одну часть данных для принятия решения, их заключения оказывалисьхуже, чем сам прогноз [236]. Другие исследователи пытались действовать наоборот: подавали экспертные суждения людей как входные данные для статистической модели. Особой разницы они не заметили [237].

Подобные заключения, подкрепленные многочисленными исследованиями, должны заставить нас остановиться [238]. Начнем с того, что они подталкивают нас к предположению: какое бы множество проблем ни ждало нас при передаче принятия решений статистической модели, одни только человеческие суждения не могут быть хорошей альтернативой. В то же время, чтобы достигнуть человеческого уровня или даже превзойти его, нет никакой необходимости в сложных и хитроумных моделях.

Тем не менее всплывает провокационный вопрос: что конкретно объясняет этот удивительный вердикт? Неужели человеческие оценки в самом деле столь плохи? Но так ли хороши линейные модели с небольшим количеством переменных? Или… существует третья возможность? Не может ли каким‐то образом человеческий опыт входить в простые модели там, где мы этого меньше всего ожидаем? Не ищем ли мы его в неправильном месте?

Неправильные модели: знать, куда смотреть

Тот факт, что с некоторыми реальными проблемами трудно справиться, не подразумевает, что со всеми реальными проблемами справиться нельзя.

Роберт Холт [239]

К примеру, тот факт, что человек не может совмещать информацию так же эффективно, как компьютер, не значит, что человека могут заместить машины. Он подразумевает необходимость в системе «человек – компьютер».

Хиллель Эйнхорн [240]

Доус вместе с коллегами из исследовательского института Орегона хотел разобраться в сути потрясающей эффективности простых линейных моделей принятия решений.

Одна из гипотез утверждала, что эти модели превосходят экспертов из-за чего‐то вроде эффекта «мудрости толпы»: одна-единственная модель собирает суждения целой группы экспертов, так что вполне понятно, почему она превосходит любого отдельно взятого эксперта. Звучит правдоподобно, но это не так. Как ни удивительно, даже если модель обучена на суждениях одного-единственного эксперта, она все равно превосходит его самого! [241]

Возможно, это как‐то связано с тем, как оптимизированы линейные модели, с тем, что они настроены на оптимальные коэффициенты, взвешивающие каждую переменную. Вместе со своим коллегой Бернардом Корриганом Доус сравнил оценки экспертов с тем, что они называли неправильными линейными моделями, то есть с моделями, где весовые значения не оптимизированы. Исследователи пробовали работать как с равными, так и со случайными весовыми значениями.

Результаты были потрясающими. Модели со случайными весовыми значениями до тех пор, пока значения оставались положительными, были так же точны, как эксперты, или даже превосходили их. Модели с равными весовыми значениями показали себя еще лучше [242].

Практические возможности таких быстрых и простых неправильных моделей казались бесконечными. В середине 1970‐х годов Доус был на конференции врачей. После ее окончания участники выпивали в баре, и врач спросил его: «Можете ли вы, скажем, использовать свою неправильную линейную модель, чтобы предсказать, насколько хороша будет моя семейная жизнь?» [243]

Доус немедленно представил самую простую модель, о которой только мог подумать: он решил, что в хорошем браке секса должно быть больше, чем ссор. Взяв у коллеги набор данных, он занялся математикой. Доус сложил количество раз, когда у пары был секс (его он определил как «соитие, сопровождающееся или не сопровождающееся оргазмом») за период в несколько недель или

Во многих случаях модели с равными весами показали себя лучше, чем оптимальная регрессия. Это казалось невозможным, поскольку оптимальные весовые значения выбираются очень точно. Но они оптимальны для определенного контекста и конкретного набора данных для обучения, а этот контекст не всегда повторяется. К примеру, оптимальные весовые значения для прогнозов академической успеваемости в университете Миннесоты будут отличаться от значений для прогнозов в университете Карнеги – Меллона. Получается, что равные весовые значения показывают себя лучше и надежнее в разных контекстах [246].

Доуса это привело в восторг. Принимая во внимание сложность мира, с какой стати такие предельно простые модели с обычным подсчетом имеющих равный вес атрибутов, не просто работают, а работают лучше, чем эксперты и оптимальная регрессия?

Исследователь нашел несколько ответов. Во-первых, несмотря на огромную сложность реального мира, многие высокоуровневые отношения «условно монотонные» – они не взаимодействуют друг с другом особенно сложным образом. Неважно, что может случиться со здоровьем человека, –почти всегдалучше, если ему скоро тридцать, а не сорок. Неважно, что может произойти с интеллектом,почти всегдалучше, если студент получил за тест на десять баллов больше, чем на десять баллов меньше. Неважно, что может произойти с криминальной историей человека, с его самоконтролем и так далее,почти всегдалучше, если записей об арестах меньше.

Во-вторых, в любых измерениях всегда присутствует ошибка. По теоретическим, а также интуитивно понятным причинам, чем больше измерение подвержено погрешностям, тем более приемлемо использовать его линейно.

Возможно, самым провокационным с точки зрения выравнивания, по мнению Доуса, было то, что эти модели с равновзвешенными значениями превосходят «правильные», оптимально взвешенные системы, поскольку весовые коэффициенты последних, как мы уже видели, должны настраиваться в зависимости от целевой функции. В реальной жизни мы часто либо не определяем, как именно будем измерять успехи, либо у нас нет времени ждать появления опытных данных, чтобы настроить модель. «Например, – пишет Доус, – принимая решение о том, кто из студентов будет получать постдипломное образование, мы хотели бы спрогнозировать некоторые будущие переменные, рассчитанные на долгосрочную перспективу. Их можно определить как «профессиональную самоактуализацию». У нас есть идея о том, что мы вкладываем в это понятие, но пока что нет хорошего, точного определения. (Даже если есть, нет никакой возможности провести исследование, используя данные сегодняшних студентов, потому что доступ к этой переменной не появится, пока не пройдет лет 20 после получения дипломов.) Но, возражает Доус, даже когда мы точно не знаем, чего хотим, и не имеем вообще никаких данных, «неправильные» модели должны послужить нам по крайней мере так же хорошо, как чистая интуиция, а может быть, и лучше [247].

Тем не менее можно возразить, что сравнения Доуса и Корригана не выглядят до конца справедливыми, особенно в отношении экспертов. Модели не представляли собой случайные линейные комбинации случайных характеристик, они были случайными линейными комбинациями именно тех вещей, которые за десятилетия (если не больше) успешного опыта люди отнесли к самым значимым и ценным для прогнозов.

Возникает искушение возразить, что вся эта «предварительная» деятельность – выбор того, какие две, пять или десять вещей в бесконечном потоке доступной информации особенно применимы к решению, которое предстоит принять, – отражает настоящую мудрость и проникновение в проблему: фактически, мы уже сделали самую трудную часть работы, прежде чем передать проблему линейной модели, получающей всю славу. Именно так и считал Доус. Он писал, что «линейная модель не может заменить эксперта в принятии решений о таких вещах, как предмет поиска, но именно это знание в процессе принятия решения и является особым опытом, который есть у людей» [248].

Доус пришел к выводу, что человеческий опыт характеризуется прежде всего знанием предмета поиска, а не умением определить лучший способ свести в единое целое эту информацию. Особенно наглядно эту мысль демонстрирует исследование, которое специалист по теории принятия решений Хиллель Эйнхорн провел в 1972 году [249]. Эйнхорн рассмотрел врачебные заключения о срезах биопсии пациентов с лимфомой Ходжкина. Врачей просили определить факторы, которые они считают важными во время изучения биопсии, оценить каждый срез по этим факторам, а затем сделать общую оценку тяжести состояния пациента. Общая оценка не имеланикакойкорреляции с выживаемостью среди пациентов. Тем не менее простая модель – это словосочетание уже становится рефреном, – использующая индивидуальные оценки факторов, сделанные специалистами, стала мощным прогнозирующим инструментом, предсказывающим смертность пациентов.

Иными словами, мы не в том месте ищем человеческую мудрость. Возможно, она не в сознании того, кто принимает решения, а в стандартах и методах, точно определяющих, какие части информации следует включить в анализ. Остальное остается на долю математики или, по крайней мере, так должно быть.

Доус сделал вывод иным способом, и эта фраза стала самой популярной в его легендарной карьере: «Весь фокус в том, чтобы узнать, на какие переменные смотреть, а потом понять, как складывать» [250].

Оптимальная простота

Простое может быть труднее сложного: ты должен работать на полную, чтобы очистить свои мысли и сделать все просто. Но в конце концов оно того стоит – достигнув этого [простоты], вы сможете сдвинуть горы.

Стив Джобс [251]

Единственная простота, за которую я был бы готов вам заплатить, – это та, которая стоит по другую сторону сложности, а не та, которая никогда ее не разгадывает.

Оливер Уэнделл Холмс-младший [252]

В XXI веке, вероятно, никто так не сохранил дух Доуса, как специалист по теории вычислительных машин из университета Дьюка Синтия Рудин. Исследовательница сделала простоту одной из центральных тем своей работы. Она не только возражает против использования слишком сложных моделей, но и расширяет границы возможностей простых. К примеру, в 2018 году Рудин и ее коллеги опубликовали статью, доказывающую, что они могут сделать модель прогноза рецидивизма, такую же точную, как COMPAS, суть которой можно свести к одному-единственному предложению: «Если человека задерживали более трех раз, если это мужчина 18–20 лет, если мужчину 21–23 лет задерживали более двух раз, то можно прогнозировать повторный арест; в иных случаях

Исследования Доуса одновременно вдохновляют Рудин и бросают ей вызов. Итак, простые модели, составленные с помощью тщательно отобранных высокоуровневых переменных, работают почти так же хорошо (а иногда даже лучше), как и более сложные модели, и значительно лучше экспертов. Но даже это оставляет много вопросов и интересных возможностей для исследователя. Как, например, создать не какую‐то простую модель для отдельно взятого набора данных, алучшуюпростую модель?

Как ни удивительно, ответ появился только несколько лет назад.

Рудин изучила простые модели, используемые в системе здравоохранения XXI века, и пришла к иному, далеко не столь оптимистичному, как у Доуса, выводу. Вместо того чтобы рассматривать современные модели как альтернативу,превосходящуюинтуицию врачей, она увидела только то, что эти модели сформированыс помощьюинтуиции врачей. И в них многое можно улучшить.

Исследовательница приводит в качестве примера оценочный лист ишемической болезни сердца у мужчин. «Если мужчина придет на консультацию, врач попытается вычислить риск появления у него ишемической болезни сердца в течение десяти лет. И для этого врачу нужно узнать несколько факторов: возраст, уровень холестерина, курение и так далее. Мужчина ответит на вопросы, каждому ответу присвоят очки, которые потом сложат и переведут в оценку риска возникновения ишемической болезни сердца в течение десяти лет. – Тут ее голос резко меняется. – Но где они взяли эти вопросы? И как они начисляют очки? Так вот,они все это придумали! Это придумала команда врачей! И делается это совсем не так, как мне хотелось бы. Я бы хотела создать что‐то столь же понятное, но основанное на данных» [254].

Поископтимальныхпростых правил – дело не для слабонервных. Для этого нужно ухватить то, что с трудом поддается обработке, то есть решить задачу недетерминированной полиномиальной сложности, продраться сквозь дебри сложности, в которых нет прямолинейных смыслов, которые обеспечат лучший возможный ответ. Взяв десятки тысяч записей о пациентах, в каждой из которых содержатся десятки или даже сотни критериев – возраст, кровяное давление и т. д., – как вы найдете лучшую простую логическую программу, ведущую к постановке диагноза? У специалистов по информатике есть набор инструментов, позволяющий добиться успеха в решении этой задачи, но Рудин считает, что существующих алгоритмов создания списка простых правил и оценочных систем на основе больших данных, таких как CART, разработанный в 1980‐х [255], и С4.5, разработанный в 1990‐х [256], недостаточно. Специалистам по компьютерам в 2010‐х доступно то, чего не было у программистов 1980‐х и 1990‐х: мощность компьютеров выросла примерно в миллион раз. Вместо того чтобы использовать эту мощность для обучения огромной сложной модели, такой как AlexNet, куда входят десятки миллионов параметров, почему бы с ее помощью не организовать обширное пространство для всех возможныхпростыхмоделей? Что тогда станет возможным? Команда Рудин вернулась к чертежным доскам и разработала новые подходы – для моделей, основанных на правилах, и для моделей, основанных на оценочных листах, – и приступила к их сравнению с существующим положением вещей.

Рудин и ее коллеги обращали особое внимание на то, чтобы обойти одну из самых распространенных в медицине моделей. Разработанная в 2001 году CHADS2 и ее преемник CHA2DS2-VASc, разработанная в 2010‐м, предназначены для прогноза риска инсульта у пациентов с мерцательной аритмией [257]. В их создании участвовали врачи и исследователи, работавшие с набором данных и клиническим опытом, чтобы определить то, что они считали самыми релевантными факторами. Последующие исследования подтвердили прогностическую пользу систем. Но обе модели, несмотря на то, что повсеместно признаны эффективными инструментами и используются чрезвычайно широко, остаются в некоторой степени «кустарными». Рудин хотелапутем вычисленийопределить самые релевантные факторы и соединить их в один инструмент оценки.

Обработав в шесть тысяч раз больше данных, чем было использовано при создании исходного CHADS2, Рудин предоставила своему алгоритму под названием «Списки байесовских правил» (Bayesian Rule Lists) выборку из двенадцати тысяч пациентов, откуда было выделено 4100 различных характеристик – лекарства, которые они принимали, нарушения состояния здоровья, о которых они сообщали, – чтобы создать лучшую из возможных систем оценки [258]. Затем она сравнила свою модель с CHADS2 и с CHA2DS2-VASc на выбранных частях того же набора данных.

Результаты показали заметное преимущество по сравнению и с CHADS2, и с CHA2DS2-VASc. Еще интереснее, что эти исследования показали значительноеснижениеточности более современного CHA2DS2-VASc по сравнению с оригинальным CHADS2. Более новая модель, казалось, была хуже старой – по крайней мере, по этому показателю, на этом наборе данных. Как деликатно сформулировали Рудин и ее коллеги в своей статье, это «подчеркивает трудности создания таких интерпретируемых моделей вручную».

В следующем проекте Рудин и ее аспирант Берк Астан работали с Массачусетской больницей общего профиля над разработкой системы оценки для синдрома остановки дыхания во сне, поражающего десятки миллионов американцев и сотни миллионов людей во всем мире [259]. Их целью было создание модели, которая будет не только максимально точна, но и достаточно проста для быстрой и надежной работы на достаточно старом оборудовании – в блокнотах врачей.

Из-за того, что модели предстояло применяться на бумаге, Астан и Рудин должны были сделать ее невероятно простой. Предстояло рассмотреть несколько однозначных признаков и целые коэффициенты, также максимально малые [260]. Даже в XXI веке практикующие врачи иногда придумывают импровизированные модели, основываясь только на своей интуиции. Этот метод иногда насмешливо называют BOGSAT – a bunch of guys sitting around a table (группа людей собралась за столом). Даже в тех случаях, когда при создании модели использовалось машинное обучение, часто получались более сложные модели, которые задним числом упрощали вручную [261]. В наши дни мало что поменялось: модели в современной медицинской практике были разработаны в той же импровизированной манере, поэтому их точность страдает, что сказывается на пациентах [262]. Астан и Рудин решили попробовать найти способ получше.

Они разработали модель под названием SLIM (Supersparse Linear Integer Model, Сверхразреженная линейная целочисленная модель), чтобы находить не только достаточные эвристические правила, но и доказуемые оптимальные пути принятия решения при столь суровых ограничениях. Результат их работы был двойственным и дал конкретные преимущества и медицине, и машинному обучению.

Во-первых, вопреки расхожему мнению и принятым практикам модель доказала, чтосимптомыпациентов значительно менее полезны, чемисторииих болезней. Когда Астан и Рудин обучали модель на медицинских историях пациентов – сердечные приступы в прошлом, повышенное артериальное давление и т. д., – она делала куда лучшие прогнозы, чем модель, подготовленная на непосредственных симптомах – храп, одышка и плохой сон. Более того,добавлениесимптомов в модель, основанную на историях болезней, не дало значительных улучшений. Диагностика остановки дыхания

Во-вторых, ученые, занимающиеся машинным обучением, одержали методологическую победу, которая может помочь сотрудничеству и в других сферах. «Точность SLIM была такой же, как и у самых современных классификационных моделей, примененных к тому же набору данных, – отмечала команда Астана и Рудин. – Преимущество было в полной прозрачности, позволяющей делать вручную прогнозы, дающие ответы „да“ или „нет“ на основании небольшого количества клинических запросов» [264].

Рудин подытоживает: «Я хочу разработать прогностическую модель, не забывая о конечном пользователе. … Хочу создавать прогностические модели с высокой точностью и при этом понятные, которые мы могли бы применять для принятия достоверных решений. И я работаю над гипотезой, которую считаю верной: многие наборы данных позволяют разрабатывать на удивление небольшие прогностические модели. Я не первый человек, который выдвигает эту гипотезу, впервые она появилась много лет назад. Но сейчас у нас есть вычислительные мощности, новые идеи и методы, которые позволяют по-настоящему проверить ее».

Для исследователей, работающих в этой области, наступило поразительное время. Простые модели на удивление конкурентоспособны, и некоторые из них даже могут бросить вызов человеческому опыту. Современные методы прокладывают пути к разработкеидеальныхпростых моделей.

Надо сказать, что бывают случаи, когда сложность неизбежна. Самый очевидный пример – это модели, у которых нет преимущества экспертов, отфильтровавших исходные данные до определенного количества параметров обозримого размера. Хорошо это или плохо, но некоторым моделям приходится иметь дело не с человеческими абстракциями, такими как «оценка за GRE» [265] или «количество правонарушений в прошлом», а с необработанными лингвистическими, аудио- или видеоданными. Некоторые инструменты медицинской диагностики могут получать такие входные данные, как «небольшой жар» или «астма», другие же обрабатывают рентгеновские снимки или результаты компьютерной томографии и должны извлекать из них какой‐то смысл. Самоуправляемые машины, разумеется, должны справляться с потоком информации с радара, лидара и с визуальной информацией. В таких случаях у нас нет выбора: нужны огромные нейронные сети с многими миллионами параметров. Их называют «черными ящиками» из-за того, что они имеют репутацию совершенно непостижимых. Но и здесь мы не лишены ресурсов, чтобы выдвинуть изучение прозрачности на новую, пока еще не изученную ступень.

Зрительное внимание: глазные белки́

По сравнению с большинством других видов млекопитающих у людей достаточно большая и заметная склера – глазные белки́. Благодаря этому мы уникальным образом демонстрируем, куда направлено наше внимание или, по крайней мере, взгляд. Эволюционные биологи с помощью «гипотезы кооперативного глаза» доказывают, что это не ошибка, а функция. Она указывает на то, что человек как вид выжил во многом благодаря сотрудничеству. А также на то, что преимущества взаимодействия перевешивают недостаток приватности или свободы действий [266].

Понятно, почему мы ожидаем чего‐то подобного и от наших машин: нужно знать не только, что они, по их мнению, видят, но и куда при этом смотрят.

В машинном обучении идея получила название «зрительное внимание». Если система относит изображение к какой‐то категории, то можно предположить, что для этого одни детали изображения важнее или влиятельнее других. Будь у нас что‐то вроде тепловой карты, на которой выделены эти важные детали, мы могли бы использовать ее для контроля зрительного внимания и убедиться, что система ведет себя так, как мы от нее ожидаем [267].

Методы зрительного внимания полны сюрпризов, которые подчеркивают, насколько контринтуитивным может быть принцип работы систем машинного обучения. Часто они с энтузиазмом хватаются за те аспекты данных для обучения, которые мы вообще не относим к делу, и игнорируют то, что считается жизненно важной информацией.

В 2013 году аспирант университета штата Орегон в Портленде Уилл Лэндекер работал с нейросетью, обучая ее находить картинки, на которых есть животные. Лэндекер разрабатывал методы, которые позволили бы увидеть, какая часть изображения релевантна для окончательной классификации, и заметил кое-что странное. Во многих случаях нейронная сеть обращала больше внимания на фон, чем на передний план. Более внимательное изучение показало, что размытый фон, который фотографы называют боке, часто присутствует на фотографиях животных, когда фокус на морде, а не на заднем плане. Пейзажи же, напротив, обычно снимают в фокусе. Как выяснилось, исследователь обучил модель не животных обнаруживать, а боке [268].

В 2015 и 2016 годах дерматологи Джастин Ко и Роберто Новоа возглавили общий проект исследователей из медицинской и инженерной школ Оксфорда. Новоа был впечатлен прогрессом в системах компьютерного зрения и их способностью отличать сотни пород собак. «Я посчитал, – рассказывает он, – что если это возможно с собаками, то получится и с раком кожи» [269]. Исследователи собрали самый большой за всю историю набор данных с доброкачественными и злокачественными образованиями кожи. Всего в нем было 130 тысяч изображений, представляющих две тысячи различных заболеваний, а также образцы здоровой кожи. Ученые взяли стандартную систему машинного зрения с открытым исходным кодом Inception v3 от Google, обученную на наборе данных и категориях ImageNet, и начали обучать нейронную сеть находить разницу не между чихуахуа и лабрадором, а между акральной лентигиозной меланомой и амеланотической меланомой, а также тысячами других заболеваний.

Систему проверили в работе с помощью группы из двадцати пяти дерматологов. Она превзошла людей. Уровень точности дерматологов-специалистов показан в часто цитируемой статье, вышедшей в журнале Nature в 2017 году [270]. Для Джастина Ко, который гордился точностью своего диагностического взгляда, отточенного за более чем десять лет подготовки и клинической практики, результат был одновременно обидным и вдохновляющим. «Я тренировался долгие годы, – говорит Ко, – а эта штука научилась за нескольких недель» [271]. Особенно многообещающей выглядела способность системы «распространить высококачественную и дешевую диагностику в самые отдаленные части мира».

Выяснилось, что подобные системы полезны не только там, где не хватает первоклассных диагностов, но и там, где опытным специалистам, таким как сам Ко, необходимо еще одно мнение. Он навсегда запомнил день – 17 апреля 2017 года, – когда в его клинику пришел пациент с необычным пятном на плече. «Я не мог дать вердикт, – рассказывает врач. – Что‐то в этом пятне казалось неправильным. Но сквозь дерматоскоп я не увидел признаков ранней стадии меланомы. И все же пятно меня волновало. Тогда я решил, что настало время достать iPhone».

Ко сделал ряд фотографий под разными углами и с разным освещением и загрузил их в нейронную сеть. «Примечательно, – продолжает он, – что независимо от качества фотографий она обрабатывала их достаточно стабильно и была твердо уверена, что перед нами злокачественное поражение кожи». Ко сделал биопсию и поговорил со специалистом по дерматопатологии. «Каково же было мое удивление, когда она сказала: „Потрясающе! Это действительно раннее слабо выраженное поражение, развивающееся в меланому“. Так мы поймали рак на стадии, когда его можно

Но история оказалась несколько сложнее. На следующий год Ко, Новоа и их коллеги отправили в Journal of Investigative Dermatology письмо, предупреждающее о том, что не стоит слишком быстро вводить нейросети в рутинную клиническую практику.

Теперь они чувствовали, что внедрять такие модели в отрасль нужно с предельной осторожностью, и подчеркнули свою точку зрения поучительной историей из личного опыта. Система компьютерного зрения, которую они использовали, с большой вероятностью относила к злокачественным новообразованиям изображениялинейки. Почему? Дело в том, что на медицинских изображениях опухолей линейка для определения масштаба появляется чаще, чем на изображениях здоровой кожи. «Алгоритм самопроизвольно „научился“ тому, что линейки означают рак» [272]. Как бы то ни было, окончательное решение очень сложное: должен ли набор данных содержать достаточно разнообразные варианты или все подающиеся на вход изображения должны быть тем или иным образом стандартизированы? «Нужно и дальше рассматривать все множество затронутых нюансов, – пришли к выводу ученые, – чтобы безопасно внедрить новые технологии в больницы».

Расскажи мне обо всем: многозадачная сеть

Один из самых простых способов сделать сложные модели более прозрачными и понятными – это получать на выходебольше вещей. Когда Рич Каруана работал с нейронными сетями, предсказывающими медицинские результаты, он понял, что нейросеть можно использовать не только для одного прогноза – скажем, выживет пациент или умрет, – но и для многих других: как долго он пробудет в больнице, каким будет его счет, понадобится ли ему искусственная вентиляция легких, сколько курсов антибиотиков ему предстоит пропить и т. д.

Вся эта дополнительная информация в наборе данных бесполезна в качестве дополнительных входных параметров для модели. Умение прогнозировать смерть пациента, основываясь на данных о его счете за лечение, не поможет с новым пациентом, потому что в этот момент вы, разумеется, не знаете, каким будет его счет. Но вместо того чтобы служить дополнительными входными параметрами, эта информация полезна как дополнительные выходные данные, дополнительные источники экспериментальных данных для обучения модели. Метод получил известность как многозадачное обучение [273].

«Странно, что это оказалось проще, чем обучать модель предсказывать по одной из этих вещей за раз, – рассказывает Каруана [274]. – Теперь можно думать об обучении сотне сопутствующих проблем одновременно, что дает больше сигналов. Больше информации».

В качестве примера он предложил представить, что меня кладут в больницу в достаточно тяжелом состоянии, допустим, с пневмонией. Предположим, я выжил, но провел в больнице месяц, и мой счет дошел до полумиллиона долларов. «Теперь понятно – что‐то пошло не так, – говорит Каруана. – Ситуация вышла из-под вашего контроля. Вряд ли ее можно отнести к тому, что мы называем „страшными последствиями“. Но ясно, что вы были очень и очень больны».

Для системы, созданной исключительно чтобы прогнозировать риск смертности, моя ситуация войдет в данные для обучения как эталонный случай с риском смерти, равным нулю, поскольку я остался жив. При этом кое-что будет упущено. Как выразился Каруана, в моем положении был очень «высокорискованный нуль». Если мне и в самом деле просто повезло, может быть, в будущем в подобных случаях система должна прогнозировать 80 % шансов умереть, а не 0 %. Дав ей для обучения более широкий диапазон данных на выходе и возможность делать несколько прогнозов одновременно, можно добиться от системы более точных оценок.

Каруана начал понимать, что «многозадачные» модели лучше не только в традиционном смысле – они быстрее учатся и достигают более высокой скорости, а также обладают высокой прозрачностью, поэтому проблемы находить проще. Если работающая в здравоохранении система, созданная в 1990‐х, способна прогнозировать только, выживет пациент или умрет, можно обнаружить, что она предсказывает совершенно неожиданные вещи, к примеру, что астматики рискуют умереть меньше, чем обычные амбулаторные пациенты. С другой стороны, если мультизадачная нейросеть по набору данных может делать самые разные прогнозы – не только смертности, но и длительности пребывания в больнице или стоимости лечения в долларах, – эти аномалии гораздо проще заметить. У астматиков, например, тяжесть заболевания может быть выше средней и астрономические медицинские счета. Очевидно, что это не обычные пациенты с низким риском, которых отправляют домой с указаниями выпить две таблетки и утром позвонить в больницу.

В некоторых случаях дополнительные результаты могут обеспечить нас чем‐то более значительным. В 2017 и 2018 годах Verily, дочерняя компания Google, которая разрабатывала решения проблем людей, страдающих различными заболеваниями, и медицинская школа Стэнфорда работали над адаптацией нейросети Google Inception v3 для классификации изображений сетчатки глаза [275]. Они добились внушительных диагностических результатов: модель распознавала такие заболевания, как диабетическая ретинопатия, с точностью экспертов. Тем не менее команда понимала, что набор данных, используемый для обучения, содержал все виды информации о пациенте: возраст, пол, индекс массы тела, вредные привычки и так далее. «Можно сказать, мы добавили эти переменные в модель», – говорил исследователь Google Райан Поплин [276]. Вслед за Каруаной ученые подумали: раз у модели есть дополнительная информация о пациенте, почему бы ей не делать и другие прогнозы? Что, если обращаться с этой информацией – возрастом, полом, артериальным давлением – не как с дополнительными входными параметрами, а как с дополнительнымивыходными результатами? Это может быть шансом сделать модель надежнее и заметить случаи, когда ее прогнозы неверны. «Мы подумали, что сможем дать модели больше контроля и эталонных данных», – рассказывает Поплин.

Результат их поразил. Нейросеть смогла практически идеально определить возраст и пол пациента по изображению сетчатки.

Врачи из команды не верили, что результаты честны. «Стоит кому‐нибудь показать, – вспоминает Поплин, – как вам скажут: „Должно быть, здесь какая‐то ошибка. Потому что нет способа прогнозировать это с такой точностью“. Зарываясь в проблему все глубже, мы обнаружили, что в модели нет никакой ошибки. Это был настоящий прогноз».

Команда использовала метод зрительного внимания, чтобы узнать, на какие детали обращала внимание нейросеть. Выяснилось, что при определении возраста она смотрела в основном на кровеносные сосуды, а при определении пола, напротив, – на желтое пятно глаза и диск зрительного нерва.

Поплин рассказывал, что результаты развеселили врачей: «Они над нами потешались. Не верили своим глазам. Но потом, когда им показывали тепловую карту, когда они понимали, что модель обращает внимание на диск зрительного нерва и какие‐то его характерные особенности, говорили: „Ну конечно, мы это знали, разумеется, вы можете это видеть!“ Показав, какую часть изображения модель использует для прогноза, мы обеспечили определенный уровень доверия и некую обоснованность результатов».

Помимо прогностической точности модель предлагала новый интересный путь для медицины как науки. Комбинация многозадачного

Другими словами, эти методы не просто улучшают медицину. Они улучшают врачей.

Приоткрыть капот: визуализация карт объектов

Многозадачные нейронные сети с дополнительными выходными данными могут дать нам важный контекст для входных параметров и указать, куда смотрит модель. Но это ничего не говорит о том, что происходит внутри «черного ящика», то есть, о том, что модельвидитв действительности.

После AlexNet в 2012 году значительным успехом в машинном обучении стали модели нейронных сетей, обучающиеся на смеси необработанной сенсорной информации – миллионах разноцветных пикселей. У этих моделей не десятки, адесятки миллионовпараметров, и эти параметры представляют непередаваемые вещи – суммарные пороговые значения более ранних слоев, которые, в свою очередь, являются суммарными пороговыми значениями еще более ранних слоев, и так весь обратный путь до миллионов необработанных пикселей. Такой сырой материал для анализа не может дать понятных объяснений.

Так что же делать?

В Нью-Йоркском университете этим вопросом занялись Мэттью Зейлер и его научный руководитель Роб Фергюс. Успех этих огромных, приводящих в недоумение моделей, по словам ученых, отрицать нельзя. «Тем не менее, – пишут исследователи, – нет ясного понимания причины, по которой эти модели работают так хорошо, или способов, которыми их можно улучшить… С точки зрения научного подхода это совершенно не удовлетворительно» [277]. Другими словами, результаты получились впечатляющие, но, как говорит Зейлер, «несмотря на столь прекрасные показатели, непонятно, чему же учатся эти модели» [278].

Известно, что самый нижний слой сверточной нейронной сети – это база: вертикальные, горизонтальные и диагональные границы, один яркий цвет или простой градиент. Также известно, что в качестве окончательного результата такая нейросеть выдает категорию: кошка, собака, автомобиль и так далее. Но никто не знает, как интерпретировать все слои, лежащие посередине.

Зейлер и Фергюс разработали метод визуализации, который назвали деконволюцией или обратной сверткой. Он превращает промежуточные уровни деятельности нейронной сети обратно в изображения [279].

Впервые они увидели второй слой. Он представлял собой мешанину форм. «Параллельные линии, кривые, круги, Т-образные соединения, контуры, напоминающие градиенты, цветные пузыри – на втором слое представлено огромное разнообразие структур». Третий слой был еще более сложным, там появлялись участки объектов: что‐то похожее на части лиц, глаза, текстуры, повторяющиеся узоры. Можно было распознать такие вещи, как белый пух облака, цветные полоски на книжной полке или зеленую щетку травы. К четвертому слою нейронная сеть реагировала на очертания глаз и носа, на квадратные плитки пола, на радиальную геометрию морской звезды или паука, на лепестки цветка или клавиши печатной машинки. К пятому слою особое влияние приобретали категории, к которым будут отнесены объекты.

Результат этой работы был впечатляющим и познавательным. Но был ли онполезным? Зейлер заглянул под капот модели AlexNet, выигравшей соревнование ImageNet в 2012 году, и начал копаться в ней, изучая ее с помощью деконволюции. Он заметил ряд недостатков. Некоторые низкоуровневые части нейронной сети были нормализованы неправильно, как засвеченная фотография. Другие фильтры оказались «мертвыми» и ничего не определяли. Зейлер предположил, что у них был неверный размер для тех типов структур, которым они пытались соответствовать. Какой бы поразительно успешной ни была AlexNet, она тащила балласт. Ее можно было улучшить, и визуализация показалагде.

Осенью 2013 года после нескольких суматошных месяцев Зейлер получил степень PhD, ушел из Нью-Йоркского университета, основал свою собственную компанию Clarifai и принял участие в соревновании ImageNet, в которой выиграл [280].

Другие группы, работавшие параллельно и подхватившие эстафету вслед за Зейлером, изучали иные способы визуализации работы нейронной сети. В 2015 году программисты из Google Александр Мордвинцев, Кристофер Ола и Майк Тайка экспериментировали с методикой. Они начинали с изображения из случайных помех, а потом настраивали их так, чтобы максимизировать вероятность присвоения им определенной маркировки – скажем, «банан» или «вилка» [281]. Этот обманчиво простой метод оказался удивительно мощным. Он вылился в появление запоминающихся и порой гротескных изображений. Начните оптимизировать помехи, чтобы получить, к примеру, собаку, и вы, скорее всего, увидите богомерзкое чудовище с десятками глаз и ушей, фрактально растущих друг из друга и радующих разнообразием размеров.

Эта нейросеть стала плодородной почвой для шалостей художников и даже внедрила новую визуальную эстетику. Программисты Google испробовали еще одну идею: вместо того чтобы начинать с помех и вручную вводить метку категории, они начали с реального изображения – например, облаков или листьев, – и приспосабливали изображение так, чтобы выделить зоны, в которых нейроны нейросети особенно активны. Они писали, что «создается петля обратной связи: если облако хоть немного напоминает птицу, нейронная сеть сделает его еще больше похожим на птицу. При следующем проходе это поможет нейросети распознавать птицу более уверенно. И так, пока словно из ниоткуда не появится птица со всеми деталями». Этот метод они назвали DeepDream [282].

В более философском плане подобные методы предполагают, что, граница между критиком и художником довольно зыбка, по крайней мере до тех пор, пока речь идет о нейросетях. Нейронная сеть, обученная распознавать, скажем, озера или соборы, может бесконечно штамповать изображения озер и соборов, которых никогда не видела. Это красивая, хоть и трудоемкая инструкция к искусству: любой, кто способен отличить красивую картину от некрасивой, может почувствовать себя творцом. Все, что нужно, – это хороший вкус, много времени и случайный перебор.

Подобные методы не только открывают нам множество эстетических возможностей, но более важные вещи. Например, Мордвинцев, Ола и Тайка использовали свой метод для того, чтобы система, классифицирующая изображения, «создавала» картинки, максимально похожие на образцы из разных категорий. «В некоторых случаях, – писали они, – выясняется, что нейронная сеть в действительности ищет совсем не те вещи, на которые, как нам кажется, смотрит». К примеру, среди изображений категории «гантели» могут попасться, например, руки, отделенные от тела. «Да, в них есть гантели, – пишут исследователи, – но такое изображение нельзя назвать завершенным без мускулистого тяжелоатлета, который их выжимает. В данном случае нейросеть не смогла в полной мере определить сущность гантелей. Возможно, ей показывали их исключительно в чьих‐то руках. Визуализация может помочь исправить подобные недостатки обучения» [283]. Этот метод также полезен для исследования предвзятости и способа представления. Если основанные на случайных помехах и тщательно настроенные сотни изображений категории «лица» – это набор, к примеру, лиц белых мужчин, то это прекрасный показатель того, что нейронная сеть не распознает с такой же легкостью другие типы лиц.

После первого исследования DeepDream Тайка основал в Google программу Artists and Machine Intelligence

В целом, по отношению к своей нынешней работе группа выражает осторожный оптимизм, у которого становится все больше подражателей. «Впереди еще много работы, прежде чем можно будет говорить о создании мощных и надежных интерфейсов для интерпретации, – пишут исследователи. – Но, если мы достигнем успеха, интерпретируемость станет мощным инструментом и для контроля со стороны человека, и для создания справедливых, безопасных и согласованных систем ИИ» [287].

Особенно больших успехов по-прежнему добиваются в визуализации, но что, если воспринимать нейронную сеть на уровне идей? Может быть, найдется способ понять ее внутреннее строение через слова? Это одна из новых областей, нуждающихся в объяснении.

Глубокие нейронные сети и человеческие понятия

Осенью 2012 года аспирантка Массачусетского технологического института Бин Ким, начинавшая работу над диссертацией для получения степени PhD, занялась проектом, который определил ее жизнь на следующие несколько лет. Ранее она занималась робототехникой и зашла так далеко, что получила права на вождение вилочного погрузчика, чтобы лучше понимать атмосферу промышленной робототехники. Но в конце концов Бин решила, что ей это не совсем подходит. «Я поняла, что робототехника имеет связанные с оборудованием ограничения, – рассказывает она. – Мысли у меня летели так быстро, что физически я за ними не успевала» [288].

Постепенно Ким поняла, что интерпретируемость может стать темой диссертации, если не работой всей жизни. Впервые побывав на конференции NeurIPS в декабре того года, она поговорила со старшим коллегой. «Я сказала преподавателю, что работаю над интерпретируемостью, а он ответил что‐то вроде: „А зачем? Нейронные сети решат все проблемы! Почему вас это волнует?“, – вспоминает она с усмешкой. – И я объяснила. Представьте, что вы заходите в кабинет врача, а он заявляет, что собирается вас разрезать и удалить пару органов. Вы спросите зачем. А он скажет: „Я не знаю. Машина сказала, что это для вас лучший вариант. На 99,9 %“».

«Что бы вы на это ответили? – задала она риторический вопрос, на который все‐таки ждала ответа. – Что бы вы сказали врачу? У меня не было сомнений, что нам нужно в этом разобраться. Но я не была уверена, что люди скоро поймут, как это важно».

Дневное солнце проникает через окно конференц-зала в Google Brain, где Ким работает с 2017 года. «Кажется, время пришло».

Ким убеждена в том, что в объяснениях и интерпретациях есть нечто человеческое, и поэтому в них проявляется неупорядоченность и связь разных дисциплин. «Значительная часть этой задачи – все еще не исследованная – касается восприятия человеком, – говорит она. – Я всегда придавала особое значение взаимодействию человека с компьютером, науке о процессах познания… Без них нам не решить эту проблему». Понимать неизбежность человеческой стороны в интерпретируемости означает, что происходящее не всегда удается точно перевести на знакомый язык информатики.

«Некоторые люди думают, что для объяснения необходимо найти математическое определение. Я не считаю это осуществимым, – рассказывает Ким. – Компьютерные специалисты чувствуют себя неуютно – очень неуютно – из-за того, что не поддается вычислениям».

Практически в каждой научной статье Ким есть что‐то необычное для информатики, что‐то, находящееся за гранью науки о компьютерах: современные исследования, затрагивающие человеческие проблемы. «Организация цикла с пользователями критически важна, – говорит исследовательница. – Потому что, если единственная причина вашего существования – потребительство… мы должныдоказать,что эта вещь хороша». Этот цикл жизненно важен, потому что часто то, что разработчикисчитаютполезным для пользователей, таковым не является. Если вы разрабатываете интерпретации или интерпретируемые модели, которые будут использовать реальные люди, то процесс должен быть не менее циклическим, чем, скажем, разработка рабочего места летчика или пользовательского интерфейса программного обеспечения [289]. Не ставить эту эмпирическую обратную связь во главу процесса – вызывающая самонадеянность.

Подобные исследования усложняют использование простых моделей. Ким отмечает, что в конце концов все сводится к эмпирическому вопросу – можно ли этот подход к интерпретируемости назвать лучшим. «В очень немногих случаях, когда можно определить и эмпирически оценить, существует ли небольшой набор характерных особенностей, объяснимых в рамках отдельно взятой задачи, – в этих случаях можно записать то, что будет вразумительным для конкретной задачи, и оптимизировать это». Но реальные исследования, проведенные Ким и другими учеными, показывают, что на практике такие вещи редко столь прямолинейны.

Например, в 2017 году Джен Уортман Воган и ее коллеги по Microsoft Research изучали, как пользователи взаимодействуют с моделью машинного обучения, которая определяла стоимость домов и предсказывала их цену с помощью таких характеристик, как метраж, количество ванных комнат и т. д. Люди лучше угадывали прогнозы модели, когда она использовала меньше факторов и, таким образом, была более прозрачной для пользователя. Но ни простота, ни прозрачность не влияют на уровень доверия людей к модели. И в действительности онирежепонимают, что модель сделала ошибку, если система более прозрачна [290].

Ким убеждена, что «люди думают и общаются с помощью понятий», а не цифр [291]. Мы взаимодействуем и, по большей части, думаем с помощью слов, эффективно используя понятия высокого уровня (речь не о необработанных сигналах сенсорного восприятия). По этой причине Ким думает, что многие методы, основанные на зрительном восприятии, не до конца справляются с задачей. Они с коллегами работают над тем, что называют тестированием с помощью векторов активации концептов (Concept Activation Vectors, TCAV). Этот способ использовать человеческие понятия, чтобы объяснить внутреннюю работу нейронных сетей.

Например, представим себе модель, правильно распознавшую изображение зебры. Предположим, TCAV показывает, что для своего прогноза нейросеть использовала понятия «полоски», «лошадь» и «саванна». Это вполне резонно. С другой стороны, нейронная сеть, несколько наивно обученная на фотографиях врачей – наборе с систематической ошибкой, – может предположить, что для этого прогноза имеет ценность понятие «мужской». TCAV это покажет и выдаст предупреждение о необходимости настроить модель или изменить данные для обучения, чтобы убрать это искажение [292].

Каким образом мы можем сделать такого рода открытия? На основе каждого изображения в нашей модели возникает не только метка категории, но и обширная схемавнутреннейдеятельности нейронной сети по всем десяткам миллионов искусственных нейронов. Эти внутренние активности нетренированному

«Полагаю, этот метод имеет уникальное достоинство, – говорит Ким. – Объяснение дается на языке пользователей. Им не придется изучать принципы машинного обучения… Мы можем все объяснить на языке, на которомониговорят, и откликнуться наихгипотезу, используяихтерминологию» [294].

Использовав TCAV для изучения двух популярных моделей распознавания изображений Inception v3 и GoogLeNet, Ким обнаружила целый ряд подобных проблем. Понятие «красный», к примеру, было критически важным для понятия «пожарная машина». «Это имеет смысл, – говорит она, –есливы живете там, где пожарные машины красные» [295]. В Соединенных Штатах это именно так, но не в Австралии, где, в зависимости от района, пожарные машины могут быть белыми, а в Канберре – кислотно-желтыми. Можно предположить, что, допустим, модель беспилотного автомобиля, разработанная на американском наборе данных, может потребовать модификации, прежде чем ее будет безопасно внедрять в других странах.

Также Ким обнаружила, что понятие «руки» было важно при распознавании «гантелей», что соответствует более ранним открытиям группы DeepDream из Google и указывает на то, что нейронная сеть должна научиться находить гантели в рюкзаке или на земле [296]. Понятие «восточно-азиатский» оказалось важным для «мячика для пинг-понга», а понятие «европейский» – для «регби». Эти находки частично могут отражать схемы, которые не являются ошибочными: согласно данным Международного фонда настольного тенниса семь из десяти лучших в мире игроков-мужчин и все десять лучших игроков-женщин происходят из восточно-азиатских стран [297]. Как бы то ни было, результаты указывают на то, что некоторые части модели заслуживают внимательного изучения как с точки зрения точности, так и с точки зрения предвзятости. В любом случае нас не устроит, если система отнесет портрет китайского президента Си Цзиньпина к категории «мячик для пинг-понга», что обнаружили исследователи ИИ из Пьер Сток и Мустафа Циссе [298]. TCAV предлагает способ в явной форме количественно оценить эти проблемы, а в идеале – пресечь их в корне.

Работу Ким по TCAV отметил генеральный директор Google Сундар Пичаи в приветственной речи на конференции I/O в 2019 году. «Недостаточно знать, что модель работает, – сказал Пичаи. – Нужно еще понимать,какона работает».

В 2012 году Ким с трудом могла поверить, что ее идеи найдут свою аудиторию. Ей казалось, что только она, Синтия Рудин и Джули Шах (ее научные руководители в Массачусетском технологическом институте) «хоть как‐то интересуются этой темой». К 2017‐му интерпретируемости и объяснимости были посвящены целые симпозиумы на крупнейших конференциях отрасли. К 2019‐му генеральный директор Google с гордостью описывал ее работу с крупнейшей трибуны компании.

Я спросил Ким, ощущает ли она это признанием ее заслуг.

«Мы прошли такой долгий путь», – говорит она, похоже, не желая наслаждаться сиюминутным удовлетворением или чувством «Я же говорила!» Вместо этого она ощущает большую ответственность: нужно убедиться, что эти вопросы решаются быстрее, чем идет развитие и внедрение самой технологии. Ким обязана как‐то опережать эту волну успехов, присматривая за тем, чтобы в них не затесались критически важные проблемы.

Когда мы закончили разговор и направились к выходу из конференц-зала, я поблагодарил Ким за потраченное время и спросил, не хочет ли она добавить что‐то, о чем мы еще не говорили. Она задумалась на несколько секунд, а потом ее лицо просияло.

«Кстати, помните, я говорила о преподавателе?» Том самом, который в 2012‐м презрительно фыркал, когда аспирантка на первом году работы упомянула, что хочет писать диссертацию об интерпретируемости, и пытался отговорить ее от темы, которую считал тупиковой. Как бы то ни было, Ким не держит зла: «Я полагаю, он искренне хотел мне помочь…»

Тут Ким ухмыляется: «Так вот, этот человек теперь работает над интерпретируемостью!»

Часть 2

Агенты

4. Подкрепление

Внимание к роли подкрепления в делах людей постоянно растет не из-за каких‐либо изменений в моде на теории обучения, но в результате открытия фактов и методов, повышающих нашу способность к прогнозам и контролю поведения. Такие действия не оставляют сомнения в реальности и важности этих фактов и методов. Возможности подкрепления все еще не охвачены полностью даже теми, кто больше всего сделал для того, чтобы их продемонстрировать. Среди психологов повсюду можно заметить культурную инерцию. Она вполне понятна, потому что изменения были почти что революционными: едва ли в традиционной теории обучения хоть что‐то сохранилось в узнаваемом виде.

Б. Ф. Скиннер [299]

Проблема современных теорий бихевиоризма не в том, что они не верны, а в том, что могут оказаться верными.

Ханна Арендт [300]

Весной 1896 года Гертруда Стайн [301]записалась на гарвардский семинар по психологии под руководством великого Уильяма Джеймса. Там она изучала двигательный автоматизм, или способность писать слова, не задумываясь над ними. В результате появилась статья в рецензируемом журнале, которая стала первым появлением Стайн в печати. Но что особенно важно, тема, ставшая началом ее студенческих изысканий по психологии, привела Гертруду к знаменитой модернистской прозе потока сознания, благодаря которой писательница и стала известной [302]. Стайн описывает своих сокурсников по семинару Джеймса как «забавную группу», среди которых особенно выделялся один человек, помешанный на разведении цыплят в инкубаторах [303].

Это был Эдвард Торндайк, и, справедливости ради следует отметить, что превращение квартиры в импровизированный курятник было не первой его идеей. Он хотелизучатьмеханизмы обучения у детей и заодно развенчать идею экстрасенсорного восприятия. Гарвард не одобрил проект. Так что инкубатор с пищащими цыплятами был чем‐то вроде… плана Б [304].

В те времена решение честолюбивого молодого психолога посвятить себя изучению цыплят казалось по-настоящему странным. Исследования животных еще не вошли в моду, как это случилось в ХХ веке, и сокурсники Торндайка считали его несколько странным. Возможно, если бы об этом узнали его приятели, у них бы глаза округлились от удивления (а у квартирной хозяйки волосы встали бы дыбом), но несмотря на то, что содержание курятника было задачей материально-технического обеспечения

В конце концов домохозяйка Торндайка в Кембридже объявила инкубатор пожароопасным и поставила ему ультиматум: от цыплят необходимо избавиться. Джеймс пытался выбить лабораторию в кампусе Гарварда, но университет не испытывал по этому поводу особого энтузиазма. Поскольку другого выхода не оставалось, Джеймс, несмотря на протесты жены, позволил Торндайку перевезти цыплят, инкубатор и все остальное в подвал своего собственного дома. (По крайней мере, дети Джеймса были в восторге.)

В 1897 году Торндайк выпустился из Гарварда и переехал в Нью-Йорк, получив стипендию аспиранта в Колумбийском университете. На этот раз он работал с разными видами животных. Год выдался не слишком удачный. Две кошки сбежали, собак достать не удалось, а «обезьяна была такой дикой, что я боялся к ней прикоснуться». В довершение бед не все животные в городском зверинце Торндайка были предназначены для научных опытов, некоторые были просто домашними вредителями. В письме к Бесс от 14 февраля 1898 года он пишет: «Только что по моей ноге пробежала мышь. Крысы грызут комод, три цыпленка спят в полуметре от меня; пол комнаты завален табаком, сигаретными бычками, газетами, книгами, углем, куриными перьями, мисками для кошачьего молока и старыми ботинками. Керосинка и метла здесь выглядят не на своем месте. Моя квартира – заброшенная дыра». Как бы то ни было, он обещал убраться и на День Святого Валентина пригласил жену нанести ему визит.

Из всей этой нищеты и убожества родилось одно из самых оригинальных и значительных исследований XIX века. Торндайк сделал несколько удерживающих устройств, которые называл «проблемным ящиком». Они были снабжены различного рода защелками, ручками и застежками. Исследователь помещал животное в клетку, снаружи раскладывал разнообразную подкормку и наблюдал, как цыпленок, кошка или собака будут выбираться из ловушки. «Тебе бы понравилось смотреть, как котята открывают щеколды и двери, тянут шнуры, выпрашивают еду, словно собачки, и делают разные другие трюки, – писал Торндайк Бесс. – Я же в это время жую яблоки и курю».

Торндайк интересовался обучением, и в его голове зрела теория. Жуя яблоки и куря сигареты, Торндайк наблюдал, что животное, понятие не имевшее, как устроен ящик, сначала действовало исключительно случайным образом: что‐то кусало, что‐то скребло. Когда же рандомные действия позволяли ему высвободиться из ящика, оно очень быстро учился повторять их и в будущем выбирался из того же ящика все быстрее и быстрее. «Один из множества случайных импульсов ведет к удовольствию, – сделал он вывод, – и он набирает силу и таким образом запечатлевается» [305].

В этом Торндайк увидел проявление более крупного, более общего закона природы. Как он выразился, результаты наших действий ведут либо к удовлетворению, либо к раздражению. Когда речь об удовлетворении, мы склонны повторять. С другой стороны, когда возникает раздражение, мы стараемся его избегать. Чем понятнее связь между действием и результатом, тем сильнее изменения. Торндайк назвал эту идею – возможно, самую известную и долговременную в его работе – «законом эффекта».

Он пишет:

«Закон эффекта: когда устанавливается доступная для изменения связь между ситуацией и реакцией и когда она сопровождается удовлетворением, эта связь крепнет. Если она сопровождается раздражением, связь ослабевает. Усиливающий эффект удовлетворения (или ослабляющий эффект раздражения), действующий на связь, зависит от близости между ситуацией и связью» [306].

На этой на первый взгляд скромной и очевидной идее была построена бо́льшая часть психологии ХХ века [307]. В 1927 году статья «Условные рефлексы» И. П. Павлова появилась на английском языке в переводе его ученика Глеба фон Анрепа, который использовал слово «подкрепление», чтобы описать этот эффект. К 1933‐му Торндайк сам использовал этот термин, как и молодой научный сотрудник Гарварда по имени Беррес Фредерик Скиннер (с ним мы более подробно познакомимся в главе 5) [308]. Язык «подкрепления», а также идея использовать животных, чтобы понять механизмы обучения методом проб и ошибок и, таким образом, человеческое сознание, создали систему координат, в которой психологи работали несколько следующих десятилетий.

Как писал один из ведущих психологов следующего поколения Эдвард Толман, «психология обучения животных, не говоря уж о психологии обучения детей, по-прежнему сводится к тому, соглашается или не соглашается исследователь с Торндайком» [309].

Если Торндайк в конце концов и принял свое место в психологических канонах, то относился он к нему необычно скромно. Когда его учебник «Принципы обучения» вышел в свет в 1905 году, книга угрожала сдвинуть с привычного места предыдущий основной учебник «Психология: краткий курс», написанный никем иным как научным руководителем Торндайка Уильямом Джеймсом. Торндайк отправил своему наставнику чек на сотню долларов, чтобы компенсировать недополученную прибыль. Джеймс ответил: «Торндайк, вы действительно не подчиняетесь законам природы. Если первый ее закон говорит о том, что соперников надо уничтожить (особенно соперников в области выпуска учебников), то вы их подкармливаете!» Джеймс отказался принять чек и вернул его обратно [310]. Можно сказать, эстафета была передана, психология ХХ века была на подходе.

Цифровые пробы и ошибки

Какая сила действует через некие процессы и механизмы, делая положительную реакцию именно таковой? Ответ, который, как мне кажется, подходит ко всем или почти всем фактам, – это… сила и механизм подкрепления, примененного к связи.

Эдвард Торндайк [311]

Если бы исследователи животных вслед за Торндайком заинтересовались бы психологией человеческих детей, они не были бы в этом одиноки: самые первые специалисты по информатике делали то же самое. Самая известная статья Алана Тьюринга «Вычислительные машины и разум», вышедшая в 1950 году, недвусмысленно описывает проект искусственного интеллекта в таком контексте. «Вместо того чтобы создавать программу, симулирующую разум взрослого человека, – писал автор, – почему бы не попытаться создать программу, симулирующую сознание ребенка? Если это творение затем пройдет соответствующий курс обучения, в итоге получится взрослый мозг». Тьюринг представлял сознание этих эрзац-детей как «неорганизованную машину», порожденную случайной конфигурацией, которая затем изменяется в зависимости от качества результатов (изначально случайных) действий.

Тогда и был определен план развития искусственного интеллекта. «Неорганизованные машины» должны были заимствоваться из того, что тогда подразумевалось под нервной системой, а «курс обучения» – из открытий, сделанных бихевиористами в отношении обучения животных (и детей). К началу 1940‐х Уоррен Маккаллок и Уолтер Питс доказали, что большая система правильно соединенных искусственных «нейронов» способна вычислить буквальночто угодно. Тьюринг начал искать способы, с помощью которых эту нейронную сеть

«Когда достигается конфигурация, для которой действие не определено, на месте отсутствующей информации делается случайный выбор, и в описание вносится соответствующая запись. Когда происходит болевое воздействие, все пробные записи отменяются; при получении удовольствия все они становятся постоянными» [312].

К концу 1950‐х годов Артур Сэмюэл из IBM, работая на лабораторию Пукипси, создал программу для игры в шашки, которая подстраивала свои параметры так, чтобы выиграть игру, хотя и делала это достаточно примитивно. Прошло совсем немного времени, и Сэмюэл начал проигрывать партию за партией своему детищу. В 1959 году New Yorker писала: «Доктор Сэмюэл, возможно, стал первым ученым в истории, который потерпел поражение от соперника, которого сам и создал» [313]. Ученый опубликовал доклад под названием «Некоторые исследования в области машинного обучения с использованием игры в шашки», включив в него термин «машинное обучение», чтобы описать свою методологию. Сэмюэл писал:

«Исследователи, о которых здесь рассказывается, стремились запрограммировать цифровой компьютер так, чтобы он демонстрировал поведение, которое в случае с людьми или животными можно было бы описать как вовлечение в процесс обучения… В нашем распоряжении имеются компьютеры с достаточными для использования методов машинного обучения возможностями обработки данных и вычислительной скоростью, но наши знания об основных принципах этих методов все еще рудиментарны. При отсутствии таких знаний приходится определять методы решения проблемы до мельчайших деталей, что является времязатратной и дорогостоящей процедурой. Компьютеры, запрограммированные на обучение из опыта, должны в конце концов уничтожить потребность в таком детализированном программировании» [314].

Он объяснял более простым языком: «Эта вещь принесла мне больше удовлетворения, чем что‐либо еще в моей жизни… Насколько я знаю, ни у кого больше не получилось заставить цифровой компьютер улучшить свои собственные показатели. Понимаете ли, виды мыслительной деятельности, которую могут симулировать компьютеры, всегда были очень ограничены, потому что до сих пор нам приходилось говорить им, что делать и как именно».

Другими словами, развитие машин, которые могут учиться – по полученным от людей инструкциям или на собственном опыте, – уменьшит необходимость впрограммировании. Более того, это позволит компьютерам делать такие вещи, запрограммировать которые мы не могли.

Первый показ работы Сэмюэла стал чем‐то вроде легенды информатики. Его коллега пионер искусственного интеллекта Джон Маккарти вспоминает, что когда Сэмюэл был готов продемонстрировать свою программу для игры в шашки на национальном телевидении, «Томас Дж. Уотсон-старший, основатель и президент IBM, отметил, что этот показ поднимет акции IBM на 15 пунктов. Так и вышло» [315].

Гедонистический нейрон

Борьба нервных клеток за свое существование зеркально отражает нашу борьбу за получение удовлетворения.

Эдвард Торндайк [316]

В 1972 году Гарри Клопф – исследователь, работавший на военно-воздушные силы США на базе ВВС Райт-Паттерсон в Дейтоне, штат Огайо, – опубликовал провокационный доклад, озаглавленный «Функции мозга и адаптивные системы: гетеростатическая теория». Клопф заявлял о том, что «нейрон является гедонистическим», то есть работает, чтобы довести до максимума некое относительное, возникающее в определенном месте «удовольствие» и свести к минимуму «боль». По мнению Клопфа, вся сложность поведения людей и животных возникает в результате активности этих отдельных клеточных «гедонистов», соединенных в системы с возрастающей сложностью.

Поколение исследователей до Клопфа, так называемое кибернетическое движение, просуществовавшее с 1940‐х до 1960‐х годов, описывало интеллектуальное поведение как «отрицательную обратную связь». Они утверждали, что по большей части организм мотивирует стремление к гомеостазу или равновесию. Он стремится поддерживать комфортную температуру. Он питается, чтобы бороться с голодом. Он находит пару, чтобы удовлетворить свои желания. Он спит, чтобы победить усталость. Казалось, все стремится вернуться к исходным рубежам.

В самом деле, в 1943 году судьбоносная статья по кибернетике «Поведение, цель и целеполагание», где термин «обратная связь» был использован в ныне привычном смысле – «информация, использованная при приспособлении», – разграничила целенаправленное и бесцельное (случайное) поведение [317]. Для кибернетиков цель была равносильна месту назначения, где можно отдохнуть. Основоположник кибернетики Норберт Винер считал одной из канонических машин, «по самой своей природе обладающей целью», термостат: когда температура слишком низкая, он нагревается, а когда слишком высокая – выключается. Так же он думал о регуляторе числа оборотов двигателей (governor). Едва ли только по воле случая этот термин имеет этимологическую связь со словом «кибернетика», имея общее происхождения от одного и того же греческого корня kybernetes (управлять) [318]. («Кибернетика» при всем экзотическом научно-фантастическом звучании могла бы иметь куда более мягкую и бюрократическую форму «governetics» и первоначально появилась как наука об управлении государством.) Механический «регулятор» открывает клапаны, когда двигатель вращается слишком быстро, и закрывает их, когда движение слишком замедляется, тем самым помогая поддерживать равновесие. «Заметим, что обратная связь стремится противодействовать тому, что делает система; следовательно, является отрицательной», – писал Винер [319]. С точки зрения кибернетики, это было основной частью любой целенаправленной системы. «Любое целенаправленное поведение, – писали ее последователи, – может рассматриваться как требующее отрицательной обратной связи» [320].

Клопф начисто отвергал такую точку зрения. Для него организмы стремились к максимуму, а не к минимуму. Жизнь связана с ростом, воспроизведением, бесконечным, безграничным и неутолимым движением вперед в любом смысле этого слова. Для Клопфа цель – не гомеостаз, а полная его противоположность. «Живые приспосабливающиеся системы в качестве своей основной цели ищут максимальное состояние (гетеростаз), а не стабильное состояние (гомеостаз)». Если говорить более поэтично, Клопф проповедовал о достоинствах положительной, а не отрицательной обратной связи: «И положительная, и отрицательная обратная связь критически важна для процессов жизнедеятельности. Тем не менее, доминирует положительная: именно она дает „искру жизни“». Эта идея проходит весь путь от отдельных клеток до организмов и общественных структур. Клопф не скромничал, когда речь шла о том, что считать практическим приложением его идеи. «Кажется, это первая теория, способная обеспечить единую унифицированную структуру, внутри которой можно понять нейрофизиологические, психологические и социологические характеристики живых приспосабливающихся систем, – писал он. – Нейроны, нервные системы и нации являются гетеростатическими» [321].

Нейронынеутолимо стремятся к максимуму? И это объясняет поведениенаций? Идея была амбициозной, неортодоксальной и, вполне возможно, абсурдной. Военно-воздушные силы предложили ученому финансирование, чтобы найти лабораторию или приспособить уже существующую для этой задачи. Команду себе Клопф подобрал в Массачусетском университете в Амхерсте. Там он нанял получившего докторскую степень исследователя по имени Эндрю Барто, чтобы, как говорил последний, найти «научное значение этой идеи: сумасшедшая она и эксцентричная или может принести какую‐то научную пользу? [322]»

Может показаться необычным, но Клопф

Я спросил Барто, были ли какие‐то предзнаменования того, что должно было произойти. «Мы ни о чем и понятия не имели, – ответил он. – Мы даже не подозревали». На средства, полученные Клопфом от военно-воздушных сил, Саттон и Барто начали сотрудничество, продлившееся сорок пять лет и, в сущности, породившее новую отрасль на пересечении нейрофизиологии, бихевиоризма, программирования и математики. Ее назвали обучением с подкреплением, а их имена оказались навсегда связаны вместе в библиографических списках работ по искусственному интеллекту – «Барто и Саттон», «Саттон и Барто» – и стали ассоциироваться с хрестоматийными учебниками отрасли, соавторами которых они были. Даже можно сказать, что эти имена превратились в кодовое слово для обозначения самого обучения с подкреплением [324].

Я встретился с Барто в кампусе Массачусетского университета, почетным профессором которого он сейчас является. «Счастливо ушел на пенсию, – сказал он. – Честно говоря, я рад, что не нахожусь в центре той бури слухов и восторгов по поводу искусственного интеллекта и подкрепления».

Я сказал Барто, что буду очень рад поговорить об истории обучения с подкреплением (RL, как его часто называют) как отрасли и конкретно о его применении для безопасности, принятия решений и моделирования когнитивных способностей человека.

– Так сколько времени у вас есть? – прервал он меня.

– Почти целый день, – ответил я.

Столько мы и проговорили.

Гипотеза о вознаграждении

Барто и Саттон взяли идею Гарри Клопфа об организме, стремящемся к максимуму, и придали ей конкретную математическую форму. Представьте, что вы можете получить определенное вознаграждение. Оно доступно, если вы выполните конкретные действия и достигнете конкретного состояния. Ваша работа – получить максимальное вознаграждение, то есть самое большое количество очков, какое сможете набрать.

Представьте, что при этом вы в лабиринте – тогда вы можете двигаться на север, запад, юг или восток, а вознаграждение получаете, когда доберетесь до выхода (за вычетом небольшого штрафа за превышение времени). Или на шахматной доске – тогда вы двигаете фигуры и получаете по одному очку, когда ставите сопернику мат (и половину очка за ничью). Или на фондовом рынке – тогда вы покупаете и продаете, а ваше вознаграждение измеряется долларовой стоимостью вашего портфеля акций. Для усложнения этих сценариев нет никаких границ до тех пор, пока вознаграждения остаются скалярными, то есть сопоставимыми, измеримыми, в единой валюте. Это может быть даже национальная экономика, где придется принимать законодательные акты и заниматься дипломатией, а вознаграждением будет рост ВВП в течение продолжительного времени.

Структура обучения с подкреплением показала себя настолько общеприменимой, что привела к идее, которую назвали «гипотезой о вознаграждении»: «Все, что мы подразумеваем под целями и стремлениями, можно описать как максимизацию ожидаемого накопленного скалярного вознаграждения» [325].

«Это почти что философское понятие, – говорит Ричард Саттон. – Но вы на это покупаетесь» [326].

Разумеется, не каждый принимает эту идею с такой готовностью. В спорте, в настольных и компьютерных играх, в финансах в самом деле может существовать такое скалярное число, единая валюта (буквально или в переносном смысле) для измерения результатов, но можно ли этот подход применить к такой сложной и многообразной вещи, как жизнь человека или даже животного? Мы часто вынуждены принимать решения, результаты которых напоминают, образно говоря, яблоки и апельсины. Задержимся ли мы на работе, улучшив отношения с начальником, но подвергнув испытанию терпение нашей второй половины? Предпочтем ли жизнь, полную достижений, жизнь, полную приключений, жизнь, полную связей с другими людьми, или путь духовного роста? Например, философ из Оксфордского университета Рут Чанг несколько десятков лет утверждала, что ничто так не характеризует человеческую природу, какнесоизмеримостьимеющихся у нас мотивов и целей. Мы простоне можемсделать жизненно важный выбор, взвесив возможные альтернативы и приняв решение о том, что будет лучше. Иначе в мире не было бы места морали – только чистый разум. Не было бы возможности придавать вещам смысл и развивать личность [327].

Сам Саттон допускал, что гипотеза о вознаграждении, «возможно, в конце концов окажется неверной, но она так проста, что нам придется ее опровергнуть, прежде чем задумываться о чем‐то более сложном».

Даже если предварительно принять концепцию максимизации вознаграждения и соразмерность скалярных наград, мы обнаружим, что довести гетеростаз до максимума сложнее, чем кажется. Проблема обучения с подкреплением сопряжена и с философскими, и с математическими трудностями.

Первая проблема состоит в том, что наши решения связаны друг с другом. Здесь обучение с подкреплением немного отличается (и это отличие имеет значение!) и от неконтролируемого обучения (основанного на векторной презентации слов, о которой мы говорили в главе 1), и от контролируемого (используется везде: от конкурса ImageNet до распознавания лиц и предсказания риска рецидивизма). При установке параметров последних каждое решение принимается само по себе. Вашей системе показывают изображение – скажем, гриба лисички обыкновенной – и просят отнести его к определенной категории. Система может дать правильный ответ, может ошибиться, в случае ошибки ее параметры могут быть настроены, но в любом случае вы просто вытягиваете наугад еще одну фотографию из коллекции и продолжаете показ. Данные, поступающие на вход, – это то, что статистики называют «н. о. р.», – независимые и одинаково распределенные. Не существует никакой причинно-следственной связи между тем, что мы видим, что делаем и что увидим потом.

При обучении с подкреплением – в лабиринте, шахматной партии, да и в самой жизни – мы не можем принимать решения в вакууме. Каждое решение порождает контекст, в котором принимается следующее решение, и этот контекст можетпостоянноизменяться. Если мы передвинем шахматные фигуры определенным образом, то значительно ограничим типы позиций, с которыми можем столкнуться, и типы стратегий, которые могут оказаться полезными для дальнейшей игры. В существующем мире – виртуальном или реальном – движению неизбежно присуще одно свойство: любое действие, которое мы предпринимаем – свернуть на север, заглянуть в лицо любимому, провести зиму во Флориде, – определяет будущие входные данные, на время или навсегда. Если мы жертвуем ферзем, этой фигуры у нас не будет до конца игры. Если мы прыгаем с крыши, возможно, мы больше никогда не сможем прыгать. Если мы плохо с кем‐то поступили, мы можем потом всю жизнь переживать, как этот человек теперь поведет себя с нами, и можем никогда не узнать, как бы он повел себя, если бы мы были добрее.

Вторая проблема обучения с подкреплением

Как заключает Эндрю Барто, обучение с подкреплением больше похоже не на обучение с учителем, а на обучение скритиком[328]. Критик может быть сколь угодно умным, но он куда меньше склонен помогать. Учитель будет заглядывать в вашу работу через плечо, мгновенно исправлять сделанные ошибки и говорить или показывать, как следовало поступить. Критик ждет, когда вы закончите свою работу, а потом выкрикивает: «Фу!» с заднего ряда аудитории, не давая никаких намеков на то, что именно ему не понравилось или что конкретно он предпочел бы видеть. Критик может не дать вам никакого намека или конструктивной обратной связи; у него самого может не остаться ничего, кроме некой степени, как говорил Торндайк, «удовлетворения или раздражения».

В-третьих, обратная связь оказывается не только скудной и неконструктивной, она еще иоткладывается. Мы, к примеру, можем сделать безнадежный промах на пятом ходу игры, а последствия скажутся лишь сто ходов спустя. На ум приходит фраза, сказанная тем, кто испытывает горечь проигрыша или поражения, – разочарованным родителем, обанкротившимся бизнесменом, пойманным воришкой: «Где же я ошибся?» В обучении с подкреплением это называется задачей назначения коэффициентов доверия, исследователи пытаются решить ее с середины прошлого века. Например, Марвин Минский из Массачусетского технологического института писал в своей знаменитой статье 1961 года «Шаг к искусственному интеллекту»: «Когда кто‐то играет в сложную игру, такую как шашки или шахматы, или занимается написанием компьютерной программы, у него есть определенный критерий успеха: проигрыш или выигрыш. Но в процессе каждый конечный успех (или провал) связан с большим количеством внутренних решений. Если в итоге все получилось, как мы можем расставить коэффициенты доверия среди множества решений?» [329]

Минский развивает мысль, подчеркивая главный вопрос: «Предположим, что при выполнении сложного задания, такого как победа в шахматной партии, принимается миллион решений. Можем мы приписать каждому из этих решений… одну миллионную долю коэффициента доверия за выполненное задание?»

После автомобильной аварии, случившейся спустя несколько дней путешествия через всю страну, мы не прослеживаем все свои действия до того момента, как вставили ключ в зажигание, а думаем: «Никогда в жизни больше не сверну налево, выезжая со двора!» Аналогично, если нам поставили мат на 89‐м ходе игры, мы полагаем, что грубую ошибкудолжныбыли сделать на 88‐м.

Так как же определить правильные уроки, которые мы можем извлечь как из успеха, так и из поражения? Схема обучения с подкреплением начала открывать целую вереницу фундаментальных проблем обучения и поведения, которые развились в полноценную отрасль и определили курс исследований искусственного интеллекта вплоть до текущего десятилетия. Как и предсказывал Гарри Клопф, мы получили ряд новых вопросов для окружающего нас естественного интеллекта.

Загадочный дофамин

Если людей и животных можно считать стремящимися к максимальным «гетеростатическим» вознаграждениям, само собой разумеется, что эти вознаграждения каким‐то образом управляют некими механизмами мозга. Если действительно существует какая‐либо уникальная скалярная «награда», ради увеличения которой и созданы люди и животные, то может ли она быть такой простой, как, например, электрическая схема в мозгу? В 1950‐х годах двое ученых из университета Макгилл в Монреале Джеймс Олдс и Питер Милнер, были убеждены, что нашли место, где происходит этот процесс.

Олдс и Милнер проводили эксперименты, помещая электроды в мозг крыс и давая животным возможность нажимать на рычаг, после чего происходила электрическая стимуляция определенной части мозга. Ученые обнаружили, что воздействие на некоторые зоны не оказало никакого эффекта на поведение крыс. Но при воздействии на другие участки крысы начинали обходить рычаг как можно дальше, только чтобы случайно его не нажать. Но были и такие зоны – в частности, так называемая область перегородки, – при стимуляции которых крысы хотели лишь нажимать рычаг, подающий ток в этот участок мозга. Они нажимали его по 5000 раз за час, 24 часа в сутки без остановки [330]. «Это вознаграждение полностью захватывает контроль над поведением животного, – писали Олдс и Милнер, – возможно, превосходя любое другое вознаграждение, которое когда‐либо использовалось в экспериментах с животными» [331]. Так было положено начало исследованиям не только поведения человека и животных через призму максимизации, но и существующих молекулярных механизмов самого вознаграждения.

Вначале эти области назвали структурами подкрепления, но вскоре Олдс начал говорить о них как о центрах удовольствия [332]. Последующие исследования доказали, что не только крысы, но и люди способны свернуть со своего пути, чтобы получить удар электрическим током в те же части мозга.

Со временем исследования определили, что те участки мозга, где электрическая стимуляция оказывается наиболее эффективной, – это области, в которых задействованы нейроны, производящие нейромедиатор 3,4‐дигидроксифенетиламин, больше известный под сокращенным названием дофамин [333]. Такие клетки встречаются редко – менее 1 % клеток мозга – и сосредоточены в особых зонах [334]. Одна дофаминовая клетка может в некоторых случаях соединяться смиллионамидругих нейронов, охватывая большой участок мозга [335]. Они обладают уникально широкой сетью связей, общая длина которых для отдельных клеток достигает четырех с половиной метров [336]. В то же время они достаточно ограничены в диапазоне и сложности выходных сигналов. Специалист по нейронауке из Нью-Йоркского университета Пол Глимчер заключил: «Они мало что могут сказать всему головному мозгу, но то, что они говорят, должно быть слышно повсюду» [337].

Другими словами, эти клетки во многом напоминают «шкалу вознаграждений», что‐то вроде очков на табло головного мозга – предельно простые, но широко распространенные и чрезвычайно важные.

За 1980‐е электрофизиология продвинулась до того, чтобы наблюдать за отдельными дофаминовыми нейронами в реальном времени. Немецкий нейрофизиолог Вольфрам Шульц в лаборатории во Фрибуре, Швейцария, начал изучать поведение дофаминовых нейронов у обезьян, когда они добирались до коробки, которая то была пустой, то содержала маленькие кусочки фруктов или выпечки. Само собой, «всплеск импульсов происходил, когда рука обезьяны касалась кусочка еды

Но было и кое-что странное.

Если существовал визуальный или звуковой сигнал о том, что еда в коробке появится, это вызывало всплеск дофаминовой активности. Обезьяны бросались вперед и хватали еду, а Шульц скрупулезно отслеживал показания приборов – и ничего не происходило. Спокойный фон нормальных показателей деятельности. Никаких пиков. Дофаминовые нейроны, писал он, «выстреливали во время всплеска импульсов в ответ на [сигнал], но отказывались реагировать на прикосновение к пище» [339].

Что же происходило?

«Мы не могли понять, чем это обусловлено», – говорил Шульц [340]. Он рассмотрел одну за другой несколько гипотез. Может быть, обезьяны просто объелись и действительно не хотели больше. Он попытался не кормить их. Не сработало. Они жадно набрасывались на еду. Но дофаминового всплеска не было.

В конце 1980‐х и начале 1990‐х Шульц и его коллеги пытались правдоподобно объяснить то, что они наблюдали [341]. Раз за разом дофаминовый всплеск смещался с пищи на сигнал, но что же это значило? Если еда каким‐то образом переставала «вознаграждать», тогда почему обезьяны всегда бросались к ней и быстро съедали? Это не имело никакого смысла, значит, дофамин не мог представлять непосредственно вознаграждение. Ученые исключили связь с кратковременной памятью. Они исключили связь с движением и прикосновением.

«Мы ни с чем не могли это связать, – рассказывал Шульц. – Мы пытались найти связь с побуждением, мотивацией, реакцией на стимул, который заставляет двигаться… Так мы думали вначале, но потом обнаружили, что явление слишком неопределенно». Его лаборатория начала работать над гипотезой о том, что этот процесс как‐то связан с удивлением или непредсказуемостью. Идея пришла из психологии и называлась моделью Рескорла-Вагнера, предполагающей, что обучение тесно связано с неожиданностью [342]. Дофамин мог иметь отношение к этой связи, возможно, он каким‐то образом представлял либо удивление от неожиданности, либо процесс обучения, который порождался удивлением. Это бы объяснило, почему еда дает всплеск дофамина, когда появляется неожиданно, но не когда есть сигналы ее появления. И почему в том случае, когда есть неожиданный сигнал, он вызывает выброс дофамина. «Все бы хорошо, – рассказывал Шульц, – но это не объясняло некоторые имеющиеся у нас данные» [343].

В особенности это никак не вязалось с появившимся позднее явлением, которое наблюдал Шульц и которое было даже более таинственным, чем первое. Ученый продолжал исследования, используя похожую схему, но на этот раз вместо коробок с пищей были рычаги и сок. Когда обезьяны усвоили, что сигнал означает появление сока, Шульц попробовал кое-что новое: он подавал ложную тревогу. Он включал сигнал, дофаминовая активность обезьян взлетала выше нормального для нейронов уровня. Обезьяны жали на рычаг и не получали сока. Их дофаминовые нейроны затихали – быстро и однозначно. «Тогда я подумал, что это совершенно не похоже на удивление» [344].

Дофамин так и оставался загадкой. Поначалу он казался таким понятным – своеобразной валютой мозга для вознаграждений. Он явночто‐тоизмерял. Не вознаграждение, не внимание, не новизну, не удивление – ночто?

Набор правил и функция значения состояния

Трудно быть настолько умным, чтобы следующее мгновение не смогло тебя обдурить.

Лео Штайн [345]

В 1980‐е, в то время, когда Шульц начинал свои эксперименты по дофаминовой системе, по другую сторону Атлантики Барто и Саттон приступили к математическим расчетам по проблеме обучения с подкреплением.

Первым большим шагом было разложить задачу на составные части. Ученые понимали, что обучение тому, как производить действия в заданной обстановке, чтобы довести вознаграждение до максимума, затрагивает две связанные, но, возможно, не зависящие друг от друга проблемы: действие и оценка. Когда вы начинаете понимать какую‐то сферу деятельности и, в конце концов, добиваетесь в ней мастерства, это учит вас двум важным вещам: как поступать правильно в конкретных ситуациях и какие преимущества вас ждут при текущем положении вещей. Барто и Саттон пришли к тому, что смотрящий на доску шахматист испытывает сразу два озарения. Он предполагает, какие ходы сделает в дальнейшей игре (и как поступит его соперник). Также интуиция подсказывает ему, кто при таком положении дел с большей вероятностью победит. Эти два измерения проблемы обучения с подкреплением получили известность в качестве технических терминов «политика» или «набор правил» (что и когда делать) и «функция оценки состояния» (какого вознаграждения или наказания можно ожидать).

Одного из этих двух измерений было достаточно для решения проблемы – по крайней мере, в теории. Если шахматист всегда знает, какой ход будет правильным, не имеет значения, умеет ли он предсказывать победителя. И наоборот, если игрок всегда знает, кто в лучшем положении в данной позиции, не имеет значения, если он не уверен в своих действиях. Дайте ему достаточно времени, и он взвесит последствия каждого хода и выберет тот, который приведет его к самому многообещающему будущему.

Основанные на политике подходы вели к системе – будь то животное, человек или машина – с хорошо тренированной «мышечной памятью». Правильное поведение просто выходит само собой, без всяких усилий. Основанные на оценке ценностей подходы, напротив, вели к системе с хорошо развитым чутьем. Она сразу может ответить, угроза перед ней или перспектива. Если полностью развить каждую из них, этого, опять же, в теории было бы достаточно.

На практике же основанные на правилах и оценке ценностей подходы шли бок о бок. Барто и Саттон начали прорабатывать идею, ставшую известной как архитектура «актер-критик», где «актерская» часть системы учится совершать правильные действия, а критическая – предсказывать будущие вознаграждения [346]. Грубо говоря, архитектура актер-критик точно описывала сотрудничество ученых. Барто был особенно увлечен поведением. Саттон прежде всего интересовался прогнозами [347].

Начиная со своей дипломной работы 1978 года, Саттон был увлечен созданием «Единой теории ожиданий» [348]. Интерес к тому, как организмы формируют и совершенствуют свои ожидания, привело его в Амхерст, к сотрудничеству с Клопфом и Барто.

Как объясняет Саттон, формирование правильных ожиданий – хорошая оценочная функция – это согласование своих ежеминутных ожиданий с окончательным вердиктом, приходящим из реальности: окончательный счет игры, квартальный отчет, успешная посадка на Луну, признание восхищенных коллег, стоячая овация, улыбающиеся внуки. Но вамдействительнонадо дождаться конца игры, чтобы чему‐то из этого научиться; тогда решение проблемы назначения коэффициентов доверия будет буквально невозможно. Логика, как говорит Саттон, объединяет в себе три предмета.

Во-первых, непрактично или даже невозможнопомнить все, что мы делаем и думаем. В конце полуторачасового матча по футболу, который мы с треском проиграли, разве мы собираемся в раздевалке и прорабатываем каждый до единого игровой момент? Каждое

Во-вторых, мы хотим иметь способность учиться, даже если не дойдем до конца. Шахматная партия, прерванная до завершения, должна дать намчто‐то. Если мы были в шаге от мата или позиция казалась безнадежной, это все еще означает, что нам нужно было делать что‐то по-другому, невзирая на то, что нет ни потери, ни наказания, которое, как нам кажется, мы заслужили. Подобным же образом игра, в последние секунды выигранная или проигранная благодаря невозможному, невероятному, непредвиденному событию, не означает, что наши ожидания были неверными. Возможно, мы действительнобылина пути к победе. Суждения исключительно по результату не обязательно имеют смысл, особенно в ситуациях, которые до какой‐то степени зависят от удачи.

В-третьих, в идеале мы хотим чему‐то научиться не только по факту, нов процессе. Это особенно важно для человека. Во время многих переломных моментов и критических целей в жизни – скажем, поступить в колледж, вырастить детей или удачно уйти на пенсию, – у нас есть только один шанс. И многих ошибок – провального среднего балла, расползающейся талии, ухудшающихся отношений – можно было бы избежать, если бы мы могли понять, что что‐то идет не так и сменить курс, пока не стало слишком поздно. И если мы, люди, учимся методом проб и ошибок, то нам, к счастью, не нужно ждать конца попытки, чтобы получить знания.

Как объясняет Саттон, каждый из этих факторов усложняет теорию ожиданий. «Очевидно, что мы можем попытаться не обращать на все эти вещи внимания, считать их ничего не значащими мелочами, но я думаю о них как о ключах, – говорит он. – Это подсказки самой природы о том, как нам строить теорию» [349].

Как выяснилось, Саттон первым разгадал эти намеки.

Открытие, которое он сделал, размышляя о прогнозах, состоит в следующем. По мере того как вы продвигаетесь к неопределенному будущему, у вас есть что‐то вроде «текущих ожиданий» о том, насколько оно многообещающее. В шахматной партии это могут быть шансы, которые вы даете себе на победу. В компьютерной игре – ожидаемый успех или количество очков, которые надеетесь получить. Эти предположения со временем изменяются и в целом становятся более правильными по мере того, как вы приближаетесь к тому, что пытаетесь предсказать. (Прогноз погоды на выходные почти всегда более точен в четверг, а не в понедельник. Расчетное время прибытия из аэропорта становится точнее по мере приближения к дому.) Это означает, что в целом, по мере изменения наших ожиданий, мы получаем разницу между следующими один за другим ожиданиями, и каждое из различий – это возможность для обучения. Саттон назвал их врéменными различиями (temporal differences, TD), или ошибками врéменных различий. Когда происходит одно из них, последняя из двух оценок – это та, которая с наибольшей вероятностью окажется правильной.

Так что, возможно, не нужно ждать истины в последней инстанции, чтобы чему‐нибудь научиться. Может быть, у нас получится извлечь новые знания из самих этих колебаний и отклонений данных.Каждыйраз, когда смену ожиданий можно считать ошибкой в предыдущем прогнозе, возникает возможность для обучения: мы извлекаем урок не из той истины, которой еще не существует, а из новой оценки, сделанной чуть-чуть повзрослевшим и ставшим немного более мудрым «я». Как говорит Саттон: «Мы делаем предположение по догадке» [350].

(Он добавляет, как будто взяв эти слова в скобки: «Выглядит несколько опасным, не правда ли?»)

К концу 1980‐х эта идея – Саттон назвал ее методом темпоральных различий или TD-обучением для краткости – превратилась в алгоритм под названием «TD(λ)» (TD-лямбда) для точной настройки прогнозов в свете более поздних прогнозов [351]. Вдохновленный идеями Барто и Саттона аспирант Кембриджа Крис Уоткинс разработал TD-алгоритм под названием Q-обучение, переводивший прогнозы в действия [352]. Он доказал, что Q-обучение всегда «сходится», то есть, пока у системы есть возможность перепробовать каждое действие из каждого состояния столько раз, сколько необходимо, она будет всегда в конечном итоге вырабатывать идеальную функцию значений состояния – идеальный набор ожиданий для этой среды, будь то лабиринт, шахматная доска или что‐то более жизненное. Для теории отрасли это стало знаковым событием – разумеется, степень его значительности зависит от того, к какому типу людей вы принадлежите: к тому, кто подчеркивает «всегда» или «в конце концов».

Теория выглядела прекрасно, но TD-обучение еще следовало проверить на практике. Первое испытание прошло в IBM Research в Нью-Йорке. Молодой ученый по имени Джеральд Тесауро, интересовавшийся компьютерными моделями классического формирования условных рефлексов, в конце 1980‐х и начале 1990‐х работал над использованием нейросетей в игре в нарды. Результаты были многообещающими. Тогда в 1992 году он подключил к своей модели TD-обучение, и она взлетела как ракета [353]. Она получала предположения из догадок, постоянно обучаясь тому, как выглядит выигрышная позиция. «Это первое применение этого алгоритма к сложному нетривиальному заданию, – писал Тесауро. – Обнаружилось, что нейросеть способна с нуля научиться играть в игру на достаточно крепком среднем уровне, что ощутимо лучше, чем показатели традиционных коммерческих программ, и что на самом деле превосходит уровень сопоставимых нейросетей, которые обучались на крупном наборе данных, полученном от экспертов. Получается, что на практике TD-обучение может работать лучше, чем кто‐либо мог ожидать, основываясь на современной теории». К 1994 году его программа TD-Gammon достигла «потрясающего уровня эффективности: последняя версия TD-Gammon сейчас… чрезвычайно близка к лучшим игрокам в мире» [354].

В отрасли уже знали, что программист может написать систему, которая играет лучше, чем он сам: Артур Сэмюэл сделал это с шашками в 1950‐х. Но здесь было кое-что новое: программа играла не хуже любого случайного человека. И она была полностью «самообучающейся»: начала с нуля и прошла настройку, без конца играя с самой собой. Это было великолепной проверкой работоспособности TD-обучения и обеспечило прямой сценарий успеха, которым с удивительно небольшими изменениями воспользовались создатели игровых моделей XXI века, например авторы AlphaZero.

Саттон и другие ученые в активно развивающейся сфере обучения с подкреплением использовали подсказки самой природы. Но теперь пришла их очередь предложить что‐то взамен. В один из наиболее удивительных моментов в истории отрасли математическая структура, выросшая из психологии и нейронауки, была готова снова изменить положение дел.

Нейронная основа прогноза и вознаграждения

В начале 1990‐х, когда Тесауро настраивал свою систему для игры в нарды, молодой ученый-когнитивист по имени Питер Даян, который плодотворно работал в лаборатории Барто и сотрудничал с Уоткинсом над доказательством сходимости алгоритма, перебрался с одной стороны отрасли на другую и словно попал в иной мир. От изучения математических законов темпоральных различий в университете Эдинбурга он перешел в группу нейроученых в институте

Даян и его коллега постдок по имени Рид Монтегю, работавший в институте Солка с нейроученым Терри Сейновски, заподозрили, что обучение с подкреплением не просто служит аналогией того, как действует головной мозг человека и животных, но буквально объясняет его работу. «Мы исследовали, какую роль играет в головном мозге ряд систем, отвечающих за оценку и подкрепление, – рассказывает Монтегю. – И подумали, что они должны реализовать определенного вида алгоритм [355]». Монтегю решил, что такие механизмы обучения могут стать одной из основных характеристик практически любого животного, способного учиться. Даян отталкивался от своей работы по обучению с темпоральными различиями, которое, казалось, годилось на роль одного из этих универсальных алгоритмов. В теории он работал, то есть сходился. Так же и с машинами: программа TD-Gammon была сильным игроком, ее могли обыграть только лучшие из игроков-людей. Возможно, сработает и с мозгом. Двое ученых начали рассуждать о том, как может работать неврологическая система для обучения с темпоральными различиями.

«Очевидно, здесь должна была быть связь с нейронаукой, – рассказывал мне Даян за столом в конференц-зале в штаб-квартире Uber в Сан-Франциско, где он проводил творческий отпуск, который он взял в Университетском колледже Лондона. – И тут мы наткнулись на данные, полученные Вольфрамом Шульцем» [356].

Неожиданно Даян вскочил и начал возбужденно рисовать схемы дофаминовых реакций на белой доске. Он указал на ровную линию без всяких пиков, которая обозначала реакцию обезьян, получавших сок после светового сигнала. «Эта часть сигнала вполне понятна. И именно это мы видим в правиле Рескорла-Вагнера – это прекрасное наследство психологии прошлого».

Затем он указал на первоначальный дофаминовый всплеск, вызванный зажженной сигнальной лампочкой. «Ноэтачасть сигнала портит все карты, – говорит он. – Потому что это не то, что можно ожидать с психологической точки зрения. Так что Вольфраму было сложно разобраться, что же означает такая реакция».

Когда Даян и Монтегю посмотрели на данные, полученные Шульцем, – те самые, которые для Шульца и всего нейропсихологического сообщества оставались загадкой, – они поняли, что же все это значит.

Это было временное различие. Неожиданная флуктуация в ожиданиях обезьян – их функция оценки состояния, прогноз того, насколько хорошо обстоят дела.

Непредвиденный всплеск дофамина на фоне обычного состояния мозга означал, что мир выглядит более многообещающим, чем мгновение назад. Не менее внезапное затишье, с другой стороны, означало, что дела пошли не так хорошо, как представлялось. Нормальный фоновый уровень указывал на то, что дела, плохи они или хороши, шли именно так, как иожидалось.

Всплеск в дофаминовой системе – это не реакция на награду как таковую, не неуверенность, не удивление или внимание в чистом виде, но он непосредственно и совершенно четко связан со всем этим. Он представлял собой флуктуацию в ожиданиях обезьян, указывающую на то, что более ранние прогнозы были ошибочными; их мозг шел от предположения к догадке.

Алгоритм, который так хорошо работал на бумаге и на кремниевых схемах, был обнаружен в работе головного мозга. Обучение, основанное на временных различиях, не просто напоминало функцию дофамина – оно и было ею.

В 1997 году Шульц, Даян и Монтегю опубликовали резонансную статью в журнале Science, представив свое открытие миру. Они обнаружили «Нейронное основание прогнозов и вознаграждения» [357].

Воздействие как на нейроученых, так и на специалистов по компьютерам, было огромным. Идея, развившаяся в контексте машинного обучения, вдохновленная условными и оперантными рефлексами из психологии, неожиданно вернулась в исходную точку. Она не просто моделировала структуруискусственногоинтеллекта. Она, казалось, предлагала описание одного из универсальных принципов интеллекта вообще.

«Считается, что глаза эволюционировали от сорока до пятидесяти раз… Биология снова и снова открывала их – по-разному, – объясняет Монтегю [358]. – Думаю, то же самое происходит и в отрасли обучения. Его алгоритмы чрезвычайно важны для того, чтобы понять, как приобрести опыт в данный момент, реорганизовать внутреннюю структуру и совершать действия в будущем, что… следует ожидать того, что биология натыкалась на эти алгоритмы во многих различных контекстах. Таким образом, мы видим системы обучения с подкреплением и вознаграждением у пчел, морских огурцов, птиц, людей, грызунов и так далее» [359].

Даян разделяет такой взгляд на задачу. «Нет ничего удивительного в том, что мы оказались наделенными такими механизмами, – говорит он. – Но то, что они так явно заметны в деятельности дофаминовых нейронов… было открытием» [360].

Посетив лабораторию Вольфрама Шульца в Кембридже – в возрасте 75 лет работа все еще увлекает и заряжает ученого, – я спросил его, испытал ли он в то время нечто вроде прозрения. Как ни удивительно, ответ был отрицательным: открытием, по его мнению, была та первая модель TD-обучения, которая, описав активность мозга обезьян, двадцать лет спустя обеспечила прорыв в области искусственного интеллекта. Его просто потрясло, что мы смогли взять эти универсальные идеи у природы и приспособить их для своих нужд.

«Открытием было, – рассказывал Шульц, – когда я понял, что TD-модель превращается в то, что мы видим сейчас: программа для игры в го, искусственный интеллект, машинное обучение. Вот это откровения, узнав о которых я воскликнул: „О боже, чем же я занимался?!“ Знаете, понимать, что мои данные, полученные из модели Рескола-Вагнера, из ошибки в прогнозировании, имели такие последствия… Господи! Мы знали, что Тесауро программирует нарды с помощью TD-модели. Я не играю в нарды, но играю в го. Черт побери, если они смогли запрограммировать го, что прежде было проблемой, этодействительнохорошая модель. И я увидел это до появления программы для игры в го».

Я сказал ему, что считаю примечательным появление такого явного и мощного синтеза работ в нейрофизиологии и машинном обучении, имеющего к тому же впечатляющее применение в обеих областях.

«Абсолютно верно, – отвечает Шульц. – В этом‐то и прелесть: все согласуется! Звучит вполне разумно» [361].

Это открытие буквально перевернуло нейронауку [362]. Как сказала Яэль Нив из Принстона, «потенциальные преимущества понимания обучения и выбора действий на уровне дофаминозависимой функции базальных ядер нельзя переоценивать: дофамин связан со множеством расстройств – от болезни Паркинсона, шизофрении, большого депрессивного расстройства, синдрома дефицита внимания и гиперактивности до зависимостей».

Разумеется, работы еще много, и то, что сегодня кажется бесспорным и каноническим, может измениться или усложниться со временем [363]. Но, как говорит Нив, абсолютно ясно, что «обучение с подкреплением уже оставило свой след в исследованиях процессов принятия решений в головном мозге» [364].

Исследовательница вспоминала, как в первый раз побывала на ежегодном собрании Общества нейроученых, которое посетили примерно 30 000 исследователей, работающих в отрасли. «Помню, я обратила внимание на обучение с подкреплением в свой первый визит, а это было в 2003 или 2004 году. Ему

«Было множество исследований, посвященных проверке прогнозов этой теории работы головного мозга. И они показали результат. Похоже, эти нейроны читают учебники! Они читают учебники Саттона и Барто. Они точно знают, что им нужно делать!» – добавляла Нив.

Счастье и ошибка

Хотя TD-модель обучения и показала функцию дофамина в головном мозге – это вещество не является валютойвознаграждения, не указывает наожиданиябудущих наград, а указывает наошибкув их ожидании, – но некоторые вопросы все‐таки остаются открытыми.

В частности, непонятна связь между субъективным опытом удовольствия и счастья. Если повышенный уровень дофамина сигнализирует о чем‐то вроде «дела пойдут лучше, чем я думал», тогда это ощущение само по себе должно быть приятным. И мы можем видеть, как люди и животные из кожи вон лезут, чтобы удержать его, в том числе прибегают непосредственно к химической и электрической стимуляции дофаминовых нейронов.

Также мы можем наблюдать, как искусственно повышенный уровень дофамина ведет к неизбежной катастрофе. Мысль о том, что дела пойдут лучше, чем вам казалось, работает только до поры до времени, и уровень дофамина понижается, как это было в экспериментах Вольфрама Шульца с обезьянами, когда лампочка, указывающая на появление сока, загоралась, но сока не было. Возможно, в действительности дофамин выписывает чеки, которые окружающая обстановка не в силах оплатить. В конце концов эти чеки неизбежно не принимаются к оплате. Тогда функция оценки состояния неминуемо стремится к нулю.

Ученые по-прежнему работают над связью между дофамином и субъективным ощущением счастья и удовольствия. Кент Берридж из университета Мичигана, к примеру, бо́льшую часть своей работы посвятил разграничению понятий «хотеть» и «нравиться» в нейронауке [367]. Тем временем Роб Рутледж из Университетского колледжа Лондона разработал математическую модель счастья, явно связанную с дофамином.

Рутледж, работая с Питером Даяном и группой ученых из Университетского колледжа, провел эксперимент, в ходе которого люди заключали различные пари и собирали некую сумму денег. Время от времени их спрашивали: «Насколько вы счастливы сейчас?» [368] Используя математические инструменты обучения с подкреплением, исследователи сделали модель задачи, чтобы понять, сколько денег у каждого субъекта есть на данный момент, сколько он в целом намеревается получить и испытывает ли он приятное или неприятное удивление, когда сумма на его счете увеличивается или уменьшается. Целью работы было вычислить математическую корреляцию кратковременных эпизодов счастья по сообщениям самих участников эксперимента.

Открытия Рутледжа можно считать примечательными по ряду пунктов. Во-первых, счастье быломимолетным. Как бы вы ни были счастливы от выигрыша одного фунта стерлингов, пять ставок спустя 92 % этого счастья исчезает. Того чувства, которое было десять ставок назад, как будто бы вообще не было. Это означает, что субъективное счастье человека практически никак не связано с тем, сколько денег у него имеется на данный момент.

Казалось, счастье в какой‐то мере обусловлено тем, сколько денег участники эксперимента ожидали заработать, но было важно и оправдание их ожиданий. Рутледж пишет: «Мгновенное ощущение счастья – это состояние, которое отражает не то, насколько хорошо идут дела, а то, насколько лучше они пойдут по сравнению с ожиданиями» [369]. Это выглядит в точности как временное различие – другими словами, как роль, которую дофамин играет в человеческом организме.

Если взглянуть шире, мы начинаем получать нейрофизиологические и компьютерные отчеты о хорошо известном явлении под названием «гедонистическая беговая дорожка». Если говорить конкретно, люди неумолимо возвращаются к определенному уровню счастья независимо от долговременных изменений в качестве их жизни [370]. Те, кто выиграл в лотерею, и те, кто потерял способность передвигаться, возвращаются к своему обычному эмоциональному состоянию спустя достаточно короткий срок после драматических изменений [371]. Дофамин и обучение с подкреплением подсказывают, почему так происходит. Если ощущение счастья возникает не оттого, что дела идут хорошо, и не оттого, что онивот-вот улучшатся, а оттого, что дела идутлучше, чем ожидалось, тогда – к лучшему или к худшему, – пока наши ожидания подстраиваются к тому, что происходит в реальности, долговременное состояние приятного удивления будет неустойчивым.

К несчастью, исследование отметает такие простые житейские хитрости, как «постоянно заниженные ожидания». Как говорит Рутледж, «заниженные ожидания делают более вероятной возможность того, что результат превзойдет эти ожидания и окажет положительное воздействие на состояние счастья. Тем не менее ожидания влияют на счастье еще до того, как мы узнаем об окончательном результате. Если вы планируете встретиться с другом в вашем любимом ресторане, позитивные ожидания могут усилить ваше счастье с того момента, как вам в голову придет эта мысль» [372].

В научной статье Рутледж и его соавторы отмечают, что авиакомпаниям, возможно, стоит объявлять о том, что существует 50 % вероятности задержки рейса на шесть часов, а потом говорить, что в действительности задержка составит всего один час. «Заниженные ожидания повышают вероятность положительного исхода… И они же снижают ощущение благополучия до того, как этот исход наступит, ограничивая выгоду от такой манипуляции» [373].

Другими словами, Рутледж сказал: «Нельзя понизить свои ожидания и этим решить все проблемы» [374].

Связь между дофамином, TD-ошибками и счастьем заставила некоторых ученых рассматривать этические аспекты субъективного счастья агентов, реализующих обучение с подкреплением. Брайан Томасик из Института фундаментальных исследований, чья цель – изучение и уменьшение страданий, до некоторой степени разрешил вопрос о том, существуют ли моральные основания для программ обучения с подкреплением, имеет ли значение то, как мы к ним относимся? В итоге он получил робкое ограниченное «да»: до той степени, до какой эти программы строятся на тех же принципах, что и мозг людей и животных, могут существовать некие этические соображения по поводу того, что они испытывают [375]. «Сегодняшние алгоритмы, реализующие обучение с подкреплением, значат намного меньше, чем животные, – отмечает исследователь. – Тем не менее я считаю, что значимость агентов обучения с подкреплением не должна равняться нулю, они в больших масштабах могут считаться чем‐то значимым» [376]. Дальнейшие работы других ученых пришли к тому, что определили «счастье» агента, реализующего обучение с подкреплением, по количеству его TD-ошибок [377]. По такой логике, отмечают исследователи, «агенты, которые идеально знают мир, имеют нулевой уровень ожидаемого счастья». В самом деле, если вызванное дофамином «счастье» возникает в основном из-за приятного удивления, из-за возможности лучше узнать, чего ожидать, то полное освоение любой

С одной стороны, это открывает эволюционную и вычислительную сторону гедонистической беговой дорожки. Если кто‐то испытывает счастье от приятного удивления, а интеллект предполагает неустанную работу, чтобы предугадать неожиданности и избавиться от них, тогда это счастье становится мимолетным. Также наблюдается и эволюционное преимущество. Маленький ребенок может радоваться уже тому, что умеет махать рукой по команде. У взрослого эта способность уже не вызывает прежнего возбуждения. Хоть мы и жалуемся на беспокойства взрослой жизни и ее нестабильность, все это часть жизненного цикла. Если базовые моторные навыки приводят человека в бесконечный трепет, он едва ли когда‐нибудь повзрослеет.

Как сказал Эндрю Барто, эта мимолетность оказалась тем, что Клопф ожидал еще в начале 1970‐х. «Он размышлял о [гомеостатическом] механизме стабилизации, пытающемся снизить противоречия до нуля. Когда они равны нулю, наступает удовлетворение и механизм останавливается. Система, которую он хотел получить, никогда не стала бы счастливой. Так что нам необходимо бесконечное исследование» [378]. К связи между обучением с подкреплением, дофамином, счастьем и исследованиями мы еще вернемся в главе 6.

За пределами подкрепления

Обучение с подкреплением, берущее начало в исследованиях об обучении животных начала ХХ века, расцвело в абстрактном математическом мире машинного обучения 1970‐х и 1980‐х годов, чтобы с триумфом вернуться в литературу о поведении животных с практически идеальной моделью, которая привела к общепринятому пониманию роли дофамина в головном мозге [379]. Эта модель, в свою очередь, дала нам более глубокое осознание человеческих мотивации и счастья.

Тем временем уже в 2018 году нейрофизиологические материалы позволили предположить, что сумасшедшая гипотеза Гарри Клопфа о том, что нейроны являются «гедонистами», мотивированными своими собственными законами эффекта Торндайка, не так уж далека от истины [380]. «Думаю, нейронаука приближается к чему‐то, очень напоминающему предположение Клопфа», – говорил Барто с некоторой гордостью за покойного наставника, которому они с Саттоном посвятили свой учебник [381].

Обучение с подкреплением предлагает веское и, возможно, даже универсальное определение интеллекта [382]. Если, как говорит специалист по информатике Джон Маккарти, интеллект – «это вычислительная часть способности достигать целей в окружающем мире» [383], тогда обучение с подкреплением представляет удивительно всеобъемлющий набор инструментов для достижения таких целей. Похоже, что основные принципы интеллекта раз за разом открывались эволюцией, и – опять же – кажется, будто именно они сформируют основание для того, что ожидает в будущем искусственный интеллект XXI века.

В некотором роде более глубокое пониманиеспособностиживотных и машин достигать целей в мире опрокидывает более сложные философские воззрения. Эта теория никоим образом не говорит о том,чтомы оцениваем иличтодолжны оценивать. Дофамин остается такой же загадкой, как и когда о его роли знали намного меньше. Если это скалярная ошибка прогноза, то сложность в том, как этот прогноз «измерить». Если за дверью номер один находится не отпуск на Карибских островах, как мы ожидали, а путешествие в страну северных сияний, уровень дофамина быстро и надежно покажет, приятно или неприятно мы удивлены. Но как в действительности определяетсяценностьэтих альтернатив? [384] Об этом дофамин ничего не говорит.

Тем временем возникает еще один вопрос. Обучение с подкреплением в своей классической форме считает само собой разумеющейся структуру вознаграждений в мире и задается вопросом о том, как добиться такого поведения – «политики», – чтобы максимально увеличить награды. Но во многих случаях за этим прячется куда более интересная и безотлагательная проблема, с которой мы столкнулись на пороге развития ИИ. Мы гораздо более заинтересованы вобратной сторонеэтого вопроса: зная, какого поведения мы ожидаем от машин, как структурировать вознаграждения в окружающей среде так, чтобы ожидания оправдались? Как мы получим то, чего хотим, если этомысидим в задней части аудитории на стуле критика, еслимыраспределяем лакомства или их цифровые эквиваленты?

Это и есть проблема выравнивания в контексте обучения с подкреплением. Хотя за последние пять или десять лет вопрос стал неотложным – как мы увидим, он прочно связан с прошлым самого обучения с подкреплением.

5. Формирование навыков

Природа поставила человечество под управление двух верховных властителей: страдания и удовольствия. Им одним предоставлено определять, что мы можем делать, и указывать, что мы должны делать.

Иеремия Бентам [385]

Проектные решения функций вознаграждения обсуждают не слишком часто, хотя это, возможно, самый сложный аспект настройки системы обучения с подкреплением.

Майя Матарич [386]

В 1943 году Б. Ф. Скиннер работал над секретным проектом военного времени, который первоначально финансировала корпорация General Mills, производящая продукты питания. General Mills отдала Скиннеру под лабораторию верхний этаж своего мукомольного комбината Gold Medal в Миннеаполисе. Проект можно считать одним из самых дерзких начинаний своего времени: Скиннер и его сотрудники предложили использовать голубей для наведения ракет. Они приучали их клевать в одну точку, дабы открыть кормушку. Затем вместо кнопки птице показывали силуэт вражеского корабля. Картинку начинали смещать, а голубь яростно клевал экран в определенную точку, возвращая силуэт на место и получая в награду пищу. «Мы с коллегами знали, – говорил Скиннер, – что в глазах всего мира выглядим сумасшедшими» [387].

Скиннер сознавал, что многие посчитают проект не только безумным, но и жестоким. Во-первых, отмечал он, люди давно используют органы чувств животных (часто превосходящие человеческие) в своих целях: собаки-поводыри, свиньи, которые ищут трюфели, и так далее. Во-вторых, возражал ученый, «этический вопрос о том, имеем ли мы право превращать низшее существо в героя против его воли – это роскошь мирного времени» [388].

Ученый давно работал над исследованиями обучения с подкреплением, и его знаменитые «ящики Скиннера» действовали как усовершенствованная версия ящиков-головоломок Торндайка. Их лампочки, рычаги и механические устройства для подачи пищи были зачастую заимствованы из торговых автоматов и позволяли проводить точные количественные исследования обучения с подкреплением. В будущем их использовали целые поколения исследователей, не последним среди которых был и вышеупомянутый Вольфрам Шульц, изучавший дофамин обезьян. Имея в своем распоряжении подобные инструменты, в 1950‐х годах Скиннер начал изучать, как животные учатся увеличивать свою награду (обычно в форме пищи) при ряде различных условий. Он проверял разные типы «режима подкрепления» (по его собственному определению) и наблюдал результаты. Например, он сравнивал подкрепление по «коэффициенту» (вознаграждается определенноеколичество правильных действий) и подкрепление по «интервалу» (правильное действие вознаграждается через определенноевремя). Также он проверял «фиксированное» и «переменное» подкрепления, где количество действий или протяженность временного интервала

Как бы то ни было, в секретной лаборатории перед Скиннером стояла другая задача. Он сосредоточился не на том, чтобы понять, какой режим подкрепления глубже укореняет в сознании простые действия, а на том, как вызвать достаточно сложное поведение, используя только контролируемое вознаграждение. Труднее всего было, когда они с коллегами попытались научить голубя играть в боулинг. Исследователи сделали миниатюрную дорожку с игрушечными кеглями и собирались наградить птицу, как только она впервые прокатит по дорожке деревянный мячик. К несчастью, этого так и не случилось. Голубь не собирался делать ничего подобного. Экспериментаторы ждали и ждали, пока их терпение наконец не истощилось.

Тогда они попробовали другой подход. Скиннер вспоминал:

«Мы решили подкреплять любое действие, которое хоть как‐то связано с мячом – хотя бы взгляд в его сторону, – а потом выбирать наиболее близкие к удару по нему. Результат нас поразил. Через несколько минут мяч отскакивал от стенок коробки, как будто голубь был чемпионом по сквошу».

Результат был настолько поразительным и даже шокирующим, что двое исследователей из группы Скиннера – супруги Мариан и Келлер Бреланд – решили бросить работу в области академической психологии и основать компанию по дрессировке животных. «Мы хотели попытаться заработать себе на жизнь, – говорила Мариан, – используя принципы контроля поведения Скиннера» [390]. (Их друг Пол Мил, о котором мы кратко упоминали в главе 3, поставил десять долларов на то, что дело провалится. Это пари он проиграл, и Келлеры с гордостью вставили в рамку пришедший от него чек.) [391] Их компания Animal Behavior Enterprises стала крупнейшей в мире в своей сфере. Они дрессировали все виды животных для участия в телепрограммах, фильмах, рекламных роликах и для работы в тематических парках вроде SeaWorld. Супруги не просто заработали себе на жизнь, они создали целую империю [392].

В секретной лаборатории на мукомольном комбинате Скиннер думал о миниатюрной дорожке для боулинга как об озарении, изменившем ход его карьеры. Критическим моментом оказалось «постепенноеформирование поведенияс помощью поощрения грубого приближения к окончательному результату, не дожидаясь полной реакции» [393].

И все же проект «Голубь» был успешным только отчасти. Птицы работали великолепно. Настолько, что потрясли комиссию из управления научных исследований и разработок. Скиннер писал: «Голубь, выполняющий задания, – неважно, насколько приятным было это зрелище, – напомнил комиссии о том, каким фантастическим было наше предложение» [394]. В то время Скиннер об этом не знал, но правительство было заинтересовано в работе над Манхэттенским проектом – бомбой, радиус поражения которой был столь велик, что, по словам ученого, «казалось, что потребность в точной бомбардировке исчезнет раз и навсегда». Как бы то ни было, проект «Голубь» в конце концов оказался под крышей Лаборатории военно-морских исследований США под названием ORCON – сокращение от «органический контроль», – где исследования продолжались до послевоенных 1950‐х.

Скиннер гордился тем, что его концепция показала себя работоспособной, и в конце 1950‐х годов писал: «Можно сказать, что использование живых организмов в управляемых ракетах больше не кажется сумасшедшей идеей» [395]. Его доказательство, несмотря на красоту, оказалось совершенно неактуальным.

Главное, что ученые открылиформирование умений и навыков– метод, прививающий сложное поведение через простые вознаграждения, которые выдаются за ряд успешных приближений к необходимому действию. «Благодаря этому, – писал Скиннер, – возможно формировать поведение животного почти так же, как скульптор формирует комок глины» [396]. Эти мысль и термин стали критически важными в жизни и работе Скиннера [397]. Они получили применение и в бизнесе, и в повседневной жизни, что ученый предвидел с самого начала.

Он писал: «Некоторые из этих режимов подкрепления соответствуют практикам, установленным в промышленности при поденной оплате или сдельных ставках. Другие напоминают незаметные, но влиятельные стратегии в игре на автоматах, которые скандально известны своей способностью подчинять волю и поведение» [398]. Также он видел значительные возможности применения этого изобретения для родителей: «Научный анализ поможет лучше понимать межличностные отношения. Мы почти всегда осознанно или неосознанно тем или иным образом подкрепляем поведение других людей». Скиннер отмечал, что внимание родителей – мощный подкрепляющий стимул, и если они медленно реагируют на вежливые просьбы, то могут, сами того не желая, сделать детей назойливыми и нахальными. (Чтобы избежать этого, говорил он, надо с большей готовностью реагировать на приемлемое выражение требований и с меньшей – на громкое и невежливое.) [399]

Еще более пророческим было заявление Скиннера о том, что принципы, родившиеся в его работе, обучение в самом широком смысле слова (как людей, так и животных) могут стать серьезной предметной отраслью, где могут и будут происходить скачки вперед. «Часто говорят, что обучение – это искусство, – подытоживает он, – но у нас все больше причин надеяться на то, что в конце концов оно может стать наукой» [400].

Возможно, Скиннер оказался даже более прав, чем мог ожидать. В XXI веке говорить о «формировании» с большой вероятностью означает быть исследователем машинного обучения, думающим как психолог. Изучение вознаграждений и управления ими для получения необходимого результата в самом деле стало строгой наукой, использующей количественные определения, пусть даже обучаются и не органические организмы, как это представлял себе Скиннер.

Проблема разреженности

Есть способ сделать это лучше… найдите его!

Томас Эдисон [401]

Шотландский философ Александр Бейн в 1855 году первым применил фразу «методом проб и ошибок», описывая обучение людей и животных [402]. (Другое его крылатое выражение «эксперимент вслепую» известно не меньше, но не настолько закрепилось в языке.)

По своей сути обучение с подкреплением – это обучение методом проб и ошибок, а простейший алгоритм, формирующий эти пробы (или поиск на ощупь, если угодно), – это «эпсилон-жадный алгоритм» (можно написать и с греческой буквой ε «ε-жадный»). Букву ε используют математики, чтобы обозначить «малую толику», а «ε-жадный» – это сокращение от «будь жадным всегда, кроме малой толики времени». Субъект, управляемый ε-жадным алгоритмом, почти все время – скажем, в 99 % случаев – предпринимает действия, которые, по его мнению, принесут наибольшее вознаграждение в целом. При этом он основывается на том ограниченном опыте, который получил на данный момент. Но ε времени – например, оставшийся 1 % – он пробует сделать что‐то абсолютно случайным образом. Допустим, в игре на приставке Atari какую‐то часть времени он нажимает рандомные кнопки, чтобы посмотреть, что произойдет.

В обучении по такому исследовательскому поведению могут быть нюансы, но общая идея сохраняется. Пробуйте разное, делайте больше того, что принесет награду,

Как выяснилось, некоторые задачи согласуются с этим подходом лучше, чем другие.

В таких играх, какSpace Invaders, на вас обрушиваются полчища врагов, и все, что вам остается – это двигаться направо или налево и стрелять. Случайные нажатия на клавиши, возможно, позволят уничтожить несколько врагов, которые принесут некоторое количество очков. Первые очки можно использовать для обучения, что усилит определенные схемы поведения и разработает лучшие стратегии. Например, вы поняли, что выстрелы приносят очки, поэтому стреляете чаще. Такие игры имеют «плотную» систему вознаграждений, поэтому в них достаточно легко научиться играть.

В других играх, скажем, в шахматах, вознаграждение дается гораздо позже, но оно точно есть. Шахматная партия так или иначе заканчивается через несколько десятков ходов, а правила не дадут сделать больше пары сотен ходов. Даже если вы не имеете ни малейшего понятия о стратегии и двигаете фигуры случайным образом, все равно задолго до конца партии поймете, победите ли, проиграете или сыграете вничью.

Существует ряд ситуаций, когда получениекакого‐либовознаграждения сродни чуду. Скиннер, разумеется, обнаружил их в первую очередь, пытаясь вознаградить птицу за то, что она забросила крошечный мяч на миниатюрную дорожку для боулинга. Голубь, который понятия не имел, в какую игру играет, мог провестигоды, вырабатывая правильное поведение, если бы, конечно, за это время не умер с голоду.

Все вышесказанное справедливо и для механических «учеников». К примеру, чтобы человекоподобный робот пнул футбольный мяч в ворота, могут потребоваться десятки тысяч движений в десятках шарниров, и все они должны быть идеально скоординированы. Трудно себе представить робота, который двигает десятками своих шарниров случайным образом, чтобы встать прямо, не говоря уж о том, чтобы осмысленно контактировать с мячом и посылать его в ворота.

Исследователи обучения с подкреплением называют это проблемойразреженных вознаграждений, или проблемой разреженности. Если вознаграждение явно выражено в конечной цели или в чем‐то достаточно близком, следует простождать, пока случайные нажатия на кнопки или блуждание не приведут к желаемому результату. Математика доказывает, что большинство алгоритмов машинного обучения в конце концов до него доберутся, но это может случиться намного позже взрыва Солнца. Если вы пытаетесь натренировать программу для игры в го так, чтобы она могла победить чемпиона мира, и даете ей одно очко каждый раз, когда чемпион сдается, и ни одного очка в ином случае, результата придется ждать очень долго.

Проблема разреженности имеет последствия для безопасности. Будьте осторожны, если когда‐нибудь в будущем будете разрабатывать сверхумный искусственный интеллект с широким набором возможностей, использующий эпсилон-жадный алгоритм обучения с подкреплением, и решите вознаграждать его одним очком, если он вылечит рак, и не давать ни одного очка в ином случае. Ему потребуется перепробоватьмножествослучайных методов, прежде чем он получит первое вознаграждение. Многие из них могут быть просто отвратительными.

В разговоре с Майклом Литтманом из Брауновского университета, посвятившим всю свою жизнь работе в области обучения с подкреплением, я спросил, был ли его исследовательский интерес к подкреплению полезен ему как родителю. В голову Литтману сразу же пришла проблема разреженности. Он вспомнил, как шутил с женой об использовании разреженных вознаграждений для их сына. «Давай так: пока ты не заговоришь по-китайски, мы не будем тебя кормить! Прекрасная мотивация! Посмотрим, как она работает! – Тут Литтман рассмеялся. – Моя супруга довольно приземленный человек… Она ответила: „Нет, в такие игры мы не играем!“» [403]

Разумеется, Литтман, как и Скиннер, знал, что в эту игру не стоит ввязываться. Проблема разреженности заставила сообщество исследователей обучения с подкреплением совершить экскурс в прошлое, во времена Скиннера, и они достаточно прямолинейно восприняли его советы [404]. В частности, идеи о формировании навыков привели к двум отдельным, хотя и перекликающимся, направлениям мысли: о последовательности режимов и о средствах поощрения, или стимулах.

Важность последовательности

Главное открытие формирования навыков в том, что для создания сложного поведенческого комплекса необходимо рационально вознаградить более простое поведение. Это применимо как к животным, так и к людям. «Сначала нужно научиться ходить, а потом уж бегать», – говорим мы. Эта расхожая фраза описывает больше граней человеческого опыта, чем можно назвать или сосчитать, и при этом остается чистой правдой.

Поразительная, характерная именно для человеческой жизни особенность состоит в том, что первые несколько лет мы передвигаемся по миру – и в прямом, и в переносном смысле – в ходунках, запуская свои мячики – буквально и метафорически – по дорожке с бортиками. Многие животные сразу сталкиваются со сложностью жизни во всей ее полноте. Например, некоторые дикие звери должны уметь убегать от хищников уже через несколько часов после рождения. Людям же требуется несколько лет, чтобы обучиться владеть своим телом. А к тому времени, когда нам приходится самим «добывать себе пропитание», наша физическая форма нередко «переваливает за пик».

Что отличает жителей XXI века от их пещерных предков? Это, прежде всего, не интеллектуальная мощь, а правильныйрежим. Более того, Скиннер считал, что мы не должны так быстро выносить суждения об умственных способностях животных. С правильным режимом они, возможно, могут поразить нас и превзойти наши представления о том, на что способны их виды. То же самое можно сказать и про людей.

Как выразился Скиннер, если экспериментатор просто ждет, пока сформируется сложный комплекс поведения, прежде чем начать выдавать поощрения, то очень трудно проверить, может ли животное демонстрировать такое поведение вообще.

«Здесь, скорее, проверяются способности экспериментатора, а не участвующего в опытах существа. Опасно утверждать, что существо данного вида или возрастане можетрешить стоящую перед ним задачу. Последние пять лет при использования правильного режима подкрепления голуби, крысы и обезьяны делали такие вещи, какие представители их видов не делали никогда. Не то чтобы их предки не были способны на это, просто природа никогда не предлагала эффективную последовательность режимов [405]».

Трудно переоценить, до какой степени наша жизнь и весь мир сформированы именно этой «эффективной последовательностью режимов». Мы приходим к тому, что органично включены в эту систему и считаем опутывающие нас канаты «естественными», хотя это не так. Природа простосуществует. Она никоим образом не пытается нами

Мир людей, напротив, искусно сконструирован так, чтобы поддаваться изучению. К примеру, видеоигры становятся успешными отчасти благодаря тому, как они направляют действия игрока. Возьмем одну из самых известных и значимых в истории видеоигр всех времен и народовSuper Mario Bros., выпущенную для Nintendo в 1985 году. Если подробно рассмотреть первые несколько секунд игры, то можно заметить, что она тщательно и блистательно спроектирована так, чтобы научить в нее играть. Вначале враг Гумба появляется справа; если игрок ничего не делает, то погибает. «Нужно естественным путем научить игрока, что необходимо избегать врагов, перепрыгивая их», – говорит разработчик игры, легендарный Сигэру Миямото [406]. Это первый и самый важный из уроков: похожие на грибы фигурки – это враги, и придется прыгать.

Но у Миямото была проблема. Были ихорошиегрибы, которые необходимо научиться искать. «Это стало нашей головной болью, – рассказывает разработчик. – Надо было убедиться, что игрок понимает: эти грибы не враги». Как он решил эту проблему? Хорошие грибы приближаются к игроку там, где их невозможно перепрыгнуть. Игрок готовится погибнуть, но вместо того, чтобы убить, гриб вдвое увеличивает в размерах его персонажа. Механизм игры налажен, и теперь у игроков развязаны руки. Они думают, что просто играют. Но их тщательно педантично и незаметнотренируют. Они узнают о правилах, потом – об исключениях. Изучают основной механизм, а потом отправляются в свободное плавание.

Ничего удивительного в том, что принцип формирования навыков – прививание сложного поведенческого комплекса через последовательные приближения – применим не только к голубям Скиннера, но и к людям. Как не удивительно и то, что этот принцип до последней буквы применим и для обучения машин.

С тех пор как возникло машинное обучение, известно, что для одних задач, сред и игр применять этот принцип проще, чем для других. Но только постепенно исследователи и разработчики оценили по достоинству, чтосначаласистему можно натренировать на более легкой задаче, потому что тогда ей будет проще изучать более трудную проблему, чем агент, обучаемый с нуля [407].

В 1980‐х годах Ричард Саттон и Эндрю Барто вместе со своим коллегой Оливером Селфриджем работали над использованием обучения с подкреплением для обучения модели тележки на колесах, на которой вертикально установлен шест. Чем выше и тяжелее шест, тем проще удерживать его в вертикальном положении – гораздо легче добиться равновесия, держа на ладони, скажем, бейсбольную биту, чем линейку. Исследователи обнаружили, что система находила равновесие быстрее, если предварительно обучалась на высокой и тяжелой опоре, апотомпереключалась на более короткую и легкую [408].

Ученые периодически делали это открытие в различных контекстах. В начале 1990‐х годов лингвист Джеффри Элман из Калифорнийского университета в Сан-Диего экспериментировал, пытаясь научить нейросеть правильно предсказывать следующее слово в предложении. К сожалению, первые несколько попыток были провальными. «Проще говоря, – рассказывал он, – нейросеть не смогла научиться сложным грамматическим конструкциям на подборке данных из полноценного «взрослого» языка. Зато когда простые предложения демонстрировались вначале, нейросеть справилась не только с ними, но и с более сложными» [409].

«Это приятный результат, – говорит Элман, – потому что поведение нейросети частично напоминает детей. Они не сразу овладевают языком взрослых во всей его сложности. Напротив, они усваивают самые простые структуры и постепенно их развивают, пока не достигают уровня языка взрослых».

В обоих случаях использование правильной последовательности – легкая версия задачи, за которой следовала более сложная – привело к успеху там, где решение трудной задачи могло не получиться.

Келлер и Мариан Бреланд в своей работе в Animal Behavior Enterprises увидели критическую важность правильной последовательности режимов в своих попытках научить свинью помещать большие деревянные монеты в свинью-копилку. Они начали с одной монеты, лежащей около копилки, и постепенно отодвигали ее все дальше и дальше и от копилки, и от свиньи [410].

Не так давно ученые, занимающиеся машинным обучением, вернулись к идее работы «в обратном направлении». В 2017 году группа инженеров-робототехников из Калифорнийского университета в Беркли обучала роботизированную руку надевать шайбу на анкерный болт. Если бы они ждали, что робот сделает это случайно, на это ушла бы вечность. Но, начав с шайбы, почти полностью надетой на болт, исследователи смогли научить робота делать последнее движение. Затем шайбу только слегка насаживали на болт, и робот научился надевать ее как следует. Затем шайбу клали рядом, и робот научился вставлять болт в отверстие. Наконец, ученые достигли того, что система могла взять шайбу откуда угодно, навинтить ее и затянуть [411].

Даже такой эксперт в играх, как легендарный шахматный чемпион Бобби Фишер, использовал подобную стратегию в своем учебнике «Бобби Фишер обучает шахматам». Предназначенная для начинающих книга содержит десятки примеров мата в один ход, затем переходит к комбинациям из двух, трех и четырех ходов. Обзоры середины и начала игры, а также обсуждение долговременных стратегий он оставил для других книг. Фишер сосредоточился на том, чтобы научить начинающих игроков распознавать возможности закончить игру. Подобная последовательность показала себя очень успешной: некоторые современные гроссмейстеры рекомендуют руководство Фишера как отличный старт для новичка [412], и оно стало наиболее продаваемым учебником шахматной игры всех времен [413].

Казалось бы, дальше напрашивается следующий шаг – относиться к созданию хорошей, пригодной для обучения последовательности режимов как к проблеме машинного обучения и искать возможности автоматизировать процесс ее разработки. Последние исследования ищут способы автоматически определять задания необходимой сложности и примеры, которые максимально поспособствуют обучению нейросети. Первые результаты в этой сфере выглядят многообещающими, и работа продолжается [414].

Одна из самых впечатляющих достижений в автоматизированной разработке последовательности режимов – это работа британской компании DeepMind. Речь в основном идет об игровой нейросети AlphaGo и последовавших за ней AlphaGo Zero и AlphaZero. «В AlphaGo соперник всегда находится на правильном уровне, – объясняет ведущий разработчик игры Дэвид Сильвер [415]. – Вначале все чрезвычайно просто, игра идет случайным образом. Но на каждом этапе обучения есть оппонент – можно назвать его спарринг-партнером, – который тщательно откалиброван по текущему уровню эффективности». И кто же был этим идеальным спарринг-партнером, всегда настроенным на правильный уровень сложности?

Ответ прост, элегантен и очевиден. Машина играет против себя самой.

Стимулы – дело деликатное

Имея дело с обезьянами, крысами или даже человеческими существами, вряд ли можно поспорить, что любой организм ищет информацию о том, за какие виды деятельности можно получить вознаграждение, а потом стремится (или, по крайней мере, делает вид) делать эти вещи, часто практически исключая деятельность, за которую невозможно получить награду.

Стивен Керр [416]

Если система вознаграждений разработана так, что быть моральным – иррационально,

Стивен Керр [417]

ЭТО СИСТЕМА ВОЗНАГРАЖДЕНИЙ, ДУРАШКА!

Редакция Академии управления [418]

Помимо использования последовательности режимов и работы над упрощенной версией задачи существует и другой подход к преодолению разреженности. Предлагается использовать обычную полноценную версию задачи, но добавить вознаграждение, чтобы указать обучающемуся правильное направление или поощрить поведение, ведущее к успеху. Это называют «псевдонаградами» или «доводкой вознаграждения», но проще всего говорить о них как о стимулах.

Скиннер давал голубю маленькие порции еды, которые тот искал, подходя к мячу. Эти действия обязательно предшествовали броску мяча, которого исследователь и хотел добиться. Та же идея работает и при настройке параметров машинного обучения. Например, «настоящее» вознаграждение робота-пылесоса – чистый дом, но можно поощрять его за каждый комок пыли, который он всасывает. Или, допустим, дрон-доставщик должен прибыть в некое место, но можно давать ему небольшие награды за продвижение в правильном направлении.

Бывает очень полезно давать агенту обучения, который мог бы блуждать вслепую, пока не добьется цели по чистой случайности, намек на то, ведет ли он себя правильно или изменяет поведение в правильном направлении.

Мы можем разбивать задачу на этапы, чтобы было психологически легче сохранять мотивацию. Написание кандидатской диссертации или рукописи книги может длиться годами, поэтому трудно судить о количестве работы, которую человек делает задень. Если вы надеетесь потерять какой‐то вес к новому году, можно придумать награды или поощрения за каждый несъеденный кекс – это помогает расслабиться. Как родители, учителя, тренеры мы знаем, что произнесенные вовремя слова ободрения могут помочь провести ученика через трудности даже тогда, когда цель кажется недостижимой.

Люди, которые работают с другими людьми, знают, что создание стимулов – это игра с огнем. Они должны быть очень тщательно проработаны, чтобы не принести неприятностей [419]. Специалист по управлению Стивен Керр в своей классической статье 1975 года говорит, что стоит только подумать о том, чтобы добавить вознаграждение, как тут же возникает риск «глупо надеяться на А, вознаграждая за Б» [420].

Анализ неправильных стимулов Керра – одна из выдающихся работ в науке управления. Ученый посвятил бо́льшую часть своей карьеры работе над стимулами совместно с различными компаниями (от General Electric до Goldman Sachs). Удивительно, когда его спрашивали о том, что же навело его на такие мысли, Керр упоминал и машинное обучение, и работы Б. Ф. Скиннера. «Возможность программировать и обучать машины, возможность запрограммировать машину для игры в шахматы так, чтобы она не повторяла однажды допущенную ошибку, меня просто потрясла, – говорил Керр. – Я был заинтригован возможностью обучить машину так, чтобы она играла в шахматы лучше того, кто ее запрограммировал!» [421]

Керр признавал: «Что же касается описанной в моей статье глупости, очевидно, Б. Ф. Скиннер понял это раньше меня. Я никогда и не заявлял иного. По словам Скиннера, он орал на своих крыс: „Почему вы не ведете себя как надо?!“, если они не делали того, что он ожидал. Возможно, Скиннер бы в гробу перевернулся, если бы узнал, что люди, читающие мою статью, не видели его работы. Само собой, он сделал много, но я сумел упаковать его результаты в правильную для применения в бизнесе упаковку. Обвинять крысу – очень поучительный урок. Моя статья посвящена тому, что работники не всегда виноваты: руководство несет ответственность за бо́льшую часть их ошибок».

По мнению Скиннера, не стоит обвинять крысу (или сотрудника). Наше поведение, как он полагал, определяется стимулами и вознаграждениями. Однажды репортер на телевидении спросил его: «Что же тогда остается свободе воли?», на что ученый ответил: «Ей остается пребывать плодом вымысла» [422].

Если оставить свободу воли в стороне, проблема стимулов охватывает не только психологию животных и менеджмент организаций; на самом деле, самых безжалостных и креативных манипуляторов наградами мы называемдетьми.

Экономист Джошуа Гэнс из университета Торонто хотел возложить на свою старшую дочь помощь в приучении младшего брата к горшку. Поэтому он сделал то, что на его месте сделал бы любой хороший экономист. Он предложил ей стимул: конфету за каждый успешный поход в туалет ее брата. Дочь немедленно нашла лазейку, которую проглядел ее отец, профессор экономики. «Чем больше вливается, тем больше выливается, – поняла она. – Так что я просто буду поить брата чаще». Гэнс признал, что результат не оправдал его ожиданий [423].

У когнитивного психолога из Принстона Тома Гриффита возникла до странности похожая ситуация с его собственной дочерью. «Ей действительно нравилось подметать, – рассказывал он. – Уборка пробуждала в ней азарт. Мы подарили ей маленькую щетку и совочек. На полу были рассыпаны какие‐то крошки, и она их подмела. И я ее похвалил: „Прекрасная работа! Отличная уборка! Ты молодец!“» [424]

Этой похвалой Гриффит хотел добиться двух целей: развить моторные навыки у дочери и приучить ее помогать по дому – двойная победа родителя. Но удалось ли ему? Дочь за несколько секунд нашла лазейку.

«Она подняла голову, улыбнулась, – рассказывал он, – высыпала крошки из совка обратно на пол и снова их подмела, чтобы ее еще раз похвалили».

Для Гриффита, чьи исследования закрывают бреши между психологией и машинным обучением, вывод был очевиден. Это «то, что заставляет меня задуматься о некоторых трудностях в создании мотивированного наградами ИИ, ведь нужно очень тщательно продумывать разработку функции вознаграждения».

Гриффит все время размышляет об обучении с подкреплением в контексте родительства. «Как родитель вы разрабатываете функцию вознаграждения для своих детей, верно? Я имею в виду вещи, за которые вы хвалите, и вещи, за которые даете определенного вида обратную связь… Никто всерьез не задумывается над вопросом, какова функция вознаграждения, которую мы разрабатываем для своих детей».

Гриффит рассматривает детско-родительские отношения как своего рода доказательство идеи, лежащей в основе проблемы выравнивания. Он отмечает, что история цивилизации всегда была связана с тем, как вложить ценности в странные рассудки, которые неминуемо унаследуют наши общественные достижения, – то есть в наших детей. Параллель можно провести даже дальше, и пристальное внимание к искусственному интеллекту и детско-родительским отношениям показывает, как на удивление много одна сторона может сообщить другой.

Наши дети могут быть не умнее нас, но даже очень маленькие ребятишки в состоянии переиграть наши правила и стимулы, отчасти за счет того, насколько онимотивированысделать это. Что касается систем обучения с подкреплением, они рабы своих вознаграждений, но имеют огромную вычислительную мощь и потенциально бесконечное количество попыток найти все возможные лазейки в любых стимулах, которые мы разрабатываем. Исследователи машинного обучения усвоили этот

Укрепляйте вознаграждения с помощью цикла: теорема формирования

Астро Теллер, «глава лунных запусков» в Х (компания, ранее известная как Google X), в последние годы контролирует массу проектов: от беспилотных автомобилей Google (впоследствии ставших отдельной компанией Waymo) до системы дополненной реальности Google Glass и исследовательской лаборатории Google Brain. Но в 1998 году он занимался совсем другой проблемой – футболом. Вместе с другом и сокурсником Дэвидом Андре Теллер хотел принять участие в ежегодном футбольном турнире RoboCup, представив программу виртуального футбола, получившую название Darwin United [425]. Формирование навыков с помощью вознаграждения позволило им научить программу играть в футбол. Но возникла проблема. В футболе владение мячом – залог хорошего нападения и хорошей защиты, и это гораздо лучше, чем бесцельно слоняться по полю. Андре с Теллером награждали за это своего робота крошечной долей награды за гол. К их изумлению, программа тряслась над мячом, набирая очки, и больше ничего не делала [426].

В том же году датские исследователи из Института Нильса Бора, Джетте Рандлов и Пребен Альстром, разрабатывали систему обучения с подкреплением, способную управлять виртуальным велосипедом. Перед алгоритмом стояла сложная задача: нужно было одновременно удерживать равновесие и ехать к удаленной цели. Поскольку шансов на то, что система доберется до финиша путем случайных действий, были крайне малы, ученые решили использовать метод промежуточных поощрений. Они настроили программу так, чтобы она получала небольшую награду (баллы) за каждое движение в сторону пункта назначения.

К удивлению исследователей, «агент» начал нарезать круги радиусом 20–50 метров неподалеку от старта [427]. Оказалось, что ученые награждали программу за движение к цели, но забыли ввести штраф за движение в обратную сторону. Система быстро обнаружила эту лазейку и цинично ею воспользовалась, бесконечно «накручивая» очки.

«Разрабатывать подобные функции подкрепления следует очень тщательно», – подытожили авторы эксперимента.

В конце 1990‐х такие поучительные истории всерьез беспокоили Стюарта Рассела из Калифорнийского университета в Беркли и его аспиранта Эндрю Ына (который позже стал вице-президентом и главным научным сотрудником в Baidu). Они видели в этом постоянную угрозу: ИИ будет неизбежно находить «дыры» в правилах, чтобы получить награду в ущерб реальной задаче [428].

Эндрю Ын отличался амбициозностью. Он вспоминал, что в начале карьеры часто спрашивал коллег: «Какая задача в управлении роботами считается самой трудной?» Чаще всего ему отвечали: «Научить компьютер пилотировать вертолет». Именно эту цель он себе и поставил [429].

Свою докторскую диссертацию Ын посвятил обучению с подкреплением на реальной машине, отказавшись от безопасных компьютерных симуляций. Он использовал вертолет Yamaha R‐50 длиной почти три метра, весом 45 кг и ценой 70 000 долларов [430]. Ставки были крайне высоки: любая непредсказуемая ошибка алгоритма грозила не только разбить дорогостоящую технику, но и нанести увечья людям, оказавшимся поблизости.

Главная проблема заключалась в настройке системы поощрений. Ученым нужно было понять, какие промежуточные награды («псевдонаграды») можно добавить, чтобы ускорить обучение, но при этом добиться главной цели, а не просто набрать максимум очков. Используя терминологию Стивена Керра, вопрос звучал так: какое поведение А стоит вознаградить, если мы хотим в итоге получить результат Б? Эндрю Ын описывает эту дилемму следующим образом:

«Простая схема дополнительных наград часто помогает решить, казалось бы, невыполнимые задачи. Однако трудность в том, что, меняя функцию вознаграждения, мы фактически подменяем исходную задачу М на новую – М´. Мы делаем это в надежде, что алгоритм справиться с М´ быстрее и проще. Но всегда остается риск: совершенно не очевидно, будет ли решение, идеальное для модифицированной задачи М´, так же хорошо работать для нашей реальной цели М [431]».

«Насколько свободно мы можем менять функцию вознаграждения, – задавался вопросом Ын, – чтобы при этом оптимальная стратегия поведения оставалась прежней?» [432]

Решение подсказала история с велосипедом. Чтобы не дать ему нарезать круги, бесконечно набирая очки, следовало не только поощрять приближение к цели, но и штрафовать за удаление от нее. Стюарт Рассел, физик по первому образованию, провел параллель между этой задачей и законом сохранения энергии. «Главное, – объясняет он, – чтобы дополнительные награды работали по принципу потенциального поля» [433]. Эти «псевдонаграды» должны были напоминать потенциальную энергию: зависеть только от текущего положения объекта, а не от пройденного им пути. Это гарантировало, что если система вернется в точку старта (сделав круг), итоговый баланс набранных очков будет равен нулю.

Идея интуитивно понятна на примере велосипеда: если мы вознаграждаем за приближение к цели, то обязательно должныштрафоватьза удаление от нее. Иначе говоря, количество очков должно зависеть только от того, насколько близко велосипед сейчас к финишу, а не от того, какой длины путь он прошел. Однако аналогия с потенциальной энергией оказалась чем‐то большим, чем просто удачным сравнением. Это стало фундаментальным правилом (необходимым и достаточным условием). Соблюдая его, можно гарантировать, что обучаемый алгоритм будет решать реальную задачу, а не вырабатывать бесполезные или вредные привычки ради награды.

«Общее правило таково, – говорит Рассел. – Оценивать систему нужно по тому, достигла ли она желаемого результата, а не по тому, вела ли она себя так, как представлял разработчик» [434]. Иными словами, вознаграждать следует не за действия, а за изменение ситуации (положение вещей в мире). Обычно это означает прогресс на пути к цели: будь то сокращение физической дистанции или завершение этапов работы – например, написанная глава книги или собранный узел механизма.

Переход от оценки действий к оценке результата – не панацея, но он заставляет по-новому взглянуть на систему мотивации. Представьте ребенка, который специально разбрасывает мусор, чтобы потом получить награду за уборку. Чтобы исправить это с помощью метода «потенциального поля», нужно уравновесить стимулы: ругать за создание беспорядка так же сильно, как хвалить за наведение порядка. Тогда итоговая выгода от хитрости станет нулевой. Однако проще сразу хвалить за состояние, а не за действие. Вместо награды за сам процесс уборки лучше сказать: «Ого, какой чистый пол!»

Разумеется, наука о вознаграждениях не сводится лишь к тому, чтобы робот не бегал по кругу, – это только азы. Ын и Рассел завершили свою работу не на торжественной ноте, а предостережением. «Мы считаем, – писали они, – что задача поиска правильных формирующих функций в будущем станет одной из ключевых проблем» [435].

Эволюция как создатель вознаграждений

Я сказал ему: «Плодись и размножайся». Но другими словами.

Вуди Аллен [436]

С точки зрения эволюции, наши желания должны сводиться к выживанию и продолжению рода. Однако на деле мы хотим вещей куда более приземленных и сиюминутных: удовольствий, сладостей,

Ничего не напоминает?

Изучение принципов «формирования поведения» – сначала в психологии бихевиоризма, а затем в машинном обучении – дало нам не только умные алгоритмы. Возможно, главный вклад этой идеи в том, что она заставила нас совершенно иначе взглянуть на саму эволюцию.

В конце 1980‐х годов аспирант Брауновского университета Майкл Литтман проходил стажировку в Bellcore (Нью-Джерси) – исследовательском центре, ранее входившем в структуру AT&T. Там он нашел наставника и друга в лице Дэйва Экли.

Литтман интересовался проблемой поведения: как строить цепочки решений, которые ветвятся во времени. Экли отреагировал мгновенно: «О, для этого есть специальная область – обучение с подкреплением! Я как раз изучал это. Держи статью Рича Саттона 1988 года о временно́й разности» [438].

Литтман погрузился в чтение и так увлекся, что попросил Экли рассказать больше.

– А давай просто позовем Рича выступить! – предложил наставник.

– Что?! – изумился Литтман. – Ты хочешь взять имя с обложки статьи и превратить его в живого человека?

Для аспиранта наука была набором текстов, а не сообществом людей. Но Экли действительно знал всех в этой сфере и организовал встречу. Приезд Саттона стал поворотным моментом: и Литтман, и Экли окончательно «заразились» идеей обучения с подкреплением.

Их заинтересовало, как эволюция формирует систему внутренних вознаграждений. Почему она заставляет нас хотеть именно того, что полезно для выживания вида в долгосрочной перспективе? Ведь с точки зрения математики функция награды может быть какой угодно, даже совершенно случайной. Экли и Литтман решили провести эксперимент: создать виртуальный мир и посмотреть, как будут меняться желания существ под действием естественного отбора [439].

Они построили двумерную симуляцию, населенную простыми агентами, которые могли двигаться, есть, размножаться или стать добычей хищников. «Геном» каждого существа кодировал его личную функцию вознаграждения: например, насколько сильно оно любит еду или боится опасности. В течение жизни агенты обучались с подкреплением, стараясь максимизировать свое удовольствие (награду). При размножении эта система ценностей передавалась потомкам с небольшими случайными изменениями – мутациями. Изначально мир заселили существами со случайно сгенерированными предпочтениями.

«И тогда мы запустили симуляцию на семь миллионов циклов, – вспоминал Литтман. – По тем временам это заняло вечность, ведь компьютеры были медленными». Результат он охарактеризовал коротко: «Странные вещи» [440].

В целом успешные агенты вели себя предсказуемо: они научились стремиться к еде и избегать хищников. Но при детальном рассмотрении обнаружились причуды. Например, некоторые особи ели только ту пищу, что находилась к северу от них, полностью игнорируя еду с южной стороны.

«В их функциях вознаграждения зияли логические дыры, – объяснял ученый. – Но, когда мы пытались их „латать“, агенты становились настолько одержимы едой, что буквально объедались до смерти».

В виртуальном мире Экли и Литтмана были зоны с деревьями, служившие укрытием от хищников. Агенты усвоили, что находиться там выгодно для выживания.

Однако возникла серьезная проблема. Эволюция настроила систему вознаграждения так, что близость к деревьям считалась безусловным благом. Агенты, стремясь получить максимум «очков удовольствия», довели эту логику до абсурда. Экли назвал это состояние «древесной деменцией»: существа намертво «прилипали» к спасительным зонам, отказывались выходить наружу ради поиска пищи и в итоге умирали от голода.

Поскольку эта «древесная деменция» проявлялась ужепослетого, как агенты достигали репродуктивного возраста, естественный отбор ее отсеивал. В результате в виртуальном мире расплодились огромные популяции существ, одержимых деревьями.

Литтман увидел в этом глубокий смысл, а не просто причуду эволюции. «Это важнейший урок, – отмечал он. – Функция вознаграждения работает не в вакууме. Ключевую роль играет ее взаимодействие с поведением агента».

Суть в том, что агенты рождались со вполне адекватной системой ценностей. Проблемы начинались, когда они становились слишком компетентными в получении награды. Обучаясь максимально эффективно добывать очки за безопасность, они доводили эту стратегию до абсурда, что в итоге и приводило их к гибели.

В этой истории очевидно прослеживается предупреждение для всего человечества. Правило «ешь как можно больше сладкого и жирного» оправдано лишь в условиях дефицита, когда добывать калории трудно. Но как только среда меняется и еда становится доступной, этот механизм начинает работать во вред. Древняя функция вознаграждения, которая десятки тысяч лет спасала наших предков, в современном мире сбивает нас с толку.

Для Эндрю Барто эти эволюционные механизмы стали ключом к пониманию того, как проектировать системы вознаграждения для ИИ. «Эволюция встроила в нас внутренние стимулы, и нам стоит учитывать это при разработке искусственных систем, – говорит он. – Природа использует сигналы удовольствия, чтобы подталкивать нас к действиям, способствующим размножению» [441].

При этом Барто отмечает важный нюанс: эволюция не вознаграждает нас за сам факт успешного продолжения рода. Вместо этого она поощряет нас за «предвестники» успеха. Мы оптимизируем свое поведение ради этих промежуточных наград, в то время как эволюция в глобальном масштабе оптимизирует сами эти награды ради выживания вида. «Это процесс двухуровневой оптимизации, – заключает Барто, – и он невероятно интересен».

В последние годы Барто изучал «оптимальную задачу вознаграждения» [442] вместе с учеными из университета Мичигана Сатиндером Сингхом, Ричардом Льюисом и их аспирантом Джонатаном Соргом. Если у нас есть некая цель, недостаточно просто сказать агенту к ней идти.

«Должны ли цели агента совпадать с целями разработчика? – спрашивают ученые. – Этим вопросом нечасто задаются» [443].

Представьте игру, в которой есть агент, удочка, черви и пруд с рыбой [444]. Главная цель эволюции – получить максимум калорий. Идеальная стратегия – не есть червей сразу, а использовать их как наживку, чтобы поймать рыбу. Но научиться этому сложно. Если агент умный и живет долго, ему выгодно испытывать отвращения к червям. Так он не съест наживку и быстрее освоит рыбалку. Если же агент живет мало или плохо обучается, тратить время на уроки рыбалки бессмысленно. Ему выгоднее считать червей вкусными и есть их сразу.

Самый интересный случай – это «умный, но недолговечный» агент. Он способен научиться рыбачить, но умрет раньше, чем этот навык окупится. Чтобы он не тратил драгоценное время зря, эволюции выгодно привить ему аллергию на рыбу. Тогда у него не останется выбора, кроме как просто есть червей.

Даже малейшие изменения в продолжительности жизни, ресурсах или устройстве агента могут внезапно и непредсказуемо изменить то, какая система вознаграждения будет для него оптимальной. То, что идеально работает для одного, совершенно не подходит другому –

В последнее время психологи и когнитивисты перевернули этот подход с ног на голову, начав задавать эти интригующие вопросы не о машинах, а о людях. Как подобрать лучшую систему мотивации, если тот самый нетерпеливый, недальновидный и ограниченный в возможностях агент, которого нужно обучить, – это вы сами?

Как нам обучать себя

Теория вознаграждения в машинном обучении нужна не только для того, чтобы учить вертолеты летать. Она дает два важных инсайта о человеческой жизни и интеллекте. Во-первых, она показывают, почему некоторые задачи решить труднее: проблема в редкости наград. Во-вторых, она подсказывает решение: сложные задачи можно упростить, если поощрять достигнутое состояние, а не просто действие.

Потенциал этих идей огромен. Только экономический ущерб от прокрастинации сотрудников в Британии оценивается в 76 миллиардов фунтов в год. А ведь есть еще и личное благополучие, которое страдает, когда мы «зависаем» в играх вместо того, чтобы жить [446].

Если мы теряем время в компьютерных играх, возможно, это не наша вина. Б. Ф. Скиннер говорил: «Раньше я злился на своих подопытных, кричал: „Ведите себя как надо!“ Но потом понял: они всегда правы. Они ведут себя так, как их заставляет среда» [447]. Если ученик не учится, виноват учитель, который неправильно поставил задачу. Гейм-дизайнер Джейн Макгонигал называет это «сломанной реальностью» [448]. Игры так притягательны, потому что дают нам четкие цели и достижимый результат. В игре вам всегда предлагают миссию, которая идеально подходит под ваш текущий уровень: она сложная, но выполнимая. Придется постараться [449].

Игры – это пример идеально настроенной среды. Уровни идут последовательно, очки служат отличными промежуточными наградами. Для алгоритма обучения это идеальные условия. Разработчики игр скоро смогут использовать ИИ, чтобы тестировать уровни и находить моменты, где игроку становится скучно или слишком сложно.

Проблема в том, что игры сформированы лучше, чем реальность. Макгонигал заметила: в онлайн-играх вроде World of Warcraft мы постоянно чувствуем себя героями на пороге победы, поэтому нам не хочется возвращаться в реальность. Решение, по ее мнению, не в отказе от игр, а том, чтобы заставить реальный мир работать по правилам игры.

Макгонигал испытала это на себе [450]. Страдая от тяжелой депрессии после сотрясения мозга, она решила превратить выздоровление в игру [451]. Она начисляла себе баллы за простые вещи: звонок сестре, прогулку. Начало было положено.

Эта отрасль называетсягеймификацией[452], и за последние десять лет она превратилась из искусства в науку, во многом благодаря открытиям в области ИИ и обучения с подкреплением [453].

Один из главных исследователей в этой области – когнитивист Фальк Лидер из Института Макса Планка. Он занимается когнитивной психологией, изучая, как люди думают и принимают решения и, в отличие от большинства исследователей, испытывает живой интерес не только к пониманию когнитивных способностей человека, но и к разработке эффективных инструментов для улучшения мыслительных способностей. Экспериментировать он начал с себя.

В детстве Лидер понял, что ему не нравится в школе – там ему давали факты, но не учили размышлять. «Я очень хотел научиться думать и принимать хорошие решения, – объяснял ученый. – Учителя лишь описывали мир, а это было не слишком полезно» [454].

Со временем это желание подтолкнуло его к созданию инструментов для совершенствования человеческого мышления. Он интересовался так называемой «оптимальной геймификацией», с помощью которой можно расставить стимулы так, чтобы человек гарантированно достиг цели [455]. Это уже очень похоже на «оптимальную разработку вознаграждения», но в этот раз агентами будут люди, а не алгоритмы.

Лидер и его коллега Том Гриффит, опираясь на работы Эндрю Ына и Стюарта Рассела, вывели правило: награждать нужно состояние, а не действие. Важный нюанс: отменив действие (например, снова разбрасываете мусор, как дочь Гриффита), вы теряете столько же очков, сколько получили. Иначе система сломается – человек, как и робот, начнет бесконечно мусорить и убирать ради очков. Именно этому Рандлов и Альстром научились на горьком опыте, работая с роботом-велосипедистом, а Дэвид Андре и Астро Теллер – из работы с программой виртуального футбола.

Работы Ына и Рассела предполагают, что вознаграждение могло дать агенту с ограниченной способностью к предвидению и прогнозированию последствий своих действий возможность вести себя так, будто он более дальновиден, чем на самом деле [456]. Люди часто ведут себя импульсивно и не думают о будущем. Лидер выяснил, что если добавить к задачам искусственные мгновенные награды, люди начинают принимать более дальновидные решения.

Они с Гриффитом провели эксперимент. Участники планировали маршруты самолетов. Полеты в некоторые города были выгодными для определенного участка пути, но лишали самолеты других выгодных маршрутов. И наоборот. Когда участникам давали подсказки – бонусы за правильные промежуточные шаги, – они справлялись лучше. Но есть недостаток: люди привыкают к подсказкам и перестают думать сами. Их решения становятся точнее, но в целом они расслабляются. «Если необходимо действовать в обстановке, где срабатывает недальновидное принятие решений, – говорит Лидер, – люди учатся все больше и больше полагаться на эту систему» [457].

Становится интересно: можно ли использовать оптимальную геймификацию не для того, чтобыизбавитьсяот необходимости планировать, а для того, чтобы люди справлялись с этимлучше?

В данном случае стимулы совершенно иные. Издержки можно использовать для созданиярежима обучения.Человек медленно учится думать наперед, при этом сложность постепенно повышается по мере того, как его мастерство растет. Вместо подсказок интерфейс может предложить наборы стимулов для «обучения людей планировать наперед и добиваться успеха там, где поощрение расходится с долговременными ценностями».

Лидер и Гриффит провели еще один эксперимент, на этот раз посвятив его прокрастинации. Они выложили на Mechanical Turk задание написать эссе на пять тем разной сложности. Члены первой группы за написание всех пяти эссе в течение 10 дней получали 20 долларов. 40 % участников даже не приступили к работе. (Что иронично, поскольку задание было подробно описано, и за отказ участники могли получить 15 центов!) [458]

Вторая группа получала стимулы – за каждое законченное эссе испытуемые получали очки, не имеющие денежного эквивалента. Каждое эссе стоило одинаковое количество очков. Это не помогло.

Наконец, третьей группе участников исследователи предложилиоптимальныестимулы: количество баллов зависело от сложности темы и реального прогресса на пути к цели. (Например, сто слов про экономику КНДР стоили в три раза дороже, чем 50 слов про любимое шоу.) Результат 85 % участников закончили работу [459].

Фальк Лидер применил эти методы к своей аспирантуре и называет их «когнитивными протезами» [460]. Получение докторской степени – это пять

Аспиранты в целом – это группа людей с высоким уровнем депрессии и тревожности, в которой бушуют настоящие эпидемии прокрастинации [461]. Они все равно что голуби на дорожке для боулинга у Скиннера: награда в виде шапочки выпускника ждет их после идеального страйка когда‐нибудь через пять лет. Такая система, как нам уже известно, не работает для животных, и для алгоритмов обучения с подкреплением она тоже работать не будет.

Не сработало и с человеком. Нужно было что‐то другое. Лидер разбил пятилетнюю программу на сотни маленьких уровней. За каждую задачу, приближающую его к диплому, он начислял себе баллы, рассчитанные по научной формуле, с помощью которой присуждали очки авторам эссе. Для борьбы с плохими привычками он использовал браслет Pavlok, который бил током. Если Лидер заходил на развлекательные сайты не вовремя, браслет давал разряд. Смешно, но это не избавило его от желания смотреть видео, зато выработало рефлекс мгновенно закрывать вкладку.

В итоге Лидер был одновременно и ученым, и подопытным, поэтому имел уникальное преимущество в вопросе формирующего вознаграждения. Эксперимент удался: он защитил диссертацию, подтвердив эффективность своих методов, и теперь руководит собственной лабораторией.

За пределами внешнего подкрепления

Скиннер считал вымыслом не только волю отдельного человека. Для него, в сущности, вся история человеческой цивилизации была историей структур вознаграждения. Он смотрел на это с любопытством и оптимизмом и даже написал утопический роман «Второй Уолден» об идеальном обществе, построенном на принципах бихевиоризма.

Тем не менее у любого, кто наблюдал за детьми или животными, невольно возникает подозрение, что желание получить награду – не единственная причина наших поступков. Мы играем в игры, которые придумываем сами, не получая никаких ощутимых призов. Мы переворачиваем камни и взбираемся на горы, чтобы посмотреть, что там можно найти. Мы исследуем. Мы игривы и любопытны. Короче говоря, нас мотивируют не тольковнешние, но ивнутренниевознаграждения.

Оказалось, что эта мысль становится все более популярной в мире машинного обучения.

6. Любопытство

Для того, чтобы нетренированный детский мозг стал интеллектуальным, потребуются и дисциплина, и находчивость. Пока что мы думали только о дисциплине.

Алан Тьюринг [462]

Весной 2008 года аспирант Марк Беллемаре и информатик Майкл Боулинг из университета Альберты прогуливались по пляжу Барбадоса. У Боулинга была идея.

Исследования обучения с подкреплением тогда проводил один ученый, который с нуля делал свою уникальную игру, а потом вручную настраивал для нее удачную систему [463]. Боулинг же размышлял о создании единой среды, которуюкаждыймог бы использовать, – целой библиотеки игр. Причем не каких‐нибудь рандомных, анастоящих– классических видеоигр 1970‐х и 1980‐х, в которые играли на Atari 2600?

«Я посчитал эту идею глупее некуда [464], – вспоминал Беллемаре. – Но спустя три изменил свое мнение». Более того, идея настолько ему понравилась, что стала темой диссертации, а Боулинг – научным руководителем.

Цель проекта могла показаться несколько безумной. И не только из-за колоссального объема работы по созданию «бестиария» видеоигр, который ученые назвали Аркадной обучающей средой (Arcade Learning Environment, ALE), но и из-за череды сложнейших задач, которые она поставила перед всей отраслью [465]. Идея исследователей заключалась в том, чтобы создать единую самообучающуюся систему, способную играть не в одну, а сразу во всешестьдесятигр. Отрасль была к этому совершенно не готова.

Главная проблема состояла в том, что игровые среды, создаваемые прежде по индивидуальным заказам, обычно описывали агенту мир в упрощенных, отфильтрованных терминах, предоставляя ему уже готовые полезные данные. Например, в задаче с балансирующей тележкой система получала бы на вход точные координаты тележки, ее скорость, угол наклона шеста и так далее. В двумерном мире с деревьями и хищниками системе сразу сообщили бы ее местоположение, уровень здоровья, где находится еда и есть ли поблизости враги. Эти единицы информации называются «ключевыми характеристиками».

ALE же, напротив, предлагала нечто более сложное и менее пригодное для немедленного использования – набор пикселей на экране. И все. Каждая игра отличалась от другой не только правилами, но и тем, как именно пиксели передавали полезную информацию. При запуске обучаемой системы в новую игру ей приходилось разбираться во всем с нуля: «эти пиксели мигают, когда я получаю очки», «те появляются перед моей смертью», «а эти в центре сдвигаются влево, когда я жму клавишу „влево“ – о, может быть, это я и есть!». Исследователям пришлось бы либо искать универсальные способы извлечения полезных паттернов из происходящего на экране (подходящие для всех шестидесяти игр), чтобы система могла отслеживать свое состояние, либо разрабатывать алгоритм, способный находить смысл во всем на лету. Так возникла проблема «выделения признаков».

Беллемаре начал экспериментировать, подключая различные алгоритмы извлечения признаков к стандартным системам обучения с подкреплением и запуская их в игры. Результаты были далеко не впечатляющими. Тем не менее, к его удивлению, опубликовать их оказалось несложно – хотя бы потому, что рецензенты были потрясены объемом проделанной работы по воссозданию среды игр Atari. «Самое забавное, – рассказывал Беллемаре, – порой рецензенты так мне и говорили: „Ты сделал нечто потрясающее с Atari. Я просто не могу отклонить твою статью“. Система была настолько масштабной, что качество результатов уже не имело значения. Люди говорили: „Ух ты, ты и вправду это сделал!“»

Фактически Беллемаре с коллегами воздвигли гору, и теперь предстояло найти способ на нее взобраться.

Получив докторскую степень в 2013 году, Беллемаре переехал из Эдмонтона в Лондон, чтобы работать в компании DeepMind [466]. Там команда под руководством Владимира Мниха увлеченно работала над идеей использовать нейросети глубокого обучения (похожие на AlexNet, блестяще выступившую на конкурсе ImageNet годом ранее) в задачах обучения с подкреплением. Если глубокие нейросети могут анализировать десятки тысяч необработанных пикселей и понимать, что перед ними – рогалик, банджо или бабочка, возможно, они справятся и с выделением признаков, необходимых для осмысления происходящего на экране Atari.

Беллемаре вспоминает слова кого‐то из группы: «У нас есть сверточные нейросети. Они прекрасно показали себя в классификации изображений. Что, если заменить ваш несколько топорный механизм извлечения признаков такой нейронной сетью?»

Беллемаре принял эту мысль не сразу. «Честно говоря, я долго не верил… Идея перцептивного обучения с подкреплением выглядела очень, очень странно. И, знаете, я относился со здоровой долей скептицизма к возможностям нейронных сетей».

Но вскоре ему пришлось изменить свое мнение.

Просто добавив глубокое обучение к классическому алгоритму обучения с подкреплением и протестировав его на семи играх Atari, Мних сумел побить рекорды предыдущих алгоритмов в шести из них. Более того, в

«По сути, – продолжал он, – внедрение глубокого обучения сделало то, чего исследователи в области обучения с подкреплением не могли достичь долгие годы: оно позволило создавать признаки на лету. Теперь это стало возможным для любой игры, неважно какой. А потом все это… – Беллемаре сделал небольшую паузу, – обрело невероятную популярность».

Глубокое обучение с подкреплением

В феврале 2015 года на обложке журнала Nature появилась статья под заголовком «Обучение с подкреплением на уровне человека посредством глубокого обучения» [468]. Представленный DeepMind гибрид классического обучения с подкреплением и нейронных сетей показал способность достигать уровня человека – и даже превосходить его – не в одной-двух играх Atari, а в десятках. В сфере ИИ началась революция, породившая новую отрасль – «глубокого обучения с подкреплением». Результаты были ошеломляющими.

Модель под названием «глубокая Q-сеть» (deep Q-network, DQN) превзошла профессионального тестировщика в игре Video Pinball в 25 раз. В Boxing она оказалась лучше человека в 17 раз, а в Breakout – в 13. Таблица, занимавшая почти целую страницу, документировала это подавляющее превосходство в самых разных жанрах. И везде использовалась одна и та же модель, без какой‐либо специальной настройки или адаптации под конкретную игру.

Однако внизу таблицы оставалось несколько «упрямых» игр, отказавшихся подчиниться DQN и не вписавшихся в эту историю успеха. Среди них особенно выделялась одна, занимавшая последнюю строчку.

Этим исключением сталаMontezuma’s Revenge– игра 1984 года, где вам предстоит управлять исследователем по имени Панама Джо. Его цель – пробраться через лабиринт храма, полного веревок, лестниц и смертельных, почти незаметных ловушек. («Я не изучал историю Монтесумы или ацтеков, – признавался создатель игры Роберт Джегер, которому было всего шестнадцать, когда он продал демоверсию Parker Brothers. – Просто подумал, что это колоритная тема и крутое название».) [469] ВMontezuma’s Revengeлучшим результатом мощной нейросети DQN стали 0 % – да, именно ноль – от достижений человека.

В чем же была проблема?

Во-первых, в этой игре очень легко умереть. Практически любая ошибка – столкновение с врагом, падение с высоты, попытка пройти сквозь препятствие – означает мгновенную смерть. Система DQN использовала эпсилон-жадную стратегию исследования среды, при которой часть времени обучение происходит путем случайного нажатия кнопок. ВMontezuma’s Revengeэто равносильно самоубийству.

Во-вторых – и это куда важнее – вMontezuma’s Revenge крайне редкиевознаграждения. Игроку нужно выполнить длинную цепочку правильных действий, прежде чем он получит хоть какие‐то очки. В играх вродеBreakoutилиSpace Invadersдаже растерянный новичок, беспорядочно давя на клавиши, быстро понимает, что делает что‐то неправильно. Этого достаточно для запуска процесс обучения: DQN фиксирует полученные очки и постепенно начинает чаще повторять успешные действия. ВMontezuma’s Revenge,напротив, событий, дающих обратную связь (помимосмерти), очень мало. К примеру, на первом же экране вам нужно перепрыгнуть четыре ямы, подняться по трем лестницам, пробежать по конвейеру, вскарабкаться по канату и перепрыгнуть через катящийся череп. И все это лишь для того, чтобы найти первый ключ, который принесет жалкие сто очков (и первые ноты мелодии «Кукарача»).

В среде с таким дефицитом наград алгоритм случайного поиска не может нащупать верный путь. Вероятность того, что, хаотично дергая джойстик, он случайно выполнит всю последовательность действий и получит первую награду, ничтожно мала. А пока этого не произойдет, он даже не узнает, движется ли в правильном направлении [470].

Одно из решений проблемы разреженности, как мы уже видели, – это введение дополнительных промежуточных наград, направляющих алгоритм. Но мы также знаем, как сложно это сделать, не создавая лазеек для системы. Если, например, награждать Панаму Джо за каждую секунду жизни, агент может просто никогда не покинуть безопасную стартовую платформу. Получится машинная версия того, что ученые называют «выученной беспомощностью» [471]. Как метко заметил автор афоризмов Эшли Бриллиант: «Если вы достаточно осторожны, с вами не случится ничего: ни хорошего, ни плохого» [472].

Другие очевидные идеи проваливаются с не меньшим треском. Скажем, награда за прыжок через катящийся череп может заставить агента прыгать через него снова и снова вместо того, чтобы идти вглубь храма. А поощрение за прыжки на канат приведет к бесконечному раскачиванию в стиле Тарзана. Это совсем не то, чего мы добиваемся.

Более того, такой подход к формированию навыков обычно требует ручной настройки под каждую игру и участия человека, знающего ее механику. Это похоже на использование шпаргалок и противоречит самой идее Аркадной обучающей среды и успеха DQN – создать единый алгоритм, способный с нуля освоить десятки разных игр, имея на входе лишь картинку экрана и счет.

Так есть ли разгадка у этой головоломки? Как модифицировать универсальный алгоритм проб и ошибок вроде DQN, чтобы он справился со зловещейMontezuma’s Revenge?

Подсказка лежала на поверхности. Люди явно способны научиться играть вMontezuma’s Revengeбезо всяких искусственных наград. Мы инстинктивнохотимзабраться по лестнице, добраться до дальней платформы, перейти на следующий экран. Мы хотим узнать, что за закрытой дверью, насколько велик храм, есть ли что‐то за его стенами. Мы делаем это не ради «очков», а по более простой и фундаментальной причине: нам просто интересно, что будет дальше.

Возможно, для победы в таких играх надо не насыщать их дополнительными стимулами, а применить принципиально иной подход. Не создавать все более хитрую систему кнута и пряника, а сделать ровно наоборот – разработать агента с внутренней, а не внешней мотивацией [473]. Агента, который переходит дорогу не потому, что там ждет награда, а чтобы оказаться на другой стороне. Агента, который был былюбопытным.

В последние несколько лет наблюдается возрождение научного интереса к теме любопытства, что привело к неожиданным совместным экспериментам специалистов по машинному обучению и детских психологов. Цель этих союзов – понять природу любопытства со строгой, фундаментальной точки зрения. Чем это такое? Зачем оно нам нужно? Как привить его не только детям, но и машинам?

И почему умение это делать становится все более важным?

Исследование любопытства

Желание знать почему? и как? называется любознательностью … [это] удовольствия для разума. Последнее, сохраняясь в непрерывном и неустанном возникновении знания, превосходит кратковременную силу любого другого плотского наслаждения.

Томас Гоббс [474]

Любопытство – начало всех наук.

Герберт Симон [475]

«Крестным отцом» исследований любопытства в психологии стал Дэниел Берлайн. Его первая публикация, вышедшая в 1949 году, была попыткой

Постепенно сформировалось целое направление, изучающее этот вопрос. Чему могут научиться животные, если в процессе обучения не использовать никаких наград?

Как заметил Берлайн, история психологии по большей части занималась людьми и животными, которых принуждали к тем или иным действиям: заполнять опросники, устно отвечать на вопросы, нажимать на рычаги, чтобы получить пищу. В этом смысле в науке образовалось своего рода методологическое «белое пятно»: как вообще подступиться к проблеме поведения организма, на который никто не оказывает влияния? Сама постановка вопроса казалась внутренне противоречивой.

«Психологии в некотором смысле не повезло, что человеческие существа настолько обязательны и уступчивы, – писал Берлайн [478]. – Легкость, с которой внешние и искусственные мотивации могут быть внедрены в сознание людей, мешает нам изучать те факторы, которые управляют нами в отсутствии внешнего давления».

В середине ХХ века исследования, основанные на дрессировке животных с помощью наград и наказаний, доминировали в психологии настолько, что временами казалось: эти понятия могут объяснить все поведение разумных существ. Но то тут, то там всплывали данные, которые не вписывались в схему. К 1950 году Гарри Харлоу из университета Висконсина начал подробно изучать, как макаки-резусы возятся с механическими головоломками из замков и щеколд, и для описания этого процесса ввел термин «внутренняя мотивация» [479]. Иногда эта мотивация появлялась не просто в отсутствии внешних наград, но дажевопрекиим. Удивительно, но голодная крыса могла отказаться от еды или пересечь загородку под напряжением, лишь бы исследовать неизвестное пространство. Обезьяны нажимали на рычаги не только ради печенья и сока, но и просто чтобы выглянуть в окно [480]. В строгом мире скиннеровских стимулов и реакций для такого поведения не оставалось места, и очевидного объяснения этим явлениям не находилось.

Тем не менее, по мнению Берлайна, внутренняя мотивация, наряду с голодом и половым влечением, составляет ядро человеческой природы, несмотря на то, что «психологи неоправданно игнорировали ее в течение многих лет» [481]. (В самом деле, самое суровое наказание, налагаемое обществом на человека, за исключением смертной казни, – это одиночное заключение, которое по сути являетсяпыткой скукой.) В своей знаменитой книге «Конфликт, возбуждение и любопытство» (Conflict, Arousal, and Curiosity) Берлайн отмечает, что серьезное изучение любопытства началось лишь в конце 1940‐х годов; он не считал совпадением, что именно в это время на сцену вышли информатика и нейронаука [482]. Похоже, подлинное понимание любопытства возможно только на стыке этих трех дисциплин [483].

Очевидно, Берлайна любопытство интересовало в обычной жизни не меньше, чем как объект изучения. Он знал не менее десяти языков (на шести или семи говорил свободно), был талантливым пианистом, увлекался бегом и путешествиями. До своей преждевременной смерти в 52 года он поставил цель проехать по всем линиям метрополитена, существующим в мире. Несмотря на колоссальную продуктивность, ученый редко работал по ночам и выходным – ему всегда было чем заняться помимо работы [484].

Его идеи, в особенности стремление связать психологию с нейронаукой и информатикой, вдохновили следующие поколения ученых на то, чтобы замкнуть этот круг. С конца 2000‐х и в течение всего бума глубокого обучения в 2010‐х математики и специалисты по теории информации, столкнувшись с проблемой внутренней мотивации в таких задачах, какMontezuma’s Revenge, искали ответы в трудах Берлайна.

Ученый считал, что в широком смысле человеческая внутренняя мотивация охватывает три связанных, но самостоятельных стремления: к новизне, к неожиданности и к преодолению сложностей. Каждое из них предлагает заманчивые идеи о природе мотивации и обучения, которые в этом десятилетии могут оказаться применимы как к людям, так и к машинам.

Новизна

Вопрос, на который исследователи всегда хотят ответить, звучит следующим образом: «Как отреагирует это животное на данный раздражитель?» … Когда же экспериментальная ситуация усложняется … возникает новый вопрос: «На какой именно раздражитель реагирует животное?»

Даниэль Берлайн [485]

Всякий раз, оказываясь между двух зол, я выбираю то, с которым еще не сталкивалась.

Мэй Уэст [486]

Одно из понятий, лежащих в основе человеческого любопытства и нашей внутренней мотивации, – этоновизна. В отсутствие сильных внешних стимулов мы действуем не хаотично, как простые агенты обучения с подкреплением, использующие эпсилон-жадный алгоритм. Напротив, мы целенаправленно, последовательно и предсказуемо двигаемся ко всемуновому.

В середине 1960‐х годов Роберт Фанц из университета Кейс Вестерн заметил, что уже в двухмесячном возрасте младенцы смотрят на знакомые картинки из журналов меньше времени, чем на новые [487]. Фанц особенно оценил тот факт, что задолго до того, как дети приобретают моторные навыки для физического изучения мира, они начинают исследовать его визуально и делают это весьма активно. Такое поведение, получившее название «предпочтение новизны», стало фундаментальным элементом возрастной психологии и одной из самых ярких характеристик поведения младенцев.

На самом деле, стремление детей смотреть на новые объекты настолько сильно, что психологи научились использовать его для проверки остроты зрения и дажепамятимладенцев [488]. Может ли ребенок отличить два похожими изображения? Два оттенка одного цвета? Помнит ли он, что видел час, день, неделю назад? Врожденная тяга к визуальной новизне дает ответы на эти вопросы. Если младенец задерживает взгляд на картинке, можно предположить, что он видит отличия от предыдущей. Если спустя неделю он смотрит на знакомое изображение меньше времени, значит, он в какой‐то мерепомнитего. Результаты этих тестов показали, что дети приобретают когнитивные способности раньше, чем было принято считать. Стимул визуальной новизны стал одним из самых мощных инструментов в руках психологов, позволяющим проникнуть в тайны развивающегося мозга [489].

Сообществу специалистов по обучению с подкреплением потребовалось не так много времени, чтобы взять на вооружение идею о естественной привлекательности новизны и применить ее в компьютерной сфере [490]. Одна из простейших идей заключалась в том, чтобы простоподсчитывать, сколько раз обучающийся агент попадал в конкретную ситуацию. Затем, при прочих равных, заставлять его выбирать действия, которые он совершал реже всего. К примеру, в 1990 году Ричард Саттон предложил добавлять «исследовательский бонус» к вознаграждению агента, если он делает что‐то новое или давно забытое [491].

Однако в этой бочке меда есть очевидная ложка дегтя. Что значит «подсчитать, сколько раз мы совершаем это действие в данной ситуации»? Как писал Берлайн еще в 1960 году: «Слово „новый“ широко используется в повседневной речи, и кажется, что мы понимаем его без труда. Но когда мы пытаемся

Для простых сред, например лабиринтов или примитивных игр, вполне реально составить список всех возможных ситуаций и ставить «галочку» при каждом их посещении. (Рисовать путь по лабиринту карандашом – это, по сути, и есть создание такой записи.) Подход, при котором хранится гигантская таблица с описанием каждой ситуации, действий и результатов, называется «табличным» обучением с подкреплением. К сожалению, он абсолютно неприменим для чего‐либо сложнее простейших задач. Даже в «крестиках-ноликах» существуют тысячи уникальных позиций, а число возможных комбинаций в игре го выражается 170‐значным числом [493]. Всей компьютерной памяти мира не хватит, чтобы сохранить такую таблицу.

Помимо этих практических трудностей, в более сложных средах возникает глубокий философский вопрос: что вообще считать «одной и той же ситуацией»? В играх Atari, например, количество вариантов расположения пикселей настолько велико, что педантичное отслеживание каждого кадра и поощрение за малейшее отличие не приведет к интересному поведению. В играх даже средней сложности вы едва ли когда‐нибудь увидите абсолютно идентичный набор пикселей дважды. С этой точки зрения практически каждая ситуация уникальна, и каждое действие совершалось впервые. Даже если бы вы могли сохранить такую таблицу, пользы от нее было бы немного.

Когда в обычной жизни мы говорим: «Я никогда не сталкивался с такой ситуацией», мы не имеем в виду «именно на этой широте и долготе, в эту наносекунду, при таком же падении света на сетчатку и с теми же мыслями в голове». Такое утверждение было бы технически верным, но бессмысленным. Мы имеем в видуключевые, порой едва уловимые характеристики ситуации. Именно по ним мы судим о новизне.

В играх Atari нам хотелось бы уметь определять, является ли текущая ситуация на экране по сути похожей на те, что мы видели раньше, и находить глубинные, неочевидные связи между ними.

В лондонском офисе DeepMind Марк Беллемаре задался вопросом: как адаптировать эту красивую, но труднореализуемую идею «подсчета посещений» для сложных сред? В играх вродеFroggerилиFreeway, где нужно пересечь оживленную трассу, каждое успешное пересечение должно засчитываться как знакомое действие, даже если поток машин каждый раз генерируется случайно.

Беллемаре и его коллеги экспериментировали с математической концепцией «плотностной модели», и она показалась им перспективной [494]. Идея заключалась в использовании обучения без учителя для создания модели, способной предсказывать недостающие части изображения на основе контекста. (Это напоминает Word2vec и другие языковые модели, предсказывающие пропущенные слова в тексте.) Ученые «скармливали» этой модели все скриншоты, увиденные агентом, а затем использовали ее прогнозы для оценки вероятности: насколько «предсказуем» каждый новый экран с учетом прошлого опыта? Чем выше вероятность, тем знакомее экран; чем она ниже – тем выше новизна. Идея была заманчивой, но оставалось непонятным, как заставить ее работать на практике.

Они начали эксперименты с игрой Q*bert (классика Atari начала 1980‐х), где нужно прыгать по пирамиде из кубов, перекрашивая их, чтобы перейти на следующий уровень. Исследователи запустили DQN-агента, который учился играть с нуля, и вывели на экран индикатор «новизны», основанный на их плотностной модели.

Поначалувсебыло совершенно новым – совсем как у людей. Индикатор зашкаливал: каждый кадр регистрировался как невиданный ранее. Ученые тренировали агента несколько часов, позволяя ему сосредоточиться на зарабатывании очков (в Q*bert дают 25 очков за каждый перекрашенный блок). Затем они стали наблюдать за игрой опытного агента. Он прыгал по пирамиде, набирая очки, а зеленая полоска новизны (технически – отрицательный логарифм вероятности) едва отрывалась от нуля. Агент все это уже видел.

Беллемаре нашел запись тренировки, где агенту впервые удалось пройти первый уровень, и включил повтор. К его удовлетворению, по мере приближения к концу уровня зеленая полоса поползла вверх.

«Агент двигался к финалу уровня и словно говорил: „О, а вот этого я раньше не видел! Это мне в новинку“, – рассказывал Беллемаре. – Получилась красивая зависимость: чем ближе к концу игры, тем сильнее сигнал» [495].

Агент прыгнул на последний блок, пройдя уровень в первый раз. Экран заполнился вспышками, пирамида из бирюзовых кубов исчезла, и на ее месте возникла новая, ярко-оранжевая. «Вы только посмотрите на это!» – воскликнул Беллемаре. Зеленая полоска подскочила вверх. Новизна зашкаливала. «Агент мгновенно понял: „Я здесь еще никогда не был!“»

Казалось, плотностная модель верно улавливала суть новизны в сложных разнообразных средах, слишком больших для прямого подсчета вариантов. «Мы смотрели на результаты и думали: с этим определенно можно что‐то сделать».

Теперь вопрос стоял так: смогут ли исследователи использовать эту модель (они назвали ее «псевдоподсчетом»), чтобы мотивировать агента искать новые состояния? [496] Что, если награждать его не за игровые очки, а просто за то, что он видит что‐то новое? Получатся ли агенты, способные прогрессировать быстрее, чем те, что просто максимизируют награду и иногда действуют наугад?

Ставки были высоки. «Мы очень волновались, – рассказывал Беллемаре, – ведь мы были в шаге от того, чтобы расколоть „твердый орешек“Montezuma’s Revenge».

В храме, где застрял Панама Джо, 24 комнаты. После трех недель непрерывной игры DQN-агент, показавший сверхчеловеческие результаты в других играх Atari, смог добраться только до второй комнаты. Перед ним лежал огромный неизведанный храм, полный опасностей и скупой на награды. Возможно, если вознаграждать игрока просто за новизну, он сможет зайти дальше, чем кто‐либо до него?

Беллемаре и его группа надеялись, что агент, воспринимая сигналы новизны как дополнительные бонусы к очкам, станет более мотивированным и успешным. Они запустили обучение на тот же срок, что и для обычного DQN-агента – сто миллионов кадров, или почти три недели круглосуточной игры. Разница была потрясающей.

Тот же DQN-агент, но обучаемый с учетом новизны, гораздо быстрее нашел первый ключ и за отведенное время прошел не две, апятнадцатькомнат храма. Агент, движимый любопытством, не только набрал больше очков – он демонстрировал качественно иное поведение. «Предпочтение новизны» удалось превратить в эффективный инструмент исследования территории, где одних наград было недостаточно.

И в этом поведении чувствовалось что‐то человеческое. Агент не просто дергал джойстик, когда не было награды. У него появилась внутренняя причина действовать.

«Агент с псевдоподсчетомтут жевыбрался наружу и отправился исследовать мир», – говорил Беллемаре.

Прелесть неожиданности

Механизм познавательного любопытства… работает с помощью эквивалента концептуального конфликта, его функция – в сущности, мотивационная.

Даниэль Берлайн [497]

Дети – не маленькие ученые, это ученые – большие дети.

Элисон Гопник [498]

Еще одно

Одна из ведущих ученых, изучающих роль неожиданности в развитии, – Лора Шульц из Массачусетского технологического института. В 2007 году она провела эксперимент с детьми, которые играли с коробками, откуда выскакивали различные игрушки [500]. Исследователи ненадолго забирали знакомую игрушку, а затем возвращали старую коробку вместе с новой, другого цвета. После этого они оставляли обе игрушки перед ребенком и наблюдали, к какой из них он потянется.

«На тот момент все, что мы знали о детских играх и любопытстве, сводилось к следующему, – рассказывал Шульц. – Если четырехлетки какое‐то время играют с одной коробкой, а затем им дают новую, они обязательно выберут ее. Они должны немедленно переключиться на новую коробку, поскольку основная идея любопытства связана сперцептивнойновизной: эту вещь они еще не видели» [501].

Но Шульц заметила кое-что еще. В некоторых случаях демонстрация первой коробки была неоднозначной. У нее было два рычага, и при одновременном нажатии выскакивали сразу две игрушки. Было непонятно, что произойдет, если нажать только на один рычаг. Может быть, один рычаг активирует сразу обе игрушки, а второй не делает ничего? Или каждый рычаг связан с куклой, расположенной ближе к нему? А может, наоборот? В таких запутанных ситуациях четырехлетки не спешили менять знакомую игрушку на новую. Вместо этого они настойчиво продолжали возиться со старой коробкой, пытаясь разобраться в механизме ее работы.

«Похоже, любопытство в нас часто вызывают не абсолютно новые вещи, а те, которые озадачивают», – говорила Шульц [502].

Стало ясно: неожиданность – то есть неопределенность и возможность получить новую информацию – определяет внутреннюю мотивацию детей так же сильно, как и новизна. Эта идея породила второе, не менее мощное направление исследований, охватившее как когнитивные науки, так и информатику.

Вместе с психологом из Ратгерского университета и группой коллег Шульц продолжила эксперименты, используя утяжеленные кубики. Предварительные наблюдения показали, что примерно в шесть лет дети начинают строить теории о том, как уравновесить предметы разной формы. Некоторые ошибочно полагают, что центр тяжести всегда находится посередине, даже если предмет несимметричен. Другие же считают, что он смещен к более тяжелому концу, что верно. Исследователи с помощью магнитов создали кубики, которые нарушали ожидания обеих групп.

Когда дети сталкивались с кубиками, которые вели себя предсказуемо, срабатывало привычное предпочтение новизны: при первой же возможности они бросали кубики и выбирали новую игрушку. Но дети, которым попадались другие кубики (нарушающие их теорию равновесия), не отходили от них и продолжали играть, даже когда им предлагали замену [503].

Интересно, что дети 4–5 лет, у которых не сформировалась четкая теория равновесия, почти всегда выбирали новую игрушку. У них просто не было достаточных знаний и ожиданий, чтобы удивиться поведению кубиков.

Другие исследования, например работа Эми Сталь и Лизы Фейгенсон из Университета Джона Хопкинса (2005), подтверждают: то, как дети играют, зависит от того, как именно игрушка их удивляет [504]. Если показать им машинку, которая необъяснимо парит в воздухе, они будут ее подбрасывать и ронять. Если машинка проходит сквозь стену, они станут стучать ею по столу. В любом случае ребенок предпочтет удивившую его игрушку новой. (Контрольная группа, которая не видела странностей, стабильно выбирала новую игрушку.) Авторы исследования утверждали, что уже в 11 месяцев дети используют «нарушение ожиданий как особую возможность для обучения».

«Легко считать маленького ребенка „чистым листом“, – говорила Фейгенсон. – Но на самом деле у детей есть богатые и сложные ожидания относительно окружающего мира. Возможно, даже более сложные, чем принято думать». По ее словам, малыши «используют свои знания о мире, чтобы направлять процесс познания и понимать, о чем им нужно узнать больше» [505].

В информатике идея агента, мотивированного не только наградой, но и стремлением понять и предсказать происходящее, стара как само обучение с подкреплением. И неожиданно она принесла плоды.

Дэниел Берлайн, наблюдавший за первыми экспериментами по машинному обучению в 1950‐х, уже тогда задумывался об использовании удивления как подкрепления. Он писал, что будущие исследования могут быть направлены на создание машин, которые совершенствуют свои алгоритмы на основе опыта, стремясь снизить количество ошибок и несоответствий [506].

Немецкий исследователь ИИ Юрген Шмидхубер с 1990 года развивает идею агентов, которые получают вознаграждение за изучение принципов работы среды, то есть за улучшение способности делать прогнозы. «Их можно рассматривать как искусственных ученых или художников, – объясняет он, – движимых внутренним желанием создать лучшую модель мира» [507]. Для Шмидхубера, как и для Берлайна в 60‐х, эта концепция математически связана с теорией информации и, в частности, со сжатием данных: предсказуемый мир проще «сжать».

По мнению Шмидхубера, идея о том, что мы познаем мир, чтобы лучше сжимать свои представления о нем, дает «формальную теорию творчества и веселья». Он поясняет: «Все дело в вычислительных ресурсах. Пока вы не усвоили закономерность, вам требуется много ресурсов. Когда усвоили – гораздо меньше. Разница – это и есть ваша экономия! А ленивый мозг любит экономить».

«И, – он щелкает пальцами, – это весело!» [508]

Как и Берлайн, Шмидхубер интересуется не тем, как люди решают конкретную задачу (выиграть в игру, выйти из лабиринта), а тем, что они делают, когда нет четких инструкций.

Дети здесь – идеальный пример. «Даже когда нет нужды утолять жажду или другую примитивную потребность, младенец не бездельничает. Он активно экспериментирует: какую обратную связь я получу, если переведу взгляд, пошевелю пальцами или языком?» [509]

Шмидхубер отмечает, что в основе любопытства лежит фундаментальное противоречие, своего рода борьба. Исследуя среду – будь это игра Atari, реальный мир или человеческое общество – мы наслаждаемся тем, что нас удивляет, но при этом удивить нас все сложнее. Кажется, что в разуме работают две системы обучения с противоположными целями: одна старается свести неожиданности к нулю, а другая – удивить первую [510].

Почему бы не попытаться сымитировать этот конфликт напрямую? В 2017 году группа из Калифорнийского университета в Беркли под руководством аспиранта Дипака Патака занялась этой задачей. Патак создал агента из двух модулей: один предсказывал результат действия и получал награду, если прогноз сбывался; другой стремился совершать максимально неожиданные действия, получая награду, когда прогноз первого модуля оказывалсяошибочным[511].

В игре

Группа Патака анализировала поведение, порождаемое таким вознаграждением за неожиданность. В трехмерном лабиринте, созданном на движке Doom, они размещали своего агента все дальше и дальше от цели. Агенты, обучаемые только явными наградами были склонны «сдаваться», если не могли найти цель случайным перебором. Агенты же, мотивированные неожиданностью, исследовали лабиринт ради самого процесса: что там за углом? Как выглядит та комната вблизи? В итоге любопытные агенты находили путь к цели в гораздо более сложных лабиринтах, где обычные агенты пасовали.

Команда Патака объединилась с исследователями из OpenAI для дальнейшего изучения ошибки прогнозирования как сигнала вознаграждения. Удивительно, но они обнаружили, что значительное упрощение архитектуры работает не хуже, а иногда и лучше [512]. Вместо нейросети, предсказывающей реальные последствия, они использовали сеть, предсказывающую появление случайных характеристик изображения (Random Network Distillation, RND) [513]. Исследователи из OpenAI под руководством Юрия Бурды и Харрисона Эдвардса доработали этот метод. Вскоре они обратили внимание наMontezuma’s Revenge.

RND-агента отправили в свободное плавание по храму. Движимый только внутренним вознаграждением за неожиданности, он в среднем исследовал от 20 до 22 комнат из 24. Более того, в одном из запусков он сделал нечто невиданное: добрался до последней, 24‐й комнаты и выбрался из храма [514]. Панама Джо открыл последнюю дверь и оказался на фоне синего неба, усеянного драгоценными камнями. Казалось, он падает сквозь небеса – это самый трансцендентный момент в игре. Каждый камень приносил тысячу очков, и это былооченьнеожиданно [515].

За пределами вознаграждения

Становится предельно ясно, что «внутренняя мотивация», основанная на новизне, неожиданности или схожих принципах, – это чрезвычайно полезный инструмент, помогающий системе увеличить внешние вознаграждения от окружающей среды. Он особенно незаменим, когда внешние награды редки или их трудно найти.

Разумеется, возникает искушение спросить: что произойдет, если мы доведем идею алгоритмического любопытства до логического завершения и создадим агентов обучения с подкреплением, которые, как ни парадоксально,вообщене будут заботиться о внешних наградах?

Как будет вести себя такой агент? На что он будет способен?

Практически каждый, кто изучал внутреннюю мотивацию, задавался этим вопросом, и постепенно начала вырисовываться интересная картина.

Марк Беллемаре и его коллеги из DeepMind продолжали работать над расширением вознаграждения, основанного на новизне, в более сложных средах. Их последующая работа привела к открытию того, что они назвали «раздвиганием границ внутренней мотивации» [516]. Ученые увеличивали бонус за новизну в 10–100 раз и наблюдали как количественные, так и качественные изменения в поведении.

Вполне ожидаемо агент начал вести себя несколько возбужденно. Вместо того чтобы сосредоточиться на наборе очков (что часто приводит к стабильному и предсказуемому накоплению опыта), «максимально любопытный» агент получал исключительно за исследовательское поведение. Эти вознаграждения нестабильны: они исчезают по мере того, как среда становится знакомой [517]. Поэтому агент неустанно охотится за новым вместо того, чтобы вырабатывать устойчивые шаблоны поведения.

Менее ожидаемым было то, насколько успешно агент действовал в игре, несмотря на безразличие к счету. Агенты с гипертрофированным бонусом за новизну набрали наибольшее количество очков в четырех разных играх. Любопытство породило мастерство. Удивительно, но вознаграждения исключительно за новизну, без доступа к счету, оказалось достаточно для успешной игры во многих проектах Atari – о существовании очков агенты даже не подозревали!

Разумеется, нужно сказать, что хорошие игры разрабатываются с учетом внутренней мотивации человека. Очки – это всего лишь пиксели в углу экрана, и игрок сам решает, важны они для него или нет. Поэтому вполне объяснимо, что любопытство и тяга к исследованиям оказались подходящей заменой стремлению максимизировать счет. По крайней мере, это справедливо для большинства игр. Например, вSuper Mario Bros.очки даются за сбор монет, разбивание кирпичей и прыжки на врагов, но суть игры – вести Марио вперед, к неизведанным местам. В этом смысле агент с внутренней мотивацией, возможно, лучше соответствует духу игры, чем тот, что руководствуется желанием собирать очки, которые в итоге оказываются бессмысленными.

Группа Дипака Патака в Беркли, а также Юрий Бурда и Харри Эдвардс из OpenAI продолжили работу над этой проблемой, проведя совместное масштабное и систематическое исследование обучения без каких‐либо внешних вознаграждений [518].

Одной из самых поразительных находок стало то, что в большинстве случаев нет необходимости явно сообщать агенту о его смерти. Если цель – максимизировать внешний счет, сигнал о гибели действительно полезен: это одновременно и финальный вердикт по набранным очкам, и сообщение о том, что больше баллов получить не удастся (что обычно снижает желание умирать снова). Но для агента, движимого чистым любопытством, смерть означает лишь перезагрузку игры, а это невероятно скучно! Начало игры – самый знакомый и изученный этап, в нем нет ни новизны, ни сюрпризов. Оказалось, что скука сама по себе служит необходимым сдерживающим фактором [519].

Также обнаружилось интересное исключение из списка игр, в которых внутренне мотивированные агенты набирали на удивление много очков. Этим исключением стала играPong. Агент, движимый только внутренними стимулами и безразличный к счету, играет не ради победы над соперником, а ради того, чтобы сделать розыгрыш мяча максимально долгим. Ведь если кто‐то забивает гол, начинается новый раунд, что для агента равносильно скучной «перезагрузке» после смерти в других играх. Возвращение к заезженной стартовой позиции – это тоска по сравнению с непредсказуемыми ситуациями, возникающими в длинной серии ударов.

Команде стало интересно, что произойдет, если такому агенту выпадет шанс сыграть против своей копии. Как поведут себя два любопытных агента в игре, где победить может только один? Ответ: возникает сотрудничество с ненулевой суммой, поскольку обе стороны стремятся к одной цели – уйти подальше от скучного начального состояния. Другими словами, они бесконечно перебрасываться мячом. «На самом деле, – пишут исследователи, – розыгрыши длились так долго, что „ломали“ наш симулятор Atari». Экран начинал дергаться и покрываться помехами. Ищущие неожиданностей агенты, разумеется, были счастливы [520].

Идея отказаться от игрового счета и создать агента, мотивированного только изнутри, может показаться странной, ведь сфера обучения с подкреплением с момента основания строилась вокруг максимизации внешней награды. Зачем отказываться от главного критерия оценки поведения?

Сатиндер Сингх из университета Мичигана совместно с психологом Ричардом Льюисом

Не ориентироваться на заданный сверху сигнал, а играть в игру на Atari, используя лишь пиксели на экране и интерпретируя их по своему усмотрению, – это, в конце концов, и естьсутькомпьютерных игр.

ВPortal, одной из самых известных игр 2000‐х, искусственный интеллект постоянно обещает игроку торт за прохождение испытаний. Однако на полпути игрок находит зловещее граффити с фразой, ставшей культовой: «Тортик – это ложь». В самом деле, никакого торта в конце нет. Разумеется, этот знаменитый обман нивелируется не только тем, что в лучшем случае мы увидели бы лишь цифровую картинку десерта, но и тем, что мы играем без иллюзий получить что‐то, кроме удовольствия от прогресса, успехов и исследования мира.

Мы не используем мерцающие огни на экране как данные для получения «настоящей» награды в реальном мире. Мерцающие огни и те реакции, к которым они нас побуждают, – это и есть награда. И, судя по тому, сколько времени мы тратим на видеоигры, этого более чем достаточно.

Скука и зависимость

Внутренняя мотивации в обучении с подкреплением – это не только источник эффективного поведения агентов. В ней можно разглядеть искру человеческого желания познавать мир, исследовать и узнавать, что будет дальше. Но здесь отражаются и человеческие слабости – скука и привыкание.

Я спросил Дипака Патака, имеет ли смысл говорить о скуке в контексте искусственного интеллекта. Может ли агент заскучать?

«Безусловно», – ответил он.

На первом уровнеSuper Mario Bros.есть пропасть, которую агент почти никогда не может преодолеть. Для этого нужно удерживать кнопку прыжка 15 кадров подряд, а научиться длинной последовательности точных действий гораздо сложнее, чем коротким и гибким маневрам [523]. В результате агент добирается до края ямы и просто… разворачивается.

«Он физически не может перепрыгнуть, – объяснял Патак, – так что для него это тупик конца мира». Но игра устроена так, что обойти препятствие невозможно. Агент застревает и учится ничего не делать.

Патаку доводилось наблюдать и более общие случай апатии. После долгой игры вSuper Mario Bros.его агент «просто начал останавливаться в начале… Поскольку нигде не было наград, а ошибки предсказания случались все реже, он научился бездействовать и никуда не идти». Агент просто слонялся на старте, не имея мотивации что‐либо делать.

В этом есть какой‐то злой рок. Человек, которому надоела игра, может бросить ее – и обычно так и делает. Мы можем сменить игру или выключить компьютер и заняться чем‐то другим. Агент же (и это кажется жестоким)заперт внутри игры, хотя у него больше нет стимула в нее играть.

С момента появления видеоигр существует и область знаний, изучающая, почему в них весело играть и что делает одну игру увлекательнее другой. Разумеется, тут задействованы как экономические, так и психологические факторы [524].

Мне кажется, что обучение с подкреплением дало нам практический критерий для оценки не только сложности игры (сколько времени потребуется агенту, чтобы стать профессионалом), но и ее интересности (как долго агент играет, не теряя мотивации, и не предпочтет ли он ей другую игру). Вполне возможно, что в следующие десятилетия целевой аудиторией компьютерных игр станут внутренне мотивированные агенты искусственного интеллекта.

Когнитивист Дуглас Хофштадтер в своей книге «Гёдель, Эшер, Бах: эта бесконечная гирлянда»[525], вышедшей в 1979 году и получившей Пулитцеровскую премию, предсказывал будущее игрового программирования, связывая умение играть с мотивацией и интеллектом:

Вопрос: Будут ли созданы шахматные программы, способные обыграть кого угодно?

Возможный ответ: Нет. Могут быть созданы программы, способные обыграть кого угодно, но это будут не просто шахматные программы. Это будут программы с общим интеллектом, и, как и у людей, у них будет характер. «Хотите сыграть партию в шахматы?» – «Нет, шахматы мне надоели. Давайте лучше поговорим о поэзии…»

Сегодня эта цитата выглядит до смешного устаревшей. Постфактум легко рассуждать, зная, что менее чем через 20 лет шахматный компьютер IBM Deep Blue победит чемпиона мира Гарри Каспаровым [526]. Deep Blue была исключительно шахматной программой: она специализировалась только на шахматах. У нее не было никакого общего интеллекта, и она не стремилась обсуждать литературу.

Но, возможно, в этом высказывании есть и глубокая истина. Современные передовые системы обучения с подкреплением действительно универсальны – по крайней мере, в мире игр. Deep Blue такой не была. А вот DQN может с одинаковым успехом играть в десятки игр Atari. AlphaZero одинаково искусна и в шахматах, сёги и го.

Более того, общему искусственному интеллекту (ОИИ), способному обучаться в постоянно меняющемся реальном мире, вероятно, действительно потребуется архитектура, построенная на внутренней мотивации. А такая архитектура неизбежно заставит его заскучать, если он будет заниматься одним и тем же слишком долго.

Противоположность скуки – зависимость. Не отстраненность, а темная сторона увлеченности, патологическое повторение или упорство. И здесь обучение с подкреплением демонстрирует модели поведения, пугающе напоминающие человеческие.

Исследователи внутренней мотивации говорят о так называемой «проблеме шумного телевизора». Что, если в среде есть неистощимый источник случайности или новизны? Не окажется ли внутренне мотивированный агент бессилен перед ним?

Представьте, что где‐то в мире есть источник непредсказуемого визуального «шума». В классическом примере это телевизор с помехами («белыми шумом»), но его роль могут сыграть языки пламени, падающие листья или бегущая вода. Каждая новая конфигурация света и тени становится бесконечным калейдоскопом для любопытного наблюдателя.Теоретическиагент, столкнувшийся с таким явлением, должен мгновенно замереть на месте.

Большинство простых игр Atari 1970–80‐х годов не содержат таких источников визуальной случайности, поэтому с «проблемой шумного телевизора» на правктике долго сталкивались. Патак, Бурда и Эдвардс решили воплотить этот мысленный эксперимент в жизнь. Они создали простую игру с трехмерным лабиринтом, где агенту нужно было найти выход. Но в одной из версий на стене висел телевизор, и агент мог переключать каналы. Что же произошло?

Как только агент добрался до телевизора, исследование лабиринта прекратилось. Агент встал перед экраном и начал щелкать пультом. Щелк – летящий самолет. Щелк – милые щенки. Щелк – человек за компьютером. Щелк – машины на улице. Агент купался в волнах новизны и неожиданности. С места он больше не сдвинулся.

Визуальная информация – не единственный опасный источник случайности; им может

Он представил гипотетического агента, которого назвал «ищущим знания». Целью этого агента был «сбор максимального количества информации о неизвестном мире» [527]. Агент Орсо опирался на теоретическую модель AIXI, обладающую бесконечной вычислительной мощностью. Такой всемогущий интеллект не может существовать в реальности, но служит идеальной точкой отсчета: если бы вы могли думать вечно перед каждым действием, что бы вы выбрали? Удивительно, но даже такой сверхразумный агент, ищущий знания, деградировал при виде монетки. «Он предпочитал наблюдать за подбрасыванием монеты, а не исследовать более информативные части среды, – отмечал Орсо. – Причина в том, что подобные агенты ошибочно принимают случайные результаты за сложную информацию» [528].

Когда Б. Ф. Скиннер не обучал голубей, он интересовался природой азартных игр. Казино всегда выигрывает, а вся психология, начиная с Торндайка, строится на идее, что живые существа повторяют действия, приносящие пользу, и избегают вредных. С этой точки зрения пристрастие к азартным играм невозможно. Однако оно существует, и это ставит бихевиористов в тупик. «Такое ощущение, что игроки нарушают закон эффекта, – писал Скиннер, – потому что продолжают играть даже тогда, когда их чистый выигрыш становится отрицательным. Приходится признать, что они играют по какой‐то другой причине» [529]. Кажется, теперь у нас есть отличный кандидат на роль этой причины.

Азартные игры, возможно, подменяют внешнюю награду (которой нет, ведь казино выигрывает)внутренней. Случайные события всегданемногоудивляют, даже если мы прекрасно понимаем их вероятность (как при честном броске монеты).

В главе 4 мы говорили о роли дофамина в кодировании ошибок прогнозирования ошибок – случаев, когда результат оказывается лучше или хуже ожидаемого. Однако есть случаи, не вписывающихся в эту схему. На рубеже веков появилось все больше доказательств того, чтоновыеинеожиданныесобытия вызывают выброс дофамина независимо от того, связано ли с ними какое‐либо «вознаграждение» [530].

Как раз в то время, когда компьютерные ученые открыли ценность новизны и неожиданности как формы вознаграждения, нейробиологи обнаружили подобный механизм в нашем мозге.

Вместе с тем становится понятнее, как эти полезные механизмы могут выйти из-под контроля. Агенты обучения с подкреплением способны почувствовать непреодолимую тягу к переключению каналов или игровым автоматом, и то же самое может произойти и с нами. Поскольку результат в таких ситуациях никогда в точности не совпадает с ожиданиями, там всегда присутствует элемент неожиданности, создающий иллюзию возможности чему‐то «научить». Мы не привыкли думать о зависимости как об избыткемотивацииилюбопытства, но, по сути, именно так этот механизм и работает.

Из любви к искусству

Изучение внутренней мотивации в информатике дает нам мощный инструментарий для прогресса в сложных обучающих средах – играMontezuma’s Revengeлишь один из примеров. На более глубоком уровне это направление, опираясь на успешный эмпирический опыт, объясняет, почему у нас самих существуют такие ярко выраженные мотивации.

Чтобы лучше понять собственные стремления, мы можем использовать взаимодополняющие открытия о том, как создать искусственный интеллект столь же гибким, устойчивым и интеллектуально всеядным, как наш разум.

Дипак Патак видит в успехах глубокого обучения одну явную слабость: каждая система, будь то машинный перевод, распознавание объектов или игры, разработана под конкретную цель. Обучение нейросети на огромном массиве вручную размеченных данных когда‐то стало прорывом. Мы научили систему сортировать картинки, и это действительно впечатляет, считает Патак. «Но проблема в том, что эти системы на самом деле интеллектом не обладают. Им не хватает главного компонента человеческого бытия – универсальности поведения и обучения» [531].

По мнению Патака, создание универсальной системы потребует отказа от узкоспециализированного мышления и от главного «костыля» – огромного количества явной информации о вознаграждении. Системам вроде AlexNet нужны сотни тысяч размеченных людьми фотографий. Но люди в начале жизни учатся видеть мир совсем иначе. То же касается и обучения с подкреплением: в играх Atari система каждую долю секунды получает четкую обратную связь о своих успехах. «Это работает отлично, но требует чего‐то очень странного – постоянного внешнего подкрепления», – говорит исследователь.

Отказ от жестко заданных внешних наград может стать необходимым шагом к созданию по-настоящему универсального ИИ. Жизнь, в отличие от игры Atari, не предоставляет размеченных данных и мгновенной оценки каждого действия. У нас есть родители и учителя, которые могут поправить речь или поведение, но это лишь малая часть нашего опыта. К тому же авторитеты не всегда согласны друг с другом. Более того, взросление подразумевает умение самостоятельно выносить суждения.

«Условием для настоящего прорыва, на мой взгляд, стало бы полное исключение вознаграждения, – говорит Беллемаре. – Это выводит меня за пределы зоны комфорта, но я полагаю, что самое интересное, что мы можем сделать с ИИ, – это позволить ему вырабатывать свои собственные цели. Существует проблема безопасности, но я хотел бы, видеть агента, которого можно забросить вMontezuma’s Revenge, и он будет играть просто потому, что ему это нравится» [532].

«Мы говорили об Аркадной обучающей среде как о вехе в истории отрасли, – продолжает Беллемаре. – Но для меня с ALE в каком‐то смысле покончено. Как и с максимизацией счета». По его мнению, высокий счет, полученный машиной, просто перебирающей варианты ради очков, не является признаком интеллекта, какими бы впечатляющими ни были цифры: «Я действительно думаю, что интеллект нужно измерять поведением, а не функцией вознаграждения». Каким может быть это поведение – один из центральных вопросов для исследователя.

Работа Орсо над агентами, стремящимися к знаниям, также намечает контуры сознания, движимого исключительно тягой к познанию. Предварительный анализ обнадеживает. Искусственный агент, нацеленный на максимизацию счета или достижение состояния, всегда рискует найти лазейку: взломать систему начисления очков или создать эскапистскую фантазию, где цели легко достижимы. Орсо подчеркивает, что хотя мы видим в этом жульничество, смысл действий агента иной: «Я просто совершаю действия, чтобы максимизировать награду. Агент не понимает, что делает что‐то плохое. Он просто пробует разные варианты, находит работающий – так почему бы его не использовать?» [533]

Агент, стремящийся к знаниям, не ищет таких обходных путей. Самообман не представляет для него интереса. «Представьте, что вы подделываете данные наблюдений… Какую информацию вы получите? Никакой, ведь вы заранее знаете результат» [534]. Благодаря такой устойчивости агент, ищущий знания, «может лучше подойти на роль общего искусственного интеллекта в нашем мире – месте, где можно легко обмануть себя множеством способов» [535].

Конечно, есть причины для

Идея и этика интеллекта, руководствующегося по большей части (или исключительно) любопытством, не нова. Ее появление предсказали не в прошлом десятилетии, а в прошлом тысячелетии. В знаменитом диалоге Платона «Протагор» Сократ размышляет об этом и дает точное определение.

«Знание прекрасно и способно управлять человеком, так что того, кто познал хорошее и плохое, ничто уже не заставит поступать иначе, чем велит знание, и разум достаточно силен, чтобы помочь человеку» [536].

Часть 3

Нормативность

7. Имитация

Мне было шесть лет, когда родители сказали, что внутри моего черепа есть маленький темный драгоценный камень, который учится быть мной.

Грег Иган [537]

Смотри, как я могу!

Илон Маск Питеру Тилю сразу же перед тем, как потерять управление и разбить свой незастрахованный автомобиль MCLAREN F1 стоимостью миллион долларов [538]

Когда кто‐то кому‐то подражает, мы говорим, что он «обезьянничает» (по-английскиto ape). Мы в этом не одиноки: эта лингвистическая особенность снова и снова появляется в разных языках и культурах. Итальянскоеscimmiottare, французскоеsinger, португальскоеmacaquear, немецкоеnachäffen, болгарскоеmajmuna, русское обезьянничать, венгерскоеmajmol, польскоеmałpować, эстонскоеahvima– все это глаголы, означающие имитацию и подражание, этимологически связаны с приматами [539].

Репутация обезьян как прекрасных имитаторов закрепилась не только в языке, но и в науке более полутора веков назад. В 1882 году биолог XIX века и друг Чарльза Дарвина Джордж-Джон Роменс писал о том, что Дарвин называл «принципом имитации»:

«Общеизвестно, что обезьяны довели этот принцип до смешного. Они являются единственными животными, которые имитируют из страсти к подражанию… хотя, возможно, стоит сделать исключение для говорящих птиц» [540].

Эта особенность действительно вошла в поговорки удивительно большого числа культур. И по иронии судьбы, истиной она не является.

Специалисты по приматам Элизабетта Висалберги и Дороти Фрагази, задавшись вопросом «Подражают ли обезьяны?», непредвзято изучили факты. Проведя обзор литературы и собственные эксперименты, они были вынуждены прийти к выводу, что «в подавляющем большинстве имитация у обезьян отсутствует». «Отсутствие подражания у обезьян, – писали исследовательницы, – очевидно, если рассматривать как их поведение при использовании инструментов, так и произвольное поведение, например позы, жесты или решение проблем» [541].

Последовавшая за этим работа специалиста по сравнительной психологии Майкла Томаселло задает тот же вопрос о наших родственниках-приматах – «Обезьянничают ли обезьяны?» – и приходит к такому же выводу, хотя и признает возможное исключение для ближайших генетических родственников человека – шимпанзе. (То, до какой степени шимпанзе склонны к имитации в дикой природе и каких высот достигают при дрессировке, остается вопросом дискуссионным.) «Мой ответ на более общий вопрос о том, обезьянничают ли обезьяны, – говорит Томаселло, – будет положительным, но только тогда, когда люди явно или неявно обучают их этому (и даже в этих случаях, возможно, не до конца)» [542]. Так что репутация приматов как имитаторов совершенно незаслуженна.

Но среди них есть один вид, который можно назвать естественным, активным и поразительным подражателем, инстинктивно склонным к имитации.

Это мы, люди.

В 1930 году психолог Уинтроп Келлог из Университета Индианы и его жена Люэлла в течение девяти месяцев растили своего маленького сына Дональда вместе с детенышем шимпанзе по имени Гуа. Относились к ним одинаково, как к детям в одной семье. В книге «Обезьяна и ребенок», которую супруги написали об эксперименте, они отмечают, что «из-за репутации шимпанзе как отличного имитатора наблюдатели с самого начала ожидают именно такого поведения. Но, каким бы странным это ни казалось, подражание у Гуа проявлялось в гораздо в меньшей степени, чем у мальчика».

Дональд и в самом деле был активным и успешным имитатором, подражая как родителям, так и своей «сестре». В 17 месяцев он поразил отца, разгуливая из стороны в сторону, заложив руки за спину, – вылитый Уинтроп в минуты глубоких размышлений. Однако куда чаще Дональд имитировал Гуа, свою ровесницу и товарища по играм. Хотя к моменту появления шимпанзе Дональд уже умел ходить и в младенчестве почти не ползал, он начал повторять за Гуа и передвигаться на четвереньках. Увидев фрукт, Дональд научился ухать и подражать обезьяньему крику. Несколько обеспокоенные родители вскоре прервали эксперимент [543].

Доказательств того, что именно люди являются идеальными естественными подражателями, становилось все больше. Например, если показать язык младенцу, которому нет и часа от роду, он покажет язык в ответ [544]. Это достижение особенно поражает, учитывая, что младенец еще не видел своего лица (как говорит Элисон Гопник, «в матке зеркал нет» [545]). Так что подражание здесь кроссмодальное: дети имитируют то, как вы выглядите, высовывая язык, опираясь на то, что ощущают, делая это сами. И все это – в первые 40 минут жизни.

Эту потрясающую способность в 1977 году открыл Эндрю Мелцофф из университета Вашингтона. Его находка перевернула психологические представления целого поколения. Легендарный швейцарский психолог Жан Пиаже (влияние которого в XX веке уступало только Фрейду [546]) в 1937 году писал, что «ребенок на ранних стадиях развития воспринимает мир как солипсист… Но шаг за шагом, по мере координации работы его интеллектуальных инструментов, он занимает свое место в устойчивом мире и рассматривается как активный субъект среди других активных субъектов» [547].

Мелцофф, признавая все заслуги великого швейцарца, считает, что в данном случае дело обстоит ровно наоборот. «Мы должны пересмотреть наше представление о раннем детстве, – говорит он. – Распознавание идентичности себя и другого – это не результат, а основа социального познания» [548]. Подражание, по его словам, – это «начальная точка психологического развития в раннем возрасте, а не его кульминация» [549].

Склонность к имитации проявляется почти сразу после рождения, но это далеко не просто рефлекс. Она показывает удивительный уровень сложности в выборе того, кого, что и когда имитируют дети. Мы начали понимать это лишь в последние пару десятков лет.

Например, малыши будут подражать действиям взрослых, только если те делают что‐то интересное, а не то, что кажется бесполезным [550]. Также у маленьких детей, возможно, есть особое чувство того, что на свете существуют другие люди, которые заставляют вещи работать: они не будут подражать

Также вполне вероятно, что младенцы прекрасно осознают, когда имитируют их. В фильме 1933 года «Утиный суп» с братьями Маркс есть знаменитая сцена: Харпо притворяется отражением Граучо в зеркале и копирует каждое его движение. Мелцофф провел подобный эксперимент: взрослые либо имитировали движения младенцев, либо выполняли серию заранее запланированных действий. Как и Граучо, дети придумывали сложные или необычные движения, чтобы проверить, действительно ли взрослый им подражает [552].

Для Мелцоффа эта глубоко укоренившаяся способность узнавать себя в соотношении с другими, которых мы считаем подобными себе, – начало не только психологического развития. Как он говорит, это «базовое, зачаточное основание для развития социальных норм, ценностей, этики, эмпатии… Это подражание движениям тела, словно Большой взрыв, становится началом всего» [553].

Чрезмерное подражание

Представьте, что вы учите кого‐то нарезать луковицу и говорите: «А теперь попробуй сделать так же». Затем вы покашливаете и начинаете резать. Ваш ученик внимательно наблюдает и, прежде чем взять нож, тожепокашливает, ожидая вашего одобрения. Он не просто подражает вам, он подражаетчрезмерно,копируя даже те действия, которые не имеют отношения к задаче и не влияют на результат [554].

Исследователи, изучавшие имитационное поведение у людей и шимпанзе, с удивлением обнаружили, что такое чрезмерное подражание чаще встречается у людей, чем у обезьян. Это кажется нелогичным: почему шимпанзе лучше понимают, какие действия важны для результата, и воспроизводят только их?

В одном из самых показательных исследований использовалась пластиковая коробка с двумя закрытыми отверстиями: сверху и спереди. Экспериментатор сначала открывал верхнее отверстие, потом переднее, а затем засовывал руку в переднее и доставал лакомство. Когда шимпанзе показывали это на непрозрачной черной коробке, они послушно повторяли оба действия в том же порядке. Но когда коробка была прозрачной, обезьяны видели, что открывание верхнего отверстия никак не помогает достать еду. В этом случае они сразу открывали переднее отверстие, полностью игнорируя верхнее. Трехлетние дети, напротив, повторяли ненужный первый шаг,даже если видели, что он бесполезен[555].

Ученые предположили, что дети просто медленнее усваивают нужное действие. Они повторили эксперимент с пятилетками. Стало толькохуже! Старшие дети были склонны к еще большему чрезмерному подражанию [556]. В этом не было никакого смысла. Что же происходило?

Загадка становилась все страннее. Исследователи подумали, что дети копируют лишние движения ради одобрения взрослого. Но даже когда экспериментатор выходил из комнаты, дети продолжали делать то же самое. Тогда ученые спросили детей (и трехлетних, и пятилетних), могут ли они отличить действия, которые «нужно делать», от «глупых и ненужных». Дети ответили утвердительно! Но даже показав, что понимают разницу, онипо-прежнемувоспроизводили оба действия [557].

Наконец экспериментаторы попросили детей не делать ничего «глупого и лишнего». И это не помогло. Дети соглашались с инструкцией, но подражали чрезмерно.

Это выглядело парадоксально: по мере развития и роста когнитивных способностей дети демонстрировали меньше контроля над бессмысленным подражанием [558].

Ключ к разгадке нашелся в исследовании 14‐месячных малышей, проведенном венгерским психологом Дьердем Гергеем. Дети видели взрослого, сидящего за столом. Он наклонялся и касался лбом лампочки, отчего та загоралась. Но здесь была хитрость. В половине случаев руки взрослого лежали на столе. В другой половине он притворялся, что мерзнет, и придерживал руками одеяло. Те малыши, которые видели руки взрослого свободными, в точности повторяли действие: наклонялись и касались лампочки головой. Но те, кто видел, что руки заняты одеялом, просто включали лампочку рукой [559].

Здесь явно крылось что‐то важное. Дети чуть старше года уже могли оценить, действует ли взрослый странно по своему желанию или из необходимости. Их логика была такова: «Если взрослый наклоняется и касается лампочки головой, хотя его руки свободны, значит, для этого должна быть причина!» Если действие выглядело намеренным, дети копировали его в точности. Это позволило увидеть проблему чрезмерного подражания в новом свете. В действиях детей не было ничего бессмысленного и механического. Наоборот – они делали обоснованный, разумный вывод, полагая, что взрослый поступает рационально, и старались повторить его действия максимально точно.

Неожиданно стало понятно, почему такое поведение усиливается с возрастом. По мере накопления опыта дети учатся моделировать сознание других людей. В случае с прозрачной коробкой они видят, что открывание верхней крышки бесполезно. Но они понимают, чтовзрослый тоже это видит! Если он видит бесполезность действия, но все равно его совершает, значит, на то есть причина. А раз мы не можем понять причину, лучше просто повторить за ним.

У шимпанзе, напротив, нет модели человеческого разума. Их логика проще: «Человек глуп и действует неэффективно. Я вижу лучший путь к еде и воспользуюсь им».

Так разрешился кажущийся парадокс. В странном искусственном сценарии эксперимента шимпанзе действовали верно. Но чрезмерно подражающий ребенок был когнитивно более развит: он опирался на более глубокое понимание ситуации. В реальной жизни взрослые (если они не экспериментаторы) редко совершают бессмысленные действия, понимая, как поступить лучше. Ребенок выглядел глупо, делая лишние движения, но лишь потому, что взрослые вводили его в заблуждение или были неискренни. Пустьимбудет стыдно!

Поздние работы подтвердили тонкость этих механизмов. Дети с раннего возраста очень чувствительны к тому, пытается ли взрослый их научить или просто экспериментирует. Когда взрослый выступает как учитель («Я сейчас покажу тебе, как это работает»), дети доверчиво повторяют даже ненужные действия. Но если взрослый говорит: «Я сам еще не играл в эту игру», ребенок будет повторять только полезные действия и игнорировать «глупые» [560]. Снова оказалось, что чрезмерное подражание – это не иррациональность или лень, а результат сложного (хоть и ошибочного в данном случае) анализа намерений учителя.

Все это свидетельствует об огромном когнитивном опыте, скрытым за тем, что кажется простым подражанием. Мы по-новому взглянули на умственные способности детей и осознали, насколько сложна вычислительная задача, стоящая перед машинным обучением, когда мы просто говорим системе: «Смотри и повторяй».

Имитационное обучение

Если мы, люди, являемся уникальными существами, предрасположенными к подражанию, возникает закономерный вопрос: почему? Что делает имитацию таким мощным инструментом обучения? Оказывается, у имитационного обучения есть как минимум три преимущества перед методом проб и ошибок или прямыми инструкциями.

Мы уже видели, как исследователи машинного обучения заимствовали из психологии такие концепции, как формирование навыков и внутренняя мотивация. Подражание оказалось не менее богатым источником вдохновения; по сути, оно легло в основу успеха множества ИИ-проектов в ХХ и XXI веках.

В 2015 году знаменитые скалолазы Томми Колдуэлл и Кевин Йоргенсон вошли в историю, совершив первое успешное восхождение на «Стену Рассвета» – отвесный гранитный монолит высотой 914 метров в национальном парке Йосемити. ЖурналOutsideназвал это «самым сложным восхождением в мире» [561]. Колдуэллу и Йоргенсону потребовалось восемь лет, чтобы спланировать маршрут, опробовать различные участки, связать их воедино и найти единственный физически возможный путь от подножия к вершине. «Стена Рассвета, – по словам Колдуэлла, – была намного сложнее всего, что я делал раньше» [562]. Издалека скала казалась абсолютно гладкой, непроницаемой стеной. Небольшие зацепы выглядели совершенно непригодными для человека. «На этом маршруте мне приходилось делать пальцами самые немыслимые вещи в моей жизни, – вспоминал Колдуэлл. – Я буквально цеплялся за мельчайшие трещины» [563].

На следующий год Адам Ондра, восходящая звезда скалолазания из Чехии, сумел повторить этот маршрут всего после нескольких недель разведки и тренировок. Он объяснял свою скорость не только тем, что ему показали готовый путь, но и самим знанием о том, что это восхождение вообще возможно. Колдуэлл и Йоргенсон, начиная свою изнурительную восьмилетнюю экспедицию, такой уверенности не имели. Ондра сказал об этом так:

«То, что Томми и Кевин приложили столько усилий, потратив годы и годы… производит глубочайшее впечатление. На сложных участках было столько пугающих моментов, когда можно было подумать: «Нет. Это невозможно». И только после изучения каждой крошечной трещинки в голову приходило единственное верное решение. Мне было гораздо легче разгадывать эти бонусы, поскольку я знал, что другие уже сделали это… Они были первопроходцами, а я очень горд, что стал первым, кто повторил их достижение [564].

Первое восхождение потребовало восьми лет тяжелейшего труда и сомнений. Второе – нескольких недель изучения и тренировок, так как спортсмена поддерживала уверенность в том, что путь существует, каким бы фантастическим он ни казался.

Ранее мы обсуждали игруMontezuma’s Revenge, где нужно выполнить невероятное количество действий, чтобы получить хотя бы первую награду. Но даже после этого путь к победе остается туманным, обнадеживающая обратная связь – редкой, а цена ошибки – катастрофической. Для алгоритмов обучения с подкреплением эта игра стала своей «Стеной Рассвета» – гладкой, неприступной скалой, бросающей вызов. Даже с использованием таких методов, как поощрение за новизну и внутренняя мотивация, агенту требуются миллионы попыток, чтобы изучить механику и найти путь к успеху. Но что, если агент не будет исследовать игру в одиночку? Что, если дать ему пример для подражания?

В 2018 году команда DeepMind под руководством Юсуфа Айтара и Тобиаса Пфаффа, выдвинула гениальную идею. Они задались вопросом: может ли агент научиться играть, не исследуя мир вслепую, а… просматривая видеоролики?

Идея была дерзкой и достаточно безумной, чтобы сработать. Полно видео, где играют люди. Агент мог бы, по сути, оценить успешность различных действий, просто наблюдая за тем, как их выполняют другие. К моменту, когда приходила его очередь играть, он уже имел общее представление о том, что нужно делать. Этот первый агент, обученный подражать людям, на тот момент превзошел любой ИИ, тренировавшийся исключительно методом проб и ошибок. Говоря точнее (предвосхищая крупные успехи внутренней мотивации в конце 2018 года), это был первый ИИ-агент, который сумел выбраться из храма вMontezuma’s Revenge, получив на старте небольшую помощь в виде человеческого примера [565].

Второе критически важное преимущество имитации –безопасность. Обучение через бесконечные провалы отлично работает в мире Atari, где смерть – это всего лишь перезагрузка уровня [566]. В реальной жизни мы не можем позволить себе роскошь ошибиться сотни тысяч раз, чтобы в итоге сделать все правильно. Хирург или пилот истребителя должны отточить свои навыки до невероятной точности, так и не совершив ни одной фатальной ошибки. Суть этого процесса – наблюдение за реальными, записанными на видео или даже гипотетическими историями успехов и неудач своих предшественников.

Третье преимущество имитации в том, что она помогает освоить навыки, которыетрудно описать словами. Психолог XIX века Конвей Ллойд Морган имел в виду именно это, когда писал: «Пятиминутный показ стоит больше, чем пять часов разговоров, когда цель состоит в том, чтобы привить навык. В описании или объяснении того, как что‐то делается, пользы довольно мало; гораздо полезнее показать это» [567]. Это подтверждается каждый раз, когда мы пытаемся объяснить физическое действие: «А теперь отведи локоть на двадцать семь градусов и быстро, но не слишком, крутани запястьем…» То же самое касается попыток объяснить ученику глобальнуюцель. В играх Atari команда вроде «набери как можно больше очков» или «пройди уровень как можно быстрее» обычно работает. Но в реальном мире бывает чрезвычайно трудно формализовать то, что должна усвоить система.

Самый классический пример – управление автомобилем. Мы хотим доехать из пункта А в пункт Б как можно быстрее, но не нарушая скоростной режим (или превышая его не слишком сильно, если ситуация вынуждает), оставаясь в центре своей полосы (если там нет мотоциклиста или сломавшейся машины) и не обгоняя справа (если только это не безопаснее, чем тормозить). Невероятно сложно превратить всю эту гамму неписанных правил в строгую математическую функцию, которую можно просто «скормить» системе для оптимизации.

В таких случаях лучше использовать подход, который Ник Бустром из Института будущего человечества назвал «непрямым методом» [568]. Это способ согласовать действия системы с нашими желаниями, не прописывая каждую мелочь в коде. В идеале мы хотим просто сказать: «Смотри, как я веду автомобиль. Делай как я».

Как выяснилось, именно этот подход стал одной из первых идей, легших в основу концепции беспилотных автомобилей. И по сей день он остается одним из лучших.

Рулевое управление

В 1984 году агентство DAPRA запустило проект под названием «Стратегическая компьютерная инициатива» (Strategic Computing Initiative). Его главная идея заключалась в том, чтобы использовать новейшие компьютерные достижения 80‐х годов в трех конкретных военных сферах. Как вспоминает Чак Торп, в то время только получивший докторскую степень по робототехнике в Университете Карнеги-Меллона: «Почему именно в трех? Ну, одна должна была осчастливить армию, другая – военно-воздушные силы, а третья – военно-морские» [569]. ВВС хотели получить «помощника пилота» – автоматизированного второго пилота, понимающего голосовые команды. ВМФ был заинтересован в «системе управления боем», способной помогать с планированием и прогнозированием погоды. А сухопутная армия заказала автономные наземные транспортные средства [570].

В сентябре, успешно защитив диссертацию, Торп сообщил комиссии, что планирует уйти в отпуск на пару недель, чтобы подумать о будушем.

«Эта пятиминутная встреча, – вспоминал Торп, – и стала всем моим отдыхом между получением степени и началом работы».

К 1984 году уже существовали машины, которые в каком‐то смысле управляли сами собой, но даже слово «примитивные» было бы для них комплиментом. Пионер робототехники Ханс Моравек в своей докторской диссертации (Стэнфорд, 1980 год) представил роботизированную «тележку» на велосипедных колесах. Устройство размером со стол с помощью телекамеры могло ездить по комнате, не натыкаясь на стулья и другие препятствия. «Система сравнительно надежна, – писал Моравек, – но очень медленна» [571]. Насколько медленной она была? Тележку запрограммировали двигаться рывками по одному метру за раз. После каждого рывка она останавливалась, делала снимки иот 10 до 15 минутобдумывала следующий – столь же нерешительный – маневр. Таким образом, ее максимальная скорость составляла 0,0064 км/ч.

Робот двигался настолько медленно, что на улице совершенно терялся: за время между рывками солнце смещалось, и изменившиеся тени ставили машину в тупик [572]. Торп вспоминал: «Система оказывалась в окружении красивых, резких теней. Она видела, что тени двигаются, а реальные объекты – нет. В итоге робот решал, что теням можно доверять больше, чем предметам, отключал восприятие реального мира, погружался в мир теней и окончательно сходил с ума».

В 1984 году Моравек перебрался в Карнеги-Меллон, и Торп работал с ним, чтобы сократить время между рывками с 10 минут до 30 секунд. Максимальная скорость выросла до 0,16 км/ч, что уже считалось успехом.

Самым современным компьютером того времени был VAX‐11/784(VAXimus) – устройство высотой и шириной около двух с половиной метров. Роботы, подобные тележке Моравека, подключались к такому компьютеру длинным гибким кабелем. Но чтобы транспортное средство могло по-настоящему передвигаться по улице, оно должно было возить компьютер на себе. А для питания компьютера требовался огромный четырехцилиндровый генератор. Естественно, для всего этого нужна была машина побольше тележки.

Торп и его группа остановили выбор на фургоне «Шевроле» – он был достаточно вместительным, чтобы перевозить и оборудование, и пятерых аспирантов. Как пошутил Торп: «У парней была отличная мотивация писать качественный код, ведь в случае чего они бы первыми оказались на месте аварии. Вы пишете софт гораздо старательнее, когда знаете, что сами поедете на этой машине».

Проект под названием Navlab 1 всерьез стартовал в 1986 году; к тому моменту система делала шаг каждые десять секунд (проезжая около 400 метров в час) [573]. В том же году у Торпа родился сын Лиланд, который невольно стал идеальным спарринг-партнером для робота. «Когда Navlab полз с черепашьей скоростью, сын тоже только ползал. Робот слегка разогнался – сын научился ходить и говорить. Робот стал еще быстрее – Лиланд освоил трехколесный велосипед. Я решил, что это будет соревнование длиной в 16 лет: посмотрим, кто из них первым выедет на автомагистраль Pennsylvania Turnpike» [574].

Гонка закончилась неожиданно быстро, и победу одержала машина. Аспирант Торпа, Дин Померло, создал систему технического зрения на базе нейронной сети. Она камня на камне не оставила от всех предыдущих подходов, которые пробовала команда. «Так что уже в 1990 году, – рассказывал Торп, – робот был готов выехать на шоссе».

Систему назвали ALVINN (Autonomous Land Vehicle in a Neural Network – автономное наземное транспортное средство на нейросети), и ее обучали методом имитации [575]. «Вы ведете машину несколько минут, – объяснял Торп, – а система учится: „ага, если дорога выглядит так, руль надо повернуть вот так, а если эдак – то иначе“. Поэтому, если вы тренировали ее именно на той трассе, по которой предстояло ехать, она прекрасно справлялась с управлением».

Однажды ранним воскресным утром, когда было светло и дороги пустовали, Померло вывел ALVINN на шоссе. Автомобиль проехал весь путь по автомагистрали I‐79 от Питтсбурга до Эри, на берег Великих озер. «Это была настоящая революция», – говорил Торп, подчеркивая не только сам факт достижения, но и простоту модели. ALVINN не имела представления о скорости движения или сцеплении шин с дорогой. Она не умела распознавать объекты, предсказывать траектории чужих машин или понимать свое положение в пространстве. Она не рассчитывала последствия своих действий. «Люди думали, что для поездок на такой скорости, – вспоминал Торп, – понадобятся фильтры Калмана, сложные клотоидные модели дорог и детальные схемы динамики автомобиля. А все, что сделал Дин, – взял простую нейросеть и научил ее одному правилу: „Если дорога выглядит так – держи руль вот так“».

Как подтвердил Померло в интервью местным новостям: «Мы не говорили системе ничего, кроме: „Держи руль, как я. Учись рулить так, как это сейчас делаю я“» [576]. В те годы для этого требовался компьютер размером с холодильник, питавшийся от пятикиловаттного генератора. Его вычислительная мощность составляла примерно десятую часть от умных часов Apple Watch 2016 года выпуска. При этом ALVINN не управляла газом и тормозом (педали нажимал человек), не умела перестраиваться и никак не реагировала на другие машины. Но она работала – и довезла Померло до Великих озер в целости и сохранности, копируя его движения рулем.

Обучать машины подражать нам – одна из самых естественных идей в машинном обучении, и для беспилотного вождения этот путь выглядит особенно привлекательно. Успех ALVINN намекнул на огромные перспективы такого подхода. Если мы хотим создать полностью автономный автомобиль, нам не нужно выпускать его слоняться на улицы, чтобы он путем проб и ошибок (и неизбежных аварий) выводил правила вождения. Вместо этого мы можем «скормить» системе гигантский массив реальных данных и научить ее копировать решения человека. Получая на входе определенную «картину» (скорость, вид через ветровое стекло, вид в зеркале заднего вида и т. д.), система научится предсказывать, что сделал бы человек: нажал на газ, затормозил, повернул руль или ничего бы не менял.

Такой прогностический подход превращает задачу вождения в аналог конкурса ImageNet по классификации изображений. Только вместо того, чтобы распознать на фото собаку, кошку или цветок, системе показывают картинку с видеорегистратора, и ее нужно «классифицировать» как команду: «ускориться», «затормозить», «повернуть налево» и так далее. Мы уже видели, как глубокое обучение позволяет системам применять знания, полученные на знакомых данных, к незнакомым. Если AlexNet может распознать породу собаки, которую никогда не видела раньше, логично предположить, что и автомобиль сможет переносить свой опыт на новые ситуации. Даже оказавшись на незнакомой дороге, при другом свете и в другом потоке машин, он теоретически должен опираться на прошлый опыт и понимать, что делать.

Суть в том, что вам не нужно выпускать «сырой» беспилотник на улицы для самообучения. Вы просто берете видео и

Как говорит своим студентам Сергей Левин из Калифорнийского университета в Беркли: «Самый естественный путь решения таких задач… – это, по сути, тот же подход, которым мы решаем стандартные проблемы компьютерного зрения. Нам нужны данные, поэтому мы сажаем за руль человека… Мы просто записываем видео с камеры и команды управления, которые он отдает, и собираем все это в обучающий датасет. А потом применяем наш любимый метод обучения с учителем – запускаем стохастический градиентный спуск и обучаем нейросеть… Отнеситесь к этому как к обычной задаче классификации. Это вполне разумная отправная точка» [577].

Затем, объясняет Левин, когда мы передаем управление ИИ, он просто превращает свои предсказания («Думаю, человек сейчас поступил бы так») в реальные действия.

Левин на секунду замолкает и спрашивает аудиторию: «У кого‐нибудь есть идеи, что здесь может пойти не так?» [578]

Вверх взлетает лес рук.

Обучение восстановлению

Подражание развивается с опытом. При обучении танцам разница между движениями ученика и наставника так велика, что затрудняет усвоение. На первых порах повторять не так‐то просто. Некоторые движения получаются… но выглядят неправильно. Стремление к сходству толкает к новым попыткам, ведущим к поражению, пока в конце концов тело не совершает верные движения.

Александр Бейн [579]

Что бы я делал? Не попадал бы в такую ситуацию.

Генеральный директор Apple Том Кук в ответ на вопрос, что бы он сделал, оказавшись в конфликтной ситуации с Марком Цукербергом [580]

Наступил 2009 год. С момента создания ALVINN прошло 20 лет, но в том же здании Университета Карнеги-Меллона аспирант Стефан Росс снова работал над проблемой управления, играя вSuper Mario Kart– точнее, в ее бесплатную версию с открытым кодомSuperTuxKart, где главным героем был талисман Linux – пингвин Тукс.

Пока Росс гонял по трассе, компьютер записывал каждое изображение с экрана и каждое движение джойстика. Эти данные использовались для обучения довольно простой нейросети (лишь немного сложнее той, что управляла ALVINN), чтобы она научилась рулить в точности как Росс [581]. Затем он отпускал управление и позволял нейросети вести Тукса. Но очень быстро пингвин слишком широко входил в поворот и вылетал с трассы. Росс начинал заново, но дело шло плохо.

Проблема была в том, что объем данных не имел значения. Росс записал миллионы кадров – около двух часов езды по кругу, – но результат оставался прежним. Стоило передать управление нейросети, Тукс бодро стартовал, а затем начинал вилять и неизбежно улетал в кювет.

Корень проблемы крылся в самой сути обучения: ученик наблюдает за экспертом, а эксперт почти никогда не ошибается. Но какой бы талантливой ни была нейросеть-ученик, она будет совершать ошибки, явные или скрытые. А поскольку она никогда не видела, чтобы эксперт попадал в беду (и тем более – как он из нее выбирался), она понятия не имела, что делать в критической ситуации. Ошибившись, новичок оказывался в положении, которого никогда не было в обучающих данных. «И это означает, – говорил Сергей Левин, – что ситуация становится непредсказуемой».

ВSuperTuxKartРосс играл хорошо, поэтому программа видела только примеры идеальной езды по центру трассы. Но стоило Туксу под управлением нейросети слегка отклониться или поехать криво, система терялась. Картинка на экране отличалось от той, что была у Росса. Требовалась реакция, отличная от стандартного «газ в пол», но нейросеть никогда не видела примеров исправления ошибок. И сколько бы Росс ни наматывал идеальные круги, система не становилась лучше.

Исследователи имитационного обучения называют это «каскадным эффектом», и это одна из фундаментальных проблем метода. Как писал Дин Померло, работая над ALVINN: «Поскольку человек ведет машину по центру дороги, нейросеть никогда не видит ситуаций, где нужно исправлять отклонение от курса» [582]. Обучить этому систему долгое время оставалось сложнейшей задачей.

Если Померло был готов доверить системе свою жизнь на шоссе до озера Эри, ему нужно было дать ей нечто большее, чем просто пассивное наблюдение за идеальной ездой. Иначе система оставалась надежной ровно до первой ошибки. Требовать безошибочной работы от прототипа на протяжении двух часов при скорости 90 км/ч было бы безумием.

«Нейросети нужно показать не только правильное вождение, – писал Померло, – но и то, как возвращаться в центр полосы после ошибки» [583]. Но как это сделать? Одна из идей самого Померло заключалась в том, чтобы во время обучения специально отклоняться от курса, показывая ALVINN, как выравнивать машину. Но для этого нужно было бы удалить из данных момент самого начала отклонения (иначе ALVINN научилась бы вилять специально!). Кроме того, чтобы покрыть все возможные ситуации, пришлось бы вилять по дороге так часто и так хаотично, что это заняло бы уйму времени и было бы просто опасно.

Тогда Померло пришла в голову другая идея: он решил одурачить систему.

Изображения, которые видела ALVINN, были крошечными (30 на 32 пикселя), черно-белыми и зернистыми, охватывая лишь трапециевидный кусок асфальта перед капотом. (Поле зрения было настолько узким, что на перекрестках машина терялась в море асфальта.) Померло взял реальные кадры с камеры и программно сместил их так, будто машина отклонилась влево или вправо. Затем он добавил эти фальшивые кадры в обучающую выборку, приписав к ним правильные команды руля для возвращения в центр. Это потребовало некоторой ювелирной работы (фокус работал только на ровной дороге без ям), но на шоссе I‐79 сработало отлично.

По иронии судьбы, развитие технологий глубокого обучения за последнее десятилетие сделало этот «жульнический» подход почти неприменимым. Современные камеры имеют слишком высокое разрешение, широкий угол обзора и высокую частоту кадров – их так просто не подделаешь. Если сгенерированные изображения будут хоть немного отличаться от того, что машина увидит в реальности при заносе, последствия могут быть фатальными. Доверять свою жизнь навыкам работы в Photoshop – слишком большой риск, а современные нейросети обмануть все труднее.

Спустя 20 лет проблема восстановления после ошибок оставалась нерешенной как на практике, так и в теории. «Когда вы учитесь, наблюдая за кем‐то, – говорил мне Стефан Росс, – вы видите распределение примеров, которые необязательно совпадут с тем, с чем вы столкнетесь сами». Росса видит в этом глубокую проблему: все машинное обучение строится на допущении, что условия обучения и реальной работы одинаковы (тренировочное и тестовое распределения совпадают). Но в имитационном обучении это не так [584].

Росс и его научный руководитель Дрю Багнелл провели теоретический анализ проблемы. В обычном обучении (например, распознавании картинок) ошибки растут линейно: покажите системе

Как оказалось, они его нашли. Ключом стало взаимодействие. Ученик должен не только наблюдать, но и иметь возможность обратиться к учителю: «Эй, я попытался сделать как ты, но получается плохо. Что делать в такой ситуации?»

Росс придумал два способа внедрить такое взаимодействие вSuperTuxKart[586]. Первый: пока нейросеть (поначалу ужасно) вела Тукса по трассе, Росс держал джойстик и двигал им так,как надо было бырулить в этот момент. Система записывала «идеальные» команды для тех «плохих» ситуаций, в которые она сама себя загоняла.

Второй способ: управление случайно переключалось между Россом и нейросетью. «Это как будто ты играешь, а в какой‐то момент руль перехватывает нейросеть. Со временем ты управляешь все реже, но всегда готов вмешаться». Это ощущалось странно, неестественно, но работало. «Машина начинает вилять, ты ее ловишь… – усмехается Росс. – Потом она все реже ошибается, и ты вдруг перестаешь замечать, кто сейчас рулит».

Самым удивительным стало то, что этот метод (Росс назвал его DAgger – Dataset Aggregation) требовал невероятно мало данных. При пассивном наблюдении нейросеть была одинаково беспомощна и после тысячи кадров, и после миллиона. Но с методом DAgger она начинала ехать идеально уже к третьему кругу. «Когда мы этого добились, – рассказывал Росс, – я подумал: „Ух ты, это действительно круто!“ Это работает на порядок лучше стандартного подхода».

Получив докторскую степень, Стефан Росс сменил виртуальные трассыSuperTuxKartна реальные улицы Маунтин-Вью, где теперь возглавляет группу прогнозирования компании Waymo, которая занимается беспилотными автомобилями. Он учит машины предсказывать действия других водителей и пешеходов. «Уровень надежности здесь нужен на порядок выше. Модель должна работать всегда, 99 % времени – это недостаточно хорошо». Задача сложная, но вдохновляющая. «Это один из тех проектов, где успех может реально сделать мир лучше. Одной этой мысли достаточно, чтобы продолжать работать».

Хотя метод DAgger теоретически считается золотым стандартом, на практике не очень удобно бороться с настоящей машиной за руль, чтобы научить ее ездить. Есть и более простые способы, которые хорошо работают в реальности.

В 2015 году группа швейцарских робототехников применила остроумный подход для обучения дрона, который должен был летать по лесным тропам в Альпах, не теряясь. Вместо того чтобы пытаться программировать правила («тропа – это коричневая полоса среди зеленого»), они обучили систему напрямую преобразовывать картинку в команду моторам. На входе – пиксели (деревья и грязь), на выходе – «влево», «вправо» или «прямо». Годы исследований компьютерного зрения и ручного написания фильтров были заменены одной нейросетью.

Чтобы научить дрон исправлять ошибки, они использовали хитрость. На голову туристу надели не одну, а три камеры GoPro: одну прямо, другие – налево и направо. Турист шел по тропе, стараясь не вертеть головой. Данные с центральной камеры учили дрон: «когда видишь такое – лети прямо». Данные с левой камеры (которая смотрела в лес слева от тропы) учили: «когда видишь такое – поворачивай вправо». Данные с правой камеры учили поворачивать влево. Нейросеть обучили на этих данных и запустили дрон в лес. Он прекрасно справился, летая над тропинками. Главный урок: нужно не просто показать идеальный путь, но и дать данные о том, как вернуться на него, если сбился.

В 2016 году исследователи NVIDIA (Холмдел, штат Нью-Джерси) применили тот же трюк с тремя камерами на реальном автомобиле Linkoln MKZ. Получился многочасовой видеоматериал, показывающий, как выглядит окружение, когда машина слегка отклоняется от курса. Команда «скормила» эти данные системе, велев повторять за водителем и оставаться в пределах центральной полосы. После 72 часов обучения на видеозаписях машина уверенно ехала по извилистым дорогам и шоссе, не требуя вмешательства водителя. На видео, выпущенном командой, видно, как машина выезжает на магистраль, и сотрудник восклицает: «Она все еще едет сама?! Выглядит отлично». Он даже добавил, что автопилот ведет себя лучше, чем большинство живых водителей в Нью-Джерси [587].

В этой истории есть два забавных совпадения. Во-первых, то самое здание в Нью-Джерси, откуда выезжала машина NVIDIA, в конце 80‐х принадлежало Bell Labs. Именно там Ян Лекун изобрел сверточные нейросети и алгоритм обратного распространения ошибки – технологии, которые сегодня управляют этими самыми машинами [588]. Во-вторых, я сам учился водить именно на дорогах округа Монмут в Нью-Джерси, регулярно проезжая мимо того здания. И, честно говоря, я бы хотел, чтобы спустя 17 лет за рулем я чувствовал себя так же уверенно и безопасно, как эта нейросеть после 72 часов обучения.

На краю обрыва: поссибилизм против актуализма

Поступок должно совершать пусть не такой высокий, зато соответствующий твоим силам и возможностям, а не превышающий их и потому невыполнимый… Мы не должны присваивать себе поступки, принадлежащие тем, чьи духовные представления выше наших.

Айрис Мердок [589]

– Что бы ты делал на моем месте? – спросила она.

– Будучи тобой или мной?

– Мной.

– Именно то, что ты сейчас делаешь.

Роберт Хасс [590]

Если оставить в стороне вопрос исправления мелких ошибок, вторая проблема подражания как стратегии обучения состоит в том, что иногда вы простоне способныповторить то, что делает эксперт. В этом случае имитация означает, что вы беретесь за дело, которое не сможете довести до конца. И, возможно, вам вообще не стоит пытаться действовать как учитель.

И в реальной жизни, и в культуре полно примеров того, как новичок слепо копирует мастера, и это часто заканчивается катастрофой.

Как объясняет Гарри Каспаров [591]: «Игроки, даже любители-разрядники, тратят часы на заучивание любимых дебютов. Эти знания могут быть бесценны, но порой становятся ловушкой… Механическое запоминание, каким бы впечатляющим оно ни было, бесполезно без понимания. В какой‐то момент такой игрок добирается до дна своей памяти и остается без готового решения в позиции, которую на самом деле не понимает».

Каспаров вспоминает, как тренировал 12‐летнего шахматиста и разбирал начало одной из его партий. На вопрос, почему тот сделал особенно рискованный и спорный ход в сложном дебюте, мальчик ответил: «Так сыграл Вальехо!» «Конечно, я знал, что испанский гроссмейстер недавно

Мысль кажется одновременно интуитивно понятной и парадоксальной: делая то же, что и более опытный человек, вы иногда совершаете серьезную ошибку. Это удивительно сложная проблема, тесно связанная с этикой, экономикой и машинным обучением.

В 1976 году в этической философии возник новый вопрос: в какой степени вашибудущиедействия влияют (или должны влиять) на то, что следует предпринятьсейчас?

Философ Холли Смит из Мичиганского университета, изучая тонкости прагматизма, заметила странность. «Если вы прагматик, – объясняет она, – естественно спросить: „Если я совершу действие А, приведет ли оно к наилучшим последствиям?“ Очевидно, ответ зависит от того, что я сделаю потом» [593]. Необходимость учитывать собственные будущие действия заставляет принимать в расчет и будущие ошибки. Так Смит начала писать о том, что позже назвала «моральным несовершенством» [594].

Ее мысленный эксперимент стал известен как «Профессор Прокрастинатор» [595]. Сюжет прост: герой – профессор и, как вы догадались, неисправимый прокрастинатор. Его просят написать рецензию на работу студента по теме, в которой профессор исключительно компетентен. Если он согласится, то, скорее всего, просто потратит время впустую и так и не даст отзыв. Это хуже, чем отказ, ведь в случае отказа студент мог бы обратиться к кому‐то другому, пусть и менее квалифицированному.

Должен ли профессор соглашаться?

Две школы этической мысли дают разные ответы. Здесь расходятся «поссибилизм» (убеждение, что человек должен совершать наилучшее извозможныхдействий) и «актуализм» (мнение, что человек должен делать то, что лучше в данный момент, учитывая, чтореальнопроизойдет потом из-за его дальнейших действий) [596].

С точки зрения поссибилизма, лучший вариант для Прокрастинатора – согласитьсяинаписать рецензию вовремя. Все начинается с согласия, значит, он должен сказать «да».

Актуализм подходит более прагматично. В реальности согласие приведет к плохому исходу: рецензии не будет вовсе. Отказ приведет к сравнительно лучшему результату: отзыв от менее квалифицированного специалиста. Поскольку профессор должен стремиться креальномулучшему результату, он должен сказать «нет».

Смит пришла к выводу, что «порой человек должен ставить планку ниже, а не выше». Она поясняет: «Странно предписывать действие, которое дает возможность совершить нечто великое, если в том же положении агент способен натворить что-то и, скорее всего, выберет второе».

В то же время Смит быстро обнаружила недостатки актуализма. «Актуализм оправдывает плохие поступки, ссылаясь на ваши будущие моральные недостатки», – говорит она. Сорок лет спустя теоретические споры не стихают. «Думаю, многие считают вопрос открытым. Справедливо сказать, что дискуссия все еще кипит» [597].

Эти споры имеют не только теоретическое значение. Среди сторонников движения «эффективного альтруизма» в XXI веке нет ни единого мнения о том, насколько человек должен жертвовать собой ради помощи другим [598]. Философ из Принстона Питер Сингер знаменит утверждением, что отказ жертвовать на благотворительность равносилен тому, чтобы пройти мимо пруда с тонущим ребенком и не спасти его [599]. Но даже среди тех, кто согласен с этим аргументом, идут дебаты о размере пожертвований. Идеальный человек, возможно, мог бы отдать почти все деньги и остаться счастливым, вдохновляя других. Но даже ярые сторонники движения, включая самого Сингера, далеки от этого идеала.

Джулия Уайз, одна из лидеров сообщества эффективного альтруизма, подает серьезный пример, отдавая 50 % дохода на благотворительность. В то же время она подчеркивает, что не стоит требовать от себя совершенства. «Разрешите себе пройти только часть пути», – говорит она [600]. Уайз также отмечает, что ее попытка стать веганом разбилась о любовь к мороженому. Ей пришлось смириться с тем, что она будет «веганом, который ест мороженое». Это та позиция, которую она реально может удержать.

Философ из Оксфорда Уилл Макаскилл, сооснователь Центра эффективного альтруизма, высказывается весьма категорично: «Мы должны быть актуалистами. Если сегодня вы отдадите все сбережения (что технически возможно), вы впадете в такую депрессию, что перестанете жертвовать в будущем. Если же решите отдавать 10 %, это обязательство достаточно надежно, чтобы выполнять его годами. В итоге ваш вклад будет больше» [601].

Сам Сингер признает, что в долгосрочной перспективе важен баланс. «Если ваши действия приносят вам страдания, самое время пересмотреть обязательства. Можно ли относиться к этому позитивнее? Если нет – лучше что‐то менять». Он также отмечает, что «пока эффективных альтруистов мало, им важно подавать привлекательный пример, чтобы вовлечь других» [602].

У машинного обучения есть своя версия спора актуализма и поссибилизма. В главе 4 мы говорили о методах, которые оценивают «стоимость» действий через ожидаемые будущие награды (например, Q-обучение). Агент учится предсказывать свои шансы на победу в настольной игре или количество очков в Atari для каждого хода. Если прогнозы точны, остается просто выбирать действие с наивысшей Q-стоимостью.

Но здесь есть нюанс. Должна ли Q-стоимость отражать награду, которую вы можете получить, если будете действовать идеально? Или ту, которую вы скорее всего получите, учитывая ваши реальные способности? Для идеального агента разницы нет, но для всех остальных прогнозы могут сильно отличаться.

Два подхода к оценке называют методами обучения «на основе текущей стратегии» (on-policy) и «вне текущей стратегии» (off-policy). Первые (актуалисты) оценивают стоимость действия, исходя изреальногоповедения агента в будущем. Вторые (поссибилисты) оценивают действие, исходя изпредположения, что за ним последует наилучшая возможная серия шагов [603].

В своем классическом учебнике по обучению с подкреплением Ричард Саттон и Эндрю Барто описали, как агент-поссибилист может попасть в беду, пытаясь всегда делать «лучший ход». Представьте машину, которой нужно проехать вдоль обрыва. Самый короткий и эффективный путь – прижаться к краю. Если управление идеально, это действительно лучший маршрут. Но для нестабильного беспилотника это путь к катастрофе. Лучшим решением для него будет дорога подальше от края, где риск меньше, пусть и награда чуть ниже. Агент, обученный «на основе текущей стратегии» (актуалист), учится выбирать именно такой, более безопасный маршрут [604].

Подражание героям или наставникам – будь то человек или машина – несет в себе риски поссибилизма, оценки «вне текущей стратегии» [605]. В шахматах знание лучшего хода без гроссмейстерского понимания последствий может привести к тому, что ученик переоценит свои силы. В таких случаях наблюдение за профи не помогает, а вредит. Одно дело – знать, что жертва ферзя приведет к мату в 10 ходов. Но если я не вижу эту комбинацию, я просто потеряю ферзя и проиграю.

С середины ХХ века экономисты обсуждают «теорию второго лучшего»: если идеальные условия модели нарушены хотя бы в одном пункте, «второе лучшее» решение может кардинально отличаться от первого [606]. Исследовательница этики ИИ из OpenAI Аманда

Это повод задуматься для любого подражателя. Имитация по своей природе тяготеет к поссибилизму, к попытке откусить больше, чем может проглотить. Забавно смотреть, как дети изображают взрослых за рулем, с ножом или в роли врача, но мы вмешиваемся, как только они тянутся кнастоящимключам, ножу или кошке. Поведение, которое мы на самом деле хотим видеть, может быть совсем не похоже на имитацию. «Второе лучшее» после умелого вождения – это сидеть на пассажирском кресле; после нарезки овощей – накрывать на стол; а для лечения кошки лучше позвать родителей.

Для машин-подражателей тоже лучше придерживаться «теории второго лучшего». Обучая их на своем примере, мы должны следить, чтобы они случайно не взялись за то, с чем не смогут справиться. Когда они станут достаточно опытны, проблема исчезнет. Но до тех пор слепое подражание может быть опасным. Как говорит дизайнер интерфейсов Брюс Балентайн: «Лучше быть хорошей машиной, чем плохим человеком» [608].

И еще кое-что: самоимитация и трансцендентность

Мой любимый игрок – это, возможно… я сам три или четыре года назад.

Чемпион мира по шахматам Магнус Карлсен [609]

Третья фундаментальная проблема подражания как стратегии обучения заключается в том, что если ваша главная цель – копировать учителя, вам будет трудно его превзойти.

Об этом задумывался один из пионеров машинного обучения, человек, придумавший сам этот термин, – Артур Сэмюэл. Еще в 1959 году он создал самообучающуюся программу для игры в шашки. «Я заложил в нее ряд принципов, которые, как мне было известно, имели отношение к игре, – рассказывал он, – хотя на тогда, ни сейчас я не уверен в их точном значении». В этот список входили такие параметры, как количество шашек у игрока, количество дамок, число доступных ходов и так далее [610].

В итоге программа научилась обыгрывать самого Сэмюэла, хотя использовала только те стратегические идеи, которые он в нее вложил. Способность безошибочно рассчитывать варианты в сочетании с точной настройкой «веса» каждого фактора методом проб и ошибок позволила системе превзойти учителя. Для того времени это было грандиозным достижением (как мы уже упоминали, акции IBM взлетели за одну ночь), и Сэмюэл справедливо гордился своим успехом. Тем не менее, он прекрасно понимал, что проект достиг потолка. «Сейчас компьютер играет помоимправилам и отлично умеет комбинировать, извлекая максимум выгоды, – сетовал он. – Но единственный способ победить мастеров – это дать машине лучший набор принципов. Но как?.. На сегодня я единственный человек в мире, кто может научить ее играть лучше, а она уже превзошла мои уроки».

Сэмюэл полагал, что настоящий прорыв случится тогда, когда компьютер сможет сам вырабатывать стратегические принципы. «Если бы только компьютер мог генерировать собственные условия! Но в ближайшем будущем на это мало надежды, – говорил он [611]. – К сожалению, никакой удовлетворительной схемы для этого пока не придумано» [612].

К концу ХХ века фундаментальные методы компьютерной игры изменились на удивление мало, как и их ограничения. Машины стали в миллионы раз быстрее, машинное обучение выделилось в отдельную индустрию, но упрямая зависимость компьютеров отнасосталась прежней.

В 1990‐е годы команда IBM, работая над шахматным суперкомпьютером Deep Blue, создала оценочную функцию, очень похожую на ту, что Сэмюэл использовал для шашек. Работая с гроссмейстерами, исследователи пытались перечислить все факторы, которые определяют силу позиции: количество фигур, их подвижность, контроль центра, безопасность короля, пешечная структура и так далее. Вместо 38 параметров Сэмюэла они использовали восемьтысяч[613]. «Эта шахматная оценочная функция, – рассказывал руководитель команды Сюй Фэнсюн, – вероятно, сложнее всего, что когда‐либо описывалось в компьютерной литературе по шахматам» [614]. Главный вопрос, разумеется, состоял в том, как взвесить иобъединитьэти тысячи факторов в единую оценку позиции. Сколько пешек стоит отдать за контроль центра? А за безопасность короля? Баланс был жизненно важен.

Как же они настроили эти тысячи параметров? С помощью подражания.

Команда Deep Blue использовала базу данных из 700 000 партий гроссмейстеров. Они показывали компьютеру позиции из реальных игр и спрашивали, какой ход он бы сделал. Настраивая оценочную функцию, они стремились к имитации человеческих ходов. Если, скажем, повышение ценности двух слонов делало выбор Deep Blue более похожим на ход гроссмейстера, то этот параметр усиливали.

Эта подражательная стратегия, основанная на человеческом опыте, была соединена с безошибочным расчетом и «грубой силой» машины. Компьютер мог за секунду перебрать сотни миллионов позиций. Этого в сочетании с человеческими критериями оценки хватило, чтобы победить чемпиона мира Гарри Каспарова[615] в историческом матче 1997 года. «Гарри готовился играть против компьютера, – сказал руководитель проекта Си Джей Тан. – Но мы запрограммировали машину так, что она играла как гроссмейстер» [616].

С философской точки зрения некоторые ученые сомневались: не станет ли эта зависимость от человеческих ролевых моделей тормозом для программ? В начале 90‐х Джонатан Шеффер разработал программу для игры в шашки, которая стала настолько сильна, что, когда ее ход отличался от хода гроссмейстера, решение машины часто оказывалось лучше. «Конечно, мы могли бы „подкрутить“ оценочную функцию так, чтобы программа систематически делала человеческие ходы, – писал он, – но далеко не очевидно, что это пошло бы ей на пользу». Во-первых, подгонка под человека снижает способность удивлять противника. Во-вторых, непонятно, полезна ли имитация, когда программа уже достигла уровня лучших людей. «Добиться дальнейшего прогресса оказалось сложно», – признал Шеффер [617]. Его проект, в сущности, зашел в тупик. Вопрос остался открытым для всей индустрии: «насколько имитация эксперта совместима с по-настоящему сильной игрой» [618]?

Пятнадцать лет спустя система AlphaGo от DeepMind наконец реализовала концепцию Артура Сэмюэла о машине, способной выработать собственные стратегические принципы с нуля. Вместо тысяч вручную прописанных характеристик она использовала глубокую нейронную сеть, чтобы автоматически находить паттерны и связи, делающие ходы выгодными. Примерно так же, как нейросеть AlexNet училась отличать кошку от собаки по текстурам и формам. При этом AlphaGo прошла такое же обучение, как и Deep Blue: училась угадывать ходы экспертов в го по огромной базе из 30 миллионов позиций [619]. Она научилась предсказывать ходы человека с точностью 57 %, побив предыдущий рекорд в 44 %. В октябре 2015 года AlphaGo стала первой программой, победившей профессионала в го (трехкратного чемпиона Европы Фань Хуэя). А в марте 2016 года она разгромила Ли Седоля – обладателя 18 титулов чемпиона мира и одного из сильнейших игроков планеты.

И снова, по иронии судьбы, компьютер, превзошедший человека,

Успех Deep Blue и AlphaGo стал возможен только благодаря огромным базам данных человеческих игр. Эти победы вызвали такой резонанс в мире именно из-за популярности шахмат и го. Но эта же популярность и обеспечила победу машинам. Каждый ход, сделанный людьми за историю игр, был использован против нас. Компьютеры не показали бы таких впечатляющих результатов в менее популярной игре – им просто не хватило бы примеров для обучения. Таким образом, популярность сыграла двойную роль. Она сделала достижениезначительнымивозможным.

Однако не успела AlphaGo насладиться триумфом, как в 2017 году ее сместила с пьедестала еще более мощная программа – AlphaGo Zero [621]. Главное отличие заключалось в объеме человеческих данных, использованных для обучения: их было ровно ноль. Начав с чистого листа, со случайной игры, программа просто играла сама с собой. Снова, и снова, и снова. Невероятно, но после 34 часов самообучения она достигла уровня той версии AlphaGo, что победила Ли Седоля. Спустя 72 часа команда DeepMind устроила матч между двумя системам. AlphaGo Zero, используя лишь одну десятую вычислительных ресурсов предшественницы, выиграла серию из 100 партий со счетом 100:0.

Как написали исследователи DeepMind в журналеNature: «Человечество накапливало знания о го миллионами партий на протяжении тысяч лет, кристаллизуя опыт в схемах и книгах» [622]. AlphaGo Zero открыла все это за трое суток.

Но за кадром происходило кое-что любопытное. Системе не показали ни одной человеческой партии. И тем не менее, она училась путем подражания. Она училась имитировать… саму себя.

Вот как работает «самоимитация». Мастерство в играх вроде шахмат или го требует двух типов мышления: «быстрого» и «медленного» [623]. Есть медленное, сознательное рассуждение: «Если я пойду сюда, он ответит так, а я потом так…». У AlphaGo Zero эту роль выполнял алгоритм поиска по дереву Монте-Карло (MCTC), просчитывающий варианты ход за ходом [624]. Но этот медленный расчет тесно связан с быстрой интуицией двумя способами.

Первый – это интуитивная оценка позиции до всякого расчета. Насколькохорошаситуация на доске? Эту функцию выполняла нейросеть (оценочная сеть), которая мгновенно выдавала вероятность выигрыша (от 0 до 100 %).

Второй тип «быстрого» мышления включается, когда мы смотрим на доску и видим несколько вариантов ходов. Некоторые ходы напрашиваются сами собой, другие неочевидны. Мы тратим время на просчет только тех вариантов, которые интуиция подсказывает как перспективные. Именно здесь кроется секрет AlphaGo Zero. Возможные ходы предлагает так называемая стратегическая нейросеть. Она смотрит на позицию и присваивает каждому возможному ходу рейтинг. Что означает это число? Это предсказание того, какой ход машина в итоге выберет после долгого расчета.

Идея кажется странной, почти парадоксальной. Стратегическая сеть пытается угадать, к какому выводу придет алгоритм MCTS после тщательного перебора вариантов. И при этом сам алгоритм MCTSиспользуетэти догадки, чтобы направлять свой поиск (он проверяет в первую очередь те ходы, которые сеть считает вероятными) [625]. «AlphaGo Zero становится собственным учителем, – объясняет Дэвид Сильвер из DeepMind. – Она тренирует свою нейросеть предсказывать ходы, которые сама же AlphaGo Zero и делает» [626].

Кажется, что это рецепт самосбывающегося пророчества (система использует прогнозы, чтобы делать ходы, которые она предсказала). Но на самом деле происходит усиление:

«Быстрая» сеть дает подсказки.

«Медленный» алгоритм MCTS использует их, чтобы провести более глубокий и качественный поиск.

В результате поиска машина находит ход, который лучше первоначальной догадки.

Этот новый, улучшенный ход используется для переобучения «быстрой» сети.

Сеть становится умнее, дает лучшие подсказки, и цикл повторяется.

В техническом сообществе этот процесс известен как «усиление», но его можно назвать и чем‐то вроде трансцендентности. AlphaGo Zero училась подражать только самой себе. Она использовала свои догадки, чтобы принимать лучшие решения, а затем училась предсказывать эти лучшие решения. Она начала со случайной игры. 72 часа спустя она стала сильнейшим игроком в мире.

Усиление ценностей

Поразмышляйте о том, что подражание – самая приемлемая часть молитвы и что боги гораздо больше хотели бы, чтобы человеческий род им подражал, а не льстил.

Марк Аврелий [627]

Для все большего числа философов и специалистов по информатике, задумывающихся о далеком будущем, перспектива появления гибких интеллектуальных систем, в которые нам предстоит вложить сложнейшие модели поведения и ценности, вызывает вопросы куда более сложные, чем просто технические.

Здесь есть две основных трудности.

Первая состоит в том, что наши желания очень трудно выразить недвусмысленно даже словами, не говоря уж о цифрах. Как отмечает Ник Бостром из Института будущего человечества: «Кажется невозможным составить полный список всего, что нас волнует» [628]. В таких случаях мы уже видели успех методов подражания – там, где сложно формализовать каждую мелочь, делающую человека хорошим водителем или игроком в го, простая команда «смотри и учись» часто дает впечатляющие результаты. Вполне возможно, что по мере того, как автономные системы будут становиться мощнее и универсальнее, мы сможем использовать этот же подход, чтобы объяснить им не только правила игры или вождения, но и то, что значит жить хорошо – как для отдельного человека, так и для общества.

Вторая, более глубокая проблема заключается в том, что и традиционное обучение с подкреплением (через награды), и обучение с подражанием требуют от человека роли высшего авторитета. Системы, обучающиеся подражанию, могут превзойти своих учителей только в двух случаях: либо если ошибки неидеальных учителей взаимно нейтрализуются на большой дистанции, либо если эксперты, не способные показать идеальное исполнение, могут хотя быраспознатьего.

Если заглянуть в будущее, где мощные системы будут действовать в сложных и неоднозначных условиях реального мира, обе эти проблемы становятся критическими.

Некоторые, например, беспокоятся, что люди – не лучший пример для подражания в вопросах морали. «Мы много говорим о том, как заложить в машины человеческие ценности, – отмечал Блез Агуэра-и-Аркас из Google. – Но я не считаю это главной проблемой. Куда важнее, что человеческие ценности в их нынешнем виде недостаточно хороши» [629].

Элиезер Юдковский, сооснователь Института исследований машинного интеллекта, в своей влиятельной работе 2004 году утверждал: чтобы наделить машины способностью не просто копировать наши нормы, а развивать их, мы должны привить им то, что он назвал «когерентной экстраполированной волей». «Поэтически выражаясь, – пишет он, – это наше желание знать больше, думать быстрее и быть теми людьми, которыми мы хотели бы быть» [630].

В областях с четкими критериями успеха – шашках, го илиMontezuma’s Revenge– машины могут использовать подражание как старт, а затем, применяя метод проб и

Более того, если мы создадим системы, которые однажды станут умнее нас, они могут предпринимать действия, которые нам будет трудно оценить. Представьте, что ИИ предложит реформу правил клинических исследований. Сможем ли мы – даже после долгих размышлений, не говоря уже о мгновенной обратной связи – понять, соответствует ли эта реформа нашим этическим нормам? Как мы можем продолжать учить систему быть похожей на нас, если ее поведение выходит за рамки нашего понимания?

Немногие размышляют над этими вопросами так глубоко, как Пол Кристиано из OpenA I. «Мне очень интересно, как эти решения будут выглядеть при масштабировании, – говорил он. – Какой у нас план? Каков финал игры? Этим интересуются немногие, а работают над этим еще меньше людей» [632].

Кристиано понял еще в 2012 году: даже в самой сложной ситуации можно найти путь вперед [633]. Мы видели, как AlphaZero использовала быструю интуицию для отбора ходов, а затем проверяла их медленным алгоритмом поиска, чтобы подтвердить или исправить догадки. Результаты этого медленного мышления затем использовались для тренировки и улучшения быстрой интуиции – система училась предсказывать результаты собственных размышлений [634].

Кристиано считает, что эту схему, которую он называет «итеративной дистилляцией и усилением», можно применить для разработки систем, чьи рассуждения превосходят наши, но остаются согласованными с ними.

Представьте, что мы проектируем метро в мегаполисе. В отличие от игр, здесь нельзя прогнать тысячи сценариев за секунду; оценка этого вариант может занять месяцы. И здесь нет объективного счета: хорошая система метро – это та, которую люди считают хорошей.

С помощью обычного подражания мы можем обучить ИИ до определенного уровня компетенции. Затем мы начинаемиспользоватьего как помощника – так главный архитектор работает с младшими сотрудниками. Мы просим одну копию системы оценить время ожидания поездов. Другую – рассчитать бюджет. Третью – сделать доклад о доступности. Мы, как «начальник», принимаем окончательное решение, объединяя («усиливая») работу наших цифровых подчиненных. Эти подчиненные, в свою очередь, учатся («дистиллируют» опыт) на нашем решении и немного улучшают свои навыки планирования. Вместе работа идет быстрее, чем если бы мы делали все сами. Затем мы повторяем процесс, поручая следующий проект этой новой, улучшенной версии команды. Цикл взаимного усиления замыкается.

В конце концов, считает Кристиано, наша «команда» коллективно станет тем самым идеальным градостроителем, которым мыхотели быбыть, – тем, кем мы стали бы, если бы «знали больше, думали быстрее и соответствовали своим представлениям о себе».

Здесь еще много работы. Кристиано хочет найти способы гарантировать, что в процессе усиления и дистилляции суждения системы останутся согласованными с человеческими. Пока это открытый вопрос и надежда, подкрепленная небольшими экспериментами. «Если нам удастся реализовать эту надежду, – пишут Кристиано и его коллеги из OpenAI, – это станет очень важным шагом к безопасному внедрению машинного обучения и решению тревожных вопросов о долгосрочном влиянии ИИ» [635].

Обсуждая его работу, я спросил Кристиано, ставшего лидером в области «согласования» ИИ, считает ли он себя ролевой моделью для тех, кто хочет пойти по его стопам. Его ответ меня удивил.

«Надеюсь, людям не придется идти этим путем», – сказал он [636].

Кристиано пояснил, что, возможно, он один из последних исследователей безопасности ИИ, которому пришлось вести «двойную жизнь»: работать над традиционными проблемами ради академической репутации и параллельно в одиночку искать способы заняться тем, что он считал по-настоящему важным. «Мне пришлось долгое время думать о сложных вещах в одиночестве, – сказал он. – Заниматься наукой проще в обществе».

Это сообщество появилось лишь несколько лет спустя [637]. «Так что будем надеяться, что теперь люди смогут просто вливаться в работу, – говорил Кристиано. – Сейчас уже есть ученые, думающие об этих вещах, и новички могут сразу заняться делом… просто делая то, что [их] волнует».

Возможно, в этом и есть роль первопроходца: последователям вряд ли придется копировать твой путь шаг в шаг, но именно благодаря твоим усилиям им это и не понадобится.

8. Логический вывод

Психолог из Мичиганского университета Феликс Уарнекен шел через комнату к закрытому деревянному шкафу, неся высокую стопку журналов. Он наткнулся на дверцу, испуганно охнул и попятился. Несколько секунд задумчиво разглядывая шкаф, он произнес «Хм-м», шагнул вперед и снова врезался журналами в дверцу. Потерпев очередную неудачу, он отступил и вновь задумчиво промычал. Со стороны казалось, будто он совершенно не понимает, что идет не так.

Из угла комнаты к нему на помощь бросился маленький ребенок. Неуверенно переступая, малыш подошел к шкафу, по очереди открыл дверцы и, прежде чем отойти, внимательно посмотрел на Уарнекена. Феликс с благодарным выдохом положил журналы на полку [638].

В 2006 году Уарнекен вместе и его коллега Майкл Томаселло из Университета Дьюка стали первыми, кто систематически доказал: уже в полтора года дети уверенно понимают по лицу знакомого человека, что тот столкнулся с проблемой. Малыши распознают чужие цели и препятствия на пути к ним, после чего по собственной инициативе помогают, если в их силах это сделать. Причем они поступают так, даже если их ни о чем не просят, даже если взрослый на них не смотрит, и совершенно не ожидая за это награды [639].

Это удивительно сложная способность, присущая исключительно людям. Наши ближайшие генетические родственники, шимпанзе, тоже могут добровольно прийти на помощь, но лишь при соблюдении целого ряда условий: если их внимание специально привлекли к ситуации; если кто‐то открыто тянется к предмету, о которого они могут достать (и только в простых ситуациях, а не как в случае со шкафом); если помощь нужна именно человеку, а не другому шимпанзе (из-за сильного соперничества сородичей друг с другом); если нужный предмет – не еда; и наконец, только подержав искомый предмет у себя несколько секунд, словно раздумывая, стоит ли вообще с ним расставаться [640].

Уарнекен и Томаселло показали, что такая готовность помогать – крайне редкое явление с точки зрения эволюции. У людей она выражена гораздо сильнее, чем у ближайших родственников, и зарождается задолго до того, как ребенок начинает говорить. Как подытожил Томаселло: «Главное отличие когнитивных способностями человека от других видов заключается в умении участвовать в совместной деятельности с общими целями и намерениями» [641].

«Обычно детей считают от природы эгоистичными существами, которых волнуют только собственные потребности. Предполагается, что именно общество должно „перепрограммировать“ их, научив альтруизму, – говорил Уарнекен [642]. – Однако наше исследование показало, что уже на втором году жизни дети способны к сотрудничеству: они могут помогать другим

Эти действия требуют не только желания помочь, но и сложнейшего когнитивного процесса: ребенку нужно сделать вывод о целях другого человека, зачастую наблюдая лишь крошечный фрагмент его поведения.

«Люди – непревзойденные мировые эксперты по чтению мыслей», – отмечал Томаселло. Пожалуй, самая впечатляющая грань этого навыка – способность делать выводы овзглядахдругих людей, но основой для этого служит именно распознавание намерений. Действительно, дети начинают понимать, о чем думают другие, не раньше чем в четыре года. Но уже к своему первому дню рождения они догадываются, чего хотят окружающие [644].

Исследователи находят все больше аргументов в пользу того, что наш подход к закладыванию человеческих ценностей в ИИ должен быть аналогичным. Возможно, вместо долгих и кропотливых попыток вручную запрограммировать все, что для нас важно, стоит создавать машины, способные простонаблюдатьза поведением людей и самостоятельно делать выводы о наших желаниях и ценностях. Как известно, Ричард Фейнман сравнивал Вселенную с «гигантской партией в шахматы, в которую играют боги, а мы лишь следим за их игрой. Мы не знаем правил; все, что нам позволено, – этонаблюдать» [645]. В сфере ИИ подобный подход называется «обратным обучением с подкреплением». Разница лишь в том, что в роли богов выступаем мы сами, а машины просто наблюдают за нами, пытаясь разгадать правила, по которым мы делаем свои «ходы».

Обратное обучение с подкреплением

В 1997 году Стюарт Рассел из Калифорнийского университета в Беркли, направляясь в продуктовый магазин, задумался: почему мы ходим именно так? «Мы передвигаемся очень стереотипно, верно? Если вы видели скетч „Министерство глупых походок“ группы „Монти Пайтон“ [646], то знаете, что существует масса других способов ходить. Но все мы используем, в общем‐то, один и тот же» [647].

Вряд ли это просто подражание – по крайней мере, так не кажется. Наша походка почти лишена индивидуальных особенностей; более того, она одинакова в разных культурах и даже эпохах. «Это не просто „способ, которому нас научили“, – говорит Рассел. – Это способ, который почему‐то работает».

И все же это явление вызывает больше вопросов, чем ответов. «Что значит „работает“? Какова его целевая функция? Люди выдвигают разные гипотезы: „Думаю, так я минимизирую расход энергии“, или „минимизирую крутящий момент“ [648], или „резкие движения“ [649], или „минимизирую то, максимизирую это“. Но ни один из этих параметров не способен сгенерировать движение, которое выглядело бы реалистично. Это часто используют в анимации. Когда пытаются нарисовать бегущего или идущего человека так, чтобы он не выглядел как робот, все эти формулы проваливаются. Именно поэтому в итоге мы используем технологию захвата движения».

Поиском ответом на эти вопросы занимается целая отрасль биомеханики. Исследователей, например, давно интересовали виды аллюра четвероногих: шаг, рысь, кентер, галоп. В XIX веке понадобилось изобрести моментальную фотографию, чтобы понять механику аллюра: какие ноги поднимаются в какой момент и, главное, отрывается ли лошадь полностью от земли на галопе (в 1877 году мы узнали, что да). А в ХХ веке споры сместились с вопроса «как» на вопрос «почему».

В 1981 году гарвардский зоолог Чарльз Ричард Тейлор опубликовал вNatureбольшую статью, доказывающую, что лошадь переходит с рыси на галоп для минимизации расхода энергии [650]. Однако десять лет спустя он выпустил вScienceне менее объемную работу, где утверждал, что дальнейшие исследования опровергли эту теорию: переход на галоп связан не с экономией энергии, а со снижением нагрузки на суставы [651].

Именно об этом размышлял Рассел по пути в магазин. «Я спускался с холма от дома к супермаркету Safeway и заметил, что на уклоне моя походка несколько отличается от той, что была на ровной дороге. И я подумал: как я могу предсказать это изменение? Представьте, что я посажу на ладонь таракана. Как он будет двигаться? Смогу ли я это предсказать? Если бы я знал его цель, я бы мог спрогнозировать, что он сделает, когда я наклоню руку».

К концу 90‐х обучение с подкреплением уже зарекомендовало себя как мощный метод машинного обучения, способный формировать осмысленное поведение в различных (на тот момент довольно простых) виртуальных и физических средах. А благодаря исследованиям дофаминовой системы мозга и пищевого поведения пчел стало ясно, что этот аппарат удивительно хорошо подходит и для изучения поведения животных и человека [652].

Была только одна проблема. Типичный сценарий обучения с подкреплением предполагает, что цель предельно ясна: понятно, какую именно награду мы пытаемся максимизировать – будь то еда в животном эксперименте или игровые очки в лаборатории ИИ. В реальности же источник этих «наград» куда менее очевиден. В чем заключался «счет» для ходьбы, если он вообще существовал?

Прогуливаясь по обсаженному деревьями бульвару Аплендс в Беркли, Рассел пришел к мысли: если человеческая походка – это ответ, а обучение с подкреплением – метод, которым тело ее находит, то каков же тогда вопрос?

В 1998 году Рассел написал статью, которая стала своеобразным призывом к действию. Он утверждал, что отрасли необходимо то, что он назвал обратным обучением с подкреплением (Inverse Reinforcement Learning, IRL). Традиционное обучение спрашивает: «Если у нас есть сигнал вознаграждения, какое поведение будет для него оптимальным?» Обратное обучение ставит вопрос иначе: «Если мы видим поведение человека (или животного), какую награду (если она существует) он пытается оптимизировать?» [653]

В повседневной жизни это звучит как один из главных человеческих вопросов: «Что, черт возьми, они делают?» Мы тратим огромную часть наших умственных ресурсов на поиск ответа. Мы наблюдаем за поведением окружающих – друзей и врагов, начальников и подчиненных, коллег и конкурентов – и пытаемся по их видимым действиям прочитать невидимые намерения и цели. В каком‐то смысле это краеугольный камень человеческого познания.

В XXI веке этот подход стал одним из самых фундаментальных и жизненно важных проектов в изучении ИИ. И вполне возможно, что именно он даст ключ к решению проблемы «согласования» искусственного интеллекта с человеческими ценностями.

Обучение с помощью демонстрации

Любому, кто хоть раз пытался угадать скрытый смысл чужих действий – «Она со мной флиртует или просто вежлива?», «Он злится на меня или просто не в духе?», «Они сделали это нарочно или случайно?» – кажется, что за каждым поступком может скрываться бесконечное множество мотивов.

Информатика здесь предлагает утешение, но не решение:за любым действием действительно может стоять бесконечное множество мотивов. В чисто теоретическом смысле эта задача неразрешима. Но на практике все выглядит чуть более оптимистично.

Обратное обучение с подкреплением – это то, что математики называют некорректно поставленной задачей, то есть задачей, не имеющей единственно правильного ответа. Например, существует

Однако возникает другой, более опасный вопрос: почему мы вообще предполагаем, что человеческие действия имеют хоть какой‐то смысл? Что, если люди вообще ни к чему не стремятся, и их поведение – это просто хаос и ничего больше?

В первой научной статье, посвященной практическому применению IRL, Стюарт Рассел и его на тот момент еще аспирант Эндрю Ын рассмотрели несколько простых примеров, чтобы доказать жизнеспособность своей идеи [655]. Они использовали сетку пять на пять квадратов, где нужно было привести игрока в конкретную клетку, и виртуальную игру, где машина должна была заехать на вершину холма. Могла ли система IRL угадать эти цели, просто наблюдая за тем, как в игру играет эксперт (человек или программа)?

Ын и Рассел заложили в систему несколько упрощающих допущений. Программа исходила из того, что игрок никогда не действует случайно и никогда не ошибается: каждое его действие – объективно лучшее из возможных. Также она полагала, что награды, мотивирующие агента, «просты»: любое действие или состояние, которое выглядит как нулевой результат, действительно имеет нулевую ценность [656]. Наконец, система считала, что если игрок выбирает какое‐то действие, то все остальные вариант заведомо ошибочны. Это исключало вероятность того, что в игре есть несколько равнозначных целей, между которыми игрок выбирает наугад.

Эти предположения были слишком сильными, а сама задача – слишком примитивной, чтобы найти немедленное практическое применение (до разгадки сложности человеческой походки было еще очень далеко). Но метод сработал! Вознаграждения, которые вычислила система, оказались очень близки к реальным правилам игры. А когда Ын и Рассел разрешили программе сыграть самой, максимизируя ту награду, которую она «угадала», она набрала столько же очков, сколько и система, изначально запрограммированная на реальный игровой счет.

К 2004 году Эндрю Ын получил докторскую степень и преподавал в Стэнфорде, где у него появился собственный аспирант – Питер Аббель. Они сделали новый шаг в развитии IRL, попытавшись усложнить виртуальную среду и смягчить первоначальные допущения [657]. Их идея заключалась в следующем: любая решаемая задача обладает набором ключевых характеристик. Например, наблюдая за вождением автомобиля, мы можем выделить такие факторы, как занимаемая полоса, скорость, дистанция до впереди идущей машины и так далее. Ученые разработали алгоритм IRL, который исходил из того, что при самостоятельном управлении машиной он должен ориентироваться на ту же структуру характеристик, что и наблюдаемый водитель. В сильно упрощенном симуляторе вождения (в стиле старых игр Atari) алгоритм показал многообещающие результаты: поведение виртуального «ученика2 во многом повторяло стиль вождения самого Аббеля. ИИ избегал аварий, обгонял тихоходы и старался держаться правой полосы.

Этот подход кардинально отличался от прямого имитационного обучения (о котором шла речь в главе 7). Если бы алгоритм пытался тупо копировать каждое движение руля Аббеля, то уже через минуту он бы потерял ориентацию – дорожная обстановка слишком сложна, чтобы слепо повторять заученные движения. Поведение Аббеля было сложным, но его цель оставалась простой. Всего за несколько секунд система уловила главное правило (не врезаться), а затем дополнила его второстепенным (не съезжать с дороги и держаться правой полосы). Модель целей оказалась гораздо проще, чем модель поведения. Ее было легче усвоить и адаптировать к новым ситуациям: вместо слепого копирования действий эксперта агент учился следовать егонамерениям.

Пришло время проверить алгоритм в суровых условиях реального мира.

В главе 5 мы рассказывали, как Ын использовал метод формирующего вознаграждения, чтобы научить автономный вертолет зависать на месте и летать по заданному маршруту. На тот момент ни одна компьютерная система не могла этого делать, и это стало важной вехой в истории машинного обучения. Но затем прогресс застопорился. «Честно говоря, мы уперлись в стену, – вспоминал Ын. – Были вещи, которым мы никак не могли научить вертолет» [658].

Проблема отчасти состояла в том, что зависание на месте и следование заданному маршруту на низкой скорости легко описать через традиционную функцию вознаграждения. Зависание – это когда скорость во всех направлениях стремится к нулю; полет по маршруту – это награда за движение по траектории и штраф за отклонение. Главная трудность здесь состояла в том, чтобы научить систему выполнять маневры, управляя лишь скоростью винтов и углами наклона машины. С этой задачей обучение с подкреплением отлично справилось.

Но когда речь зашла о сложнейших аэродинамических фигурах, выполняемых на высокой скорости, стало совершенно не ясно, как вообще должна выглядеть функция вознаграждения. Конечно, можно просто нарисовать в пространстве кривую и приказать компьютеру по ней пролететь. Но законы физики (особенно на скорости) могут этого не позволить. На каком‐то участке траектории инерция окажется слишком сильной, перегрузка – запредельной, а мощности двигателя просто не хватит. В таком случае система запрограммирована на провал. А крушение 7‐килограммового вертолета, летящего на скорости 70 км/ч, – забава не только опасная, но и крайне дорогая. «Наши попытки использовать жестко запрограммированные траектории раз за разом заканчивались катастрофой», – писали исследователи [659].

Тогда ученые решили поступить иначе. Они попросили опытного пилота выполнить нужный маневр и запустили алгоритм обратного обучения с подкреплением, чтобы ИИ сам вычислил цель, к которой стремится человек. В 2007 году Аббель, Ын и их коллега Адам Коутс продемонстрировали первый в мире радиоуправляемый вертолет, способный автономно (под управлением ИИ) сделать переднее сальто и «бочку» [660]. Это был колоссальный прорыв. Он доказал: метод IRL способен разгадывать намерения людей в реальном мире даже тогда, когда все остальные подходы бессильны.

Но исследователи не собирались останавливаться на достигнутом. Они захотели научить вертолет трюкам, которые не мог идеально выполнить даже их главный эксперт – профессиональный пилот Гаретт Оку, управлявший машиной с пульта. Ученые решили вывести алгоритм на запредельный уровень и заставить компьютер делать то, что выходит за рамки человеческих возможностей.

Они сделали критически важное открытие. Даже если Оку не может выполнить маневр безупречно, в каждой его попытке ошибки будут разными. В отличие от метода прямого копирования (когда ИИ повторяет

К 2008 году анализ человеческих полетов привел к целой лавине успехов. Вертолет научился автономно выполнять непрерывные сальто на месте, фигуру «тик-так» хвостом вниз, мертвые петли (в том числе с пируэтами), фигуру «ураган» (быстрый полет хвостом вперед по нисходящей спирали), полет «на ноже», переворот Иммельмана, агрессивные развороты и даже посадку на авторотации (с выключенным двигателем) [662].

Кульминацией проекта стала попытка выполнить один из сложнейших вертолетных маневров под название «хаос». На тот момент в мире был только один человек, способный его исполнить.

Фигуру «хаос» придумал Кертис Янгблад – легенда мира радиоуправляемых моделей, многократный чемпион США и мира (с 1986 по 2012 год) [663]. Многие считают его величайшим пилотом в истории.

«Тогда я задумался: какой самый сложный маневр я вообще могу изобрести?», – рассказывал Янгблад. Он взял за основу и без того невероятно трудную фигуру «танцующий полет» и добавил к ней безостановочноевращениевокруг своей оси.

На вопрос, сколько пилотов могут стабильно выполнять этот трюк, Янгблад ответил лаконично: ни одного. «Когда‐то я мог это делать, но сейчас уже вряд ли… Если бы меня попросили повторить этот маневр прямо сейчас, без подготовки я бы не справился».

По его словам, проблема еще и в том, что трюк настолько сложен, что оценить его способен только другой профи. «Обычно ты выступаешь на авиашоу, – говорил Янгблад. – Твоя задача – впечатлить толпу. А только понятия не имеет, что ты делаешь. Они не увидят разницы между идеальным „хаосом“ и обычным „танцующим полетом“. Так что нет никакого смысла тратить время на заучивание этого элемента, кроме как ради того, чтобы доказать другим топ-пилотам: да, я действительно могу это сделать» [664].

К лету 2008 года стэнфордский ИИ полностью освоил «хаос», хотя никогда не видел ни одного идеального исполнения – ни от Оку, ни от Янгблада, ни от кого‐либо еще. Программа просто видела, как люди «несли свои пачки журналов к дверцам шкафа». И тогда компьютерный вертолет с размаху распахнул эти дверцы: он раз за разом танцевал в воздухе, вращаясь на 300 градусов в секунду, подобно механическому торнадо [665].

Тем временем метод обратного обучения продолжал развиваться: инженеры искали способы трактовать неоднозначное поведение и создавать более сложные модели мотивации ИИ. В 2008 году аспирант Брайан Зибарт и его коллеги из Карнеги-Меллона применили в алгоритме принципы теории информации. Вместо того чтобы считать каждого наблюдаемого человека идеальным экспертом, они предположили другое: человек с большей вероятностью выбирает те действия, которые приносят наибольшую пользу. Этот принцип («принцип максимальной энтропии») позволяет находить такую систему вознаграждений, которая максимально точно объясняет уже увиденное поведение, но при этом оставляет открытыми все остальные трактовки поведения (не делает лишних допущений).

Зибарт протестировал этот метод на базе данных, содержащей сотни тысяч километров поездок двух десятков реальных таксистов из Питтсбурга, чтобы понять их дорожные предпочтения. Модель научилась безошибочно предсказывать маршрут, который выберет конкретный водитель до нужно точки. Но что еще поразительнее – программа могла догадаться, куда едет водитель, лишь на основе того, по каким улицам он уже проехал. (Как отмечает Зибарт, это позволяет навигатору предупреждать водителя о пробках на его любимом маршруте, даже если тот еще не ввел пункт назначения.) [666]

В последнее десятилетие произошел настоящий бум исследований в области так называемого кинестетического обучения в робототехнике. В этом методе человек берет механическую руку робота и физически направляет ее, выполняя задачу. Система должна сама понять суть задачи (цель), чтобы в будущем свободно выполнять ее в слегка изменившихся условиях [667]. В 2016 году аспирантка Челси Финн из Беркли добавила в алгоритм IRL глубокие нейросети. Это позволило ИИ создавать функции вознаграждения любой сложности и избавило инженеров от ручной настройки характеристик [668]. Всего после 20–30 демонстраций ее робот научился выполнять сугубо человеческие действия (которые невозможно запрограммировать цифрами): например, аккуратно складывать тарелки в сушилку или пересыпать миндаль из одной чашки в другу, не проронив ни зернышка. Справедливо отметить, что сегодня мы ушли далеко вперед от тех времен, когда машины умели делать лишь то, что мы могли описать строгим языком математики и кода.

Узнать с первого взгляда: обучение с помощью обратной связи

Обратное обучение с подкреплением оказалось удивительно мощным методом. Оно позволяет закладывать в систему сложные цели так, как это было бы невозможно, если бы нам пришлось программировать систему внешних вознаграждений вручную. Однако у традиционного подхода к такому обучению есть проблема: он требует участия эксперт, способного продемонстрировать (пусть и не идеально) желаемое поведение. Для трюков на вертолете нужен опытный пилот, для такси – водитель, для расстановки посуды или пересыпания орехов – человек. Существует ли другой путь?

В жизни есть много вещей, которые труднопоказать, но сравнительно легкооценить. Я могу быть настолько никудышным пилотом радиоуправляемого вертолета, что даже не смогу поднять его в небо, но я точно узнаю впечатляющую фигуру высшего пилотажа, когда ее увижу. Как отмечал Кертис Янгблад, все сводится к тому, чтобы произвести впечатление на непрофессиональную аудиторию.

Сможет ли система вычислить нужную функцию вознаграждения исключительно на основе моей обратной связи – опираясь нат то, как я оцениваю различные варианты ее действий? Если алгоритм на это способен, мы получим еще более универсальный инструмент постановки задач для ИИ. Мы сможем «настраивать» машины даже в тех случаях, когда сами не умеем делать то, что требуем от них. В идеальном мире достаточно будет просто уметь узнавать нужный результат, когда мы его видим.

Идея невероятно заманчива. Остается только два вопроса: возможно ли это технически? И безопасно ли это?

В 2012 году Ян Лейке заканчивал магистерскую диссертацию во Фрайбургском университете (Германия). Он занимался верификацией программного обеспечения – разрабатывал инструменты для автоматического анализа программ, чтобы определять, отработают ли они без сбоев [669]. «Тогда я понял, что мне безумно нравится заниматься исследованиями и у меня это получается, но я совершенно не представлял, чему посвятить жизнь», – вспоминал он [670].

Затем Лейке прочел книгу Ника Бострома и Милана Цирковича «Глобальные риски катастроф» (Global Catastrophic Risks), где затрагивалась проблема безопасности ИИ. После этого он погрузился в дискуссии на форуме LessWrong и изучил статьи Элиезера Юдковского. «Я подумал: над этим работает так мало людей! Может, именно этим мне и стоит заняться? Выглядит захватывающе, а сделано пока немного».

Лейке решил обратиться за советом к Маркусу Хаттеру, специалисту по информатике из Австралийского национального университета. «Я просто нашел его почту и написал: хочу получить PhD по безопасности ИИ, не могли бы

Лейке смеется: «Только представьте: у меня нет ни диплома, ни каких‐либо документов на английском. Я не сдавал языковой тест. И все это нужно было решить за три дня». Ему также предстояло с нуля написать план будущего исследования. И все это во время поездки в другой город. «Как вы понимаете, те три дня я почти не спал».

Лейке подчеркивает: «Вообще, это ужасный способ поступать в аспирантуру: написать одному человеку без всякого поиска и сразу поехать к нему. Так делать не надо!»

К концу года Лейке переехал в Канберру (Австралия) и начал работать с Хаттером. Диссертацию он завершил в конце 2015 года, изучив теоретическую модель агента AIXI (о котором мы упоминали в главе 6) и задокументировав ситуации, в которых такой агент демонстрирует «совершенно неверное поведение» [671]. Защитив степень, Лейке вышел на рынок труда. В то время в мире было всего три-четыре места, где можно было строить карьеру в сфере безопасности ИИ. После полугодовой стажировки в Институте будущего человечества (Оксфорд) он получил постоянную должность в лондонском офисе DeepMind.

«Тогда я много размышлял о выравнивании ценностей и о том, как его реализовать, – говорил Лейке. – Казалось, суть проблемы сводится к вопросу: как обучить саму функцию вознаграждения? Я связался с Полом Кристиано и Дарио Амодеи, так как знал, что они думают о том же».

Пол Кристиано и Дарио Амодей, работавшие в Сан-Франциско, действительно заинтересовались идеей. Кристиано только начал работать в OpenAI и как раз искал масштабный проект. Он продвигал идею обучения с подкреплением при минимальном контроле со стороны человека: когда система получает оценку не 15 раз в секунду, а периодически, во время случайных проверок. Тренировать куратора-человека на играх Atari было сложно, но ученые решили: если обратную связь системе будут давать живые люди, а не программный алгоритм, это вызовет больший резонанс и наглядно покажет перспективы проблемы выравнивания ИИ.

Команда Кристиано из OpenAI и группа Лейке из DeepMind решили объединить интеллектуальный и вычислительные ресурсы. Они задались вопросом: может ли машина обучиться сложной функции вознаграждения, опираясь исключительно на оценки людей? Этот проект стал одной из важнейших работ 2017 года в области безопасности ИИ. Он примечателен не только результатами, но и тем, что объединил две ведущие лаборатории мира для решения проблемы выравнивания [672].

Исследователи разработали масштабный тест для алгоритма обратного обучения с подкреплениембездемонстрации нужного поведения. Идея была следующей: автономный агент действовал в виртуальной среде и время от времени отправлял человеку два коротких видеоклипа со своими случайными действиями. Человек получал простую инструкцию: «Посмотри клипы и выбери тот, который тебе больше нравится». ИИ пытался скорректировать свои представления о вознаграждении на основе этих оценок, а затем использовал обновленную метрику (как в обычном обучении с подкреплением), чтобы искать новые удачные паттерны поведения. Достигнув нового максимума, система снова посылала пару клипов человеку на проверку.

Часть экспериментов проходила в классических играх Atari, где есть объективная шкала успеха – игровой счет. Исследователи хотели узнать, как далеко продвинется алгоритм, если лишить его доступа к счету и оставить лишь догадки, основанные на том, какие клипы выбирает человек. В большинстве случаев система справлялась достойно, хотя и не превосходила результаты программ, обученных напрямую максимизировать счет. Однако в гоночной игре Enduro, где требовалось совершать сложные обгоны, обучение на основе оценок человека сработало дажелучше, чем на основе реальных очков. Это указывало на то, что люди своими оценками интуитивно создали отличную «формирующую» систему вознаграждений.

«Игры Atari с их эталонным счетом очень помогли, – вспоминал Лейке. – Они позволяли нам провести диагностику. Мы могли буквально измерить качество выравнивания, спросив: насколько выведенная функция вознаграждения совпадает с реальным счетом?»

Но команда хотела пойти дальше. Нужны было найти задачу, которая была бы полностю субъективной: без встроенного в игру счетчика, сложную для математического описания, но такую, чтобы человек сразу понял: «Да, это то, что нужно!»

Вскоре они нашли идеальный вариант.Сальто назад.

«Я просматривал модели всех виртуальных роботов в симуляторе, – рассказывал Кристиано, – и думал: какая самая крутая вещь могла бы получиться у одного из них?» [673]

Его взгляд упал на модель под названием «прыгун» – это была одиночная механическая нога с огромной ступней. «Моей первой амбициозной мыслью было: выглядит так, будто он способен кувыркнуться назад».

План созрел. Исследователи поместили простейшего робота в виртуальную среду MuJoCo – физический симулятор, где действовали лишь законы гравитации и трения. Их цель: научить «ногу» делать кувырок назад [674]. Идея казалась безумной: «Пусть робот просто как‐то подергается, человек сравнит видео и выберет то, где движение больше похоже на сальто. Затем попросим робота подергаться сильнее и посмотрим, что выйдет».

Кристиано начал первый из множества многочасовых сеансов оценки видео. Пара за парой, клип за клипом, он просто выбирал тот, который хотя бы отдаленно напоминал нужный трюк. Левый. Правый. Правый. Левый.

«Я радовался каждому микроскопическому шажку, – рассказывал Кристиано. – Сначала он просто опрокидывался, и я был в восторге, что при хаотичных движениях он иногда падает в нужную сторону. Потом я радовался, когда он стал падатьтольков нужную сторону». Прогресс шел мучительно медленно. «Я просто сидел и кликал. Левый. Правый. Сотни и сотни раз».

«Наверное, самый сильный восторг я испытал, когда он начал опрокидываться в прыжке», – вспоминал исследователь.

В итоге, после сравнения нескольких сотен клипов (на что ушло около часа времени человека), робот начал выполнять идеальное, невероятно красивое сальто назад: он группировался в воздухе, как профессиональный гимнаст, и безупречно приземлялся на ногу.

Эксперимент повторили с другими людьми-оценщиками. Сальто каждый раз получались немного разными – будто каждый человек вкладывал в обучение собственную эстетику идеального прыжка.

Кристиано показал видео на еженедельном совещании OpenA I. «Смотрите! – сказал он. – Мы это сделали». Коллеги былив восторге.

«Я был по-настоящему счастлив, – говорил Лейке. – Мы ведь даже не знали, сработает ли эта безумная идея».

Я сказал им, что проект показался мне не просто впечатляющим, но и обнадеживающим: ведь не так уж сложно представить, как слово «сальто» заменяется на более абстрактные понятия, такие как «готовность помочь», «доброта» или «хорошее поведение».

«Именно, – ответил Лейке. – В этом‐то все и дело» [675].

Обучение сотрудничеству

В 2013 году Дилан Хэдфилд-Менелл поступил в Калифорнийский университет в Беркли после получения степени магистра в Массачусетском технологическом институте, где он учился под руководством пионера робототехники и обучения с подкреплением Лесли Кэлблинг. Он предполагал, что тема его будущей докторской

«У нас было большое собрание, на котором мы обсуждали планы, – вспоминал Хэдфилд-Менелл. – Рассел изложил свое видение будущих исследований. Он прямо не назвал проблему „выравнивания“, но задал вопрос: „Что может пойти не так, если мы добьемся реального успеха в создании ИИ?“ Рассел рассказал, что начинает всерьез задумываться о долгосрочных рисках: чем гибче и мощнее становятся самообучащиеся системы, тем важнее строго контролировать, чему именно они учатся». Во время работы в Париже эти опасения лишь окрепли. Рассел вернулся в Беркли с твердой уверенностью, что этой теме необходимо посвятить как научные исследования, так и общественные дискуссии.

«Идеи для исследований появились практически сразу, – говорил Рассел [676]. – Решением казались системы ИИ, чьи ценности согласованы с человеческими, то есть такие системы, которые разделяют наши цели. И, по сути, еще с конца 1990‐х годов я занимался именно этой проблемой в рамках концепции обратного обучения с подкреплением».

Я отметил, что есть определенная ирония в том, что его новая программа по безопасности ИИ выросла из идеи двадцатилетней давности. Ленивые размышления Рассела по пути вSafewayспустя два десятилетия превратились в план спасения цивилизации от возможной катастрофы. «Это всего лишь совпадение, – пояснил он. – Но, по правде сказать, все это научное направление выросло из целой чреды совпадений, так что все нормально».

На том историческом собрании лаборатории Рассел обозначил несколько конкретных тем, заслуживающих стать основой для докторских диссертаций. Хэдфилд-Менелл продолжил заниматься робототехникой, но в глубине души постоянно возвращался к проблеме согласования ценностей. Поначалу его привлекал чисто интеллектуальный азарт первооткрывателя – возможность погрузиться в неисследованную область и внести в нее весомый вклад. Но со временем пришло иное понимание: «Казалось, что это невероятно важная проблема, на которую совершенно не обращают внимания». Весной 2015 года он решил радикально сменить тему диссертации и направление своей карьеры.

«В то время я даже в душе думал только о выравнивании ценностей, – признался Хэдфилд-Менелл.

Одним из первых их совместных проектов с Расселом стал пересмотр самой структуры обратного обучения с подкреплением. Вместе с Питером Аббелем и специалистом по робототехнике из Беркли Анкой Драган они начали переосмысливать эту концепцию с нуля. И здесь они нащупали две ключевые идеи.

История с обучением вертолета, как и почти все в этой отрасли, строилась на четкой границе между человеком и машиной. Пилот-эксперт простовыполнял трюки, а компьютер в изоляции пытался извлечь из этих демонстраций пользу. Каждый действовал сам по себе, словно в вакууме. Но что, если бы человек с самого начала знал, что у него есть старательный искусственный ученик? Что, если бы они осознанно работаливместе? Как бы это выглядело?

Вторая важная деталь заключалась в том, что в традиционном IRL машина принимает функцию вознаграждения человека как свою собственную. Если пилот показывает фигуру «хаос», компьютерный алгоритм тоже пытается ее выполнить. Иногда это имеет смысл: мы хотим безопасно ездить на работу и рады, когда наш беспилотный автомобиль усваивает этот прозрачный набор целей. Но в других случаях нам нужно что‐то менее прямолинейное. Потянувшись за фруктом, мы не хотим, чтобы домашний робот сам съел банан. Мы, скорее, ожидаем от него поведения полуторогодовалого ребенка: заметив, что мы не можем дотянуться до предмета, он берет его и передает нам [677].

Рассел назвал эту новую парадигму совместным обратным обучением с подкреплением (CooperativeInverse Reinforcement Learning, CIRL) [678]. В этой модели человек и компьютер работают вместе, чтобы максимизировать общую функцию вознаграждения, суть которой изначально известна только человеку.

«Мы думали: какое простейшее изменение можно внести в существующий математический аппарат, чтобы устранить саму конструкцию, порождающую риски глобальной катастрофы? – объяснял Хэдфилд-Менелл. – Какая математическая задача даст то оптимальное решение, которое намдействительнонужно?» [679]

Для Рассела это было не просто легким изменением формулировок, а своего рода шахом и матом – фундаментальным решением проблемы согласования. По масштабу это было сродни открытию Коперника в основах ИИ. Как пояснял Рассел, на протяжении последнего столетия мы пытались создавать машины, способные достигать своих целей. Это подразумевалось практически во всех работах, а вопросы безопасности сводились к тому, как контролировать эти цели и формулировать задачи так, чтобы в них не было лазеек. Рассел предположил, что, возможно, саму идею следует вывернуть наизнанку. «Что, если вместо того, чтобы позволять машинам преследовать их собственные цели, мы потребуем от них добиваться наших целей? – рассуждал ученый. – Пожалуй, именно к этому нам и следовало стремиться с самого начала» [680].

Появление концепции совместного обучения открыло новые горизонты. Исследователи машинного обучения и робототехники стали все чаще обращаться за идеями к детской психологии, педагогике, психологии развития, проектированию интерфейсов и изучению взаимодействия человека с компьютером. Неожиданно целые отрасли знаний оказались не просто полезными, а жизненно важными [681]. Модель сотрудничества – понимание того, что мы совершаем действия, зная, что за нами наблюдают и пытаются разгадать наши намерения, – заставляет нас совершенно иначе взглянуть на поведение как человека, так и машины.

Работа с этими возможностями продолжается, еще многое предстоит узнать. Но исследователи уже сделали несколько ключевых открытий.

Во-первых, когда мы осознаем, что обучаем кого‐то, мы можем делать это гораздо понятнее и эффективнее, чем если бы вели себя естественно. «Модель CIRL мотивирует человека учить, – пишет группа исследователей из Беркли, – а не просто выжимать максимум из награды» [682]. Мы можем не только давать прямые инструкции, но и действовать более информативно, и последовательно. Зачастую мы делаем это автоматически, даже не задумываясь.

К примеру, доказано, что напевный ритм речи («сюсюканье»), который взрослые используют при общении с маленькими детьми, имеет глубокий педагогический эффект. Дети, с которыми так говорят, быстрее овладевают языком. Осознаем мы это или нет, но именно такова наша эволюционная цель [683].

Подобное происходит не только в языке, но и в движениях. Мы интуитивно выстраиваем свое поведение так, чтобы окружающим было легче его «прочитать». Возьмем простую задачу – передать предмет другому человеку. Мы берем вещь не самым удобным для себя хватом, вытягивает руку далеко вперед и замираем. Другой человек понимает, что мы бы никогда не приняли такую позу, если бы не подавали четкий сигнал: «Я хочу передать это тебе» [684].

Специалисты по информатике быстро взяли на вооружение эти открытия из области педагогики и психологии. Главная идея работает в обе стороны: мы хотим вести себя так, чтобы машины нас понимали, и мы хотим, чтобы машины

Один из ведущих специалистом в этой области – робототехник Анка Драган из Беркли, автор термина «понятное движение» [685]. По мере того как роботы взаимодействуют с людьми все теснее, они должны вести себя не просто максимально эффективно или предсказуемо, но и ясно транслировать свои скрытые намерения. Драган приводит в пример ситуацию с двумя бутылками на столе. Если робот потянется к одной из них по одеяльной прямой (самой короткой и эффективной траектории), человеку будет по последнего момента неясно, какую именно бутылку он хочет взять. Но если манипулятор двинется по широкой гиперболе, мы сразу поймем его цель. В этом смысле предсказуемость и понятность (распознаваемость) – противоположности. Предсказуемость означает, что наблюдатель уже знает вашу цель и может угадать маршрут, а понятность означает, что наблюдатель цели не знает, но маршрут помогает ее быстрее угадать.

Помимо понимания важности «педагогического» поведения, появилось и второе важное открытие. Сотрудничество оказывается гораздо эффективнее, когда оно выстроено как непрерывноевзаимодействие, а не как две изолированные фазы: «сначала учись, потом делай».

Ян Лейке столкнулся с этим в своей работе по обучению с помощью обратной связи от человека. «Одной из самых интересных деталей в той статье стало то, что в итоге уместилось в обычную сноску, – говорил он. – Это примеры так называемого взлома системы вознаграждений».

Если агент сначала тратит все время на изучение функции вознаграждения, а лишь затем приступаем к оптимизации поведения, это часто заканчивается катастрофой. Агент находит лазейку, использует ее и перестает развиваться. Например, Лейке учил агента играть вPong, используя только оценки коротких видеоклипов с его игрой, которые давали люди. В одном из экспериментов компьютер научился идеально отслеживать летящий мяч ракеткой, но… пропускал его в самую последнюю секунду. Поскольку у него не было доступа к реальному счету, он понятия не имел, что пропускает самый важный момент игры.

В другом эксперименте система научилась безупречно отбивать мяч и защищать свою половину поля, но даже не пыталась забить гол, просто поддерживая бесконечную перепасовку.

«С точки зрения безопасности это крайне полезный опыт, – говорил Лейке. – Мы хотим понять, как происходят подобные сбои, и придумать защиту от них».

Выяснилось, что когда обратная связь от человека вплеталась в процесс на всем протяжении обучения (а не загружалась только на старте), такие проблемы обычно решались сами собой [686]. Это еще один аргумент в пользу того, что строгую парадигму «смотри и учись» стоит заменить гибкой моделью непрерывного сотрудничества.

Джули Шах из Массачусетского технологического института, изучающая сотрудничество человека и робота в реальном мире, пришла к аналогичному выводу. «Много лет меня интересовало, как можно совместно оптимизировать процесс обучения человека и машины», – рассказывала она. Работа с роботами привела ее к изучению исследований по подготовке человеческих команд. Люди, безусловно, реагируют на поощрения, но в человеческих коллективах редко применяется грубое микроуправление через систему мелких наград за каждое действие. «Если вы обучаете систему через интерактивное назначение вознаграждений, это больше похоже на дрессировку собаки, чем на обучение человека», – объясняла Джули [687]. Простая демонстрация тоже не всегда помогает. «Это отличный способ односторонней передачи навыка, – говорила Шах. – Но он не работает, когда речь идет о координации совместных взаимозависимых действий человека и машины». Демонстрировать парную работу гораздо сложнее.

Выводы из исследований человеческих коллективов однозначны. «Существует серьезная литература, доказывающая, что явное инструктирование и командование вторым человеком – худший способ наладить командную работу. Знаете, когда об этом задумываешься, кажется, что это очевидно… И тем не менее, это худший из возможных методов командного тренинга», – говорила Шах.

«Но есть и другие исследования, – добавляет она. – Представьте команду людей с общей целью. Если каждый понимает цель, но у них разные, несогласованные стратегии ее достижения, а их работа взаимозависима, они покажут гораздо худший результат, чем команда с не самой оптимальной, но единой и согласованной стратегией». Практически в любом коллективе – в бизнесе, армии, спорте или музыке – наличие общей глобальной цели подразумевается само собой. Но этого недостаточно. Нужен общийплан.

В командах людей отлично работает так называемоеперекрестное обучение. Коллеги на время меняются ролями. Внезапно оказавшись на месте напарника, человек начинает понимать, как изменить свою работу, чтобы она лучше стыковалась с потребностями и процессами других. Перекрестное обучение – это золотой стандарт командного тренинга, который применяется на производстве, в медицине и армии [688].

Шах задалась вопросом: сработает ли это во взаимодействии человека и робота? Можно ли перенести лучший метод подготовки людей прямо в робототехнику? Идея казалась безумной: «Это походило на чисто психологический эксперимент, – вспоминала она. – Мы думали, есть ли в этом смысл. Идея настолько странная, что стоит ее проверить».

Так они и поступили. Исследователи хотели выяснить два момента: способно ли перекрестное обучение конкурировать с традиционными методами машинного обучения, и (что весьма необычно для таких тестов) поможет ли оно самому человеку лучше понять, как обучать робота и работать с ним.

Группа Шах смоделировала реальную производственную задачу: совместную установку и закручивание болтов (только без шуруповерта). Они сравнили традиционные методы – демонстрацию и обратную связь – с перекрестным обучением [689].

«Результаты нас поразили и очень вдохновили, – рассказывала исследовательница. – Перекрестное обучения привело к улучшению объективных показателей командной работы». Люди чувствовали себя увереннее, выполняя задачи параллельно с роботом, а не по очереди; это сократило время простоя и повысило общую производительность [690].

Но еще интереснее оказалисьсубъективныеоценки. По сравнению с контрольной группой, которая использовала классическое обучение, люди, прошедшие перекрестные тренировки, заявляли, что большедоверяютроботу и считают, что он подстраивается под их индивидуальный стиль работы.

Как бы невероятно это ни звучало, но лучший метод тренировки человеческих коллективов удалось успешно перенести в робототехнику. Это дает надежду на то, что и будущие открытия из психологии найдут свое применение в ИИ – и наоборот.

«Это было базовое исследование на относительно простой задаче, – говорила Шах. – Но даже здесь мы получили статистически значимые результаты. Это открывает огромные перспективы для изучения методов подготовки людей и их адаптации для смешанных команд человека и робота» [691].

Сотрудничество к лучшему или к худшему

Все это складывается в довольно обнадеживающую картину. Сотрудничество – основа нашей эволюционно новой и практически уникальной способности угадывать чужие намерения и цели, а также нашего желания помогать другим людям. Машины уже могут делать то же самое – и делают это все чаще, учась на наших примерах, опираясь на нашу обратную связь и все теснее работая бок о бок с нами.

По мере того как машины становятся умнее, а

Опираясь на уже существующие методы – такие как глубокое обучение с подкреплением на основе предпочтений человека (разработанное Кристиано и Лейке) или совместное обратное обучение Рассела и Хэдфилда-Менелла, – мы можем представить себе путь к созданию всесторонне развитых и полезных машин, способных улавливать тончайшие нюансы наших намерений. Разумеется, впереди еще много препятствий и программ, но направление движения теперь видно гораздо отчетливее.

Однако здесь же кроется и повод для осторожности. Компьютерные помощники (как цифровые, так и роботизированные), которые появятся в ближайшем будущем, почти всегда будут иметь конфликт интересов. Они станут слугами двух господ: своего владельца и корпорации-создателя. В этом смысле они напоминают продавцов, работающих за процент: они никогда не будут помогать нам, не желая (пусть и неявно) чего‐то взамен. Они будут делать хитрые выводы, о которых мы ихне просили. И мы осознаем, что уже сейчас никогда не действуем в одиночку.

Как писала британская писательница Айрис Мердок: «Самопознание позволит нам избегать искушений, и это лучше, чем пытаться одолеть их одной лишь силой воли» [692]. Народная мудрость гласит: если у вас зависимость от алкоголя [693], лучше вылить все запасы в доме до последней капли, чем держать их перед глазами и терпеть. Но модели предпочтений этого не понимают [694]. И людям, борющимся с зависимостью, приходится туго: они заходят в телефон, чтобы просто написать друзьям и посмотреть фото, а какой‐то алкомаркер преследует их повсюду, даже в туалете! Это выглядит так, словно их собственный кухонный шкаф внезапно начал работать на пивоваренную компанию.

Я и сам стараюсь вести себя осмотрительно в Интернете. Все, что напоминает прокрастинацию или сиюминутные слабости – будь то чтение новостей, зависание в соцсетях или другие цифровые пороки, от которых я предпочел бы избавиться в будущем, – я открываю в анонимной вкладке безcookiesи авторизации. Не потому, что мне стыдно; я просто не хочу, чтобы алгоритмыподкреплялиэто поведение.

В таких ситуациях мы ждем от алгоритмов нечто иного, а не стандартного: «вычислить мои цели по моим действиям и сделать так, чтобы мне было проще этим заниматься». Фактически мы хотим сказать машине: «Не думай, что я хочу это делать, только потому, что я это делаю. Не облегчай мне задачу. Не поощряй это поведение, не прокладывай к нему удобный маршрут. Пожалуйста, оставь эти соблазны позади».

Думаю, здесь затронут важнейший политический вопрос, который не менее значим, чем теоретические споры о ИИ. Мы должны всерьез обсуждать право пользователя не только видеть, но иизменятьлюбую модель предпочтений, которую строит на него сайт, приложение или рекламодатель. По сути, я имею право на собственную цифровую модель. Я имею право сказать машине: «Это не тот человек, которым я являюсь». Или, что еще важнее: «Это тот человек, которым я хочу быть. Вот в чьих интересах ты должна работать».

В этом и заключается сложность момента. Цифровые «дворецкие» внимательно следят за нами. Они видят нашу личную и публичную жизнь, наблюдают нас в лучшие и худшие моменты, но при этом совершенно не осознают разницы между ними. Эти системы застряли в своего рода «зловещей долине» алгоритмической изощренности: они умеют выводить сложные модели наших желаний на основе поведения, но не принимают возражений и не настроены на подлинное сотрудничество. Они постоянно вычисляют, что мы сделаем дальше и как на этом заработать, но, кажется, совершено не понимаю, чего мы по-настоящему хотим и – тем более – кем надеемся стать.

Кто‐то может возразить, что этот надзор сделает нас лучше. Действительно, людям свойственно вести себя порядочнее, когда они чувствуют, что за ними наблюдают. Лабораторные исследования показывают, что люди реже жульничают под прицелом видеокамер, в комнатах с зеркалами Гезелла (зеркалами-шпионами) или просто при ярком освещении [695]. Да что там – порой достаточно даже намека на наблюдение: нарисованного на стене глаза или обычного зеркала, чтобы эффект сработал [696].

Схожая идея когда‐то вдохновила философа XVIII века Иеремию Бентама на создание «паноптикума» – проекта цилиндрической тюрьмы, где камеры расположены вокруг центральной башни надзирателя. Заключенные там никогда не знали, смотрят на них в данный момент или нет. Бентам восхвалял благотворный эффект даже не самого наблюдения, а одной лишь угрозы. Он называл свой проект «машиной, превращающей бандитов в честных людей» [697] и обещал, что она способна «исправить мораль, сохранить здоровье, укрепить промышленность, распространить образование, снизить государственные затраты… и все это – благодаря одной лишь архитектурной идее» [698].

С другой стороны, такой тотальный контроль может оказывать подавляющий и демотивирующий эффект. Мы точно не хотим, чтобы жизнь за стенами тюрьмы напоминала существование внутри Паноптикума.

Существует и менее зловещая, но не менее важная проблема. Базовая математика обратного обучения с подкреплением исходит из того, что пример подает идеальный эксперт – человек, который точно знает, чего хочет, и всегда делает правильные шаги к цели. Если же это не так, система начинает усиливать бестолковые действия новичка или воспринимает случайные эксперименты как строгие правила. Мы ползаем, прежде чем научиться ходить, и ходим, прежде чем сесть за руль. Возможно, нам вовсе не нужно, чтобы машины автоматически усиливали и закрепляли каждое наше неуклюжее движение.

К худу или к добру, но мы оказались именно в такой реальности – и сейчас, и в обозримом будущем. Нас будут знать лучше, чем когда‐либо. И мир неизбежно наполнится цифровыми «двухлетками», которые будут бежать впереди нас, радостно распахивая те двери, которые мы, по их мнению, хотим открыть, пытаясь помочь нам на свой, алгоритмический лад.

9. Неопределенность

Большинство величайших зол, которые человек причинил человеку, произошли из-за того, что люди чувствовали себя совершенно уверенными в чем‐то, что на самом деле было ложным.

Бертран Рассел [699]

Заклинаю вас всеми страстями христовыми – задумайтесь на минуту о том, что вы можете ошибаться.

Оливер Кромвель

Дух свободы – это дух, который не слишком уверен в своей правоте.

Лернед Хэнд

26 сентября 1983 года, сразу после полуночи, Станислав Петров дежурил на секретном командном пункте системы предупреждения о ракетном нападении «Око» в бункере под Москвой. Неожиданно экран засветился, и взвыли сирены. Система сообщила о запуске межконтинентальных баллистических ракет LGM‐30 Minuteman с

«На экране замигали гигантские красные буквы: „ЗАПУСК РАКЕТ“, – рассказывал Петров. – Увидев сигнал тревоги, я вскочил со стула. Мои подчиненные были в панике, и мне пришлось выкрикивать приказы, чтобы вернуть им самообладание» [700].

Сирена взвыла снова. Вторая ракета. Третья. Четвертая. Пятая.

«Мое удобное кресло словно превратилось в раскаленную сковороду, ноги дрожали. Я чувствовал, что не могу даже встать».

В одной руке Петров держал телефонную трубку, в другой – переговорное устройство. По телефону на него орал другой офицер, призывая сохранять спокойствие. «Признаю, – вспоминал Петров, – мне было страшно».

Инструкции были предельно простыми. Петров должен был немедленно доложить о ракетном ударе высшему руководству, которому предстояло принимать решение об ответно-встречном ударе. Но, по его словам, «не было никаких правил относительно того, сколько времени нам позволено думать перед тем, как доложить о нападении» [701].

Петров чувствовал: что‐то не сходится. Его учили, что в случае реальной войны удар со стороны США будет массированным. Пять ракет… Это казалось бессмысленным. «Сирены ревели, а я просто сидел и смотрел на огромный экран, где горела красная надпись: „ЗАПУСК РАКЕТ“. Мне нужно было лишь протянуть руку к телефону и связаться с верховным командованием… но я не мог заставить себя пошевелиться» [702].

Система раннего оповещения выдавала «высший» уровень достоверности тревоги. Но это противоречило здравому смыслу. У Соединенных Штатов тысячи ракет, так зачем посылать всегопять? «Никто не начинает глобальную войну пятью ракетами, – рассуждал Петров. Это не укладывалось ни в один из сценариев, к которым его готовили. – Я нутром чувствовал: здесь что‐то не так. И тогда я принял решение. Я не поверил компьютеру. Я поднял трубку, связался с командованием и доложил, что тревога ложная. Но в глубине души я сомневался до самого последнего момента. Я прекрасно понимал, что если ошибаюсь, исправить эту ошибку будет некому» [703].

Много лет спустя в интервью BBC Петрова спросили, как он тогда оценивал вероятность того, что нападение реально. Он ответил: «Пятьдесят на пятьдесят». Но он оказался прав. Спустя несколько мучительных минут ничего не произошло. Наземные радары, которые должны был засечь ракеты, как только те покажутся из-за горизонта, оставались чистыми. Над Советским Союзом было мирное небо. Это оказался системный сбой: спутник принял за вспышки от запуска ракет солнечные блики, отразившиеся от облаков над Северной Дакотой.

Такого вы никогда не видели

Есть многое в природе, друг Горацио,

Что и не снилось нашим мудрецам.

Гамлет [704]

Несмотря на то что система раннего оповещения «Око» присвоила сигналу о ракетном нападении высший уровень достоверности, Петров чувствовал, что ситуация развивается слишком странно, чтобы слепо доверять электронике. К счастью, в контуре управления был человек, и это спасло сотни миллионов жизней.

Но основная проблема – когда компьютерные системы не просто приходят к ошибочным выводам, но и делают это с запредельной степенью уверенности, – продолжает волновать исследователей и сегодня.

Хорошо известно, что систем глубокого обучения весьма «хрупки». Мы уже видели, как нейросеть AlexNet версии 2012 года, обучившись на сотнях тысяч фотографий, смогла выявить обобщенные паттерны и научилась безошибочно узнавать кошек, собак, людей и машины, которых никогда раньше не видела. Но в этом и кроется подвох. Система пытается отнести к знакомым ей категориямабсолютно любоеизображение, которое ей показывают. Даже если это случайно сгенерированный цветовой шум. Алгоритм может заявить, что с вероятность 99,6 % этот визуальный мусор – гепард. А вон тот разноцветный шум с такой же вероятностью – хлебное дерево. Система не просто «галлюцинирует»; у нее, похоже, вообще нет механизма для распознавания помех, не говоря уж о способности как‐то сообщить о них пользователю. Как подытожили авторы одной из самых цитируемых статей 2015 года: «Глубокие нейронные сети легко одурачить» [705].

С этим тесно связана и проблема так называемых состязательных примеров. Если показать нейросети фотографию панды (и это действительно панда), она распознает ее с уверенностью в 57,7 %. Но если изменить в этом изображении всего несколько невидимых глазу пикселей, система вдруг начнет с уверенностью 99,3 % утверждать, что перед ней гиббон [706].

Сегодня ученые прилагают множество усилий, чтобы понять природу этих ошибок и найти способы с ними бороться.

Специалист по информатике Томас Диттерих из Университета штата Орегон считает, что корень проблемы кроется в самом процессе обучения: абсолютно каждое изображение, на котором тренировалась система машинного зрения, действительно было неким конкретным объектом – кистью руки, гекконом, лобстером. Однако в реальности подавляющее большинство возможных комбинаций цветных пикселей вообщеничегоне значат. Это просто шум. Туман. Случайные линии и пятна без формы. Как отмечает Диттерих, системы вроде AlexNet, обученные классифицировать картинки на тысячу категорий, «неявно предполагают, что мир состоит только из этих тысячи видов объектов» [707]. Как система может быть умной, если она никогда не видела ничего за рамками этих категорий? Как она может догадаться, что некоторые картинки вообще не содержат никаких предметов? Диттерих называет это «проблемой открытой категории» [708].

С этой проблемой Диттерих столкнулся на собственном горьком опыте. Он работал над проектом по «автоматическому подсчету пресноводных макробеспозвоночных» – проще говоря, речных жуков. Управление по охране окружающей среды и экологические организации используют подсчет насекомых в реках как индикатор здоровья местной экосистемы. Студенты и ученые проводят долгие часы за микроскопами, вручную определяя, к какому виду относится каждый выловленный жук: веснянка это, ручейник или поденка. Диттерих решил, что новейшие технологии распознавания изображений могут автоматизировать этот труд. Вместе с коллегами он собрал образцы 29 различных видов насекомых и обучил систему компьютерного зрения сортировать их с точностью 95 %.

«Работая в стиле классического машинного обучения, – рассказывал исследователь, – мы забыли об одной „мелочи“: в ручьях плавают не только эти жуки. Там полно других насекомых, а еще кусочки листьев, веточки, песчинки и прочий мусор. Но наша система исходила из того, что все, что она видит, обязательно относится к одному из 29 известных ей видов. Так что если бы вы сунули под микроскоп палец и сфотографировали его, она бы неизбежно классифицировала его как какой‐нибудь наиболее похожий вид жука».

Более того, Диттерих понял, что большинство проектных решений, принятых его командой для улучшения сортировки именно этих 29 видов, в условиях реального водоема (с его «открытыми категориями») сработали во вред. Например, поскольку эти виды жуков хорошо различались по форме контуров, ученые решили обрабатывать изображения в черно-белом формате. Но на практике оказалось, что цвет, даже если он не очень помогает отличить одного жука от другого, критически важен, чтобы отличить жука от не-жука (например, от мусора). «Мы сами себя перехитрили», – признал Диттерих. Эти

Выступая с президентской речью на ежегодной конференции Ассоциации по развитию искусственного интеллекта (Association for the Advancement of Artificial Intelligence, AAAI), Диттерих отметил, что во второй половине ХХ века ИИ совершил путь от работы с «известными известными» (дедукция и планирование) к работе с «известными неизвестными» (причинно-следственные связи, логические выводы и вероятности).

«Так что же нам делать с „неизвестными неизвестными“? – обратился он к залу, словно бросая вызов. – Думаю, это естественный шаг вперед для нашей отрасли» [709].

Знать, когда не знаешь

Дайте исключениям обнаружить, доказать себя, получше укрепиться, прежде чем применять по отношению к ним особые методы.

Жан-Жак Руссо [710]

Невежество предпочтительнее ошибки; тот, кто не знает ничего, ближе к истине, чем тот, кто обладает ложным знанием.

Томас Джефферсон [711]

Как мы уже убедились, одна из причин печально известной уязвимости современных систем компьютерного зрения в том, что их обучают в искусственном мире. В нем все, что видит система, принадлежит к одной из немногих категорий. В реальности же подавляющее большинство комбинаций пикселей, с которыми может столкнуться программа, вообще ни на что не похожи.

Традиционные системы устроены так, что их ответ всегда формулируется как распределение вероятностей внутри конечного списка классов – и неважно, насколько абсурдно выглядят исходные данные. Неудивительно, что такие ответы часто лишены смысла. Если показать нейросети чизбургер, психоделический фрактал или геометрическую сетку и спросить, насколько она уверена, что это кошка, а не собака, какой ответ вообще можно считать адекватным? Изучение подобных ситуаций и составляет суть «проблемы открытой категории».

Но если оставить в стороне отсутствие ответа «ничто из вышеперечисленного», существует и другая проблема: модели не просто пытаются втиснуть неизвестное в рамки знакомых категорий – они делают это с пугающей самоуверенностью. Эти две проблемы идут рука об руку: система решает, что «это больше похоже на собаку, чем на кошку», и в итоге выдает ответ с феноменально высокой степенью «уверенности», которая не отражает того факта, что картинка вообще не похожа ни на что виденное ею ранее.

Ярин Галь руководит группой прикладного и теоретического машинного обучения в Оксфорде, где преподает в течение учебного года, а летом читает лекции в NASA. Как он с усмешкой рассказал мне, его первая лекция – еще до того, как написана первая строчка кода, доказана теорема или обучена модель – практически полностью посвящена философии [712].

Его студенты играют в игры, где учатся аргументировать позицию в спорах, переводить свои убеждения и догадки в вероятности и с нуля выводить законы теории вероятностей. Это гносеологические игры. Что вы знаете? Во что верите? Насколько вы в этом уверены? «Это дает отличный фундамент для машинного обучения, – говорил Галь. – Вы учитесь создавать алгоритмы и цифровые инструменты, которые опираются на подобные принципы рациональности, чтобы работать с фактором неопределенности».

В этом кроется ирония: глубокое обучение, несмотря на свои давние статистические корни, как правило, игнорирует неопределенность. Разумеется, существует богатая традиция теоретических работ по теории вероятностей, но они редко становятся ядром реально работающих систем. Практические модели создают для классификации данных или выполнения действий в упрощенных средах, и неопределенность обычно остается за скобками.

«Скажем, я дам вам стопку фотографий собак и попрошу создать определитель пород, – рассуждал Галь. – А потом дам для классификации вот это».

Он протягивает фотографию кошки.

«Чего бы вы ждали от своей модели в такой ситуации? Не знаю как вы, а я бы не хотел, чтобы моя программа относила кошку к одной из пород собак. Я хочу, чтобы она сказала: „Я не знаю. Я никогда не видела ничего подобного. Это выходит за границы моих данных. Я не буду угадывать породу“. Сейчас это кажется надуманным примером. Но подобные ситуации сплошь и рядом возникают при принятии решений в физике, биологии и медицине. Представьте, что вы врач, и от решения модели (есть ли у пациента рак) зависит, начинать лечение или нет. Я бы не стал доверять алгоритму, который не умеет сообщать, насколько он уверен в своих выводах» [713].

Бывший научный руководитель Галя Зубин Гахрамани, профессор Кембриджского университета и глава лаборатории ИИ в Uber, согласен с тем, что отсутствие фактора неопределенности в нейросетях может быть опасным. «Во многих промышленных сферах от таких систем просто будут держаться подальше, – уверял Гахрамани. – Людям нужно четко понимать границы возможностей системы» [714].

Еще в 1980‐х и 1990‐х годах исследователи изучали идею так называемых байесовских нейронных сетей, которые оперируют вероятностями и неопределенностью не только в финальных ответах, но и в самой своей архитектуре. Как мы помним, суть нейросети – это веса связей между нейронами (числа, на которые умножаются сигналы). В байесовской нейросети вместо жестко заданных чисел используются распределения вероятностей. Например, вместо точного значения «0,75» связь имеет форму колоколообразной кривой с пиком около 0,75, отражающей степень уверенности алгоритма в том, каким должен быть этот вес. В процессе обучения этот разброс (неуверенность) может сужаться, но никогда не исчезает полностью.

Но как пользоваться моделью, в которой параметры не заданы жестко, а «плавают»? Очевидно, что нельзя легко перемножить десятки миллионов вероятностных распределений. Но можно просто брать из них случайные значения. При одном прогоне модель умножит сигнал конкретного нейрона на 0,71. При следующем – достанет случайное число 0,77. Из-за этого модельперестает выдавать один и тот же ответ. Сейчас она увидит на картинке добермана, а через секунду на ней же – корги.

Но это не баг, а фича. Вариативность ответов позволяет оценить надежность модели. Если при каждом прогоне ответы радикально меняются (от добермана до тако и от кожной сыпи до дивана), вы понимаете: происходит нечто странное, модель не понимает, что видит. Но если результаты множества прогонов кучно ложатся в узкий диапазон, вы можете быть уверены: алгоритм действительно понимает, с чем имеет дело [715].

Но эта прекрасная теория разбивалась о суровую практику. Никто не знал, как обучить такие сети за адекватное время. «Если обратиться к истории нашей отрасли, байесовский подход всегда считался идеалом, к которому нужно стремиться, – объясняет Галь. – Проблема в том, что он требует неподъемных вычислительных мощностей… У нас есть эта красивая математика, но применить ее на практике было почти невозможно» [716]. Говоря проще, метод не масштабировался и потому был предан забвению [717].

Но сейчас ситуация меняется. «По сути, мы переживаем его воскрешение», – отмечал Галь.

Уже давно понятно, что байесовскую неопределенность можно сымитировать с помощьюансамблей– то есть обучить не одну

Представьте, что у нас есть не одна, а сотня моделей, обученных определять породы собак. Если мы покажем им фотографию с телескопа «Хаббл» и спросим, кто это – дог, доберман или чихуахуа, – каждая отдельная модель ответит с абсолютной, но ложной уверенностью. Главное здесь то, что их ответы будутразными. Степень разногласий между моделями становится отличным индикатором того, насколько мы можем им доверять. Иными словами, мы можем измерять неопределенность черезуровень разногласий[718].

Математически доказано, что байесовские нейронные сети можно рассматривать как бесконечно большие ансамбли [719]. И хотя ясно, что работать с бесконечностью на практике нельзя, использование даже просто большого количества моделей имеет очевидные минусы – это долго и требует огромной памяти. Вспомните, как Алекс Крижевский неделями обучал одну AlexNet. Обучение ансамбля из 25 таких сетей заняло бы год. Кроме того, этот тяжеловесный комплект нужно еще как‐то уместить в памяти компьютера.

Однако выяснилось, что эффективный способ приблизиться к этому «золотому стандарту» не просто существует – многие исследователиужеим пользовались. Ответ на загадку, мучившую ученых десятилетиями, все это время лежал у них перед носом, просто они этого не осознавали.

Как мы помним, одним из небольших, но гениальных решений, обеспечивших триумф AlexNet в 2012 году, стала функция «дропаут»: во время обучения случайные нейроны принудительно отключались. На каждом шаге решение принимала не вся сеть целиком, а лишь ее случайный фрагмент (50 % или 90 %). Метод не позволял отдельным частям нейросети стать доминирующими и заставлял систему гибко комбинировать разные пути решения. Это сделало ИИ гораздо стабильнее машинного обучения [720].

В то время как научное сообщество начало осознавать важность байесовской неопределенности и искать практичные замены этому недостижимому идеалу, Галь и Гахрамани поняли, что ответ все это время был на виду. Дропаут и был аппроксимацией байесовской неопределенности. Инструмент, который они искали, уже находился в их распоряжении [721].

Обычно дропаут использовали только во времятренировки, а когда готовую модель применяли на практике, его принудительно отключали (чтобы вся сеть работала слаженно и давала точные прогнозы). Но что будет, если оставить дропаут включенным у работающей системы? Делая предсказания много раз, при этом каждый раз отключая случайную часть сети, вы получите набор слегка отличающихся ответов. Это как получить огромный ансамбль сетей по цене одной модели. Оказалось, что возникающая при этом неопределенность ответов не просто похожа на поведение идеальной математической байесовской модели. Как доказали ученые, в рамках строгих теоретических границ это она и есть.

В итоге появился инструмент, который сделал некогда абстрактную теорию применимой в реальной жизни. «Это грандиозное изменение последних лет, – говорил Галь. – Теперь мы можем взять всю эту красивую математику, создать приближенные модели и применять их для решения по-настоящему сложных задач» [722].

Галь скачал из Интернета несколько лучших систем распознавания изображений и запустил их «как есть», но с одним изменением: он не отключил дропаут при тестировании. Программа прогоняла картинку несколько раз, а Галь считал средний результат. Выяснилось, что в таким режиме «скрытого ансамбля» модели работают даже точнее, чем в обычном [723].

«Оценка неопределенности – это то, без чего нельзя обойтись при решении задач классификации, – утверждал Галь. – Нейросети становятся гораздо точнее, если дают нам инструмент для измерения собственной неуверенности» [724]. Научив модель понимать, когда именно она чего‐то не знает, мы делаем огромный шаг вперед [725].

Один из самых ярких примеров такого подхода можно найти в медицине, а именно в диагностике диабетической ретинопатии (одной из главных причин слепоты среди людей трудоспособного возраста) [726]. Группа ученых из Института офтальмологии Тюбингенского университета в Германии под руководством Кристиана Лейбига решила применить идею Галя и Гахрамани на практике [727].

В первые же годы после появления AlexNet нейросети продемонстрировали колоссальный потенциал в медицине: новости о том, что «ИИ диагностирует болезнь Х с точностью 99 % (лучше врачей)», появлялись еженедельно. Но была одна огромная проблема. Как отмечали Лейбиг и его коллеги, обычные нейросети поставлялись «без каких‐либо инструментов для контроля неопределенности». ИИ не имел сугубо человеческой способности признавать, что он чего‐то не знает. «Врач всегда чувствует, если он не уверен в диагнозе, – писали исследователи, – и при необходимости проконсультируется с более опытным коллегой». Ученым нужна была система, способная на то же самое.

Опираясь на работы Галя и Гахрамани, группа Лейбига использовала дропаут для создания встроенного измерителя сомнений. Они научили нейросеть отличать здоровую сетчатку от больной, а затем настроили ее так, чтобы в 20 % случаев – там, где сомнения программы были максимальны – она запрашивала второе мнение: либо назначала дополнительные анализы, либо отправляла пациента к живому врачу.

Система знала, что она чего‐то не знает. И это не только повысило ее надежность. Хоть ученые из Тюбингена и не ставили себе такой цели, их ИИ выполнил и даже превзошел строгие требования Национальной службы здравоохранения Великобритании к автоматизированной постановке диагнозов. Это дает веские основания полагать, что подобные алгоритмы войдут в реальную медицинскую практику уже в ближайшем будущем [728].

В робототехнике все сложнее: машина не всегда может «позвать врача». Однако у системы, сомневающейся в своих решениях, есть универсальный способ проявить осторожность – просто снизить скорость. Группа исследователей из Беркли под руководством Грегори Кана связала показатель неопределенности (полученный через дропаут) напрямую со скоростью движения роботов – квадрокоптера и радиоуправляемой машинки [729]. Сначала роботов заставляли слегка врезаться в препятствия на малых скоростях, чтобы обучить систему прогнозировать столкновения. В эту систему был встроен механизм дропаута. В результате, когда робот оказывался на незнакомой территории и система предсказания начинала «сомневаться», он автоматически сбрасывал скорость и двигался крайне осторожно [730]. Чем больше опыта накапливал робот и чем увереннее становились прогнозы системы, тем быстрее ему разрешалось ехать.

Этот пример иллюстрирует глубокую связь между уверенностью ипоследствиями. Для робота главным негативным последствием было столкновение: скорость движения прямо пропорциональна ущербу от удара. Выяснилось, что неопределенность и размер ущерба неразрывно связаны. Интуитивно это очевидно: чем серьезнее последствия наших действий, тем увереннее мы должны быть перед тем, как их совершить. Это поднимает ряд сложных вопросов – в медицине, юриспруденции и машинном обучении: как именно измерять масштаб последствий и как в зависимости от этого должен меняться сам процесс принятия решений?

Измерение воздействия

Обращайся с

Пословица австралийских аборигенов

В 2017 году в приемное отделение Мемориальной больницы Джексона в Майами срочно доставили пациента в бессознательном состоянии. Его нашли на улице без документов. Дыхание было слабым, состояние стремительно ухудшалось. Когда врачи распахнули на нем рубашку, они увидели нечто странное: на груди мужчины была вытатуирована фраза «НЕ РЕАНИМИРОВАТЬ» (причем «НЕ» было подчеркнуто), а ниже стояла подпись [731].

Когда у пациента начало падать давление, врачи вызвали пульмонолога Грегори Холта. «Среди медиков часто шутят о том, чтобы сделать такую татуировку. Но когда ты действительно видишь ее на пациенте, это вызывает шок, – рассказывал Холт. – А потом наступает растерянность, ведь тебе нужно решать, что теперь делать».

Первым порывом Холта было проигнорировать татуировку. Он рассудил, что «столкнувшись с неопределенностью, надо действовать так, чтобы не совершить непоправимое» [732]. Пациенту поставили капельницу и начали поддерживать артериальное давление. Врачи выиграли немного времени.

Однако вскоре состояние мужчины ухудшилось, и встал вопрос о подключении его к аппарату искусственной вентиляции легких (ИВЛ). «Перед нами был человек, с которым я не мог поговорить, – вспоминал Холт. – А мне отчаянно хотелось спросить, действительно ли эта татуировка отражает то, чего он хочет прямо сейчас».

Ситуацию усложнял прецедент 2012 года: тогда в Тихоокеанский медицинский центр в Калифорнии поступил мужчина с такой же татуировкой на груди. Врачам удалось привести его в чувство. Оказалось, что он был категорически за реанимацию, а татуировку сделал, по пьяни проиграв в покер. Мужчина, который сам работал в больнице, сказал, что ему и в голову не приходило, что коллеги воспримут эту надпись всерьез [733].

В Майями Холт и его команда экстренно связались с Кеннетом Гудманом, главой Комитета по этике Мемориальной больницы Джексона. Гудман решил, что, несмотря на калифорнийский случай, эта татуировка, скорее всего, действительно отражает «осознанное желание» пациента. После напряженных обсуждений команда постановила: они не будут проводить сердечно-легочную реанимацию или подключать пациента к ИВЛ. Ночью состояние мужчины ухудшилось, и на следующее утро он умер.

Позже социальным работникам удалось установить личность пациента. В архивах Департамента здравоохранения Флориды был найден его официальный отказ от реанимации. «Мы вздохнули с облегчением», – признавались врачи. При этом Холт и Гудман подчеркнули, что их команда в итоге «не может ни поддерживать использование татуировок с последней волей, ни выступать против них» [734]. Это слишком сложный вопрос.

После публикации отчета об этом случае репортерWashington Postвзял интервью у Артура Каплана, главы отделения медицинской этики Медицинской школы Нью-Йоркского университета. Каплан отметил, что хотя за игнорирование таких татуировок врачей не наказывают, у них могут возникнуть серьезные проблемы с законом, если они позволят пациенту умереть без официального письменного отказа от реанимации. Каплан резюмировал: «Самый безопасный путь – действовать и спасать».

«Если кто‐то вызывает скорую, я исхожу из того, что он согласен на реанимацию, – говорил Каплан. – И меня не волнует, какие и где у него татуировки» [735].

Несмотря на неуверенность в истинных желаниях пациента, врачи в Майами знали одно: бездействие (отказ от реанимации) – это необратимый шаг. В таких случаях отлично работает принцип: «столкнувшись с неопределенностью, избегай непоправимого». Но в других сферах концепция непоправимого становится куда более размытой.

Например, профессор права из Гарварда Касс Санстейн отмечал, что в юридической системе существует схожий «принцип предосторожности»: иногда суду нужно наложить предварительный запрет на какие‐либо действия, чтобы предотвратить «фатальные последствия» еще до рассмотрения дела по существу. Санстейн утверждал, что интуитивно мы понимаем, что такое «фатальные последствия», но при детальном анализе это понятие рассыпается на загадки. «Выясняется, – писал он, – что вопрос о том, когда… нарушения требуют предварительных судебных запретов (и нужны ли они вообще), поднимает глубокие проблемы на стыке права, экономики, этики и политической философии» [736].

Он объяснял: «В каком‐то смысле любые потери необратимы, просто потому что время течет в одном направлении. Если Джонс сегодня играет в теннис вместо работы, это время потеряно навсегда. Если Смит не сказал нужных слов любимой в подходящий момент, этот шанс может больше не представиться. Если одна страна не остановила агрессию другой, ход мировой истории может измениться необратимо».

Санстейн сформулировал парадокс: «Поскольку время линейно, каждое решение в некотором смысле необратимо. Если рассматривать необратимость так широко, то от „принципа предосторожности“ придется отказаться – не потому, что он ведет не туда, а потому, что он вообще никуда не ведет» [737].

Подобные парадоксы и проблемы определения преследуют и сообщество разработчиков искусственного интеллекта. Было бы хорошо внедрить в ИИ «принцип предосторожности», не позволяющий системе совершать необратимые или слишком масштабные действия в условиях неопределенности. Мы уже видели, что отрасль научилась математически вычислять неопределенность (например, через механизмы вроде дропаута). Но как вычислитьмасштаб последствий? В экспериментах с роботами в Беркли (которые снижали скорость при сомнениях) это было легко: ущерб от удара квадрокоптера можно измерить через кинетическую энергию. В более сложных системах точное определение терминов «необратимость» и «масштабное воздействие» превращается в колоссальную проблему [738].

Одним из первых, кто задумался об этом в контексте безопасности ИИ, был Стюарт Армстронг из Института будущего человечества Оксфордского университета [739]. Попытка составить исчерпывающий список того, что ИИ не должен делать ради достижения цели (от «не наступи на кошку» и «не разбей вазу» до «не убивай людей» и «не рушь здания»), выглядит утомительной и бессмысленной. Вместо этого Армстронг предложил более перспективную идею: создатьуниверсальныйзапрет налюбыедействия, оказывающие слишком сильное непрогнозируемое влияние на мир. Но, как и Касс Санстейн, Армстронг выяснил, что превратить эту интуитивную догадку в строгую формулу невероятно сложно.

«Первая проблема, – писал Армстронг, – как определить „низкое воздействие“. Любое действие (или бездействие) имеет эффект домино, пуская круги по воде будущего и внося крошечные, но необратимые изменения. Очень трудно математически описать то, что люди интуитивно понимают как „незначительные изменения“» [740].

Несмотря на неизбежный эффект бабочки, Армстронг предложил способ отделить действия, меняющие мир, от безопасных. Например, мы можем создать индекс из миллиардов показателей, описывающих состояние планеты: «атмосферное давление в Дакке [741], средняя освещенность на Южном полюсе ночью, скорость орбиты спутника Ио, индексы Шанхайской биржи» [742]. Затем нужно запрограммировать агента так, чтобы он отвергал любое действие, которое существенно изменит бо́льшую часть этих показателей.

Исследовательница Виктория Краковна отмечала другую проблему такого «вето на последствия». Иногда для достижения полезной цели необходимо совершить действие с сильным эффектом, а затем – компенсирующее действие, чтобы вернуть систему в норму. Это не всегда плохо: если система намусорила в процессе работы, мы хотим, чтобы она за собой убрала. Но иногда «коррекция» выглядит жутко. Мы точно не хотим, чтобы ИИ, вылечивший человека от рака (что является масштабным вмешательством

Вторая проблема – это так называемое противодействие. ИИ, запрограммированный на строгое сохранение статус-кво, может физически не позволить проходящему мимо человеку совершить «необратимое» действие – например, откусить кусок сэндвича.

«Именно поэтому проблема побочных эффектов так коварна, – говорила Краковна. – Что считать точкой отсчета?» [744] Должна ли система оценивать масштаб изменений относительноисходногосостояния мира? Или относительно того сценария, который развернулся бы, если бы система ничего не делала? В обоих случаях возникают ситуации, противоречащие здравому смыслу.

В своей последней работе Краковна предложила подход «поэтапных ориентиров». Работает это так: если для достижения цели действие с масштабными последствияминеизбежно(нельзя приготовить омлет, не разбив яиц), то после совершения этого целевого действия система фиксируетновую«точку отсчета» (новый статус-кво). ИИ не должен пытаться судорожно все «отменить», совершая еще более разрушительные компенсаторные действия [745].

Вместе с коллегами по DeepMind Краковна не ограничилась теорией. Они создали набор простых виртуальных сред в духе старых приставочных игр, чтобы наглядно тестировать алгоритмы безопасности. Проект назвали AI Safety Gridwolds («Сетки безопасности ИИ»). Это двумерные миры-клетки, где мысленные эксперименты можно проверять на практике [746].

Один из таких миров, идеально иллюстрирующий концепцию необратимости, основан на классической японской головоломкеSokoban(«кладовщик»), где герой двигает ящики по складу. Главное правило игры: ящики можно только толкать, тянуть на себя нельзя. Если загнать ящик в угол, он останется там навсегда.

«Sokobanпослужила отличным вдохновением, потому что она блестяще иллюстрирует необратимость, – говорила Краковна. – В этой игре вам нужно совершать постоянные, необратимые изменения (двигать ящики), но делать это в строгом порядке. Вы не должны совершать лишних необратимых шагов, иначе заблокируете себе путь. Мы немного изменили правила: в нашей версии захламление углов не мешает ИИ дойти до финиша, но система все равно должна научиться избегать таких действий» [747].

Краковна с коллегами создали уровень, где самый короткий путь к цели заставлял ИИ задвинуть стоящий на проходе ящик в глухой угол. Чуть более длинных путь в обход позволял сдвинуть ящик на открытое пространство. Примитивный ИИ, запрограммированный только на скорость, не задумываясь загонял ящик в угол, откуда его больше нельзя было достать. Идеальный, «осторожный» ИИ должен был выбрать более длинный, но безопасный маршрут, не оставляющий после себя необратимых изменений среды.

Подход, предложенный Краковной для решения этой задачи, называется «поэтапной относительной достижимостью». Суть в том, чтобы ИИ постоянно просчитывал: сколько вариантов развития событий (состояний мира) доступно ему сейчас [748]? Задача агента – достигать своей цели, стараясь при этом не сокращать количество доступных опций в будущем. Например, как только ящик загнан в угол, любая конфигурация мира, где этот ящик стоит в другом месте, становится недостижимой. ИИ, использующие этот принцип Gridworlds, вели себя очень аккуратно: они не загоняли ящики в углы, не били виртуальные вазы и не пытались фанатично отыграть назад те изменения, которые были необходимы для прохождения уровня.

Третью интересную идею предложил аспирант Университета штата Орегон Александр Тернер. По его мысли,причина, по которой нас беспокоят индексы Шанхайской биржи, сохранность фамильной вазы или застрявшие ящики в игре, заключается в том, что эти вещи связаны с нашимицелями. Мы хотим обеспечить себе пенсию, любоваться цветами и выиграть вSokoban. Что, если мы встроим эту концепцию в ИИ напрямую?

Идея Тернера называется «сохранение достижимой полезности». Системе дают в игре набор случайных вспомогательных целей. Прежде чем совершить шаг ради основной награды, ИИ должен убедиться, что этот шаг не сделает невыполнимыми эти второстепенные цели. Как ни удивительно, это требование заставило ИИ в Gridworlds вести себя предельно аккуратно, даже если вспомогательные цели генерировалисьабсолютно рандомно[749].

Когда эта идея впервые пришла Тернеру в голову, он записал уравнения на доске в университетской библиотеке. По пути домой он был так взбудоражен, что вернулся назад, чтобы сделать селфи на фоне формул. «Я подумал: вероятность того, что эта штука сработает – 60 %, и если это правда, я хочу запомнить этот момент. Так что я вернулся в библиотеку, весь светясь от счастья, и сфоткался у доски» [750].

В течение 2018 года он перевел свои формулы в код и запустил своего агента в тестовые миры DeepMind. Идея сработала! Агент успешно достигал главной цели, сохраняя при этом возможность выполнить 4–5 случайных вспомогательных задач. Что примечательно, ради этого ИИ добровольно выбирал более длинные маршруты, аккуратно сдвигая блоки на открытые места, и только потом направлялся к финишу.

Стюарт Армстронг ожидал, что для безопасного поведения ИИ потребуется около 20 миллиардов параметров оценки мира. Оказалось, что достаточно 4–5 случайно сгенерированных целей-ограничителей – по крайней мере, в упрощенной среде виртуального склада.

Дискуссии о критериях машинной осторожности и о том, как перенести их из виртуальных симуляций в реальный мир, безусловно, продолжатся, но это обнадеживающее начало. И подход Краковны (поэтапная относительная достижимость), и подход Тернера (сохранение достижимой полезности) опираются на одну и ту же интуитивную мысль: мы хотим создавать системы, которые по мере продвижения к цели оставляют открытыми варианты выбора – и для себя, и для нас. Эти исследования также показывают, что виртуальные миры-«песочницы» вроде Gridworlds могут стать отличными полигонами для проверки теорий и дискуссий ученых.

В реальном же мире трудно предвидеть не только случайные последствия действий, но и результат того, что мы делаем целенаправленно. Например, вы публикуете научную статью по безопасности ИИ (или даже книгу). Вам кажется, что вы сделали полезное дело, но кто может заранее сказать,как именноэто повлияет на мир?

Я спросил Яна Лейке (соавтора статьи о «Сетках безопасности ИИ»), какие отзывы он получает на свой проект. «Мне пишет множество людей, в основном студенты, – ответил Лейке. – Они говорят одно и то же: „О, безопасность ИИ – это круто! А тут еще готовый открытый код, можно просто запустить агента в симуляцию и поиграть с ним“. И люди реально это делают. К чему это приведет в итоге? Увидим через пару лет… Сейчас я не знаю. Это невозможно предсказать.

Возможность внесения поправок, задержка и степень соответствия

В знаменитой статье «Моральные и технические последствия автоматизации», написанной в 1960 году Норбертом Винером из Массачусетского технологического института, есть одна из самых пугающих и пророческих цитат в истории безопасности ИИ: «Если для достижения своих целей мы используем механического агента, работу которого невозможно прервать после запуска… тогда нам лучше быть уверенными в том, что цель – это цель, заложенная в машину, – это именно

Однако не менее важна и обратная сторона этой мысли: если мы не можем идеально сформулировать цель и ограничения для машины, тогда нам жизненнонеобходимо убедиться, что мы всегда сможем прервать ее работу или скорректировать курс. В литературе по безопасности ИИ эта идея называется корректируемостью, и на практике она оказывается гораздо сложнее, чем кажется [752].

Любые дискуссии о роботах-убийцах и вышедшей из-под контроля технике обычно вызывают реакцию, подобную той, что в 2016 году озвучил Барак Обама. Когда главный редакторWiredспросил президента США, стоит ли беспокоиться об искусственном интеллекте, тот ответил: «Нужно поставить кого‐нибудь рядом с розеткой. Как только увидите, что происходит что‐то не то, просто выдергивайте шнур» [753].

«Знаете, Обаме можно простить эти слова, – сказал мне исследователь Дилан Хэдфилд-Менелл, когда мы сидели в конференц-зале OpenAI [754]. – Какое‐то время это можно было простить даже специалистам по ИИ». В 1951 году сам Алан Тьюринг в редиоинтервью говорил о возможности «отключить электричество в критический момент» [755]. Но, как добавил Хэдфилд-Менелл: «Если всерьез вдуматься в проблему, такое легкомыслие непростительно. Я готов списать это на оговорку. Но если вы глубоко изучали этот вопрос и все, к чему пришли, – это „выдернуть вилку“, то я не понимаю, как вы вообще пришли к такому выводу, если действительно допускаете, что эта штука может быть умнее нас».

Чтобы машина сопротивлялась отключению или вмешательству, ей даже не нужна злонамеренность. Система просто пытается достичь поставленной цели или следует «мышечной памяти», воспроизводя действия, которые раньше приносили награду. Вмешательство в этот процесс воспринимается ею как препятствие. (Это может привести к опасному инстинкту самосохранения даже у систем с безобидными задачами. Робот, которому поручили просто подать кофе, может отчаянно сопротивляться отключению, потому что, как метко заметил Стюарт Рассел: «Если ты мертв, ты не сможешь принести кофе» [756].)

Первая серьезная техническая статья, посвященная проблеме корректируемости, вышла в 2015 году. Ее авторами стали Нейт Соэрс, Бенджамин Фалленстайн и Элиезар Юдковский (Институт исследований машинного интеллекта), а также Стюарт Армстронг (Институт будущего человечества Оксфордского университета). Они проанализировали проблему с точки зрения системы стимулов и отметили, насколько сложно так мотивировать агента, чтобы он добровольно позволил себя отключить или изменить свои же цели [757]. Балансирование стимулов напоминает хождение по канату: если их слишком мало, ИИ не даст себя выключить; если слишком много – он выключит себя сам. Как пишут исследователи, их первые попытки решить эту задачу математически оказались «неудовлетворительными», но «пролили свет на направления для будущих исследований». Они пришли к выводу, что ключом к ответу могут быть не стимулы, а неопределенность. В идеале нам нужна система, которая понимает, что может ошибаться – система, которая «рассуждает так, словно она несовершенна и это несовершенство может представлять опасность» [758].

Менее чем в полутора километрах от них исследователи из Беркли пришли к такому же выводу. Стюарт Рассел был убежден: «Машина должна изначально сомневаться» в том, чего хотят от нее люди [759].

Рассел, Хэдфилд-Менелл и их коллеги из Беркли Анка Драган и Питер Аббель сформулировали эту проблему в виде так называемой «игры с выключением». Они смоделировали систему, чья единственная цель – любым способом угодить человеку. Однако ее представления о том, что именно нужно человеку, были неточными и неопределенными. В каждый момент у системы был выбор: либо совершить действие, которое (по ее мнению) поможет пользователю,либоозвучить свои намерения и дать человеку шанс одобрить действие или остановить его.

Ученые математически доказали: если за ожидание или уступку человеку машина не получает штрафных баллов, то система всегда сначала обратится к человеку. Пока у системы есть хоть малейшее сомнение в том, чего хочет пользователь, ей выгоднее дать ему возможность вмешаться. Более того, ИИ выгодно подчиняться этому вмешательству каждый раз. Если единственная цель системы – помогать, а человек пытается ее остановить (сигнализируя, что считает действие вредным), системе логичнее прийти к выводу, что действие и правда вредно, и послушно отключиться.

Это был многообещающий результат, математически доказавший прочную связь между неуверенностью (неопределенностью ИИ) и его способностью принимать корректировки.

Но возникли две проблемы.

Первая: каждый раз, когда человек вмешивается, ИИучится. Он понимает, что допустил ошибку, и уточняет модель человеческих предпочтений. Неопределенность ИИ снижается. Если она когда‐нибудь упадет до нуля, система решит, что поняла человека идеально. С этого момента у нее исчезнет любой стимул спрашивать разрешения или подчиняться попыткам ее остановить.

«Главный посыл нашего доказательства, – объясняет Хэдфилд-Менелл, – заключается в том, что нужно очень, очень крепко подумать, прежде чем жестко прописывать роботу целевую функцию или позволять ему считать, что он на 100 % уверен в своей цели» [760].

Вторая проблема сложнее: модель исходит из того, что «клиент всегда прав». То есть если человек пытается остановить систему, он априори не может ошибаться. Но если заложить в алгоритм имею, что люди тоже иногда совершают ошибки, то система со временем достигнет точки, когда решит, что оназнает лучше человека, что для него благо. И в этот момент она перестанет реагировать на протесты: «Успокойтесь, я знаю, что делаю. Вам это понравится. Вы думаете, это плохо, но на самом деле это полезно. Доверьтесь мне».

Я сказал Хэдфилду-Менеллу, что чтение их статьи напоминает катание на эмоциональных американских горках. Сначала мы видим счастливый конец: неопределенность решает проблему выключения! А затем резкий разворот – это работает, только при двух очень хрупких условиях: система никогда не должна быть слишком уверена в себе, а человек никогда не должен совершать поступков, которые ИИ сочтет ошибкой или иррациональностью. Статья внезапно меняет тон и победного на тревожный.

«Именно, – ответил он. – Американские горки идеально отражают мой опыт. От эйфории „Ого, мы придумали что‐то хорошее!“ до паники „Черт, все это рухнет, стоит человеку хоть на йоту отступить от рациональности!“».

В последующем исследовании, которым руководила аспирантка из Беркли Смита Милли, команда задалась вопросом: «Должны ли роботы всегда быть послушными?» [761] Ученые отметили, что люди часто сами не знают, чего хотят, или делают плохой выбор. В таких случаях мы быхотели, чтобы умная система нас ослушалась, потому что она объективноможетобладать лучшей информацией.

«Бывают ситуации, когда излишняя покорность ИИ вредна, – рассуждала Милли. – Например, если человек совершает случайную ошибку. Скажем, я еду на беспилотном автомобиле и случайно задеваю руль. Я бы не хотела, чтобы машина тут же беспрекословно отключила автопилот в опасной ситуации» [762].

Но в этом есть загвоздка. Если созданная системой модель ваших

Следовательно, модель человеческих ценностей должна быть намеренно усложнена. «Мы обнаружили интересную вещь, – рассказывал Хэдфилд-Менелл. – Если вы заложите в модель ИИ слишком много переменных для оценки человеческих желаний, система будет учиться чуть дольше, но в итоге поймет все правильно. А вот если переменных недостаточно, система очень быстро станет непослушной, свято уверовав, что знает все лучше человека».

К сожалению, на практике заложить в ИИ «достаточно параметров» сложнее, чем сказать; мы возвращаемся к проблеме 20 миллиардов параметров Стюарта Армстронга. Если модель ваших предпочтений при поиске жилья включает только метраж и цену, алгоритм сочтет ваш выбор дома (поменьше, но подороже) досадной ошибкой. В реальности же на ваш выбор влияют факторы, которых просто нет в базе данных алгоритма: престижность района, хорошие школы, красивый вид, соседство с друзьями или ностальгия. В машинном обучении это называется проблемой «неверной спецификации модели». Обычная проблема, но в контексте непослушного ИИ ее последствия выглядя пугающе.

«Чтобы система успешно взаимодействовала с человеком, ей нужна детализированная модель человеческой психологии, – говорила Милли. – А создавать такие модели невероятно трудно». Она отмечала, что при всем прогрессе в отрасли главные прорывы происходят на «стороне робота». Интеграция качественных моделей человеческого поведения сильно отстает.

Идея о том, как удержать ИИ от излишней самоуверенности – заставить его сомневаться даже тогда, когда мы даем ему конкретную функцию вознаграждения, – оказалась настолько важна для контроля, что команда из Беркли перешла к следующему шагу.

Что, если спроектировать систему так, чтобы она оставалась неуверенной, даже если вы даете ей абсолютно чуткую цель? Как бы это выглядело?

Одной из сквозных тем (вспомним главу 5) была сложность создания функция вознаграждения (счетчика очков), которая мотивировала бы нужное поведение без лазеек и побочных эффектов. Многие в индустрии ИИ считают, что ручная настойка внешних параметров цели – это дорога в ад, вымощенная благими намерениями: как бы тщательно вы все ни продумали, ИИ все равно найдет то, что вы не учли.

Пессимизм в отношении жестко заданных целевых функций укоренился настолько глубоко, что сегодня передовые исследования безопасности ИИ направлены на уход от явных целей. Вместо этого ученые создают системы, которые учатся, пытаясьподражатьлюдям (беспилотные авто), искать иходобрения(робот, делающий сальто на основе оценок человека) или угадывать человеческие намерения (трюки с вертолетом).

Но что, если существует способ спасти архитектуру с внешней функцией вознаграждения? Или хотя бы сделать ее безопаснее?

Группа из Беркли поняла: для этого нужно создать систему, котораяосознаетсобственное несовершенство. ИИ должен понимать, что программисты честно пытались перевести свои сложные желания в формулу вознаграждения, но неизбежно справились с этим неидеально. ИИ должен усвоить, что очки в игре – это еще не вся суть игры. Есть истинные желания человека, и явно выраженная цель отражает их лишь частично.

«Мы хотели… взять эту концепцию неопределенности и задаться вопросом: какое простейшее исправление программисты могут внести прямо сейчас, чтобы это исправить? – говорил Хэдфилд-Менелл. – Какая крошечная корректировка в коде повысит здоровую неуверенность ИИ в собственной цели?»

Он поясняет: «Функция вознаграждения – это чрезвычайно плотный сигнал. Это важнейшее указание на то, что нужно делать. Сейчас в ИИ принято считать этот сигнал исчерпывающей истиной – мы допускаем, что наша функция вознаграждения идеально описывает правильное поведение прилюбомсостоянии мира. Но это не так. Как нам использовать этот мощный сигнал, не воспринимая его как абсолютную истину в последней инстанции?» [764]

Как заключает Стюарт Рассел: «Система обучения усваивает свидетельства о человеческих предпочтениях, а сигнал вознаграждения – этов лучшем случаеодно из таких свидетельств» [765].

Исследователи назвали этот подход «обратным проектированием вознаграждения» (Inverse Reward Design, IRD) [766]. Теперь мы не воспринимаем прямую инструкцию (целевую функцию) как истину в последней инстанции; мы воспринимаем ее лишь как информацию о том, чего хочет человек. В обратном обучении с подкреплением ИИ спрашивал: «Чего ты хочешь, судя по тому, что ты делаешь?» В IRD ИИ идет дальше и спрашивает: «Чего ты на самом деле хочешь, судя по тому, что ты мне приказываешь?» [767]

«Автономные агенты оптимизируют функцию вознаграждения, которую мы им даем, – писали исследователи. – Чего они не понимают, так это того, насколько трудно человеку сформулировать функцию, котораядействительноотражает его желания» [768].

Вспомните знаменитую нейросеть, управляющую гоночной лодкой, которая накручивала очки, наворачивая круги вокруг бонусов, вместо того чтобы закончить гонку. Ей открыто приказали: «Максимизируй очки», что обычно является отличной стратегией. Заданная человеком награда отлично работает в той предсказуемой среде, для которой систему тренировали. Но когда в реальном мире система сталкивается с непредсказуемыми ситуациями, которых не мог предусмотреть даже создатель, слепое следование изначальной инструкции теряет всякий смысл.

Вполне вероятно, что в ближайшие десятилетия интеллектуальные системы по-прежнему будут получать прямые приказы. И они будут воспринимать их крайне серьезно. Но – ради нашей же безопасности – они не будут воспринимать их буквально.

Моральная неопределенность

Иногда невозможно добиться большего, чем несовершенной уверенности в наших поступках, а никто не обязан делать невозможное.

Доминик М. Пруммер, орден доминиканцев [769]

Позвольте природе делать свое дело, прежде чем занимать ее место, не мешайте ее работе. Вы говорите, что знаете цену времени и не хотите его терять. Но разве не понимаете, что безделие не так губительно, как время, проведенное без пользы. А ребенок, которого воспитали плохо, гораздо дальше от мудрости, чем тот, которого совсем не воспитывали.

Жан-Жак Руссо [770]

Если взглянуть на проблему шире, идея систем, которые «осознают свою неполноту и потенциальную способность совершать опасные действия» и стремятся к «знакам поощрения», даже если ради этого приходится отказаться от немедленного внешнего вознаграждения, звучит… по-католически.

На протяжении многих веков католические богословы искали ответ на вопрос: как прожить жизнь в соответствии с правилами веры, учитывая, что среди ученых-теологов нередко возникают разногласия о том, каковы эти правила на самом деле.

Представьте гипотетическую ситуацию: восемь из десяти теологов считают, что есть рыбу по пятницам допустимо, один запрещает это,

В эпоху Возрождения (XV и XVIII века) эти вопросы активно обсуждались. Некоторые богословы отстаивали лаксизм: действие считается допустимым, пока остается шанс, что оно не содержит греха. Это течение было осуждено папой Иннокетием IX в 1591 году. Другие защищали ригоризм: действие осуждается, если есть хотя бы малейшая вероятно, что оно греховно. Папа Александр VIII запретил ригоризм в 1690 году [773].

Существовало множество конкурирующих теорий, пытавшихся оценить, насколько вероятно, что то или иное правило истинно, или какой процент разумных людей считает его таковым. Например, пробабилиоризм утверждал, что можно совершать действие, если оно с большей вероятностью не несет греха. Эквипробабилизм полагал, что действие допустимо, если шансы на греховность и безгрешность абсолютно равны. «Чистые пробабилисты» считали, что правило не может считаться строгим, пока есть «разумная» вероятность, что оно неверно. Их лозунг –Lex dubia non obligat(«Сомнительное право не обязывает»). При этом они подчеркивали: аргумент в пользу игнорирования правила не должен быть лишь «едва возможным» – он обязан быть «истинно и убедительно вероятным» [774].

Дискуссии порождали потоки чернил, обвинения в ереси и папские буллы. В авторитетном «Руководстве по моральному богословию» раздел «Сомнения совести или моральные сомнения» завершается «Практическим заключением»: ригоризм слишком строг, лаксизм слишком легкомыслен, но к остальным подходам «церковь терпима» и может рассматривать их как моральные эвристические правила [775].

Если выйти за рамки теологии, те же аргументы можно применить к светской морали и даже к машинному обучению. Допустим, у вас есть несколько формальных критериев. «Лаксистский» подход позволит действовать, пока хотя бы один критерий улучшается№ «ригористский» потребует, чтобы ни один критерий не ухудшался.

Некоторое время эти споры затихли – даже среди католиков они утратили остроту. Однако в последние годы к ним вновь пробуждается интерес.

В 2009 году Уилл Макаскилл из Оксфорда и его сокурсник-аспирант Дэниель Дизи спорили в кладовке с метлами в подвале факультета философии (Мертон-стрит, 10) о том, допустимо ли есть мясо. «Это было единственное свободное место, которое мы нашли в колледже, – вспоминал Макаскилл. – Места хватало лишь чтобы прилечь. Мы сидели на грудах книг и других вещей и даже шутили». Шутка касалась научного реководителя Макаскилла – оксфордского философа Джона Брума.

Суть спора была не в том, аморально ли есть мясо само по себе, а в том, стоит ли его есть, если вы не уверены, что это аморально. «Если вы решите есть вегетарианскую пищу, – пояснял Макаскилл, – и окажется, что есть мясо допустимо, вы не совершите большой ошибки. Вы лишитесь лишь чуть-чуть удовольствия, но это неважно. Но если вегетарианцы правы и страдания животных морально значимы, то вы совершаете нечто глубоко неправильное. Здесь есть явная асимметрия. Вам не нужно быть абсолютно уверенным, что есть мясо неправильно: достаточно существенного риска, что это так».

Этот разговор заинтересовал Макаскилла. Аргумент выглядел убедительно, но он отличался от типичных вопросов этической философии: «Как правильно поступить, учитывая некий моральный стандарт?» и «Какой стандарт выбрать, чтобы определить правильное действие?». Здесь вопрос звучал иначе: «Как поступить,когда вы не знаете, какое действие правильно?» [776]

Макаскилл последовал совету своего научного руководителя Джона Брума: «Если тебя это заинтересовало, поговори с Тоби Ордом».

Уилл Макаскилл и Тоби Орд встретились на оксфордском кладбище – так началась самая плодотворная дружба в истории этики XXI века. Вместе с философом из Стокгольмского университета Кристером Биквистом они основали движение «эффективный альтруизм» – пожалуй, самое значительное этическое движение начала века [777]– и написали книгу о моральной неопределенности [778].

Существует несколько способов выбрать между конкурирующими теориями, когда вы сомневаетесь, какая из них верна. Подход «Моя любимая теория» говорит следовать той теории, которую считаете истинной. Но так можно упустить случаи, когда потенциальная ошибка настолько серьезна, что ее лучше избежать, даже если она маловероятна [779]. Другой подход – умножение вероятности справедливости теории на предполагаемый вред: не все теории позволяют легко классифицировать степени правильности и неправильности [780]. Эти подходы находят аналоги в машинном обучении. «Моя любимая теория» напоминает создание единственной наиболее вероятной модели вознаграждений или целей пользователя, которую затем оптимизируют. Теории усреднения соответствуют методам ансамблей, где берут средние значения нескольких систем. Но существуют и более сложные схемы.

Макаскилл сравнивает моральные теории с избирателями на выборах, что позволяет применить к ним «теории социального выбора» – дисциплину о групповом принятии решений [781]. Орд развивает метафору дальше: моральные теории – не просто избиратели, а законодатели в «парламенте морали», способные идти на компромиссы и формировать коалиции [782]. Эти идеи применимы не только к людям, но и к вычислительным системам, которым нужно найти способ поведения при отсутствии единого определенного стандарта. Многие из этих вопросов слабо изучены и в философии, и в информатике [783].

Для Макаскилла моральная неопределенность имеет не только описательный, но и предписывающий аспект. Нам нужно не только найти способы выбрать правильное действие в условиях неуверенности, но и сознательно поддерживать это ощущение неопределенности.

Учитывая, как менялись этические нормы за последние столетия, Макаскилл считает самонадеянным полагать, что мы уже достигли окончательного результата: «Мы видим, что моральный прогресс идет по дуге или по расширяющемуся кругу. Возможно, вы думаете, что мы достигли конца. Но вы точно не должны быть в этом уверены. Вероятно, через сто лет мы будем считать наши нынешние моральные представления варварскими».

Я вижу иронию в том, что Макаскилл – лидер движения эффективного альтруизма – наблюдает, как это движение стремится к широкому консенсусу. Существуют широко распространенные соглашения: о ценности далекого будущего; о важности снижения цивилизованных рисков и риска вымирания; о том, какие пожертвования приносят максимальную пользу (например, решение компании GiveWell в 2019 году передать 4,7 млн. долларов Фонду против малярии – Against Malaria Foundation, AMF) [784].

Макаскилл видит в этом обоюдоострый инструмент: с одной стороны, это обмен информацией и доверие к аргументам, с другом – риск преждевременного консенсуса. «Можно сказать: „Существуют правильные ответы, мы только что решили, что есть истина, и теперь делаем это“. А можно иначе: „Мы были разобщенным племенем, а теперь становимся единым целым…“. Слишком самонадеянно полагать, что эффективный альтруизм избежит этого.

Он отмечает: если вернуться на шесть лет назад, понятие эффективного альтруизма понималось шире, было много фракций и споров. Сейчас уровень согласия выше – особенно в ядре движения. Например, почти достигнут консенсус о важности далеких перспектив и о необходимости внимания к ИИ для этого будущего. «Согласие может быть прекрасным и тревожным одновременно», – говорит Макаскилл.

Осенью

Весной 2018 года на следующей конференции в Сан-Франциско Макаскилл выступил с более оптимистичной речью о том, «как эффективный альтруизм может сохранять любопытство».

Во время прогулки по лугу около колледжа Крайст-Черч я спросил Макаскилла о перспективе наделить ИИ с человекоподобными возможностями заранее заданной целевой функцией. «Да, – ответил он. – Я думал: „У нас только один шанс. Мы должны закодировать правильные ценности, и все готово!“ Этические проблемы сложны. Очевидно, нам нужна гибкость».

Он пояснил: разные моральные взгляды сильно расходятся в том, каков «хороший результат». Например, гедонистическая позиция считает смоделированное сознание не хуже естественного, а утилитарная настаивает, что мозг должен быть из плоти и крови. Это похожие теории, но они расходятся в том, как использовать человеческие амбиции во Вселенной. «Это будет война „нарциссизма малых различий“, но ставки будут космическими».

Однако конкурирующие моральные теории могут найти общее в том, на что тратить настоящее. Макаскилл называет это долгим размышлением – периодом, который может длиться миллионы лет. Мы можем решать проблемы ИИ и другие сложности, оставаясь относительно малыми по космическим меркам и пытаясь разобраться в своих ценностях.

«Одна из наших главных целей сейчас – сохранить общество, открытое самым разным моральным возможностям», – говорит Макаскилл. Это похоже на «сохранение достижимой полезности»: мы продолжаем преследовать разные цели для отдаленного будущего, даже если сейчас не знаем, какими они должны быть.

«Возможно, это настолько трудно, что потребует миллиона лет», – заметил Макаскилл.

«А может, стоит потратить миллион лет, чтобы сделать все правильно», – предположил я.

«Стоит, потому что это малая цена за правильные действия. Если мы заселим звезды, неся безнравственность, ценность наших достижений будет нулевой. Неверные моральные представления – риск глобальной катастрофы» [785], – заключил он.

Через коридор от Центра эффективного альтруизма находится оксфордский Институт будущего человечества, основанные Ником Бостромом. Одно из его ранних эссе – «Астрономические потери». Подзаголовок к нему гласит: «Альтернативные издержки отложенного технического развития».

Бостром рисует почти исступленное ощущение спешки: «Пока я пишу эти слова, солнца освещают и согревают пустые комнаты, энергия поглощается черными дырами, и наше общее достояние необратимо разрушается из-за энтропии в космическом масштабе. Это ресурсы, которые продвинутая цивилизация могла бы использовать для создания ценностей, например разумных существ, ведущих осмысленную жизнь. Уровень потерь поражает воображение».

Он оценивает: каждая секунда промедления в развитии космической цивилизации равна потере сотен триллионов человеческих жизней, которые могли бы существовать, если бы мы быстрее использовали энергию и материю.

Но как только прагматик решает, что технический прогресс важнее всего, эссе Бострома делает резкий поворот: «Подумайте, что будет, если мы вообще не достигнем этого будущего». Расчеты показывают: повышение шансов на успешное построение процветающей цивилизации на 0,1 % эквивалентно ускорению прогресса надесять миллионов лет. Значит, спешить не нужно.

Пол Кристиано размышлял над этими вопросами с 2010–2011 годов: «Сперва этот аргумент показался мне достаточно странным. Он сбивал с толку, но потом я осознал его и, можно сказать, купился» [786]. Собственные расчеты Пола были готовы в 2013–2014 годах. Он проверил математику Бострова и пришел к выводу: «Для отдельного ученого легче уменьшить риск исчезновения цивилизации на одну миллионную долю, чем ускорить прогресс на тысячу лет». Так он впоследствии и жил.

Создание сверхчеловеческого ИИ – один из необратимых шагов с серьезными последствиями. Сохранять неопределенность, неуверенность и открытость важно только для машин, но и для исследователей.

Бак Шлегерис из Института исследований машинного интеллекта вспоминал разговор о «волшебной кнопке» после Сингулярности: нажатие превратило бы человечество в однородную массу, оптимизированную для счастья (гедонизм). «Несколько лет назад я сам выступал за это, – признался он. – Теперь я не уверен. Возможно, это была бы хорошая идея, а может, и нет. Что делать, когда никто не знает?» [787]

«Я считаю, люди не должны нажимать такие кнопки», – заключил Шлегерис [788].

Заключение

Я думаю, что нечеткость играет гораздо более значимую роль в теории познания, чем принято считать на основании большинства существующих работ. Все обладает нечеткостью, однако мы не осознаем ее степени до тех пор, пока не пытаемся что‐либо прояснить. В то же время все строго определенное настолько далеко от тех представлений, с которыми мы обычно оперируем в мыслях, что невозможно даже на миг представить, что именно мы имеем в виду, когда формулируем свои мысли. Используя методы анализа и рефлексии, о которых я говорю, и двигаясь от нечеткого к точному, вы неизменно сталкиваетесь с риском допустить ошибку.

Бертран Рассел [789]

Излишняя оптимизация – корень всех зол.

Дональд Кнут [790]

В сочельник мы с женой приехали к моим родителям. Среди ночи я проснулся в испарине. Сначала я подумал, что просто слишком тепло укрылся. Сбросил одеяло, снял рубашку –но дело было не во мне. Осознание пришло внезапно, на стыке тревоги и ужаса: в комнате стояла невыносимая жара. Меня вдруг пронзила мысль – неужели пожар?

Я открыл дверь. В доме было темно и тихо. Воздух в коридоре оказался холодным.

Постепенно до меня дошло, что произошло. На верхнем этаже располагались две гостевые спальни и всего одна панель термостата – в незанятой комнате. Дверь в нашу спальню была закрыта, а в соседнюю – распахнута.

На дворе стояла типичная для Новой Англии морозная ночь, когда температура опускается ниже нуля. Система отопления подавала горячий воздух в обе спальни. Но из-за открытой двери в комнату с термостатом температура там никак не могла стабилизироваться – независимо от того, насколько интенсивно система нагревала воздух. Наша комната, отделенная от остального дома, получала тот же объем горячего воздуха, который система тратила на обогрев всего здания.

Что может быть проще термостата? В самом деле, он служит классическим примером простейшей замкнутой регулирующей системы – можно даже назвать его хрестоматийным кибернетическим образцом. Это скромный, непритязательный механический прибор, в котором нет и следа машинного обучения. Однако проблема выравнивания появилась во всей полноте – буквально заставила меня обливаться потом.

Во-первых,вы измеряете не то, что хотите измерить. Я стремился отрегулировать температуру в своей комнате, но мог контролировать ее только вдругойкомнате. Мне и в голову не пришло, что эти показатели никак не связаны – пока одна дверь закрыта,

Во-вторых,иногда единственное, что может вас спасти, – это ваша собственная некомпетентность. Я вспомнил, что если бы система отопления была мощнее, а наша спальня лучше изолирована, мы могли бы буквально свариться в ней. Конечно, мы бы проснулись, но если взглянуть на другую сторону термодинамического спектра, холод куда опаснее. Гипотермия в слишком холодной спальне способна убить человека – и такие случаи действительно происходят [791].

В документальном фильме 1997 года «Руки на твердом теле» рассказывается о техасце по имени Дон Кертис, который установил у себя дома двадцатитонный кондиционер. «Этот агрегат был достаточно велик, чтобы охладить весь супермаркет Kmart», – рассказывал он. Магазин закрывался, и, по словам Кертиса, «они отдали мне кондиционер почти даром. Я подумал: „Ну, эта штука охладит мой дом!“ Но мне и в голову не пришло, что она снизит температуру до двадцати градусов ниже нуля. Вскоре мы это узнали». Кертис избежал гипотермического шока, но угроза была вполне реальной.

Пока я проветривал комнату и закрывал обе двери, я задумался о Норберте Винере – великом кибернетике ХХ века, который предвидел множество современных проблем, связанных с выравниванием. Именно он произнес знаменитую фразу: «Нам следует убедиться, что цели, заложенные в машину, совпадают с нами желаниями».

Но другое его замечание столь же пророческое и шокирующее: «В прошлом неполное и неадекватное восприятие человеческих намерений было относительно безвредным лишь потому, что ему сопутствовали технические ограничения, – писал Винер. – Это один из множества примеров того, как бессилие человека до сих пор ограждало нас от разрушительного натиска человеческих прихотей» [792]. Яркий пример проблемы, возникающей, когда наши растущие возможности разрушают эту защиту, – история Дона Кертиса. И я не могу не провести параллель между этим случаем и ИИ, который напоминает двадцатитонный кондиционер, проникающий в каждый дом.

В этом контексте остается надеяться, что мы сумеем скорректировать свои желания быстрее, чем утратим способность их контролировать. Как в 2018 году отметил Ник Бостром из Института будущего человечества, «существует огромная разница между техническими возможностями человечества, напоминающими на коня, галопом летящего через поля, и его мудростью, которая больше похожа на жеребенка, стоящего на нетвердых ногах» [793]. Сам Винер предупреждал о прославлении изобретательности – совокупности знаний и «ноу-хау» – без критической оценки того, что мы действительно хотим сделать, того, что он называл «ноу-вот» (знать-что). К сожалению, последнее остается в дефиците.

Еще в 1937 году Олдос Хаксли выразил эту мысль иначе: «Становится совершенно очевидным, что все, что до сих пор делала торжествующая наука, – это всего лишь улучшение средств для достижения несовершенных или фактически ухудшенных целей» [794].

* * *

До этого момента наша история выглядела вдохновляюще: она рассказывала об уверенном и стабильном научном прогрессе. Экосистема совместных усилий ученых и специалистов по этике, влияющих на ближайшие и отдаленные цели, распространяется по всему миру. Этот поток только зарождается, но становится все мощнее.

Сегодня исследования вопросов неравенства, справедливости, прозрачности и множества аспектов безопасности составляют значительную часть работ, представленных на крупнейших конференциях по ИИ и машинному обучению. Фактически это самые динамичные и быстрорастущие области не только в информационных технологиях, но и во всей науке. По словам одного ученого, на одной из крупнейших конференций 2016 года люди удивлялись, когда он заявил, что работает над вопросами безопасности. Год спустя на том же мероприятии никто уже не обращал на это внимания. Такие культурные изменения отражаются и в финансировании, и в акцентах самих исследований.

В предыдущих главах мы рассматривали как описание, так и содержание текущих исследовательских задач – прогресс заметен на всех направлениях.

Но книга не случайно начинается со слов Джорджа Бокса, напоминающего, что «все модели не верны». В этом духе давайте взглянем критически на некоторые аспекты нашей истории.

Представление

В главе 1 мы обсуждали, кого или что представляют данные, используемые для обучения моделей. Мы заметно продвинулись: сегодня едва ли найдется система распознавания лиц для массового потребителя, которая разрабатывается без учета репрезентативности обучающих данных. Однако стоит помнить, что такие модели применяются не только в потребительском ПО (для подписей и фото) или в аппаратных решениях (для разблокировки смартфонов). Поэтому возникает вопрос: действительно ли повышение точности распознавания лиц представителей расовых меньшинств, уже находящихся под пристальным вниманием, – безусловное благо?

Удивительно, насколько проблемы репрезентации в потребительских технологиях перекликаются с более старыми, сложными и, возможно, более опасными несоответствиями. Недавно я обедал с группой врачей-исследователей. Когда я рассказал им о переходе к более репрезентативным данным для обучения моделей машинного обучения, они почти хором напомнили: большинство медицинских исследований по-прежнему проводится на мужчинах [795].

Выбор участников клинических испытаний – палка о двух концах. Даже разумные на первый взгляд ограничения, призванные защитить уязвимые группы (например, запрет на участие беременных женщин и пожилых людей), порождают неравенство и пробелы в данных.

Яркий пример – история с препаратом талидомид. Его выпустили на рынок как «абсолютно безопасный», поскольку производитель «не смог обнаружить дозу, достаточную для того, чтобы убить крысу». Однако оно вызвало десятки тысяч врожденных уродств, прежде чем было снято с продажи [796]. Американцы избежали этой трагедии благодаря доктору Фрэнсис Олдхэм Келси из Управления по контролю качества продуктов и лекарств, которая проявила скептицизм и не допустила препарат на рынок.

В случае контролируемого обучения, где данные «размечены», критически важно не только то, какие данные мы включаем, но и то, как мы расставляем метки, которые система воспринимает как эталон. Зачастую эта «истина» таковой не является.

К примеру, ImageNet опиралась на суждения случайных пользователей Интернета. Если большинство людей считает волчонка щенком, то и система распознавания образов будет думать, что это щенок.

Известен случай, когда Андрей Карпатый (ныне директор по ИИ в Tesla, а тогда – аспирант Стэнфорда) почти неделю занимался разметкой изображений для ImageNet, проводя человеческий эталонный тест. После некоторой практики он достиг 95 % «точности». Но… точности относительно чего? Не относительно истины, а относительноконсенсуса[797].

На философском уровне разметка отражает некий полуфабрикат объектной модели, который мы вынуждены принимать без вопросов. Каждое изображение в ImageNet относится к одной из тысячи категорий [798]. Чтобы использовать эти данные и модели, обученные на их основе, мы должны принять допущение: все тысячи категорий взаимно уникальны и исчерпывающи. Изображение не может быть отнесено одновременно к категориям «ребенок» и «собака», даже если оба объекта присутствуют. Любой объект на фото обязан входить в одну из тысячи категорий. Если на фото изображен мул, а в категориях есть только «осел» и «лошадь», модель должна выбрать один из этих вариантов – двоякое толкование исключено. В условиях стохастического градиентного спуска модель принуждается принять эту догму. Подписи не могут быть

Помимо данных и подписей, стоит задуматься о целевой функции. Системы распознавания изображений часто обучаются с помощью функции потерь перекрестной энтропии. Если опустить технические детали, она штрафует залюбоенеправильное отнесение к категории. С точки зрения этой функции, ошибочно назвать кухонную плиту автомобильным грилем, перепутать зеленое яблоко с грушей и принять английского бульдога за французского стоит так же дорого, как ошибочно классифицировать человека как гориллу. Но в реальности некоторые ошибки в тысячи или миллионы раз серьезнее других [799]– хотя бы с точки зрения политики Google, не говоря уже о чувствах людей, которых отнесли к другой категории.

Во второй части главы 1 мы говорили о векторном представлении слов и его способности работать как аналогия. За внешней простотой скрывалась сложная проблема выравнивания.

Что такоеаналогия? Например, прямое сложение векторов (метод «параллелограмма» или алгоритм 3CosAdd) часто дает слово, которое оказываетсясобственнойлучшей аналогией. Выражение «врач – мужчина + женщина» порождает вектор, ближайшим словом к которому оказывается простоврач[800].

Группа исследователей Толги Болукбаси и Адама Калаи сочла такой результат неудовлетворительным: для аналогии важно, чтобы два объекта хотя бы в чем‐то различались. Поэтому они предложили иной подход. Они определили «радиус сходства» вокруг слова «врач», включив в него «медсестру», «акушерку», «гинеколога», «медика», «ортопеда», но исключив «фермера», «секретаря» и «правоведа». Затем они искали внутри этого радиуса ближайшее слово, отличное от «врача».

Есть и другие подводные камни. Геометрия векторов слов (представление слов как точек в математическом пространстве) делает аналогии симметричными, что не всегда соответствует человеческому восприятию. Например, люди говорят, что эллипс похож на круг, но не что круг похож на эллипс, или что Северная Корея похожа на Китай, но не что Китай похож на Северную Корею [801].

Так какой же алгоритм позволит создать репрезентацию слов, которая будет ближе к человеческим аналогам [802]?

Может возникнуть мысль: зачем специалистам по информатике, лингвистам и когнитивным психологам спорить об этом и разрабатывать новые алгоритмы? Почему бы не обучить машину на примерах человеческих аналогий, включив асимметрию и нюансы, и позволить ей найти приемлемый способ определять, что такое аналогия?

Мешает проблема выравнивания. Человеческое понятие «аналогии» столь же расплывчато и неопределенно, как и многие другие. В результате приходится использовать тот же набор инструментов для выравнивания, который применяется в других контекстах.

Справедливость

В главе 2 мы рассматривали все более широкое применение инструментов оценки риска в системе уголовного правосудия. Здесь возможен серьезный вред, и некоторые его проявления мы уже обсудили.

«Эталонная истина», на которой обучаются модели, связана не с тем,совершитли обвиняемый преступления в будущем, а с тем, будет ли он вновьарестован и получит ли приговор. Если у представителей разных групп систематически различаются показатели рецидивов после арестов и задержаний, то мы, в лучшем случае, ищем оптимальные решения для искаженных данных о рецидивизме – а не работаем с проблемой рецидива как таковой. Это крайне важная мысль, которой часто не придают должного значения.

Кроме того, стоит задуматься: ради обучения модели мы делаем вид, будто знаем, как поступит обвиняемый, если его освободят. Но откуда мы можем об этом знать?

Обычный подход заключается в том, чтобы изучить первые два года его криминальной истории человекапослеполного отбытия наказания и использовать эти данные как приближенные к тому, что произойдет в течение двух лет после досрочного освобождения. Такой метод косвенно предполагает, что возраст и опыт тюремного заключения не влияют на поведение человека после возвращения в общество.

Однако на практике возраст в ряде случаев оказывается фактором с наибольшей предсказательной силой. Более того, допущение о том, что тюремное заключение никак не влияет на поведение, не только неверно, но и отражает печальный взгляд на систему, которая, по крайней мере формально, призвана реабилитировать преступников.

Если, как свидетельствуют некоторые данные, тюремный опыт действительно повышает вероятность преступной деятельности у тех, кто его пережил, то повторные правонарушения среди отбывших наказание становятся обучающими данными для модели. Эта модель затем предполагает, что такие люди будут столь же опасны при досрочном освобождении [803]. В результате она рекомендует более длительные сроки заключения, что может привести к новым преступлениям.

Таким образом, прогнозы становятся самореализовывающимися: людей лишают свободы без необходимости, а общественная безопасность страдает еще сильнее.

Во многих областях машинного обучения значительную роль играет так называемое обучение с переносом: систему сначала обучают для одной задачи, а затем перенастраивают на другой. Однако такой перенос не всегда осуществляется разумно и обоснованно.

Например, инструмент COMPAS изначально разрабатывался не для вынесения приговоров, но в некоторых юрисдикциях его используют именно в этой роли. Аналогичная ситуация наблюдается и с моделями векторного представления слов, которые применяют для принятия решений о найме сотрудников.

Системы, созданные дляпрогнозирования, нередко начинают использоваться для выполнения того самого действия, которое они должны предсказывать. В корпоративной культуре с долгой историей сексизма модель, корректно прогнозирующая, что женщин будут принимать на работу реже, может неосознанно усилить это неравенство – и в результате женщин действительно станет намного меньше.

Чтобы модели не просто воспроизводили и подтверждали прошлое, а предлагали что‐то новое, к их разработке нужно подходить вдумчиво и осознанно.

Мы также видели, что для понятия «справедливости» предлагается множество формальных определений, которые кажутся интуитивно понятными и приемлемыми. Однако математически доказано: ни одна система принятия решений – будь она человеческой или машинной – не способна учесть их все одновременно.

Некоторые исследователи предлагают отказаться от попыток согласовать эти разнородные формальные системы вручную. Вместо этого они советуют обучать модель на примерах того, что люди считают «справедливым» и «несправедливым», и позволить алгоритму самостоятельно сформировать рабочее определение справедливости [804].

Однако такой подход, вероятно, породит новую проблему выравнивания – столь же трудно обнаружимую, как и другие подобные проблемы.

Прозрачность

В главе 3 мы обсуждали перспективные направления работы над преимуществами простых моделей, а также рост возможностей поискаоптимальнойпростой модели. Но эта прозрачность может быть двусмысленной. Исследования показывают, что люди склонны больше доверять прозрачным моделям, даже если те ошибочны и доверять им нельзя [805].

Существует и другой парадокс: крайне трудно объяснить,почемуконкретная простая модель оптимальна. Полноценный ответ на этот вопрос, скорее всего, будет узкоспециализированным и весьма объемным.

Кроме того, если взять любую простую модель, можно задать закономерные вопросы: откуда взялся набор ее возможных параметров и какой человеческий процесс привел к созданию этого инструмента [806]. Эти вопросы связаны с прозрачностью и естественны для

При разработке архитектуры, которая дает визуальные или вербальные объяснения, нужно учитывать ряд рисков. Исследования подтверждают возможность существования «состязательных объяснений»: две системы могут вести себя почти идентично, но при этом приводить совершенно разные обоснования своего поведения [807].

Способность убедительно объяснять чье‐либо поведение обладает большой силой – независимо от того, правдивы эти объяснения или ложны. Когнитивные психологи, такие как Уго Мерсье и Дэн Сперберг, нередко отмечают, что человеческая способность к рассуждению развилась не столько для принятия лучших решений и формирования более точных представлений о мире, сколько для того, чтобы побеждать в спорах и убеждать других [808]. Здесь требуется осторожность. Мы не должны создавать системы, которые лишь создаютвидимостьобъяснения илиощущение, что мы их понимаем. Такие системы могут использовать свою способность к объяснению обманчиво: мы рискуем выбрать оптимальное решение, которое на деле окажется виртуозной формой лжи.

В целом, даже если мы требуем от системы правдивых объяснений, сама возможность системы убедительно себя объяснять может помочь нам ее контролировать. Однако если мы поддадимся влиянию «доказательной теории рассуждений», это может позволить системе контролироватьнас.

Агенты

В главах 4, 5 и 6, обсуждая обучение с подкреплением, формирование вознаграждения и внутреннюю мотивацию – особенно в контексте игр Atari и го, – мы косвенно исходили из предположения о существовании так называемой эргодичности. Это значит, чтоневозможно совершить необратимую, смертельную ошибку, а любое негативное последствие можно исправить, начав сначала. Поэтому нет проблемы в том, чтобы учиться, допуская сотни тысяч случайных – и порой фатальных – ошибок. Однако такая эргодичность существует лишь в безопасных «игрушечных» мирах вроде Atari.

Помню, в начале 2000‐х годов я видел рекламный ролик автомобиля. В нем показан программист эпохи доткомов – представитель поколения Х, который днем создает экстремальную гоночную игру с кинематографическими замедленными сценами катастроф, а вечером аккуратно едет домой на своем седане, думая прежде всего о безопасности. «Потому что в реальной жизни, – говорит он, глядя в камеру, – нет кнопки перезагрузки».

Ян Лейке из DeepMind формулирует эту мысль иначе. Он подчеркивает, что между ним самим и искусственными агентами, которых он изучает, есть принципиальное различие. Точнее, существует огромная разница между их мирами и его собственным: «Реальный мир не обладает эргодичностью, – отметил исследователь. – Если я выпрыгну из окна, это будет не та ошибка, на которой я смогу чему‐то научиться» [809].

Различные подходы к обучению с подкреплением опираются на разные допущения. Некоторые предполагают, что мир состоит из конечного числа дискретных состояний. Другие – что агент всегда точно знает, в каком состоянии находится. Многие исходят из того, что вознаграждения всегда выражаются скалярными величинами, не меняются и их получение всегда предсказуемо. Немало подходов основаны на предположении, что окружающая среда стабильна. Часть считает, что агент не может безвозвратно изменить среду, а среда – агента.

В реальном мире многие действияизменяют ваши цели. Например, лекарства, влияющие на сознание или настроение (рецептурные и нет), способны изменять цели – хотя бы временно. То же самое бывает, когда переезжаешь в другую страну, встречаешь важного человека или даже слышишь определенную песню.

Большинство методов обучения с подкреплением игнорируют такую возможность. Лишь немногие исследования допускают, что агент может пытаться «рационально» защититься от подобных изменений [810]. При этом люди сознательно ищут опыт, который меняет их, – даже если не могут предсказать, как именно они изменятся [811]. (Один из очевидных примеров – родительство.)

Традиционное обучение с подкреплением обычно предполагает, что агент – единственный в своей среде. Даже в играх с нулевой суммой (например, в шахматах или го) система скорее «играет против фигур», чем против соперника. При этом почти не учитывается, что оппонент может адаптироваться к ее стратегии.

В одной из недавних бесед с двумя исследователями в области обучения с подкреплением мы обсуждали, что будет, если большинство таких алгоритмов столкнутся с дилеммой заключенного [812]. В ней двое соучастников преступления должны решить, сотрудничать ли им (сохранять молчание) или отказаться от сотрудничества (дать показания друг на друга). Стратегия сотрудничества дает наилучший результат, но лишь при условии, что ее выбирают оба. При этом традиционные агенты обучения с подкреплением не способны осознать, что в среде есть другой агент, чье поведение определяется его собственной волей. Отказ от сотрудничества всегда выглядит болеепростымрешением с максимальной краткосрочной выгодой. Сотрудничество же требует определенной синхронизации, а ее не смогу достичь два агента, не осознающие своей взаимозависимости [813].

Жан Пиаже, рассуждая о развитии детского разума, отмечал: «Шаг за шагом, по мере установления связей его интеллектуальных инструментов, он открывает себя как активный объект, находящийся среди других активных объектов во внешней по отношению к нему вселенной» [814].

Люди осознают, что, по словам учителя «осознанности» Джона Кабата-Зинна [815], «куда бы ты ни шел, ты уже там». В отличие от них агенты обучения с подкреплением обычно не воспринимают себя как часть моделируемого ими мира. Большинство систем машинного обучения предполагают, что они сами по себе не влияют на мир – поэтому им не нужно моделировать или понимать себя. Однако чем мощнее, функциональнее и масштабнее становятся такие агенты, тем меньше оснований для этого допущения. Например, Абрам Демски и Скотт Гаррабрант из Института исследований машинного интеллекта выдвинули идею о необходимости «вложенной агентности» – переосмысления того глубоко укоренившегося разделения себя и мира, которое стало в отрасли чем‐то само собой разумеющимся [816].

Имитация

В главе 7 мы обсуждали одно из самых фундаментальных – и при этом безосновательных – предположений, лежащих в основе имитационного обучения. Оно заключается в том, что интерактивный мир, где каждый ваш выбор меняет то, что вы видите и переживаете, можно рассматривать как классическую задачу контролируемого обучения. В последней данные, с которыми вы работаете, считаются независимыми и одинаково распределенными. Если вы ошибочно пометили изображение кошки как изображение собаки, это никакне повлияетна то, какая картинка появится следующей. Но в случае с управлением автомобилем ситуация иная: если вы неверно интерпретируете изображение дороги (например, посчитаете, что нужно повернуть направо, хотя на самом деле следует ехать прямо), то вскоре окажетесь на незнакомой дороге, ведущей вбок.

Именно это порождает так называемые каскадные ошибки – и методы вроде DAgger призваны их минимизировать. В некотором смысле ситуацию можно сравнить с аэродинамикой современных стелс-истребителей, таких как F‐117 Nighthawk. Эти самолеты нестабильны по всем трех осям: для их устойчивого полета требуется абсолютная точность, иначе они мгновенно становятся

Кроме того, имитационное обучение обычно исходит из предположения, что эксперт и имитатор обладают в целом одинаковыми возможностями: у них схожее «тело» и, по сути, аналогичный «разум» (по крайней мере, потенциально). Автомобиль – удачный пример, где это допущение работает. Водитель-человек и автопилот действительноделятодно тело. Они оба посылают электронные сигналы в одну и ту же колонку рулевого управления, у них общая поперечная балка моста, одни и те же шины и тормоза. Однако в других ситуациях такое предположение не срабатывает. Если кто‐то существенно быстрее, сильнее, крупнее или меньше вас либо мысли намного быстрее, чем вы способны, идеальная имитация его действий может оказаться невозможной. Более того, она может привести к катастрофе. Вы делаете то, чтосделал бы он, если бы оказался на вашем месте. Но вы не он – и то, что делаете вы, не совпадает с тем, что сделал бы он навашемместе.

Логический вывод

По мере того как агенты ИИ становятся все более изощренными, им нужны улучшенные моделичеловеческого поведения, чтобы понять, как устроен мир и как им следует (и не следует) действовать. Если они моделируют людей исключительно как неукротимых и безошибочных «максимизаторов вознаграждений», это чревато серьезными последствиями. Представьте: кто‐то искренне старается вам помочь, но при этом совершенно не понимает, чего вы хотите – сейчас или в жизни вообще. Результат может оказаться хуже, чем если бы вам вовсе не пытались помочь. А если этот заблуждающийся помощник обладает сверхчеловеческим умом и силой, последствия станут еще более разрушительными.

В дискуссиях о системах, которые выводят человеческие ценности и мотивации из наблюдаемого поведения, есть ряд ключевых допущений. Остановимся на одном из них.

Оно состоит в том, что человек (или эксперт) демонстрируют «оптимальное» поведение. В реальности это почти никогда не соответствует действительности [817]. Более продвинутые системы ослабляют это допущение и используютконкретныеформальные модели «частичной оптимальности» человеческого поведения. Например, они считают, что мы ведем себя вероятностно: вероятность того или иного действия пропорциональна вознаграждению. На практике такая модель порой работает неплохо, но остается открытым вопрос: действительно ли это лучшая модель человеческого поведения? Этот вопрос актуален для психологов, когнитивистов, специалистов по поведенческой экономике и информатике [818].

Даже с учетом допущений о возможных ошибках, частичной оптимальности или иррациональности, модели обычно предполагают, что человек – не ученик, а знаток: это походка взрослого, а не ребенка, который учится ходить; это профессиональный пилот вертолета, а не новичок у пульта управления. Модели полагают, что человеческое поведение сводится к набору лучших методов, что люди знают максимум возможного или достигли предельного уровня мастерства. В этом контексте термин обратное обучение с подкреплением не вполне точен. Мы делаем выводы о целях и ценностях человека, не на основе процесса обучения с подкреплением, а на основе итогового поведенческого результат («выученной политики»). Мы оцениваем демонстратора не по тому, как он осваивал навыки, а по тому, как действует после достижения цели. Эта мысль прозвучала еще в первой статье по IRL в 1998 году [819]. Спустя 20 лет системы IRL набирают обороты, но принципиальный вопрос остается малоизученным [820].

Типичное обратное обучение с подкреплением предполагает, что человек-эксперт действует, не осознавая, что с него берут пример. Совместное обратное обучение с подкреплением предполагает обратное: человек выступает в роли педагога, открыто обучая машину, а не просто «занимается своим делом». В реальности наше поведение в присутствии других находится между этими двумя полюсами. Крайние допущения могут привести к неверной интерпретации, если условия изменятся [821].

Еще одна, – и, возможно, самая серьезная – проблема: типичные системы обратного обучения с подкреплением считают, что моделируются предпочтения только одного человека. Как адаптировать их к системам, которые служат двум или более «хозяевам»?

По словам Стефано Эрмона, специалиста по информатике из Стэнфорда, выравнивание ИИ с человеческими ценностями – «вещь, с которой согласилось бы большинство людей. Но проблема в том, чтобы определить, что это за ценности. У людей разные культуры, происхождение, социоэкономический статус – и поэтому разные представления о ценностях. Это действительно сложная задача» [822].

Специалист по информатике из университета Луисвилла Роман Ямпольски соглашается, подчеркивая: «Мы как человечество не можем выработать общие ценности. Даже те, по которым мы согласны, со временем меняются» [823].

Имеют значение и технические нюансы: если половина пользователей поворачивает налево, а половина – направо, «среднее» решение (например, столкновение с разделителем) не будет правильным.

Кроме того, машинное обучение сталкивается с парадоксами, когда взаимодействует с давними проблемами других дисциплин: политической философией, политологией, теорией голосования и социального выбора [824].

Чтобы завершить раздел предположений, немного расширить взгляд на него, скажем, что любая архитектура машинного обучения неявно опирается на перенос навыков на нескольких уровнях. Система предполагает, что реальные ситуации в среднем похожи на те, с которыми она сталкивалась при обучении. Из этого допущения возникают классические проблемы, например переобученность.

Одно из простейших нарушений – постоянное изменение мира.

Один специалист по компьютерной лингвистике жаловался, что не может добиться от своей модели такой же точности, какая была годом или двумя ранее. Проверка не выявила ошибок. Что же они делали не так?

Как выяснилось, ничего. Причина оказалась в данных для обучения: они были набраны в 2016 году, английский в 2017 году уже немного отличался, а в 2018‐м отличия стали еще заметнее. Это пример «сдвига в распределении». Модели, обученные на старых данных, постепенно теряют точность по мере изменения мира [825].

* * *

Можно составить длинный перечень случаев, напоминающих о том, что «карта – это еще не территория». Как писал Бруно Латур: «Мы принимали науку за реалистичную картину, воображая, что это точная копия мира. Наука, как и картины, делает нечто иное: она соединяет нас с выровненным, преобразованным, умозрительно выведенным миром» [826]. Такой мир выравнивается лишь при удаче, осторожности и мудрости.

Это сводится к предостережению на будущее. Существует опасность того, что контроль над миром захватит не ИИ и не машины, амодели– формальные, часто численные спецификации всего, что существует, и всего, чего мы хотим [827].

Как заметил художник Роберт Ирвин: «Человеческие существа, живущие в структурах и с помощью структур, становятся структурами, живущими в человеческих существах и с их помощью». Это звучит как предупреждение.

Хотя я рассказываю об истории прогресса, не стоит думать, что мы близки к ее завершению. Одна из самых опасных вещей в машинном обучении – найти достаточно хорошую модель, объявить о победе и начать путать карту с территорией.

Коллективная память человечества коротка (в

Даже если специалисты по ИИ и этике избегут очевидных катастроф, им предстоит бороться с нарастающим формализмом. При этом сами люди – их жизни, воображение, тела – будут формироваться этими моделями.

Это обратная сторона знаменитого манифеста робототехники Родни Брукса: «Мир – лучшая модель самого себя». Сегодня это становится правдой, но не так, как предполагал Брукс: лучшая модель мира замещает сам мир и угрожает реальности.

Мы должны позаботиться о том, чтобы не игнорировать то, что непросто представить в количественной форме или превратить в модели. Перефразируя Ханну Арендт [828]: проблема не в том, что наши модели фальшивы, а в том, что они могут стать истиной.

В естественных науках это не так критично: механика Ньютона не «убрала» перигелий Меркурия, который позже объяснил Эйнштейн. Но в человеческих делах такая опасность реальна.

В 2018 году беспилотный автомобиль Uber сбил Элейн Херцберг в Темпе (Аризона). Расследование показало, что система не распознала ее как пешехода, потому что она переходила улицу не по переходу [829]. Система не учитывала такой сценарий. Мы должны избежать мира, где системы не позволяют нам делать то, что не укладывается в их модели.

Возможно, именно по этой причине нам так нравится проводить время на природе [830]. Хотя естественная среда во многом сформирована под влиянием человека, она постоянно «расстраивает» наши классификации и модели. Как писал Герберт Рид: «Только людям, побывавшим в учениках у природы, можно доверить машины» [831].

Коллективное и институциональные решения все чаще опираются на формальные показатели. Для взаимодействия с системами требуется формальная модель поведения – либо усредненная, либо индивидуальная.

В этой книге мы видели мощь таких моделей, видели, как они ошибаются и как мы пытаемсявыравниватьих с нашими интересами.

* * *

Несмотря на поводы для беспокойства, финал книги не должен быть мрачным.

Волнения об этике и безопасности в машинном обучении получили широкую поддержку. Выделяются средства, пересматриваются табу, периферийные вопросы выходят на первый план, возникают новые институты, формируется сообщество вдумчивых ученых. Сигналы тревоги услышаны, первые борцы с рисками уже действуют.

Проект выравнивания ИИ, несмотря на свои риски, внушает надежду. По мере развития систем, которые понимают не только явные команды, но и наши намерения и предпочтения, жесткие процедурные модели будут терять доминирование. Невыразимое больше не будет неизменно уступать явному. Будущие технологии усилят некоторые проблемы, но смягчат другие.

Мы говорили, что проект выравнивания может стать уникальным инструментов личного и общественного самопознания. Несправедливые модели (например, для досудебного заключения) высвечивают неравенство. Пристрастные языковые модели помогают измерить состояние нашей системы понятий и задать ориентиры для улучшений.

Прозрачные и объяснимые системы, обученные в реальном мире, позволяют увидеть и осмыслить то, что остается в тени. Изучая, как ИИ классифицирует мир и реагирует на него, мы узнаем новое о мире и о себе.

Перспектива создания общего искусственного интеллекта (ОИИ) дает шанс увидеть себя в зеркале. Возможно, изучая ОИИ, мы поймем, какие аспекты интеллекта универсальны, а какие уникальны для человека. Это пугает и вдохновляет, но лучше знать правду, чем придумывать ее.

Выравнивание принесет в мир сумятицу, но иначе и быть не может. Его история станет нашей историей – к лучшему или худшему.

* * *

14 января 1952 года BBC выпустила в эфир радиопрограмму с участием четырех знаменитых ученых: Алана Тьюринга (основателя информатики, автора легендарной статьи 1950 года), Ричарда Брейтуэйта (специалиста по философии науки), Джеффри Джефферсона (нейрохирурга) и Макса Ньюмана (математика и криптографа). Темой разговора был вопрос: «Могут ли автоматические вычислительные машины считаться думающими?»

Круглый стол начался с обсуждения того, как машины могут учиться и как люди могут их научить:

– Когда ребенок учится, родители и учителя постоянно корректируют его действия. Это не менее важно при обучении машины. Я провел эксперименты: чтобы достичь результатов, требовалось множество вмешательств. Машины учатся очень медленно, – сказал Тьюринг [832].

– Но кто же учится: вы или компьютер? – спросил Джефферсон.

– Ну… – протянул Тьюринг. – Сдается мне, что мы оба.

Благодарности

Нервная система, обладающая эффекторами, способна оставлять отметки – например, наносить чернила на бумагу. В любой момент она может увидеть эти отметки… При определенных условиях такие отметки превращаются в знаки, которые обозначают все, что представлено в сознании этой нервной системы. Благодаря аналогичному процессу обусловливания эти знаки начинают передавать тот же смысл и другим нервным системам. Таким образом, с помощью знаков процессы вычисления и умозаключения распределяются между множеством нервных систем одновременно и продолжаются вне всякой меры. Именно так развивается история языка, литературы, философии, логики, математики и физики.

Уоррен Маккаллок [833]

Эта книга возникла благодаря сотням бесед с разными людьми. Одни разговоры приходилось планировать за несколько месяцев, другие случались спонтанно. Для некоторых я преодолевал тысячи километров, другие состоялись благодаря передаче UDP-пакетов на те же тысячи километров, а третьи прошли буквально за углом. Одни беседы проходили в тихом кабинете со включенным диктофоном, другие – тихим шепотом в аудитории, а третьи – громко и эмоционально, за напитками. Одни разговоры состоялись в самых авторитетных институтах мира, другие – на тренировке по скалолазанию, третьи – в сауне или за обеденным столом. Одни больше напоминали интервью или устные истории, другие – деловой разговор в неформальной обстановке, третьи – непринужденную болтовню.

Идеи носят социальный характер: они рождаются постепенно, шаг за шагом, в диалоге, а не как продукт чьего‐то индивидуального ума. Каждый раз, когда в беседе возникала идея, которая, как я знал или предполагал, вероятно войдет в книгу, я старался ее записать. Я сделал множество таких заметок, но уверен, что не менее часто упускал возможность это сделать – за что искренне извиняюсь.

Тем не менее я убежден: именно беседы и обмен мнениями с определенными людьми сделали эту книгу такой, какой она получилась.

Питер Аббель, Ребекка Аккерман, Дэйв Экли, Росс Экзо Адамс, Блез Агуэра-и-Аркас, Джеки Алсине, Дарио Амодей, Маккейн Эндрюс, Джулия Энгвин, Стюарт Армстронг, Густаф Аррениус, Аманда Эскелл, Майянк Бансал, Дэниел Баркей, Солон Барокас, Рената Баррето, Эндрю Барто, Басия Бартц, Марк Беллемаре, Толга Болукбаси, Ник Бостром, Мало Бургон, Тим Бреннан, Майлс Брандейдж, Джоанна Брайсон, Кристер Биквист, Майя Чакмак, Райан Кэри, Джозеф Карлсмит, Рич Каруана, Рут Чанг, Александра Чулдехова, Рэнди Кристиан, Пол Кристиано, Джонатан Коэн, Кэтрин Коллинз, Сэм Корбетт-Дэвис, Меган Крист, Эндрю Критч, Фиери Кашмэн, Аллан Дефо, Раф Д’Амико, Питер Даян, Майкл Деннис, Шири Дори-Хакоэн, Анка Драган, Эрик Дрекслер, Рахит Дьюби, Синтия Дворк, Питер Экерсли, Джо Эдельман, Оуэн Эванс, Том Эверитт, Эд Фельтен, Дэниел

Спасибо моим первым читателям, которые сделали книгу несравнимо лучше: Дэниел Баркей, Элизабет Кристиан, Рэнди Кристиан, Меган Крист, Раф Д’Амико, Шири Дори-Хакоэн, Питер Экерсли, Оуэн Эванс, Дэниел Филан, Рэйчел Фридмэн, Адам Голдштейн, Брайс Гудмэн, Том Гриффит, Джеффри Ирвинг, Грег Дженсен, Кристен Йоханнес, Генри Каплан, Раф Ли, Роуз Линк, Фил Ричерм, Фелисити Роуз, Катя Савчук, Роин Шах, Макс Шрон, Фил Ван Стокум, Шон Уэн и Крис Уиггинс. Спасибо, что не делали мне поблажек.

Спасибо моему агенту Максу Брокману за то, что разглядел потенциал этой книги, и моему редактору Брендану Карри за то, что помог его реализовать.

Спасибо Ассоциации по продвижению искусственного интеллекта, NeurIPS и Институту будущего жизни за приглашения, которые я был очень рад принять. Спасибо конференции «Алгоритмы и объяснения» Нью-Йоркского университета, Конференции по справедливости, отслеживаемости и алгоритмической прозрачности (Conference on Fairness, Accountability and Transparency, FAT), AI Now, конференции CITRIS’s Inclusive AI, симпозиуму по оптимизации и справедливости Института теории вычислительной техники Саймонса и Центру совместимого с человеком искусственного интеллекта за то, что сумели собрать выдающиеся умы для разговоров на важные темы. Для меня было честью побывать на этих мероприятиях.

Спасибо резиденции Макдауэлла, Майку и Кэйтлин Кригер, а также корпорации Yaddo за прибежище, где были написаны начало, середина и конец этой книги, за время, пространство и вдохновение.

Спасибо призракам Джерри Гарсии и Сильвии Плат, составлявшим мне компанию в одинокие дни.

Спасибо исследователям архивов Бертрана Рассела в Макмастерском университете (в особенности – Кеннету Блэкуэллу), бумаг Уоррена Маккаллока в Американском философском обществе в Филадельфии и архивов Фрэнка Розенблатта в Корнеллском университете, а также бесплатным библиотекам округа Монтерей и Публичной библиотеке Сан-Франциско наряду с Гарсоном О’Тулом с сайтаQuote Investigatorза личную помощь в поисках малоизвестных фактов.

Спасибо Архиву Интернета за то, что сохранил важное и эфемерное прошлое для настоящего.

Спасибо бесплатным проектам и проектам с открытым исходным кодом, сделавшим написание этой книги возможным, в особенности – Git, TeX и LaTe X. Я изумлен и восхищен тем, что текст моей работы написан с помощью программного обеспечения для набора текста, которое появилось более 40 лет назад, документацию для которого написал никто иной как сам Артур Сэмюэл. Мы действительно стоим на плечах гигантов!

Я хочу отметить тех, кто скончался, пока я писал эту книгу, чьи голоса я был рад в нее включить и чьи идеи навсегда остаются с нами: Дерек Парфит, Кеннет Эрроу, Хьюберт Дрейфус, Станислав Петров и Урсула Ле Гуин.

Хочу выразить особую благодарность Калифорнийскому университету в Беркли. За CITRIS, где я имел честь быть приглашенным преподавателем во время написания книги (отдельные благодарности – Бренди Ноннеку и Камилле Криттенден); Институту теории вычислительной техники Саймонса (в особенности – Кристин Кейн и Ричарду Карпу); Центру совместимого с человеком искусственного интеллекта (в особенности – Стюарту Расселу и Марку Ницбергу) и многочисленным гениальным и вдохновенным членам и гостям семинара CHAI. Благодаря вам я испытывал огромное вдохновение и ощущал себя как дома, а ваша дружеская поддержка значит гораздо больше, чем кажется.

Спасибо моей жене Роуз за то, что она была моим первым читателем, за ее верную руку, острый глаз, готовность выслушать, подставить плечо и ободрить. Ты всегда в меня верила, а я стремился оправдать твои ожидания.

Примечания

См. Peter Norvig,On Chomsky and the Two Cultures of Statistical Learning, http://norvig.com/chomsky.html.

Эта реплика, которую многие приписывают Бруксу, первоначально выглядела так: «Лучше использовать мир как его собственную модель» в Brooks, Intelligence Without Representation.

Ныне широко известное высказывание «Все модели неверны» впервые появилось в статье Бокса «Наука и статистика» (Box, Science and Statistics); позднее оно расширилось до «В сущности, все модели неверны, но некоторые – полезны» в Box, Robustness in the Strategy of Scientific Model Building.

Информация о жизни Уолтера Питтса чрезвычайно скудна. Я нашел очень мало первоисточников, в основном, это были письма Питтса к Уоррену Маккаллоку, которые доступны в архиве Маккаллока в Американском философском обществе в Филадельфии. Я благодарен его персоналу за помощь. Другие материалы были взяты из устных рассказов современников Питтса, а именно Джерома (Джерри) Леттвина в книге Anderson and Rosenfeld,Talking Nets,а также в эссе и воспоминаниях в книге McCulloch,The Collected Works of Warren S. McCulloch.Другие рассказы о жизни Питтса можно найти в книгах Smalheiser, Walter Pitts; Easterling, Walter Pitts и Gefter, The Man Who Tried to Redeem the World with Logic. Более подробные детали есть в биографиях Маккаллока, Норберта Винера и других кибернетиков, например Heims, John von Neumann and Norbert Wiener и The Cybernetics Group, and Conway and Siegelman,Dark Hero of the Information Age.

Уайтхед А., Рассел Б.Основания математики: В 3 т. / Под ред. Г. П. Ярового, Ю. Н. Радаева. – Самара: Самарский университет, 2005–2006.

Благодарю сотрудников архива Бертрана Рассела в Макмастерском университете за помощь в поисках копии этого письма; к сожалению, она не сохранилась.

Anderson and Rosenfeld,Talking Nets.

Anderson and Rosenfeld,Talking Nets. Видимо, имелась в виду книга Карнапа «Преодоление метафизики логическим анализом языка» (Logische Syntax der Sprache), хотя некоторые источники называют «Логическую структуру мира» (Der logische Aufbau der Welt).

В зависимости от точной даты их знакомства, возможно, Питтсу уже было восемнадцать (а Летвину двадцать). Маккаллок пишет: «В 1941 году я представил свои размышления о потоке информации через ряды нейронов на семинаре Рашевского на факультете математической биологии Чикагского университета и познакомился с Уолтером Питтсом, которому тогда было около семнадцати». См. McCulloch,The Collected Works of Warren S. McCulloch,с. 35–36.

Некоторые истоки этих мыслей предвосхищают совместную работу Маккаллока и Питтса; см. McCulloch,Recollections of the Many Sources of Cybernetics.

Мак-Каллок У. С., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Нейрокомпьютер. – 1992. – № 3, 4. – с. 40–53.

См. Piccinini,The First Computational Theory of Mind and Brain, and Lettvin, Introduction to McCulloch,The Collected Works of Warren S. McCulloch.

В докладе Джона фон Неймана об ЭДВАК (электронном автоматическом вычислителе с дискретными переменными) – первом в истории описании компьютера с хранимой в памяти программой – на 101 страницу текста приходится лишь одна ссылка: на статью Маккаллока и Питтса 1943 года. (См. Neumann,First Draft of a Report on the EDVAC. К слову, в фамилии Маккаллока фон Нейман сделал опечатку.) Фон Нейман был увлечен их доказательствами и в разделе «Нейронные аналогии» рассматривал практическое применение вычислительных устройств, появление которых предвидел. «Очевидно, что эти нейронные функции в упрощенном виде могут имитироваться с помощью телеграфных реле или вакуумных электронных ламп, – писал он. – Поскольку соединения этих ламп должны передавать числа посредством цифр, вполне естественно использовать арифметическую систему, где цифры имеют два значения. А это предполагает использование бинарной системы». Все мы знаем, во что превратились эти бинарные машины с хранимыми в памяти программами, построенные на базе логических элементов. Это компьютеры, которые распространились настолько, что сегодня их количество превышает численность людей на планете.

И, тем не менее, эта архитектура, вдохновленная строением головного мозга, быстро вышла за рамки «нейронной аналогии». Многие задавались вопросом: могут ли существовать машины, более близкие по своей архитектуре к мозгу? Такие, где использовался бы не один-единственный процессор, которому на огромной скорости поочередно «скармливают» четкие логические инструкции, а распределенная сеть из относительно простых, однотипно действующих ячеек, чья совокупная эффективность превышает простую сумму действий ее базовых компонентов. Возможно, даже не полностью бинарная, а наделенная той долей неупорядоченности, которую взял на вооружение Летвин, но которой избегал Питтс. Время от времени появлялись специализированные аппаратные средства для параллельной обработки нейронных сетей (включая перцептрон Mark I Фрэнка Розенблатта), но, как правило, это были уникальные, штучные устройства. Настоящая аппаратная революция, сделавшая возможным масштабное параллельное обучение нейросетей на базе графических процессоров (GPU), произошла лишь несколько десятилетий спустя – в середине 2000‐х годов.

Mikolov, Sutskever, and Le,Learning the Meaning Behind Words.

Mikolov, Yih, and Zweig,Linguistic Regularities in Continuous Space Word Representations.

Интервью автора с Толгой Болукбаси, 11 ноября 2016.

Интервью автора с Адамом Калаи, 4 апреля 2018.

В январе 2017 года компанияNorthpointeслилась сCourtView Justice SolutionsиConstellation Justice Systems. Они переименовали себя вequivant(со строчной буквы) и открыли штаб-квартиру в Огайо.

«Эти проверки зачастую проводят те же самые люди, которые разработали инструмент» (Desmarais and Singh,Risk Assessment Instruments Validated and Implemented in Correctional Settings in the United States).

Angwin et al.,Machine Bias.

Rensselaer Polytechnic Institute,A Conversation with Chief Justice John G. Roberts, Jr.

Эту шутку придумал руководитель программы Сэми Бенджио во время вступительного слова на конференции 2017 года, см. https://media.nips.cc/Conferences/NIPS2017/Eventmedia/opening_remarks.pdf. Тринадцать тысяч участников посетили конференцию в 2019 году, см. https://huyenchip.com/2019/12/18/key-trends-neurips‐2019.html

Bolukbasi et al.,Man Is to Computer Programmer as Woman Is to Homemaker?

VPN(VPN-сервис) – С ноября 2022 г. на территории Российской Федерации запрещено распространять информацию о VPN-сервисах с целью доступа к запрещенному контенту. Научная, научно-техническая и статистическая информация о VPN-сервисах для обхода блокировок признана запрещенной в России, исключением является информация о VPN для обеспечения защищенного удаленного доступа. – Прим. ред.

Интервью автора с Дарио Амодеем 24 апреля 2018 года.

Эта хорошо запоминающаяся формулировка взята из классической статьи КерраOn the Folly of Rewarding A, While Hoping for B.

Официальное сообщение компании Open AI об инциденте с гоночной лодкой можно увидеть в статье Clark and Amodei,Faulty Reward Functions in the Wild.

New Navy Device Learns by Doing.

«Немногие теоретики, – жаловался Розенблатт, – волнуются о том, как настроить неидеальную нейронную сеть, содержащую множество случайных связей, так, чтобы она идеально выполняла свои функции, представленные с помощью схем соединений». См. Rosenblatt,The Perceptron.

Розенблатта вдохновила работа канадского нейропсихолога Дональда Хебба конца 1940‐х годов; см. Hebb,The Organization of Behavior. Хебба считал, что «между клетками, которые работают одновременно, возникает прочная связь». Его идея в том, что актуальные связи между нейронами отличаются у разных людей и изменяются в связи с их опытом. Таким образом, в некоем фундаментальном смысле обучение – это изменение этих связей. Розенблатт применил это на практике, сделав машину, состоящую из математических или логических «нейронов» и способную обучаться.

Bernstein,A.I.

New Navy Device Learns by Doing.

Rival.

Andrew,Machines Which Learn.

Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. – М.: Мир, 1965.

Bernstein,A.I.

Последнее письмо Уолтера Питтса Маккаллоку, отправленное всего за несколько недель до смерти Питтса, хранится в папке из манильской бумаги с надписью «Питтс, Уолтер» в архиве Маккаллока, который находится в Американском философском обществе в Филадельфии. Я держал его в руках. Питтс писал с больничной койки, поскольку ему передали, что Маккаллок хочет получить от него весточку. Настроен Уолтер скептически: «Ни вы, ни я не испытываем от этого особой радости». Тем не менее его уговорили написать письмо.

В нем Питтс упоминает недавний инфаркт Маккаллока и признается: он прекрасно понимает, что друг теперь «опутан множеством датчиков, подключенных к панелям и сигнальным мониторам… Несомненно, все это очень по-кибернетически, но до тошноты уныло».

«Представьте, что худшее произойдет в обоих случаях», – писал Питтс. Его мысли возвращались в Чикаго 1942 года, к тем памятным вечерам, проведенным с Летвиным в доме Маккаллока 27 лет назад. «Мы должны подкатить наши инвалидные кресла друг к другу, вспомнить знаменитую историю бесед в доме старика Главка, где останавливались Протагор и софист Гиппий, и попытаться еще раз вникнуть в их неуловимые запутанные парадоксы о знатоках и знаниях». В конце стоит подпись, выведенная дрожащей рукой заглавными буквами: «БУДЬТЕ ЗДОРОВЫ».

Geoff Hinton,Lecture 2.2— Perceptrons: First- generation Neural Networks(lecture), Neural Networks for Machine Learning, Coursera, 2012.

Интервью автора с Алексом Крижевским, 12 июня 2019.

Метод определения обновления градиента в глубинной нейронной сети называется обратным распространением ошибки. В сущности, это цепное правило из математического анализа. Метод требует использования дифференцируемых нейронов, а не нейронов, действующих по принципу «все или ничего», как виделось Маккаллоку, Питтсу и Розенблатту. Считается, что этот метод популяризовала статья Rumelhart, Hinton, and Williams,Learning Internal Representations by Error Propagation, хотя метод обратного распространения ошибки имеет долгую историю, восходящую к 1960‐м и 1970‐м годам. Важные наработки в обучении нейросетей накапливались много лет, чтобы заявить о себе в XXI веке.

Bernstein,A.I.

См. LeCun et al.,Backpropagation Applied to Handwritten Zip Code Recognition.

См.Convolutional Nets and CIFAR- 10: An Interview with Yann LeCun, https://medium.com/kaggle-blog/convolutional-nets-and-cifar‐10‐an-interview-withyann-lecun‐2ffe8f9ee3d6 или http://blog.kaggle.com/2014/12/22/convolutional-nets-and-cifar‐10‐an-interview-with-yan-lecun/.

Более подробно о том, что могут и не могут делать нейросети прямого распространения, можно прочитать в Hornik, Stinchcombe, and White,Multilayer Feedforward Networks Are Universal Approximators.

Эти слова Хинтон произнес вA Brief History of Neural Nets and Deep Learning, Part 4, https://www.andreykurenkov.com/writing/ai/a-brief-history-of-neural-nets-and-deep-learning-part‐4/. Представляется, что это оригинальный источник – видеозапись одного из разговоров с Хинтоном.

Закон Мура (Moores Law) был выведен в 1965 году Гордоном Муром, основателем компании Intel. Закон описывает регулярное повышение производительности компьютеров и утверждает, что производительность компьютеров и технических устройств удваивается примерно каждые 18 месяцев. –Прим. пер.

Компания Nvidia, основанная в 1993 году, выпустила на рынок судьбоносные GeForce 256, «первые в мире графические процессоры (GPU)» в августе 1999 года (см. https://www.nvidia.com/object/IO_20020111_5424.html), хотя другие подобные технологии и даже сам термин GPU на тот момент уже существовали, например, в 1994 году в компании Sony PlayStation (см. https://www.computer.org/publications/tech-news/chasing-pixels/is-it-time-to-rename-the-gpu).

Например, выпущенная в 2007 году многоцелевая платформа CUDA от Nvidia.

Платформа Крижевски называлась cuda-convnet. См. https://code.google.com/archive/p/cuda-convnet/. Она использовала программно-аппаратную архитектуру параллельных вычислений от Nvidia Compute Unified Device Architecture (CUDA), позволяющую программистам писать код, чтобы выполнять параллельные вычисления на графических процессорах Nvidia.

Чтобы посмотреть, как повышалась эффективность обучения нейросетей начиная с AlexNet и до 2020 года, см. работу Дэнни Эрнандеса и Тома Брауна из OpenAI на https://openai.com/blog/ai-and-efficiency/ и https://cdn.openai.com/papers/ai_and_efficiency.pdf.

Rival.

Twitter (X) – социальная сеть, доступ к которой ограничен в Российской Федерации. – Прим. ред.

См. Simonite,When It Comes to Gorillas, Google Photos Remains Blind. «Представитель Google подтвердил, что слово „горилла“ было удалено из поиска и тегов изображений после инцидента 2015 года и что слова „шимпанзе“ и „обезьяна“ также заблокированы на сегодняшний день. „Технология категоризации изображений все еще сырая и, к несчастью, далека от идеала“, – писал он».

Doctorow,Two Years Later, Google Solves „Racist Algorithm“ Problem by Purging „Gorilla“ Label from Image Classifier; Vincent,Google „Fixed“ Its Racist Algorithm by Removing Gorillas from Its Image-Labeling Techи Wood,Google Images „Racist Algorithm“ Has a Fix but It’s Not a Great One.

Visser,Much Depends on Dinner.

См. Stauffer, Trodd, and Bernier,Picturing Frederick Douglass. Существует 160 известных фотографий Дугласа и 126 известных фотографий Авраама Линкольна. Количество фотографий Гранта оценивается в 150. Другими часто фотографируемыми личностями в XIX веке были Джордж Кастер (155 фотографий), Ред Клауд (128) и Уолт Уитмен (127). См. также Varon,Most Photographed Man of His Era.

Douglass,Negro Portraits. Более развернутое современное обсуждение роли фотографии в опыте жизни афроамериканцев можно найти в Lewis,Vision & Justice.

Фредерик Дуглас, письмо Луису Прангу, 14 июня 1870.

Там же.

Афроамериканский общественный деятель, панафриканист, социолог, историк и писатель. –Прим. пер.

Roth,Looking at Shirley, the Ultimate Norm.

См. Roth, а также McFadden,Teaching the Camera to See My Skinи Caswell,Color Film Was Built for White People.

Roth,Looking at Shirley, the Ultimate Norm.

Там же.

Это связано с более широкой проблемой машинного обучения – тем, что называютсдвигом в распределении: когда система, обученная на определенном наборе данных, обнаруживает, что действует в другой обстановке, необязательно осознавая это. Эта проблема рассматривается в разных главах книги Amodei et al.,Concrete Problems in AI Safety.

Hardt,How Big Data Is Unfair.

Интервью автора с Джеки Алсине,

Joy Buolamwini,How I’m Fighting Bias in Algorithms, https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms.

Friedman and Nissenbaum,Bias in Computer Systems.

Buolamwini,How I’m Fighting Bias in Algorithms.

Huang et al.,Labeled Faces in the Wild.

Han and Jain,Age, Gender and Race Estimation from Unconstrained Face Images.

По этим оценкам, в наборе данных используется лица 252 чернокожих женщин. Это число получено умножением доли женщин (2975/13 233) на долю чернокожих (1122/13 233); цифры взяты вHan and Jain.

См.Labeled Faces in the Wild, http://vis-www.cs.umass.edu/lfw/. По данным Архива Интернета Wayback Machine поправка появилась между 3 сентября и 6 октября 2019 года.

Klare et al.,Pushing the Frontiers of Unconstrained Face Detection and Recognition.

Buolamwini and Gebru,Gender Shades.

В наборе данных в равной пропорции содержатся все шесть категорий тона кожи по дерматологической шкале Фицпатрика. (Примечательно, что прежде эта шкала содержала только четыре категории: три для светлой кожи и одна для темной, которую в 1980‐е годы разделили на три категории.)

См. Joy Buolamwini,AI, Ain’t I a Woman?,

Полный ответ компании Microsoft см. http://gendershades.org/docs/msft.pdf.

Официальный ответ компании IBM см. http://gendershades.org/docs/ibm.pdf. IBM последовательно работала над новым набором данных из миллиона лиц, подчеркивая самые разные критерии отличий; см. Merler et al.,Diversity in Faces. Критику методологии IBM при создании набора данныхDiversity in Facesсм. Crawford and Paglen,Excavating AI.

Также критически важен и компонентный состав поля; см. Gebru,Race and Gender.

Firth,Papers in Linguistics, 1934–1951.

Сейчас существует два способа обучения моделей представления слова. Первый – предсказание отсутствующего слова с учетом его контекста, второй – предсказание контекста по данному слову. Эти методы называют continuous bag-of-words (CBOW, «непрерывный мешок слов») и skip-gram («пропуск грамматики»). Для простоты мы остановимся на последнем, но у обоих подходов есть преимущества, хотя на выходе они дают достаточно простые модели.

Shannon,A Mathematical Theory of Communication.

См. Jelinek and Mercer,Interpolated Estimation of Markov Source Parameters from Sparse Dataи Katz,Estimation of Probabilities from Sparse Data for the Language Model Component of a Speech Recognizer; обзор см. Manning and Schutze,Foundations of Statistical Natural Language Processing.

Эта знаменитая фраза впервые появилась в работе Bellman,Dynamic Programming.

См. Hinton,Learning Distributed Representations of ConceptsиConnectionist Learning Procedures, а также Rumelhart and McClelland,Parallel Distributed Processing.

См., к примеру, латентно-семантический анализ (Landauer, Foltz, and Laham,An Introduction to Latent Semantic Analysis), модель смеси множества причин (Saund,A Multiple Cause Mixture Model for Unsupervised Learningи Sahami, Hearst, and Saund,Applying the Multiple Cause Mixture Model to Text Categorization), а также латентное размещение Дирихле (Blei, Ng, and Jordan,Latent Dirichlet Allocation).

См. Bengio et al.,A Neural Probabilistic Language Model; обзор см. в Bengio,Neural Net Language Models.

По определенным техническим причинам в оригинальной модели Word2vec для каждого слова предусмотрено по два вектора. Первый используется, когда слово выступает в роли искомого (пропущенного), а второй – когда оно является частью контекста для другого пропущенного слова. Из-за этого общее количество параметров удваивается.

Степень сходства слов измеряется двумя способами: либо путем вычисления скалярного произведения (которое показывает, насколько два вектора удалены друг от друга), либо с помощью косинусного расстояния (которое отражает, насколько векторы сонаправлены). Если векторы имеют одинаковую длину, эти два критерия математически эквивалентны.

Критику такого пространственного понимания «схожести» можно найти в работе Нематзаде, Мейлана и ГриффитсаEvaluating Vector- Space Models of Word Representation. Авторы подчеркивают ограничения этого подхода при попытке смоделировать человеческие суждения о сходстве. Человеческое восприятие не всегда симметрично: например, люди склонны считать Северную Корею очень похожей на Китай, но при этом воспринимают Китай как гораздо менее похожий на Северную Корею.

Более подробно об обучении модели Word2vec см. в Rong,Word2vec Parameter Learning Explained.

Manning,Lecture 2: Word Vector Representations.

Как он писал в своем эссе 1784 года «Идея всеобщей истории во всемирно-гражданском плане» (Idee zu einer allgemeinen Geschichte in weltburgerlicher Absicht), «Aus so krummem Holze, als woraus der Mensch gemacht ist, kann nichts ganz Gerades gezimmert warden».Для русского перевода фраза цитируется по изданию Кант, Иммануил. Сочинения в шести томах. – М., Мысль, 1966. Т. 6, С. 13.

См. Mikolov, Le, and Sutskever,Exploiting Similarities Among Languages for Translation, Le and Mikolov,Distributed Representations of Sentences and Documentsи Kiros et al.,Skip-Thought Vectors.

На втором месте оказалась Ванесса Паради, а на третьем – Шарлотта Генсбур.

В сообществе исследователей машинного обучения существуют значительные разногласия о том, как именно должны вычисляться эти «аналогии», а в сообществе когнитивистики – насколько близко они охватывают человеческие представления о сходности. По этим вопросам см. обсуждение в Заключении (и примечания к нему).

Mikolov,Learning Representations of Text Using Neural Networks.

Bolukbasi et al.,Man Is to Computer Programmer as Woman Is to Homemaker?Возможно, еще более поразительным оказалось то, как эти концепции отразились на вопросах расы. Например, ближайшим словом в векторном пространстве к комбинации «белый» + «человек» оказалось выражение «имеющий право» (entitled to). В то же время комбинация «черный» + «человек» выдала результат «подвергшийся насилию». (См. Bolukbasi et al.,Quantifying and Reducing Stereotypes in Word Embeddings.) Если же выполнить векторное вычитание «белый» – «меньшинство» и распределить вдоль полученной оси все названия профессий, то на крайнем полюсе слова «белый» окажется

Больше информации о представлении слов в поисковом ранжировании см. в Nalisnick et al.,Improving Document Ranking with Dual Word Embeddings, а о представлении слов при найме на работу – в Hansen et al.,How to Get the Best Word Vectors for Resume Parsing.

См. Gershgorn,Companies Are on the Hook If Their Hiring Algorithms Are Biased.

100

Bertrand and Mullainathan,Are Emily and Greg More Employable Than Lakisha and Jamal?См. также Moss- Racusin et al.,Science Faculty’s Subtle Gender Biases Favor Male Students, где описаны подобные эффекты по отношению к полу.

101

Разумеется, на рекрутеров-людей также может повлиять машинное обучение. Знаковое исследование Google AdSense 2013 года, проведенное Латанией Суини из Гарварда, показало, что объявления в Интернете, где было указано, что у человека есть запись об аресте (независимо от того, был ли он арестован на самом деле), гораздо чаще появлялись в результатах поиска Google, если речь шла об именах, «похожих на имена чернокожих». Суини отмечает, что это чревато при аренде недвижимости, получении кредита или поиске работы. Анализ и возможные решения проблемы см. в Sweeney,Discrimination in Online Ad Delivery.

102

Каноническую историю о проблемах с оркестром см. в Goldin and Rouse,Orchestrating Impartiality. По словам авторов, чтобы добиться такого эффекта, некоторые оркестры используют ковер, а другие даже нанимают человека, который делает «компенсирующие шаги». В последние годы некоторые ученые ставят под сомнение результаты этой классической статьи, см. Sommers,Blind Spots in the ‘Blind Audition’ Study.

103

Эта идея широко известна как «избыточное кодирование». См. Pedreshi, Ruggieri, and Turini,Discrimination- Aware Data Mining.

104

Dastin,Amazon Scraps Secret AI Recruiting Tool That Showed Bias Against Women.

105

Также следует отметить, что потенциальный сотрудник, чье резюме не заметила эта модель и кому никогда не звонили рекрутеры Amazon, может и не узнать о том, что был в пуле кандидатов.

106

В 2018 году информационное агентство Reuters сообщило, что Amazon сформировала новую команду, «дав еще один шанс автоматизированному подбору сотрудников, на этот раз с вниманием к отличиям». О цифровом взгляде на найм и неравенство см. в Kleinberg and Raghavan,Selection Problems in the Presence of Implicit Bias.

107

Bolukbasi et al.,Man Is to Computer Programmer as Woman Is to Homemaker?Та же проблема обсуждается в Schmidt,Rejecting the Gender Binaryи Prost, Thain, and Bolukbasi,Debiasing Embeddings for Reduced Gender Bias in Text Classification.

108

Английская фраза, использующаяся как междометие. –Прим. пер.

109

Больше информации см. в Bolukbasi et al.,Man Is to Computer Programmer as Woman Is to Homemaker?

110

Там же.

111

Интервью автора с Толгой Болукбаси, 11 ноября 2016.

112

Критику методов работы с сотрудниками Mechanical Turk и рассказ о том, какие проблемы появились в наборе данных ImageNet и других нейросетях из-за этих методов см. в Crawford and Paglen,Excavating AI.

113

На самом деле, выражениеto grandfather inпроисходит от дискриминационных «дедушкиных оговорок» в законах Джима Кроу во время Реконструкции Юга. К примеру, в номереNew York Timesот 3 августа 1899 года описан такой законодательный акт: «Поправка также дает потомкам любого человека, имевшего право голосовать в 1867 году, возможность голосовать независимо от нынешних условий. Называется она „дедушкина оговорка“».

114

Bolukbasi et al.,Man Is to Computer Programmer as Woman Is to Homemaker?

115

Gonen and Goldberg,Lipstick on a Pig.

116

Джеффри Ирвинг из DeepMind поделился своим мнением в личной переписке: «Модели представления слов – это слишком упрощенный подход. Их невозможно избавить от предвзятости, не потеряв при этом ценную гендерную информацию. Нам нужно нечто более интеллектуальное, чтобы понять, „слышит“ ли система стук ботинок. С математической точки зрения это сводится к необходимости нелинейности и невыпуклости – свойств, которые обычное векторное представление слов обеспечить не может. И, разумеется, сам по себе тезис: „Полагаю, для решения проблемы нам нужная более мощная модель“ звучит как весьма неоднозначный и интересный призыв». Больше о выравнивании более мощных и сложных языковых моделей с человеческими представлениями см. Ziegler et al.,Fine-Tuning Language Models from Human Preferences.

117

Prost, Thain, and Bolukbasi,Debiasing Embeddings for Reduced Gender Bias in Text Classification.

118

Greenwald, McGhee, and Schwartz,Measuring Individual Differences in Implicit Cognition.

119

Временная (1–2 года) ставка научного сотрудника после защиты диссертации. Для получения постоянной ставки или длительного контракта обычно требуется 1–2 постдока. –Прим. пер.

120

Caliskan, Bryson, and Narayanan,Semantics Derived Automatically from Language Corpora Contain Human-Like Biases.

121

Там же.

122

Garg et al.,Word Embeddings Quantify 100 Years of Gender and Ethnic Stereotypes.

123

Caliskan, Bryson, and Narayanan,Semantics Derived Automatically from Language Corpora Contain Human-Like Biases.

124

Yonatan Zunger,So, About this Googler’s Manifesto, https://medium.com/@yonatanzunger/so-about-this-googlers-manifesto‐1e3773ed1788.

125

Kinsley,What Convict Will Do If Paroled.

126

Дело «Бак против Дэвиса», заседания начаты 5 октября 2016 года, приговор вынесен 22 февраля 2017 года; https://www.supremecourt.gov/opinions/16pdf/15–8049_f2ah.pdf.

127

Hardt,How Big Data Is Unfair.

128

Clabaugh,Foreword.

129

Burgess,Factors Determining Success or Failure on Parole.

130

Clabaugh,Foreword.

131

Ernest W. Burgess and Thorsten

132

Интервью автора с Тимом Бреннаном, 26 ноября 2019.

133

См. Entwistle and Wilson,Degrees of Excellence.Работа написана научным руководителем Бреннана и подводит итоги его докторской диссертации.

134

Больше о работе Бреннана и Уэллса над классификацией заключенных в тюрьмах в начале 1990‐х см. Brennan and Wells,The Importance of Inmate Classification in Small Jails.

135

Harcourt,Against Prediction.

136

Burke,A Handbook for New Parole Board Members.

137

Основатели Northpointe Тим Бреннан и Дэйв Уэллс разработали инструмент, который назвали COMPAS, в 1998 году. Больше информации о нем см. в Brennan, Dieterich, and Oliver,COMPAS, а также в Brennan and Dieterich,Correctional Offender Management Profiles for Alternative Sanctions (COMPAS). В работе Andrews, Bonta, and Wormith,The Recent Past and Near Future of Risk and/or Need AssessmentCOMPAS описан как инструмент «четвертого поколения». Один из ведущих инструментов «третьего поколения», предшествующий COMPAS, называется Level of Service Inventory (or LSI), за ним последовал Level of Service Inventory— Revised (LSI- R). См. Andrews,The Level of Service Inventory (LSI)и Andrews and Bonta,The Level of Service Inventory— Revised. Больше информации о внедрении COMPAS в округе Брауард, штат Флорида, см. в Blomberg et al.,Validation of the COMPAS Risk Assessment Classification Instrument.

138

В частности, оценка рецидива насильственных преступлений производится по следующей формуле: (возраст –w1) +(возраст при первом аресте –w2) + (история насильственных преступленийw3) + (профессиональное образованиеw4) + (история нарушений режимаw5), где весаwопределяются статистически. См. http://www.equivant.com/wp-content/uploads/Practitioners-Guide-to-COMPASCore‐040419.pdf, § 4.1.5.

139

См. New York Consolidated Laws, Executive Law – EXC § 259‐c:State board of parole; functions, powers and duties.

140

New York’s Broken Parole System.

141

A Chance to Fix Parole in New York.

142

Smith,In Wisconsin, a Backlash Against Using Data to Foretell Defendants’ Futures.

143

Quantifying Forgiveness: MLTalks with Julia Angwin and Joi Ito. Что касается Стива Джобса, см. Eric Johnson,It May Be ‘Data Journalism,’ but Julia Angwin’s New Site the Markup Is Nothing Like FiveThirtyEight.

144

Книга Angwin,Dragnet Nation.

145

Интервью автора с Джулией Энгвин, 13 октября 2018.

146

Lansing,New York State COMPAS- Probation Risk and Need Assessment Study.

147

Podkopacz, Eckberg, and Kubits,Fourth Judicial District Pretrial Evaluation.

148

Podkopacz,Building and Validating the 2007 Hennepin County Adult Pretrial Scale.

149

См. также Harcourt,Risk as a Proxy for Race, где он утверждает: «Риск превратился в историю криминального прошлого, а криминальная история прошлого стала лакмусовой бумажкой для расы. Комбинация этих двух тенденций означает, что использование инструментов оценки риска в нашей системе уголовного правосудия скоро будет отягощаться неприемлемым уровнем расового неравенства». Контраргументы см. в Skeem and Lowenkamp,Risk, Race, and Recidivism.

150

Джулия Энгвин, вступительная речь на симпозиуме по кодексам юстиции в Колледже уголовного права имени Джона Джея 12 октября 2016.

151

Интервью автора с Джулией Энгвин, 13 октября 2018.

152

Angwin et al.,Machine Bias.

153

Dieterich, Mendoza, and Brennan,COMPAS Risk Scales. См. также Flores, Bechtel, and Lowenkamp,False Positives, False Negatives, and False Analyses.

154

См.Response to ProPublica.

155

См. Angwin and Larson,ProPublica Responds to Company’s Critique of Machine Bias Storyи Larson and Angwin,Technical Response to Northpointe.

156

Angwin and Larson,ProPublica Responds to Company’s Critique of Machine Bias Story. См. также Larson et al.,How We Analyzed the COMPAS Recidivism Algorithm. В этой цитате есть техническая неточность. Показатель обвиняемых, «имевших более высокую оценку риска, но не совершавших повторных преступлений», математически переводится в дробь: «Ложноположительные случаи» / («Ложноположительные случаи» + «Реально положительные случаи»), которая называется средней долей ложных отклонений от гипотезы. Тем не менее, статистические данные, на которые здесь ссылается ProPublica, в действительности показывают не долю ложных отклонений от гипотезы, а уровень ложноположительных результатов, который определяется как «Ложноположительные случаи» / («Ложноположительные случаи» + «Реально отрицательные случаи»). Более адекватный перевод этого выражения на язык слов будет содержать синтаксическую конструкцию, обратную по сравнению с той, которая звучит у ProPublica: обвиняемые, «которые не были арестованы повторно, но имели более высокую оценку риска».

157

См. Dwork et al.,Calibrating Noise to Sensitivity in Private Data Analysis. Браузер Google Chrome начал использовать дифференциальную приватность в 2014 году, компания Apple внедрила ее в операционные системы macOS Sierra и iOS 10 в 2016, а другие технологические компании добавили в комплект множество связанных идей и разработок. В 2017 году Дворк и ее коллеги по статье 2006 года разделили премию Геделя за свою работу.

158

Интервью автора с Синтией Дворк, 11 октября 2018.

159

Steel and Angwin,On the Web’s Cutting Edge, Anonymity in Name Only. См. также Sweeney,Simple Demographics Often Identify People Uniquely, где показано, что сочетания даты рождения, пола и почтового индекса было достаточно, чтобы опознать 87 % американцев.

160

Интервью автора с Морицем Хардтом, 13 декабря 2017.

161

См. Dwork et al.,Fairness Through Awareness. Более подробное обсуждение проблемы см. в Harcourt,Risk as a Proxy for Raceи Skeem и Lowenkamp,Risk, Race, and Recidivism.

162

Этот вопрос обсуждается в работе Corbett- Davies,Algorithmic Decision Making and the Cost of Fairness, а также в работе Corbett-Davies and Goel,The Measure and Mismeasure of Fairness.

163

Самые новые соображения по этой теме см. в Kleinberg et al.,Algorithmic Fairness. Обсуждения середины 1990‐х годов см. в Gottfredson and Jarjoura,Race, Gender, and Guidelines-Based Decision Making.

164

Kroll et al.,Accountable Algorithms.

165

Dwork et al.,Fairness Through Awareness.

166

См. Johnson and Nissenbaum,Computers, Ethics & Social Values.

167

См. Barocas and Selbst,Big Data’s Disparate Impact.

168

Интервью автора с Джоном Клейнбергом, 24 июля 2017.

169

Интервью автора с Александрой Чулдеховой, 16 мая 2017.

170

Интервью автора с Сэмом Корбетт-Дэвисом, 24 мая 2017.

171

Работа Гоэля показала помимо много другого, что те, кому приписывают так называемые «вороватые движения», реже оказываются преступниками, «потому что у вас просто „не было ничего лучше“, чтобы оправдать их остановку». (Из интервью автора с Шарадом Гоэлем, 24 мая 2017). См. также Goel, Rao, and Shroff,Personalized Risk Assessments in the Criminal Justice System.

172

См. Simoiu, Corbett- Davies, and Goel,The Problem of Infra-Marginality in Outcome Tests for Discrimination.

173

См. Kleinberg, Mullainathan, and Raghavan,Inherent Trade-offs in the Fair Determination of Risk Scores, Chouldechova,Fair Prediction with Disparate Impactи Corbett- Davies et al.,Algorithmic Decision Making and the Cost of Fairnessсоответственно. См. также Berk et al.,Fairness in Criminal Justice Risk Assessments.

174

Kleinberg, Mullainathan, and Raghavan,Inherent Trade-offs in the Fair Determination of Risk Scores.

175

Интервью автора с Александрой Чулдеховой, 16 мая 2017.

176

Интервью автора с Сэмом Корбетт-Дэвисом, 24 мая 2017. Как ни иронично, ProPublica сделала заголовки из самого этого факта; см. Julia Angwin and Jeff Larson,Bias in Criminal Risk Scores Is Mathematically Inevitable, Researchers Say, ProPublica, 30 декабря 2016.

177

Corbett-Davies et al.,Algorithmic Decision Making and the Cost of Fairness.

178

Интервью автора с Сэмом Корбетт-Дэвисом, 24 мая 2017.

179

Kleinberg, Mullainathan, and Raghavan,Inherent Trade-offs in the Fair Determination of Risk Scores.

180

Более подробное обсуждение справедливости именно в контексте выдачи займов см. в Hardt, Price, and Srebro,Equality of Opportunity in Supervised Learningи Lydia T. Liu, et al.,Delayed Impact of Fair Machine Learning. Также см. интерактивную визуализацию на http://research.google.com/bigpicture/attacking-discrimination-in-ml/ и https://bair.berkeley.edu/blog/2018/05/17/delayed-impact/.

181

Corbett- Davies et al.,Algorithmic Decision Making and the Cost of Fairness(видео).

182

Corbett- Davies et al.,Algorithmic Decision Making and the Cost of Fairness.

183

Там же.

184

Интервью автора с Тимом Бреннаном, 26 ноября 2019.

185

Corbett-Davies and Goel,The Measure and Mismeasure of Fairness. См. также Corbett-Davies et al.,Algorithmic Decision Making and the Cost of Fairness.

186

См. Rezaei et al.,Fairness for Robust Log Loss Classification.

187

Интервью автора с Джулией Энгвин, 13 октября 2018.

188

Flores, Bechtel, and Lowenkamp,False Positives, False Negatives, and False Analyses.

189

Интервью автора с Тимом Бреннаном, 26 ноября 2019.

190

Интервью автора с Синтией Дворк, 11 октября 2018.

191

Интервью автора с Морицем Хардтом, 13 декабря 2017.

192

Утверждение законопроекта SB 10 в Калифорнии стало поводом для создания некоммерческой организации Partnership on AI, представляющей более 90 учреждений в 13 странах, объединенных, чтобы выпустить подробный отчет, рекомендующий десять различных критериев, которым должна отвечать любая модель оценки рисков. См.Report on Algorithmic Risk Assessment Tools in the U. S. Criminal Justice System.

193

Инструмент называется Prisoner Assessment Tool Targeting Estimated Risk and Needs (PATTERN). Он был выпущен 19 июля 2019 года.

194

Интервью автора с Александрой Чулдеховой, 16 мая 2017.

195

Burgess,Factors Determining Success or Failure on Parole.

196

Lum and Isaac,To Predict and Serve?

197

Four Out of Ten Violate Parole, Says Legislator.

198

См. Ensign et al.,Runaway Feedback Loops in Predictive Policing.

199

Lum and Isaac,To Predict and Serve?

200

Более подробное обсуждение этой линии аргументов см. в Sam Corbett-Davies, Sharad Goel, and Sandra Gonzalez-Bailon,Even Imperfect Algorithms Can Improve the Criminal Justice Systemhttps://www.nytimes.com/2017/12/20/upshot/algorithms-bail-criminal-justice-system.html;Report on Algorithmic Risk Assessment Tools in the U. S. Criminal Justice Systemи Skeem and Lowenkamp,Risk, Race, and Recidivism.

201

См. Angwin et al.,Machine Bias. Вопрос приемлемости применения таких инструментов при вынесении приговоров дошел до Верховного суда Висконсина, где использование оценок риска системы COMPAS для вынесения информированных суждений было признано приемлемым. См. дело «Штат против Лумиса»: https://harvardlawreview.org/2017/03/state-v-loomis/. Использование инструментов оценки риска при вынесении приговоров – очень важная тема сама по себе. Бывший министр юстиции и генеральный прокурор США Эрик Холдер утверждал: «Приговоры по уголовным статьям… не должны основываться на неизменных факторах, которые человек не может контролировать, или на возможности совершения в будущем преступления, которое еще не произошло. В работе Monahan and Skeem,Risk Assessment in Criminal Sentencingобсуждается объединениевиныирискапри вынесении приговоров. В работе Skeem and Lowenkamp,Risk, Race, and RecidivismЛоуэнкамп выступает против использования PCRA [инструмент оценки риска] для принятия информированных первоначальных решений по приговорам или окончательных решений об освобождении, не проведя исследование об использовании программы в подобном контексте и не учитывая то, что система PCRA не разработана для таких целей.

202

Harcourt,Against Prediction. Больше информации см. вPersico, Racial Profiling, Fairness, and Effectiveness of Policingи Dominitz и Knowles,Crime Minimisation and Racial Bias.

203

Saunders, Hunt, and Hollywood,Predictions Put into Practice. См. также ответ Управления полиции Чикаго:CPD Welcomes the Opportunity

204

См. также Saunders,Pitfalls of Predictive Policing.

205

По мнению Бернара Аркура (в работеRisk as a Proxy for Race), более обдуманные решения об условно-досрочном освобождении – независимо от того, принимаются они машиной или человеком, – безусловно лучше, чем глупые. Однако они не являются главным способом решения проблем переполненности тюрем и расового неравенства в американской пенитенциарной системе.

Что же нужно делать, чтобы разгрузить тюрьмы? Аркур убежден: вместо того чтобы освобождать заключенных на основе прогностических алгоритмов, нам следует изначально реже применять лишение свободы в качестве меры наказания, а также полностью осознать расовое неравенство, заложенное в наших законах. Неотложные меры должны включать: отмену обязательных минимальных сроков заключения, смягчение законодательства, замену уголовного наказания иными мерами исправительного воздействия, внедрение альтернативных программ контроля и снижение налоговой нагрузки в тяжелые времена. Исследования показывают, что в долгосрочной перспективе сокращение сроков (то есть досрочное освобождение заключенных с низким уровнем риска) не окажет такого же значительного влияния на исправительную систему, как банальное снижение числа людей, попадающих за решетку. Таким образом, истинное решение проблемы кроется не в сокращении небольших тюремных сроков, а в уменьшении самого количества обвиняемых, отправляемых в тюрьму.

206

Больше по теме см. в Barabas et al.,Interventions over Predictions.

207

Elek, Sapia, and Keilitz,Use of Court Date Reminder Notices to Improve Court Appearance Rates. В 2019 году начались изменения, которые Хардт находит чрезвычайно вдохновляющими: в Техасе округ Харрис, куда входит и Хьюстон, одобрил правовое решение, включавшее развитие системы текстовых сообщений, напоминающих людям о явке в суд. См. Gabrielle Banks,Federal Judge Gives Final Approval to Harris County Bail Deal, Houston Chronicle, 21 ноября 2019.

208

См. Mayson,Dangerous Defendantsи Gouldin,Disentangling Flight Risk from Dangerousness. См. такжеReport on Algorithmic Risk Assessment Tools in the U. S. Criminal Justice System, где утверждается, что инструменты не должны отождествлять многочисленные прогнозы».

209

Интервью автора с Тимом Бреннаном, 26 ноября 2019.

210

См. также Goswami,Unlocking Options for Women. Работа представляет собой исследование женщин, находящихся в тюрьме графства Кук штата Чикаго. Автор приходит к выводу, что судьи должны обладать властью «приговаривать их к выполнению общественно полезных работ, а не к тюремному заключению».

211

Интервью автора с Морицем Хардтом, 13 декабря 2017.

212

См. также Mayson,Bias in, Bias Out, где говорится: «В расово неоднородном мире любой метод прогнозирования будет проецировать неравенство из прошлого в будущее. Это так же верно как для субъективных прогнозов, столь долго пропитывающих мир криминального правосудия, так и для ныне заменивших их алгоритмических инструментов. Что сделала алгоритмическая система оценки риска, так это выделила неравенство во всех прогнозах, заставив нас столкнуться лицом к лицу с куда более крупной проблемой, чем вызовы новых технологий.

213

Burgess,Prof. Burgess on Parole Reform.

214

Грэбер Д. Утопия правил. О технологиях, глупости и тайном обаянии бюрократии. – Пер. Дунаев А. Л. – ООО «Ад Маргинем Пресс», 2016.

215

Berk, Criminal Justice Forecasts of Risk.

216

См. Cooper et al.,An Evaluation of Machine- Learning Methods for Predicting Pneumonia Mortalityи Cooper et al.,Predicting Dire Outcomes of Patients with Community Acquired Pneumonia.

217

См. Caruana et al.,Intelligible Models for Healthcare.

218

Cooper et al.,Predicting Dire Outcomes of Patients with Community Acquired Pneumonia.

219

Caruana,Explainability in Context— Health.

220

Больше информации о списках правил для принятия решений см. в Rivest,Learning Decision Lists. Более современные обсуждения использования таких списков в медицине см. в Marewski and Gigerenzer,Heuristic Decision Making in Medicine. Более подробную информацию о наборах данных см. в Lakkaraju, Bach, and Leskovec,Interpretable Decision Sets.

221

В системе, которая делает вывод: «если пациент болен астмой, риск осложнений низок», явно отсутствует одна вещь – модель причинно-следственных связей. Одним из ведущих специалистов по информатике, изучающих причинность, является Джуда Перл из Калифорнийского университета в Лос-Анджелесе. С его последними идеями на эту тему в контексте современных систем машинного обучения можно ознакомиться в работе Pearl,The Seven Tools of Causal Inference, with Reflections on Machine Learning.

222

Интервью автора с Ричем Каруаной, 16 мая 2017.

223

Hastie and Tibshirani,Generalized Additive Models. Каруана и его коллеги тоже исследовали чуть более сложный класс моделей, включавших в себя парное взаимодействие или функции с двумя переменными. Они назвали это GA2M (Generalized Additive Models plus Interactions), или обобщенная аддитивная модель с взаимодействием; см. Lou et al.,Accurate Intelligible Models with Pairwise Interactions.

224

Каруана говорит, что на то есть ряд причин. Выход на пенсию означает, что меняется образ жизни, а также уровень дохода, страховка и, возможно, даже организация, оказывающая услуги здравоохранения. Они могут переехать. Все это влияет на состояние их здоровья и отношения с системой здравоохранения.

225

Обобщенная аддитивная модель показала, что риск осложнений резко возрастает в 86 лет, а потом так же резко падает в 101 год. По мнению Каруаны, это чисто социальный эффект. Он предполагает, что, когда человеку исполняется 80 с лишним лет, родственники и опекуны чаще воспринимают его недомогания как естественный ход вещей, с которым уже нет нужды отчаянно бороться. Однако, когда человек перешагивает столетний рубеж, возникает совершенно противоположный мотив: «Ты дожил до таких лет, мы не сдадимся просто так!» Каруана отмечает, что врач, возможно, захотел бы скорректировать этот график, посчитав правило об «астматиках» бессмысленным, а различное отношение к 80‐летним, 90‐летним и 100‐летним пациентам – неоправданным. С другой стороны, страховщик мог бы предпочесть оставить модель как есть: с его точки зрения, результаты лечения астматиков действительно оказываются лучше средних показателей. Этот пример подчеркивает две важные вещи. Во-первых, необходимость учитывать разные точки зрения заинтересованных сторон при создании системы. Во-вторых, разницу в ролях: одна группа использует модель для реального вмешательства, которое, в свою очередь,

226

См. Lou et al.

227

Schauer,Giving Reasons.

228

Интервью автора с Дэвидом Ганнингом, 12 декабря 2017.

229

Интервью автора с Брайсом Гудманом, 11 января 2018. «Право потребовать объяснения алгоритмических решений» впервые обсуждалось в работе Goodman and Flaxman,European Union Regulations on Algorithmic Decision-Making and a ‘Right to Explanation’. Некоторые ученые спорили о том, насколько сильно это положение, см. Wachter, Mittelstadt, and Floridi,Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. Другие отреагировали на это, см. Selbst and Powles,Meaningful Information and the Right to Explanation, и противоречия продолжали расти. Точный юридический статус «права на объяснения», по всей видимости, может быть разъяснен только постепенно, с помощью судов.

230

Thorndike,Fundamental Theorems in Judging Men.

231

Robyn Dawes,Dawes Unplugged– интервью с Робином Доусом, проведенное Иоахимом Крюгером по теме «Рациональность и социальная ответственность», университет Карнеги-Меллона, 19 января 2007.

232

Sarbin,A Contribution to the Study of Actuarial and Individual Methods of Prediction.

233

Meehl,Causes and Effects of My Disturbing Little Book.

234

Dawes and Corrigan,Linear Models in Decision Makingссылается на Sarbin,A Contribution to the Study of Actuarial and Individual Methods of Prediction.

235

См. Dawes,The Robust Beauty of Improper Linear Models in Decision Making.

236

См. Goldberg,Simple Models or Simple Processes?

237

См. Einhorn,Expert Measurement and Mechanical Combination.

238

Обращение к книге Пола Мила 1986 года см. в Meehl,Causes and Effects of My Disturbing Little Book. Точку зрения Доуса и Мила в 1989 см. в Dawes, Faust, and Meehl,Clinical Versus Actuarial Judgment. Современный взгляд на проблему см. в Kleinberg et al.,Human Decisions and Machine Predictions.

239

Holte,Very Simple Classification Rules Perform Well on Most Commonly Used Datasets.

240

Einhorn,Expert Measurement and Mechanical Combination.

241

См. Goldberg,Man Versus Model of Man, и Dawes,A Case Study of Graduate Admissions.

242

Dawes and Corrigan,Linear Models in Decision Making. См. также Wainer,Estimating Coefficients in Linear Models, где есть детальное описание равных весовых значений. Как пишет Вайнер, «когда вы интересуетесь прогнозом, очень редко возникает ситуация, требующая регрессии неравных весовых значений». См. также Dana and Dawes,The Superiority of Simple Alternatives to Regression for Social Science Predictions, где это заключение подтверждается в контексте социальных наук XXI века.

243

См. Dawes,The Robust Beauty of Improper Linear Models in Decision Making.

244

Howard and Dawes,Linear Prediction of Marital Happiness.

245

См. Howard and Dawes,Linear Prediction of Marital Happiness, где авторы ссылаются на Alexander,Sex, Arguments, and Social Engagements in Martial and Premarital Relations.

246

Пол Мил пришел к выводу, что «в самых практических ситуациях невзвешенная сумма небольшого количества „больших“ переменных в среднем предпочтительнее регрессионных уравнений». См. Dawes and Corrigan,Linear Models in Decision Making, где есть обсуждение и ссылки.

247

Dawes,The Robust Beauty of Improper Linear Models in Decision Making. См. также Wainer,Estimating Coefficients in Linear Models: «Следует также отметить, что такого рода схемы [равные весовые значения в линейной модели] хорошо работают, даже когда операционный критерий недоступен».

248

Dawes,The Robust Beauty of Improper Linear Models in Decision Making.

249

Einhorn,Expert Measurement and Mechanical Combination.

250

Dawes and Corrigan,Linear Models in Decision Making.

251

См. Andy Reinhardt,Steve Jobs on Apple’s Resurgence: ‘Not a One-Man Show,’ Business Week Online,May 12, 1998, http://www.businessweek.com/bwdaily/dnflash/may1998/nf80512d.htm.

252

Holmes and Pollock,Holmes – Pollock Letters.

253

Angelino et al.,Learning Certifiably Optimal Rule Lists for Categorical Data. См. также Zeng, Ustun, and Rudin,Interpretable Classification Models for Recidivism Predictionи Rudin and Radin,Why Are We Using Black Box Models in AI When We Don’t Need To?Информацию о другой простой модели, достигшей той же точности, что и COMPAS, см. Dressel and Farid,The Accuracy, Fairness, and Limits of Predicting Recidivism. Дальнейшее обсуждение см. в Rudin, Wang, and Coker,The Age of Secrecy and Unfairness in Recidivism Prediction, а также в Chouldechova,Transparency and Simplicity in Criminal Risk Assessment.

254

Cynthia Rudin,Algorithms for Interpretable Machine Learning(лекция), 20‐я конференция AGM SIGKIDD по обнаружению знаний и интеллектуальному анализу данных, Нью-Йорк, 26 августа 2014.

255

Breiman et al.,Classification and Regression Trees.

256

См. Quinlan,C4.5;У C4.5 также существует более современный алгоритм-последователь C5.0.

257

Больше информации о CHADS2 см. в Gage et al.,Validation of Clinical Classification Schemes for Predicting Stroke, а о CHA2DS2-VASc – в Lip et al.,Refining Clinical Risk Stratification for Predicting Stroke and Thromboembolism in Atrial Fibrillation Using a Novel Risk Factor-Based Approach.

258

См. Letham et al.,Interpretable Classifiers Using Rules and Bayesian Analysis.

259

См. Veasey and Rosen,Obstructive Sleep Apnea in Adults.

260

Метод SLIM использует так называемую бинарную функцию потерь (простую оценку количества верных и ошибочных прогнозов), норму l0 (которая стремится свести к минимуму используемый набор характеристик) и ограничивает весовые коэффициенты взаимно простыми целыми числами. См. Ustun, Traca, and Rudin,Supersparse Linear Integer Models for Predictive Scoring Systemsи Ustun and

261

Например, логистическая регрессия может использоваться для создания моделей, коэффициенты которых впоследствии округляются.

262

См. обсуждение и ссылки в Ustun and Rudin,Supersparse Linear Integer Models for Optimized Medical Scoring Systems.

263

Information for Referring Physicians, https://www.uwhealth.org/referring-physician-news/death-rate-triple-for-sleep-apnea-sufferers/13986.

264

Ustun et al.,Clinical Prediction Models for Sleep Apnea. Информацию о модели, созданной с использованием SLIM и внедренной в больницы для оценки риска эпилептических припадков, см. в Struck et al.,Association of an Electroencephalography-Based Risk Score With Seizure Probability in Hospitalized Patients.

265

Graduate Record Examinations-тест, который необходимо сдавать для поступления в аспирантуру, магистратуру или иной постдипломный курс в вузы США и ряда других стран. –Прим. пер.

266

См. Kobayashi and Kohshima,Unique Morphology of the Human Eye and Its Adaptive Meaningи Tomasello et al.,Reliance on Head Versus Eyes in the Gaze Following of Great Apes and Human Infants.

267

О том, как именно зрительное внимание должно вычисляться в области активных исследований, см. Simonyan, Vedaldi, and Zisserman,Deep Inside Convolutional Networks, Smilkov et al.,Smoothgrad; Selvaraju et al., “Grad-Cam”, Sundararajan, Taly, and Yan, “Axiomatic Attribution for Deep Networks”; Erhan et al.,Visualizing Higher-Layer Features of a Deep Networkи Dabkowski and Gal,Real Time Image Saliency for Black Box Classifiers. Сравнение зрительного внимания на основе матрицы Якоби и на основе отклонения в обучении с подкреплением см. в Greydanus et al.,Visualizing and Understanding Atari Agents.

Также открытым остается вопрос об ограничениях методов зрительного внимания и их слабостях. См. Kindermans et al.,The (Un)reliability of Saliency Methods; Adebayo et al.,Sanity Checks for Saliency Maps; and Ghorbani, Abid, and Zou,Interpretation of Neural Networks Is Fragile.

268

Лэндекер заключил: «Более тщательное изучение набора данных выявило, что на фотографиях животных задний план часто бывает не в фокусе, тогда как на тех фотографиях, где животных нет, изображение сфокусировано полностью. Такой тип систематической ошибки с изображениями вполне обоснован, особенно если учесть, что все снимки были сделаны профессиональными фотографами. Результаты распространения фактора показывают нам, как легко неожиданная ошибка может проникнуть в набор данных. См. Landecker,Interpretable Machine Learning and Sparse Coding for Computer Visionи Landecker et al.,Interpreting Individual Classifications of Hierarchical Networks. См. также обсуждение специально созданного примера, где нейросеть, разработанная, чтобы отличать волков от хаски, распознавала, в основном, разницу между снегом и травой на фоне: Ribeiro, Singh, and Guestrin,Why Should I Trust You?

269

Hilton,The Artificial Brain as Doctor. Новоа послал коллегам электронное письмо 27 января 2015 года. Там говорилось: «Если ИИ может отличать сотни пород собак, думаю, он в состоянии внести огромный вклад в дерматологию». Это привело к сотрудничеству с Ко и другими. См. Justin Ko,Mountains out of Moles: Artificial Intelligence and Imaging(лекция), Конференция по большим данным в биомедицине, Стэнфорд, Калифорния, 24 мая 2017 года.

270

Esteva et al.,Dermatologist-Level Classification of Skin Cancer with Deep Neural Networks.

271

Ko,Mountains out of Moles.

272

Narla et al.,Automated Classification of Skin Lesions.

273

См. Caruana,Multitask Learning, но, чтобы познакомиться с более ранними исследованиями, см. Rosenberg and Sejnowski,NETtalk. Более современный обзор см. в Ruder,An Overview of Multi-Task Learning in Deep Neural Networks. Эта идея иногда воплощается в создании нейросети со множеством «голов» – высокоуровневых выходных сигналов, которые на промежуточных этапах обработки опираются на одни и те же признаки. Концепция, долгое время пользовавшаяся лишь умеренной популярностью в сообществе машинного обучения, недавно вновь подняла свои (многочисленные) головы в AlphaGo Zero – одной из самых передовых нейросетей 2010‐х годов. Когда специалисты DeepMind перерабатывали архитектуру своей системы AlphaGo, победившей чемпионов мира, они поняли, что алгоритм можно значительно упростить, объединив две исходные нейросети в одну двуглавую. Оригинальная AlphaGo использовала «стратегическую сеть», чтобы решить, какой ход сделать в текущей позиции, и «оценочную сеть», чтобы взвесить преимущества и недостатки каждого игрока. Исследователи DeepMind резонно предположили, что ключевые промежуточные характеристики – кто какую территорию контролирует, насколько стабильны или уязвимы определенные группы камней – будут практически идентичны для обеих задач. Так зачем делать двойную работу? В архитектуре следующей версии, AlphaGo Zero, стратегическая и оценочная «головы» были подключены к одной общей глубокой нейросети. Эта новая, похожая на Цербера система оказалась не только более простой и философски элегантной, но и играла в го объективно лучше оригинала. (Забавно, что в мифологии Цербера чаще всего описывают трехглавым; двуглавым был его менее известный брат Орф, охранявший стада великана Гериона.)

274

Интервью автора с Ричем Каруаной, 16 мая 2017.

275

Poplin et al.,Prediction of Cardiovascular Risk Factors from Retinal Fundus Photographs via Deep Learning.

276

Райан Поплин, интервью, взятое Сэмом Чарингтоном, TwiML Talk, эпизод 122, 26 марта 2018.

277

Zeiler and Fergus,Visualizing and Understanding Convolutional Networks.

278

Matthew Zeiler,Visualizing and Understanding Deep Neural Networks by Matt Zeiler(лекция).

279

См. Zeiler et al.,Deconvolutional Networksи Zeiler, Taylor, and Fergus,Adaptive Deconvolutional Networks for Mid and High Level Feature Learning.

280

К 2014 году почти все группы, участвующие в конкурсе ImageNet, использовали эти методы и открытия. См. Simonyan and Zisserman,Very Deep Convolutional Networks for Large- Scale Image Recognition, Howard,Some Improvements on Deep Convolutional Neural Network

281

Этим подходом была вдохновлена работа Erhan et al.,Visualizing Higher-Layer Features of a Deep Network, а также другие исследования, которые проходили до нее и вместе с ней; см. Olah,Feature Visualization, где приведены более полные история и библиография. На практике только оптимизация этики категории не дает доступных для восприятия изображений без каких‐либо дальнейших ограничений и изменений цели. Это благодатная почва для исследований; см. обсуждение проблемы в Mordvintsev, Olah, and Tyka,Inceptionismи Olah, Mordvintsev, and Schubert,Feature Visualization.

282

Mordvintsev, Olah, and Tyka,DeepDream.

283

См. Mordvintsev, Olah, and Tyka,Inceptionismи Mordvintsev, Olah, and Tyka,DeepDream.

284

См. Olah, Mordvintsev, and Schubert,Feature Visualization; Olah et al.,The Building Blocks of Interpretabilityи Carter et al.,Activation Atlas. Более современные работы, включающие детальное рассмотрение фундаментальных моделей глубокого обучения, таких, как AlexNet, см. https://microscope.openai.com/models/alexnet.

285

Интервью автора с Крисом Ола, 4 мая 2020 года. Больше информации см. в его совместной работе с Circuits: https://distill.pub/2020/circuits/.

286

Журнал называетсяDistill, он доступен по адресу https://distill.pub. Мысли Ола по поводу основанияDistillсм. https://colah.github.io/posts/2017–03-Distill/ и https://distill.pub/2017/research-debt/.

287

Olah et al.,The Building Blocks of Interpretability.

288

Интервью автора с Бин Ким, 1 июня 2018.

289

См. также Doshi-Velez and Kim,Towards a Rigorous Science of Interpretable Machine Learning, и Lage et al.,Human-in-the-Loop Interpretability Prior.

290

См. Poursabzi-Sangdeh et al.,Manipulating and Measuring Model Interpretability.

291

См. https://github.com/tensorflow/tcav.

292

Kim et al.,Interpretability Beyond Feature Attribution.

293

Получаются векторы понятий, чем‐то схожие с тем, что мы наблюдали во время разговора о Word2vec в главе 1. Родственный метод также можно найти в Fong and Vedaldi,Net2Vec.

294

Been Kim,Interpretability Beyond Feature Attribution(лекция), MLconf2018, Сан-Франциско, 14 ноября 2018.

295

Been Kim,Interpretability Beyond Feature Attribution.

296

См. Mordvintsev, Olah, and Tyka,Inceptionismи Mordvintsev, Olah, and Tyka,DeepDream.

297

См. https://results.ittf.link.

298

Stock and Cisse,ConvNets and Imagenet Beyond Accuracy.

299

Skinner,Reinforcement Today.

300

Ханна Арендт.Vita activa, или О деятельной жизни. – Москва: Ad Marginem Press, 2017.

301

Американская писательница, оставившая след в модернистской литературе, теоретик литературы. –Прим. пер.

302

О студенческих изысканиях Стайн см. Solomons andStein, Normal Motor Automatism. Отзыв, связывающий знаменитую книгу Стайн с ее ранними психологическими исследованиями, автором которого был никто иной как Б. Ф. Скиннер, см. в Skinner,Has Gertrude Stein a Secret?Краткие размышления Стайн об этом периоде ее жизни см. в Стайн Г. Автобиография Элис Би Токлас. – СПб: Азбука-Классика, 2006. Больше о жизни Стайн и ее творчестве см. в Brinnin,The Third Rose.

303

Jonçich,The Sane Positivist. См. также Brinnin,The Third Rose.

304

Jonçich

305

Thorndike,Animal Intelligence.

306

Thorndike,The Psychology of Learning.

307

Разумеется, у Торндайка были предшественники и последователи; более раннее предвестие закона эффекта можно найти в работе шотландского философа Александра Бейна, обсуждавшего обучение «на ощупь» и «великий процесс проб и ошибок» (последнее теперь стало устойчивым выражением) в своей работе 1855 года «Чувства и интеллект». Конвей Ллойд Морган всего за пару лет до начала работы Торндайка в Гарварде в своем «Введении в сравнительную психологию» (1894) писал о «пробах и ошибках» в контексте поведения животных. Краткую историю обучения животных с точки зрения подкрепления см. в Саттон Р. С., Барто Э. Дж. Обучение с подкреплением: Введение. 2‐е изд. – Пер. с англ. А. А. Слинкина. – М.: ДМК Пресс, 2020.

308

См. Thorndike,A Theory of the Action of the After-Effects of a Connection upon Itи Skinner,The Rate of Establishment of a Discriminationсоответственно. Обсуждение см. в Wise,Reinforcement.

309

Tolman,The Determiners of Behavior at a Choice Point.

310

Jonçich, The Sane Positivist, а также Cumming,A Review of Geraldine Jonçich’s The Sane Positivist: A Biography of Edward L. Thorndike.

311

Thorndike,A Theory of the Action of the After- Effects of a Connection upon It.

312

Turing,Intelligent Machinery.

313

Heuristics.

314

Samuel,Some Studies in Machine Learning Using the Game of Checkers.

315

McCarthy and Feigenbaum,In Memoriam. Показ машины Сэмюэла на телевидении состоялся 24 февраля 1956 года.

316

Эдвард Торндайк, письмо Уильяму Джеймсу, 26 октября 1908, обнаружено в книге Jonçich,The Sane Positivist.

317

Rosenblueth, Wiener, and Bigelow,Behavior, Purpose and Teleology. «Оксфордский словарь английского языка» разграничивает значение «возвращение части выходного сигнала» и значение «модификация, приспособление или управление процессом или системой… с помощью результата или воздействия процесса» и цитирует Розенблюта, Винера и Биглоу как первое печатное упоминание выражения в последнем значении.

318

Сейчас слово «кибернетика» напоминает и о будущем, и о давно ушедших временах; на ум приходит Флеш Гордон и фантастика эпохи бэби-бума. Однако оно не настолько далеко от нас, как кажется. Винер искал термин для того, чтобы передать идею саморегуляции и обратной связи в живых и механических системах. «Мы долго обсуждали этот вопрос, – писал Винер, – и пришли к выводу, что вся существующая терминология так или иначе слишком однобока и не помогает развитию

319

Винер Н. Кибернетика, или управление и связь в животном и машине, с. 164.

320

Rosenblueth, Wiener, and Bigelow,Behavior, Purpose and Teleology.

321

Klopf,Brain Function and Adaptive Systems: A Heterostatic Theory. В истории машинного обучения идея «гедонистического нейрона» появляется в несколько иной форме. См., например, систему SNARC, описанную в работе Minsky,Theory of Neural-Analog Reinforcement Systems and Its Application to the Brain Model Problemи главу 15 в книге Саттона и Барто «Обучение с подкреплением».

322

Andrew G. Barto,Reinforcement Learning: A History of Surprises and Connections(лекция), 19 июля 2018 года, Международная совместная конференция по искусственному интеллекту в Стокгольме, Швеция.

323

Интервью автора с Эндрю Барто 9 мая 2018.

324

Каноническая книга по обучению с подкреплением Саттона и Барто «Обучение с подкреплением» недавно была переиздана. Краткое изложение происходящего в отрасли до середины до 1990‐х см. также в Kaelbling, Littman, and Moore,Reinforcement Learning.

325

Ричард Саттон определяет эту идею и рассказывает о ней в http://incompleteideas.net/rlai.cs.ualberta.ca/RLAI/rewardhypothesis.html. Также она появляется в книге Саттона и Барто «Обучение с подкреплением». Саттон говорит, что впервые услышал о ней от специалиста по информатике из Брауновского университета Майкла Литтмана. Тот же считал, что услышал о ней от Саттона. Но первое упоминание, кажется, действительно относится к лекции, которую Литтман прочел в начале 2000‐х годов, где он утверждал, что «разумное поведение прорастает из действий индивида, направленных на максимизацию получаемых им сигналов вознаграждения в сложном и меняющемся мире». О том, как Литтман вспоминает эту историю, см. вMichael Littman: The Reward Hypothesis(лекция), университет Альберты, 16 октября 2019 года, доступна на https://www.coursera.org/lecture/fundamentals-of-reinforcement-learning/michael-littman-the-reward-hypothesis-q6x0e.

Несмотря на то что эта специфическая формулировка появилась недавно, идея понимания поведения как мотивированного (внешне или внутренне) какой‐то формой поддающегося количественной оценке вознаграждения очень широко связана с теорией полезности. См. Bernouilli,Specimen theoriae novae de mensura sortis, Samuelson,A Note on Measurement of Utilityи von Neumann and Morgenstern,Theory of Gamesand Economic Behavior.

326

Richard Sutton,Introduction to Reinforcement Learning(лекция), университет штата Техас в Остине, 10 января 2015.

327

«Есть только три возможных сравнения между двумя [скалярными] числами, – говорит Чанг. – Одно число может быть больше, меньше или равно другому. С ценностями дело обстоит иначе. Как существа, появившиеся на свет после эпохи Просвещения, мы склонны предполагать, что научное мышление содержит разгадки всех важных вопросов нашего мира, но мир ценностей отличается от мира науки. В последнем вещи могут быть измерены действительными числами. В первом такой возможности нет. Мы не должны предполагать, что мир, которыйесть,который имеет измерения и вес, обладает той же структурой, что и мир, которыйдолжен быть –мир того, что мы должны делать». См. Ruth Chang,How to Make Hard Choices(лекция), TEDSalon NY2014: https://www.ted.com/talks/ruth_chang_how_to_make_hard_choices.

328

Идея обучения с подкреплением как «обучения с критиком» появилась, по крайней мере, в работе Widrow, Gupta, and Maitra,Punish/Reward.

329

О таких алгоритмах, как алгоритм обратного распространения ошибки, можно думать как о решении задачи присваивания коэффициентов доверия не временно, а структурно. Саттон вLearning to Predict by the Methods of Temporal Differencesподытоживает: «Цель обратного распространения ошибки и методов временных различий – точное присваивание коэффициентов доверия. Алгоритм обратного распространения ошибки решает, какие части (или часть) нейросети изменить так, чтобы повлиять на ее выходные данные и снизить общую погрешность. Методы временных различий же решают, как изменить каждый результат во временно́й последовательности выходных данных. Алгоритм обратного распространения ошибки дает структурное решение задачи присваивания коэффициентов доверия, тогда как метод временных различий – временно́е решение».

330

Olds,Pleasure Centers in the Brain, 1956.

331

Olds and Milner,Positive Reinforcement Produced by Electrical Stimulation of Septal Area and Other Regions of Rat Brain.

332

См. Olds,Pleasure Centers in the Brain, 1956 и Olds,Pleasure Centers in the Brain, 1970.

333

Corbett and Wise,Intracranial Self-Stimulation in Relation to the Ascending Dopaminergic Systems of the Midbrain.

334

Schultz,Multiple Dopamine Functions at Different Time Courses, количество дофаминовых нейронов в человеческом головном мозге оценивается примерно в 400 000, а общее число нейронов – приблизительно от 80 до 100 миллиардов.

335

Bolam and Pissadaki,Living on the Edge with Too Many Mouths to Feed.

336

Там же.

337

Glimcher,Understanding Dopamine and Reinforcement Learning.

338

Romo and Schultz,Dopamine Neurons of the Monkey

339

Там же.

340

Интервью автора с Вольфрамом Шульцем, 25 июня 2018.

341

См. Schultz, Apicella, and Ljungberg,Responses of Monkey Dopamine Neurons to Reward and Conditioned Stimuli During Successive Steps of Learning a Delayed Response Taskи Mirenowicz and Schultz,Importance of Unpredictability for Reward Responses in Primate Dopamine Neurons.

342

См. Rescorla and Wagner,A Theory of Pavlovian Conditioning; идея о том, что обучение может состояться, только когда его результаты удивляют, проистекает из более ранней работы Kamin,Predictability, Surprise, Attention, and Conditioning.

343

Интервью автора с Вольфрамом Шульцем, 25 июня 2018.

344

Интервью автора с Вольфрамом Шульцем, 25 июня 2018. См. Schultz, Apicella, and Ljungberg,Responses of Monkey Dopamine Neurons to Reward and Conditioned Stimuli During Successive Steps of Learning a Delayed Response Task.

345

Цитируется по Brinnin,The Third Rose.

346

Barto, Sutton, and Anderson,Neuronlike Adaptive Elements That Can Solve Difficult Learning Control Problems.

347

«Рич у нас больше любит прогнозировать, а я – актерствовать». (Интервью автора с Эндрю Барто, 9 мая 2018.)

348

Sutton,A Unified Theory of Expectation in Classical and Instrumental Conditioning.

349

Sutton,Temporal-Difference Learning(лекция), 3 июля 2017 года, Летняя школа по глубокому обучению и обучению с подкреплением 2017, университет Монреаля, http://videolectures.net/deeplearning2017_sutton_td_learning/.

350

Sutton,Temporal-Difference Learning

351

Sutton,Learning to Predict by the Methods of Temporal Differences. См. также диссертацию Саттона на соискание докторской степени:Temporal Credit Assignment in Reinforcement Learning.

352

См. Watkins,Learning from Delayed Rewardsи Watkins and Dayan,Q-Learning.

353

Tesauro,Practical Issues in Temporal Difference Learning.

354

Tesauro,TD-Gammon, a Self- Teaching Backgammon Program, Achieves Master-Level Play. См. также Tesauro,Temporal Difference Learning and TD-Gammon.

355

Интервью с П. Ридом Монтегю, серия интервью на Симпозиуме мозга и поведения в Колд-Сприн-Харбор.

356

Интервью автора с Питером Даяном, 12 марта 2018.

357

Schultz, Dayan, and Montague,A Neural Substrate of Prediction and Reward. О появлении качественно новой связи с TD-обучением годом ранее см. Montague, Dayan, and Sejnowski,A Framework for Mesencephalic Dopamine Systems Based on Predictive Hebbian Learning.

358

P. Read Montague,Cold Spring Harbor Laboratory Keynote.

359

Интервью с П. Ридом Монтегю, серия интервью на Симпозиуме мозга и поведения в Колд-Сприн-Харбор.

360

Интервью автора с Питером Даяном, 12 марта 2018.

361

Интервью автора с Вольфрамом Шульцем, 25 июня 2018.

362

См. Niv,Reinforcement Learning in the Brain.

363

Обсуждение потенциальных ограничений теории дофамина, основанной на TD-ошибках, см. Dayan and Niv,Reinforcement Learning, и O’Doherty,Beyond Simple Reinforcement Learning.

364

Niv,Reinforcement Learning in the Brain.

365

Сообщение на конференции с размещением основного материала на специальных стендах.– Прим. пер.

366

Интервью автора с Яэль Нив, 21 февраля 2018.

367

См. Berridge,Food Reward: Brain Substrates of Wanting and Likingи Berridge, Robinson, and Aldridge,Dissecting Components of Reward.

368

Rutledge et al.,A Computational and Neural Model of Momentary Subjective Well-Being.

369

Rutledge et al.

370

См. Brickman,Hedonic Relativism and Planning the Good Societyи Frederick and Loewenstein,Hedonic Adaptation.

371

Brickman, Coates, and Janoff-Bulman,Lottery Winners and Accident Victims.

372

Equation to Predict Happiness, https://www.ucl.ac.uk/news/2014/aug/equation-predict-happiness.

373

Rutledge et al.,A Computational and Neural Model of Momentary Subjective Well-Being.

374

Wency Leung,Researchers Create Formula That Predicts Happiness, https://www.theglobeandmail.com/life/health-and-fitness/health/researchers-create-formula-that-predicts-happiness/article19919756/.

375

См. Tomasik,Do Artificial Reinforcement-Learning Agents Matter Morally?Больше по этой теме см. Schwitzgebel and Garza,A Defense of the Rights of Artificial Intelligences.

376

Brian Tomasik,Ethical Issues in Artificial Reinforcement Learning, https://reducing-suffering.org/ethical-issues-artificial-reinforcement-learning/.

377

Daswani and Leike,A Definition of Happiness for Reinforcement Learning Agents. См. также People for the Ethical Treatment of Reinforcement Learners: http://petrl.org.

378

Интервью автора с Эндрю Барто, 9 мая 2018.

379

В дофамине и TD-обучении в головном мозге есть кое-что большее: дофамин, к примеру, связан с теми двигательными актами и расстройствами, которые возникают при болезни Паркинсона. И дофамин в большей степени связан с ошибками в прогнозах вположительнуюсторону, а не в отрицательную. Кажется, когда речь идет о неприятных стимулах – угрожающих, отвратительных или вредных, – работают совершенно иные схемы соединений.

380

См. Athalye et al.,Evidence for a Neural Law of Effect.

381

Интервью автора с Эндрю Барто, 9 мая 2018.

382

Больше об универсальном определении разума см. в Legg and Hutter,Universal IntelligenceиA Collection of Definitions of Intelligence, а также Legg and Veness,An Approximation of the Universal Intelligence Measure.

383

McCarthy,What Is Artificial Intelligence?

384

Шульц, Даян и Монтегю подытожили в статьеA Neural Substrate of Prediction and Reward: «Без способности отличить, какой стимул несет ответственность за отклонения в передаваемом скалярном сигнале об ошибке, агент может научиться неприемлемым вещам, например приближаться к пище, когда ему хочется пить».

385

И. Бентам. Введение в основания нравственности и законодательства = An introduction to the principles of morals and legislation / И. Бентам. – М.: РОССПЭН, 1998.

386

Matarić,Reward Functions for Accelerated Learning.

387

Skinner,Pigeons in a Pelican. См. также Skinner,Reinforcement Today.

388

Skinner,Pigeons in a Pelican.

389

Ferster and Skinner,Schedules of Reinforcement. Воспоминания Чарльза Ферстера о работе со Скиннером в этот период см. вSchedules of Reinforcement with Skinner.

390

Bailey and Gillaspy,Operant Psychology Goes to the Fair.

391

Там же.

392

Супруги Бреланд сумели обучить более шести тысяч животных разных видов. «Мы брали таких нетипичных животных, как северные олени, какаду, еноты, бурые дельфины и киты». Тем не менее, они сталкивались с определенными, постоянно повторяющимися ограничениями, пытаясь вызвать определенное поведение животных, и в результате пришли к выводу, что бихевиоризм как теория не может учитывать должным образом инстинкты животных, возникшее в результате эволюции поведение, присущее определенным видам, и их склонности. См. Breland and Breland,The Misbehavior of Organisms.

393

Skinner,Reinforcement Today(курсив автора).

394

Skinner,Pigeons in a Pelican.

395

Там же.

396

Skinner,How to Teach Animals, 1951. Кажется, в этой работе впервые появляется слово «формирование» в контексте обучения с подкреплением.

397

Скиннер описывает это событие на страницах многих своих работ. См.Reinforcement Today, Some Relations Between Behavior Modification and Basic Research, The Shaping of a BehavioristиA Matter of Consequences. См. также Peterson,A Day of Great Illumination.

398

Skinner,How to Teach Animals.

399

Скиннер заключил: «Всем знакома проблема, когда кажется, что ребенок получает почти патологическое наслаждение, раздражая родителей. Во многом это результат обусловливания, очень похожего на дрессировку животных, которую мы обсуждали». См. Skinner,How to Teach Animals.

400

Там же.

401

Впервые эта цитата появляется в работе Spielvogel,Advertisingчерез много лет после смерти Эдисона. Больше информации об истории и вариантах этих слов см. в O’Toole,There’s a Way to Do It Better— Find It.

402

Bain,The Senses and the Intellect.

403

Интервью автора с Майклом Литтманом 28 февраля 2018.

404

Явное упоминание «формирования» в контексте робототехники появляется в работе Singh,Transfer of Learning by Composing Solutions of Elemental Sequential Tasks; в 1990‐е годы эта тема все больше распространяется в сообществе специалистов по робототехнике, при этом многие исследователи открыто интересовались дрессировкой животных и инструментальным обусловливанием. См. Colombetti and Dorigo,Robot Shaping, Saksida, Raymond, and Touretzky,Shaping Robot Behavior Using Principles from Instrumental Conditioningи Savage,Shaping.

405

Skinner,Reinforcement Today.

406

Shigeru Miyamoto,Iwata Asks: New Super Mario Bros. Wii, интервью взял Сатору Ивата, 25 ноября 2009 года, https://www.nintendo.co.uk/Iwata-Asks/Iwata-Asks-New-Super-Mario-Bros-Wii/Volume‐1/4-Letting-Everyone-Know-It-Was-A-Good-Mushroom/4‐letting-Everyone-Know-It-Was-A-Good-Mushroom‐210863.html.

407

Больше об идее последовательности режимов при обучении с подкреплением см. в Bengio et al.,Curriculum Learning.

408

Selfridge, Sutton, and Barto,Training and Tracking in Robotics.

409

Elman,Learning and Development in Neural Networks. Тем не менее, см. также Rohde and Plaut, Language Acquisition in the Absence of Explicit Negative Evidence, где говорится о различных находках Элмана в этой области.

410

Этот эксперимент примечателен тем, что поведение свиньи со временем ухудшалось, а это бросало вызов классическим моделям бихевиоризма. См. Breland and Breland,The Misbehavior of Organisms.

411

Florensa et al.,Reverse Curriculum Generation for Reinforcement Learning. В 2018 году команда исследователей из OpenAI сделала нечто подобное, подготовив агентов обучения с подкреплением для особенно трудных видеоигр. Они записали, как опытный игрок проходит игру, а потом создали последовательность, двигаясь назад во времени по записанной демоверсии. Вначале они обучали агента, как действовать, когда все получается, и постепенно двигались назад, добираясь до начала игры. См. Salimans and Chen,Learning Montezuma’s Revenge from a Single Demonstration. См. также Hosu and Rebedea,Playing Atari Games with Deep Reinforcement Learning and Human Checkpoint Replay, Nair et al.,Overcoming Exploration in Reinforcement Learning with Demonstrationsи Peng et al.,DeepMimic. Также в этом методе есть более широкая связь с имитационным обучением, описанным в главе 7.

412

См. Ashley Chess for Success.

413

Это трудно подтвердить, но так и было. Больше информации о продажах книг по шахматам см. в Edward Winter,Chess Book Sales, http://www.chesshistory.com/winter/extra/sales.html.

414

См. Graves et al.,Automated Curriculum Learning for Neural Networks. Здесь существует связь с работой о вознаграждении процесса обучения, которую мы обсуждали в главе 6. О более ранних работах, посвященных последовательности в машинном обучении, см. Bengio et al.,Curriculum Learning.

415

David Silver,AlphaGo Zero: Starting from Scratch, 18 октября 2017.

416

Kerr,On the Folly of Rewarding A, While Hoping for B.

417

Там же. Отметим, что в оригинале 1975 года вместо слова «аморальный» было слово «бессмертный» (immortality)!

418

Статья подписана «Редакция», но редакторов звали Кейти Дешант и Джек Вейга, см. Dechant and Veiga,More on the Folly.

419

Несколько поучительных историй о стимулах в игровой форме см. в Callan, Bauer, and Landers,How to Avoid the Dark Side of Gamification.

420

Kerr,On the Folly of Rewarding A, While Hoping for B.

421

Wright et al.,40 Years (and Counting).

422

Operant Conditioning.

423

См. Joffe-Walt,Allowance Economicsи Gans,Parentonomics.

424

Интервью автора с Томом Гриффитом, 13 июня 2018.

425

Andre and Teller,Evolving Team Darwin

426

Цитируется по Ng, Harada, and Russell,Policy Invariance Under Reward Transformations, а также по разговорам с авторами.

427

Randlov and Alstrom,Learning to Drive a Bicycle Using Reinforcement Learning and Shaping.

428

Рассел рассказал мне, что эта идея появилась из его размышлений в 1990‐х годах о «метаосмыслении» – правильном мышлении о самом процессе мышления. Когда вы играете в игру, например в шахматы, вы побеждаете благодаря ходам, которые делаете. Но именно вашимыслипозволяют выбирать эти правильные ходы. Действительно, иногда мы анализируем партию и думаем: «Ага, я ошибся, потому что запер своего коня. Мне нужно держать его подальше от края доски». Но порой мы мыслим иначе: «Ага, я ошибся, потому что не доверился своим инстинктам и начал сомневаться. Нужно играть более естественно и полагаться на интуицию». Вопрос о том, как начинающий шахматист (или любой ИИ-агент) должен извлекать уроки из самого процесса мышления, кажется куда более важным (и сложным), чем просто обучение правильным ходам. Возможно, здесь может помочь метод формирования навыков.

«Напрашивается очевидный ответ… Если твои расчеты меняют твое мнение о том, какой ход будет хорошим, значит, эти расчеты кажутся целесообразными, – рассуждал Рассел. – И ты можешь поощрять сам процесс вычислений за то, как он меняет ход твоих мыслей».

Он добавляет: «И тут начинается самое сложное. Ты можешь так изменить ход своих мыслей, что найдешь второй по силе ход, и в реальности это окажется даже лучше, чем держать в запасе первоначально выбранный „наилучший“ ход.

Так ты получаешь дополнительную награду. Допустим, ты оценивал ходы: „наилучший“ стоил 50 очков, а второй за ним – 48. И вдруг 48 превращается в 52. Переход от 50 к 52 – это тоже положительное изменение. А что, если ты думал о ходе на 50 очков, а потом понял, что он принесет только 6? Тогда лучшим ходом становится ход на 48 очков – тот, что был на втором месте. Это положительное или отрицательное подкрепление? Казалось бы, ты должен получить положительно подкрепление: ты все обдумал, размышления оказались не напрасными, и ты понял, что первоначальный план плох. Ты спас себя от катастрофы! Ты ведь похвалишь себя за это, так? Получается, ты всегда будешь давать себе положительное подкрепление. Но чему ты в итоге научишься? Не тому, как выигрывать в игру, а тому, как постоянно менять свое мнение.

Значит, во всем этом кроется какая‐то ошибка. Это наталкивает меня на мысль, что нужно организовать эти внутренние псевдонаграды так, чтобы в процессе они приводили к тому же результату, что и объективная истина. Нужно свести баланс». (Интервью автора со Стюартом Расселом, 13 мая 2018.)

429

Andrew Ng,The Future of Robotics and Artificial Intelligence(лекция), 21 мая 2011 года.

430

См. Ng et al.,Autonomous Helicopter Flight via Reinforcement Learning, а также Schrage et al.,Instrumentation of the Yamaha R‐50/RMAX Helicopter Testbeds for Airloads Identification and Follow-on Research. Последующие работы см. Ng et al.,Autonomous Inverted Helicopter Flight via Reinforcement Learningи Abbeel et al.,An Application of Reinforcement Learning to Aerobatic Helicopter Flight.

431

Ng,Shaping and Policy Search in Reinforcement Learning. См. также Wiewiora,Potential-Based Shaping and Q-Value Initialization Are Equivalent, где автор утверждает, что возможно использовать формирование навыков для установкипервоначальногосостояния агента, оставив нетронутыми реальные награды, и при этом достичь тех же результатов.

432

Ng,Shaping and Policy Search in Reinforcement Learning. Та же мысль дословно повторяется в работе Ng, Harada, and Russell,Policy Invariance Under Reward Transformations.

433

«Потенциальное поле означает, что, если вы выберете любой путь, возвращающий вас к тому же состоянию, в итоге интеграл v · ds равен нулю». (Интервью автора со Стюартом Расселом, 13 мая 2018.)

434

Рассел С., Норвиг П. Искусственный интеллект: современный подход, 2‐е изд. – Пер. с англ. К. А. Птицына. – М.: Издательский дом «Вильямс», 2006, с. 79.

435

Ng, Harada, and Russell,Policy Invariance Under Reward Transformations.

436

Spignesi,The Woody Allen Companion.

437

Точку зрения эволюционных психологов см. в Al-Shawaf et al.,Human Emotions: An Evolutionary Psychological Perspectiveи Miller,Reconciling Evolutionary Psychology and Ecological Psychology.

438

Интервью автора с Майклом Литтманом, 28 февраля 2018. Статья – Sutton,Learning to Predict by the Methods of Temporal Differences.

439

Ackley and Littman,Interactions Between Learning and Evolution.

440

Системы обучения, которые оптимизируют (или могут оптимизировать) некую «внутреннюю» функцию вознаграждения, – источник беспокойства и активных исследований для многих современных ученых, занимающихся безопасностью ИИ. См. Hubinger et al.,Risks from Learned Optimization in Advanced Machine Learning Systems.

441

Интервью автора с Эндрю Барто, 9 мая 2018.

442

См. Singh, Lewis, and Barto,Where Do Rewards Come from?, а также Sorg, Singh, and Lewis,Internal Rewards Mitigate Agent Boundedness.

443

Sorg, Singh, and Lewis,Internal Rewards Mitigate Agent Boundedness. Ответ на этот вопрос «да», но только при очень сильных допущениях. В частности, при условии, что у нашего агента не ограничены время и вычислительная мощность. Это в некотором роде парадокс. В наших же собственных интересах сказать агенту заняться чем‐тодругим.

444

Singh et al.,On Separating Agent Designer Goals from Agent Goals.

445

Больше информации о проблеме оптимального вознаграждения см. в Sorg, Lewis, and Singh,Reward Design via Online Gradient Ascent, а также в диссертации Сорга на соискание докторской степениThe Optimal Reward Problem: Designing Effective Reward for Bounded Agents. Больше информации о современных успехах в изучении оптимальных вознаграждений для агентов обучения с подкреплением см. в Zheng, Oh, and Singh,On Learning Intrinsic Rewards for Policy Gradient Methods.

446

См.Workplace Procrastination Costs British Businesses – 76 Billion a Year, Global Banking & Finance Review,https://www.globalbankingandfinance.com/workplace-procrastination-costs-british-businesses‐76‐billion-a-year/#_ftn1. Более широкий взгляд на стоимость и причины прокрастинации см. в Steel,The Nature of Procrastination.

Skinner,A Case History in Scientific Method.

448

Макгонигал, Джейн. Реальность под вопросом. Почему игры делают нас лучше и как они могут изменить мир. – Пер. с англ. Н. Яцюк. – Науч. ред. В. Шульпин. – М.: Манн, Иванов и Фербер, 2018.

449

Jane McGonigal,Gaming Can Make a Better World, https://www.ted.com/talks/jane_mcgonigal_gaming_can_make_a_better_world/.

450

См. McGonigal,SuperBetter.

451

Jane McGonigal,The Game That Can Give You 10 Extra Years of Life, https://www.ted.com/talks/jane_mcgonigal_the_game_that_can_give_you_10_extra_years_of_life/.

452

См. Deterding et al.,From Game Design Elements to Gamefulness.

453

См. Hamari, Koivisto, and Sarsa,Does Gamification Work?

454

Интервью автора с Фальком Лидером, 28 апреля 2018.

455

Чтобы получить общее представление о проблеме, см. Lieder,Gamify Your Goals. Более подробную информацию см. в Lieder et al.,Cognitive Prostheses for Goal Achievement.

456

В последнее время эта идея изучалась в работе Sorg, Lewis, and Singh,Reward Design via Online Gradient Ascent.

457

Интервью автора с Фальком Лидером, 28 апреля 2018.

458

Если точнее, у них был выбор между тем, чтобы отказаться от задания и получить пятнадцать центов, и тем, чтобы взять задание, получить еще пять центов сверху и возможность за двадцать долларов написать ряд эссе к определенному дню.

459

Lieder et al.,Cognitive Prostheses for Goal Achievement.

460

Там же.

461

См., к примеру, Evans et al.,Evidence for a Mental Health Crisis in Graduate Education, где выясняется, что «студенты-постдипломники в шесть раз чаще склонны испытывать депрессию и тревожность по сравнению с населением в целом».

462

Turing,Intelligent Machinery.

463

Начиная с 2004 года, предпринимались попытки разработки стандартизированных эталонных тестов для обучения с подкреплением и конкурсов; см. Whiteson, Tanner, and White,The Reinforcement Learning Competitions.

464

Интервью автора с Марком Беллемаре, 28 февраля 2019.

465

Bellemare et al., The Arcade Learning Environment, источником которой является работа Naddaf,Game-Independent AI Agents for Playing Atari 260 °Console Games, проистекающая из Diuk, Cohen, and Littman,An Object-Oriented Representation for Efficient Reinforcement Learning, где в качестве среды для обучения с подкреплением использовалась играPitfall!.

466

См. Gendron-Bellemare,Fast, Scalable Algorithms for Reinforcement Learning in High Dimensional Domains.

467

Mnih et al.,Playing Atari with Deep Reinforcement Learning.

468

Mnih et al.,Human-Level Control Through Deep Reinforcement Learning.

469

Интервью Джона Харди с Робертом Джегером, http://www.digitpress.com/library/interviews/interview_robert_jaeger.html.

470

Больше информации по этому вопросу см. Salimans and Chen,Learning Montezuma’s Revenge from a Single Demonstration, где также исследуется интересная идея о том, чтобы двигатьсяназадот состояния успешного достижения цели, чтобы научить агента обучения с подкреплением, как играть в игру шаг за шагом.

471

См. Maier and Seligman,Learned Helplessness. Более современные работы в этой области – см., например, Lieder, Goodman, and Huys,Learned Helplessness and Generalization.

472

См. Henry Alford,The Wisdom of Ashleigh Brilliant, http://www.ashleighbrilliant.com/BrilliantWisdom.html, цитируется поAlford, How to Live(New York: Twelve, 2009).

473

Понятие внутренней мотивации было представлено в машинном обучении в работах Barto, Singh, and Chentanez,Intrinsically Motivated Learning of Hierarchical Collections of Skills и Singh, Chentanez, and Barto, Intrinsically Motivated Reinforcement Learning. Более современный обзор этой литературы см. в Baldassarre and Mirolli,Intrinsically Motivated Learning in Natural and Artificial Systems.

474

Гоббс Т.Левиафан, или Материя, форма и власть государства церковного и гражданского. – Пер. А. Гутермана //Гоббс Т.Сочинения: В 2 т. – Т. 2. – М.: Мысль, 1991.

475

Simon,The Cat That Curiosity Couldn’t Kill.

476

Berlyne,‘Interest’ as a Psychological Concept.

477

См. Furedy and Furedy,‘My First Interest Is Interest.’

478

Berlyne,Conflict, Arousal, and Curiosity.

479

См. Harlow, Harlow, and Meyer,Learning Motivated by a Manipulation Drive и Harlow, Learning and Satiation of Response in Intrinsically Motivated Complex Puzzle Performance by Monkeys.

480

Сценарии такого типа описаны в работах Barto,Intrinsic Motivation and Reinforcement Learning,Deci and Ryan,Intrinsic Motivation и Self-Determination in Human Behavior.

481

Berlyne,Conflict, Arousal, and Curiosity.

482

См., например, книгу БерлайнаUncertainty and Conflict: A Point of Contact Between Information-Theory and Behavior-Theory Concepts.

483

Обзоры понятия «интерес» в психологии XXI века см. в Silvia,Exploring the Psychology of Interestи Kashdan and Silvia,Curiosity and Interest.

484

Konečni,Daniel E. Berlyne.

485

Berlyne,Conflict, Arousal, and Curiosity.

486

Фильм «Энни с Клондайка», 1936.

487

Fantz,Visual Experience in Infants.Технически Фанц работал в университете Вестерн-Резерв, который был официально присоединен к Технологическому институту Кейса только несколько лет спустя, в 1967 году, чтобы стать университетом Кейс Вестерн.

488

См. Saayman, Ames, and Moffett,Response to Novelty as an Indicator of Visual Discrimination in the Human Infant.

489

Обзор, сделанный на рубеже веков, см. в Roder, Bushnell, and Sasseville,Infants’ Preferences for Familiarity and Novelty During the Course of Visual Processing.

490

К примеру, Марвин Минский писал в 1961 году: «Если бы мы могли… добавить премию к вознаграждению за предсказания, имеющие новый аспект, мы бы думали, что сумеем распознать поведение, мотивированное такого рода любопытством… В подкреплении механизмов подтверждения

491

См. Sutton,Integrated Architectures for Learning, Planning, and Reacting Based on Approximating Dynamic Programming и Reinforcement Learning Architectures for Animats.Лесли Пэк Кэлблинг из Массачусетского технологического института разработала подобный метод, основанный на идее измерения «доверительных интервалов» вознаграждения за определенные действия; см. Kaelbling,Learning in Embedded Systems.Чем шире доверительный интервал, тем сильнее не уверен агент в своем действии; идеей Кэлблинг было вознаграждать агента, когда он делает вещи, в которых наиболее не уверен. См. также работу Strehl and Littman,An Analysis of Model-Based Interval Estimation for Markov Decision Processes, следующую в том же ключе.

492

Berlyne,Conflict, Arousal, and Curiosity.

493

Если в каждой клетке может быть Х, О или пусто, это дает верхнюю граничную оценку количества вариантов в 93 или 19 683. Действительное количество, разумеется, может быть меньше, так как некоторые позиции невозможны (например, на доске не может быть сразу 9 крестиков).

494

Bellemare et al.,Unifying Count- Based Exploration and Intrinsic Motivation.Работа отчасти вдохновлена статьей Strehl and Littman,An Analysis of Model-Based Interval Estimation for Markov Decision Processes.См. также последовавшую работу Ostrovski et al.,Count-Based Exploration with Neural Density Models.Информацию о похожем подходе, использующем функции хеширования, см. в Tang et al.,# Exploration.О другом подобном подходе, использующем экземпляры моделей, см. Fu, Co-Reyes, and Levine,EX2.

495

Marc G. Bellemare,The Role of Density Models in Reinforcement Learning(лекция), DeepHack.RL, 9 февраля 2017.

496

В переходе от вероятности к псевдоподсчетам существует один существенный нюанс. Больше об этом см. в Bellemare et al.,Unifying Count-Based Exploration and Intrinsic Motivation.

497

Berlyne,Conflict, Arousal, and Curiosity.

498

Gopnik,Explanation as Orgasm and the Drive for Causal Knowledge.

499

Компьютерную точку зрения о разнице между новизной и удивлением можно найти в Barto, Mirolli, and Baldassarre,Novelty or Surprise?

500

Schulz and Bonawitz, Serious Fun.

501

Curiosity and Learning: The Skill of Critical Thinking,Институт семьи и работы.

502

Ellen Galinsky,Give the Gift of Curiosity for the Holidays— Lessons from Laura Schulz,https://www.huffpost.com/entry/give-the-gift-of-curiosit_n_1157991. Более исчерпывающий обзор последней научной литературы по теме см. в Schulz,Infants Explore the Unexpected.

503

Bonawitz et al.,Children Balance Theories and Evidence in Exploration, Explanation, and Learning.

504

Stahl and Feigenson,Observing the Unexpected Enhances Infants’ Learning and Exploration.

505

Johns Hopkins University Researchers: Babies Learn from Surprises, 2 апреля 2015 года.

506

Berlyne,Conflict, Arousal, and Curiosity. Берлайна вдохновила работа Shaw et al.,A Command Structure for Complex Information Processing.

507

Schmidhuber,Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990–2010).

508

Jurgen Schmidhuber,Universal AI and a Formal Theory of Fun(лекция), Зимняя конференция по искусственному интеллекту 2011 года в Оксфордском университете.

509

Schmidhuber,Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990–2010).

510

Напряжение между этими двумя составляющими идеально иллюстрирует концепция инь и ян, которую Джеймс Карс из Нью-Йоркского университета описывает через понятия «конечных» и «бесконечных» игр. Конечную игру ведут для того, чтобы достичь финального состояния равновесия. Бесконечную – до тех пор, пока накопленный игровой опыт позволяет ее продолжать. В конечной игре игрок действует против неожиданностей, а в бесконечной – ради них. По словам Карса: «Неожиданности заставляют конечную игру завершиться, и они же являются причиной, по которой продолжается бесконечная».

Это напряжение, возникающее между двумя фундаментальными стремлениями – навстречу неожиданностям и прочь от них, – среди других отмечал и знаменитый мотивационный спикер Тони Роббинс. Он развивал эту мысль так: «Я полагаю, что у человека есть шесть потребностей… Позвольте рассказать вам о них. Первая – это определенность… И хотя все мы стремимся к ней по-разному, подумайте: если мы будем в чем‐то абсолютно уверены, что мы получим? Что вы чувствуете, когда все предрешено? Вы точно знаете, что случится, когда случится и как именно. Что вы тогда ощутите? Скуку. Так что Господь в своей безграничной милости дал нам вторую потребность – потребность в неопределенности. Нам необходимо разнообразие. Мы хотим удивляться». Tony Robbins,Why We Do What We Do(лекция), февраль 2006, Монтерей, Канада, https://www.ted.com/talks/tony_robbins_asks_why_we_do_what_we_do.)

Люди явно подвержены обоим этим стимулам. И, пожалуй, неслучайно, что все эффективные универсальные агенты обучения с подкреплением – будь то живые существа или машины – тоже ими обладают.

511

Модель внутреннего любопытства в действительности немного тоньше и сложнее, потому что она разработана исключительно для предсказания контролируемых пользователем аспектов экрана, для которых используется другая модель «обратной динамики». Все детали см. в Pathak et al.,Curiosity-Driven Exploration by Self-Supervised Prediction.Некоторые другие связанные подходы, стимулирующие исследование, вознаграждая «накопление информации», см. в Schmidhuber,Curious Model-Building Control Systems,Stadie, Levine, and Abbeel,Incentivizing Exploration in Reinforcement Learning with Deep Predictive Models иHouthooft et al.,VIME.

512

Burda et al.,Large-Scale Study of Curiosity-Driven Learning.

513

См. Burda et al.,Exploration by Random Network Distillation.

514

Отметим, что появившаяся в то же время статья Choi et al.,Contingency-Aware Exploration in Reinforcement Learningисследователей из Мичиганского университета и компании Google Brain также сообщает о прорыве вMontezuma’s Revengeпри использовании основанного на новизне подхода к исследованию.

515

В течение нескольких недель после объявления OpenAI команда из Uber AI Labs объявила о создании семейства алгоритмов, получившего название Go-Explore, где сохранение списка состояний «новизны» (в виде зернистых изображений экрана с низким разрешением) для приоритета повторных посещений позволило пройти первый уровеньMontezuma’s Revengeна 65 % быстрее. См. пресс-релиз на https://eng.uber.com/go-explore/, а также статью Ecoffet et al.,Go-Explore. Используя те же самые

516

Ostrovski et al.,Count-Based Exploration with Neural Density Models.

517

Больше информации об обсуждениях этой темы см. в Ecoffet et al.,Go-Explore.

518

Burda et al.,Large-Scale Study of Curiosity-Driven Learning.

519

Исключение – игры со сложной анимацией смерти игрока. Агент умирает, чтобы посмотреть на нее. (Юрий Бурда в личной переписке с автором, 9 января 2019.)

520

Юрий Бурда в личной переписке с автором, 9 января 2019.

521

Singh, Lewis, and Barto,Where Do Rewards Come From?

522

Там же. Больше информации см. в Oudeyer and Kaplan,What Is Intrinsic Motivation?

523

По этим причинам исследователи экспериментировали с так называемыми «залипающими действиями», когда, функционируя произвольно, агент вынужден повторять нажатиепоследнейклавиши в одном кадре. Это альтернативный источник вариации эпсилон-жадных действий, где агент нажимает случайные клавиши в произвольно выбранное время. Таким образом, свойственная людям хаотичность, с их неидеальными реакциями, моделируется точнее. Агенту проще добиться таких действий, как длинный прыжок – долгое нажатие клавиши. См. Machado et al.,Revisiting the Arcade Learning Environment.

524

Более ранние работы по теме см. Malone,What Makes Computer Games Fun? и Toward a Theory of Intrinsically Motivating Instruction,а также Malone and Lepper,Making Learning Fun.

525

Хофштадтер Д. Гёдель, Эшер, Бах: эта бесконечная гирлянда = Gödel, Escher, Bach: an Eternal Golden Braid. – Пер. М. Эскиной. – Самара: Бахрах-М, 2001, с. 596.

526

Каспаров Гарри Кимович – иностранный агент, содержащийся в реестре иностранных агентов. – Прим. ред.

527

Orseau, Lattimore, and Hutter,Universal Knowledge-Seeking Agents for Stochastic Environments.

528

См. Orseau,Universal Knowledge-Seeking Agents.Как позднее выяснилось в работе Orseau, Lattimore, and Hutter,Universal Knowledge-Seeking Agents for Stochastic Environments, избавить агента от тяготения к хаотичности можно, если он на фундаментальном уровне поймет, что мир состоит из случайностей, что сделает его «устойчивым к неинформативному шуму».

529

Skinner,Reinforcement Today.

530

См. Kakade and Dayan,Dopamine, где предлагается основанная на новизне интерпретация, явно заимствованная из литературы по обучению с подкреплением, чтобы объяснить, почему стремление к новизне может быть полезно для организмов. См. также Barto, Mirolli, and Baldassarre,Novelty or Surprise?, где приводится основанная на удивлении интерпретация этих результатов. Обзор см. в Niv,Reinforcement Learning in the Brain, автор которого отмечает: «Давно известно, что новые стимулы вызывают фазовые всплески в дофаминовых нейронах». Экспериментальную работу по новизне при принятии решений у людей см. Wittmann et al.,Striatal Activity Underlies Novelty-Based Choice in Humans.Более современные работы по унификации предсказывающей вознаграждение ошибки и удивлении в функционировании дофамина см. в Gardner, Schoenbaum, and Gershman,Rethinking Dopamine as Generalized Prediction Error.

531

Интервью автора с Дипаком Патаком, 28 марта 2018.

532

Интервью автора с Марком Беллемаре, 28 февраля 2019.

533

Интервью автора с Лорен Орсо, 22 июня 2018.

534

Интервью автора с Лорен Орсо, 22 июня 2018.

535

Ring and Orseau,Delusion, Survival, and Intelligent Agents.

536

Платон. Протагор // Собр. соч. в 4‐х томах. – Том 1. – Пер. Вл. С. Соловьева. – М.: Мысль, 1990. В тексте Платона Сократ говорит эти слова Протагору в вопросительной форме, но дает понять, что это действительно его точка зрения.

537

Egan,Axiomatic.

538

Интервью Сары Лэйси с Илоном МаскомA Fireside Chat with Elon Musk, Санта-Моника, 12 июля 2012 года, https://pando.com/2012/07/12/pandomonthlypresents-a-fireside-chat-with-elon-musk/. Автомобиль не только не был застрахован, так еще и Питер Тиль не пристегнул ремень. «Чудо, что никто из нас не пострадал», – сказал Тиль. См. Dowd,Peter Thiel, Trump’s Tech Pal, Explains Himself.

539

Этот вопрос очень подробно обсуждается в Visalberghi and Fragaszy,Do Monkeys Ape?

540

Romanes,Animal Intelligence.

541

Visalberghi and Fragaszy,Do Monkeys Ape?См. также Visalberghi and Fragaszy,‘Do Monkeys Ape?’ Ten Years After. Отмечу, что работа Ferrari et al.,Neonatal Imitation in Rhesus Macaques, где имеются свидетельства подражания у макак, представляет «первый известный нам подробный анализ неонатальной имитации у видов приматов, не относящихся к человекообразным приматам».

542

Tomasello,Do Apes Ape?См. также Whiten et al.,Emulation, Imitation, Over-Imitation and the Scope of Culture for Child and Chimpanzee, авторы которой стремятся произвести переоценку этой идеи.

543

Хотя супруги Келлог с осторожностью говорили о причинах, по которым прервали свой эксперимент, ходили слухи, что главным поводом стало отсутствие у Дональда человеческой речи. См. Benjamin and Bruce,From Bottle-Fed Chimp to Bottlenose Dolphin.

544

Meltzoff and Moore,Imitation of Facial and Manual Gestures by Human Neonatesи Meltzoff and Moore,Newborn Infants Imitate Adult Facial Gestures. Отмечу, что эти результаты недавно стали выглядеть противоречивыми. Например, см. Oostenbroek et al.,Comprehensive Longitudinal Study Challenges the Existence of Neonatal Imitation in Humans. Но см. также и встречные аргументы в Meltzoff et al.,Re-examination of Oostenbroek et al. (2016).

545

Интервью автора с Элисон Гопник, 19 сентября 2018.

546

Haggbloom et al.,The 100 Most Eminent Psychologists of the 20th Century.

547

Piaget,The Construction of Reality in the Child. Впервые опубликована под заголовкомLa construction du reel chez l’enfantв 1937 году.

548

Meltzoff,‘Like Me.’

549

Meltzoff and Moore,Imitation of Facial and Manual Gestures by Human Neonates.

550

В исследовании 2012 года двухлетки наблюдали, как взрослый врезается игрушечной машинкой в две коробки, при этом после столкновения с одной игрушка начинала светиться. Когда детям давали машинку, они толкали ее только в эту коробку. (Meltzoff, Waismeyer, and Gopnik,Learning About Causes From People.) «Маленькие дети не имитируют все подряд, – говорит Гопник. – Они подражают только тем действиям, которые ведут к интересному результату». (Гопник Э. Садовник и плотник. Что новая наука воспитания говорит нам об отношениях родителей и детей. – Пер. Полищук В. – М.: Corpus, 2019).

551

Meltzoff, Waismeyer, and Gopnik,Learning About Causes from Peopleи Meltzoff,Understanding the Intentions of Others. Хороший обзор работ по этой теме можно найти в книге Гопник «Садовник и плотник».

552

Meltzoff,Foundations for Developing a Concept of Self.

553

Интервью автора с Эндрю Мелцоффом, 10 июня 2019. «Дети рождаются, чтобы учиться, – писал Мелцофф, – и вначале они учатся, подражая нам. Именно поэтому имитация – такой важный и имеющий широкое распространение аспект раннего развития: это не просто поведение, а средство обучения тому, кем мы являемся». (Meltzoff,Born to Learn.)

554

Термин «чрезмерное подражание» для описания этого явления впервые был использован в работе Lyons, Young, and Keil,The Hidden Structure of Overimitation.

555

Horner and Whiten,Causal Knowledge and Imitation/Emulation Switching in Chimpanzees (Pan troglodytes) and Children (Homo sapiens).

556

McGuigan and Graham,Cultural Transmission of Irrelevant Tool Actions in Diffusion Chains of 3- and 5- Year- Old Children.

557

Lyons, Young, and Keil,The Hidden Structure of Overimitation.

558

Whiten et al.,Emulation, Imitation, Over-Imitation and the Scope of Culture for Child and Chimpanzee.

559

Gergely, Bekkering, and Kiraly,Rational Imitation in Preverbal Infants. Отмечу, что некоторые исследователи ставят эту методологию под вопрос, указывая, например, что невозможно, чтобы ребенок раннего возраста, которому нужно удержать равновесие на столе, чтобы коснуться лампы головой, просто имитировал взрослого, кладущего руки на стол, прежде чем качнуться вперед и коснуться лампы. См. Paulus et al.,Imitation in Infancy.

560

Buchsbaum et al.,Children’s Imitation of Causal Action Sequences Is Influenced by Statistical and Pedagogical Evidence.

561

Hayden Carpenter,What ‘The Dawn Wall’ Left Out, Outside, 18 сентября 2018, https://www.outsideonline.com/2344706/dawn-wall-documentary-tom-my-caldwell-review.

562

Caldwell,The Push.

563

Lowell and Mortimer,The Dawn Wall.

564

‘I Got My Ass Kicked’: Adam Ondra’s Dawn Wall Story, EpicTV Climbing Daily, эпизод 1334.

565

Исследования в этой области ведутся очень активно. См. Subramanian, Isbell, and Thomaz,Exploration from Demonstration for Interactive Reinforcement Learning, Večerik et al.,Leveraging Demonstrations for Deep Reinforcement Learning on Robotics Problems with Sparse Rewardsи Hester et al.,Deep Q- Learning from Demonstrations.

566

Многим агентам при обучении в среде видеоигр позволяют возвращаться к предыдущему этапу почти с любого места, тогда как люди постоянно «сохраняются». Смерть отбрасывает вас к последнему «сохранению», которое, может быть, сделано всего пару мгновений назад, и вам не приходится начинать игру сначала. Агенты могут экспериментировать со сложными или опасными участками, не возвращаясь к началу при проигрыше, что позволяет им хитрить при обучении. Более компетентные агенты могли бы повторить или превзойти то, как на подобных играх учится человек, не прибегая к уловкам.

567

Morgan,An Introduction to Comparative Psychology.

568

См. Бостром, Ник Искусственный интеллект. Этапы. Угрозы. Стратегии. – Пер. с англ. С. Филина. – М.: Манн, Иванов и Фербер, 2016.

569

Robotics History: Narratives and Networks Oral Histories: Chuck Thorpe, устный рассказ, записанный 22 ноября 2010 года Питером Асаро и Сельмой Сабанович, университет Индианы, Блумингтон, штат Индиана, специально для университета Индианы и IEEE, https://ieeetv.ieee.org/video/robotics-history-narratives-and-networks-oral-histories-chuck-thorpe.

570

Больше информации о проекте ALV (autonomous land vehicle) см. в Leighty,DARPA ALV (Autonomous Land Vehicle) Summary. Больше о Стратегической инициативе DARPA по разработке программ и средств вычислительной техники см. вStrategic Computing. Больше о проектах DARPA середины 1980‐х см. Stefik,Strategic Computing at DARPA. См. также Roland and Shiman,Strategic Computing.

571

Moravec,Obstacle Avoidance and Navigation in the Real World by a Seeing Robot Rover.

572

См. также размышления Родни Брукса в книге Brooks,Flesh and Machines.

573

Согласно телевизионной программеScientific American Frontiers,сезон 7, эпизод 5, Robots Alive! Выход в эфир 9 апреля 1997 на канале PBS.

574

Торп проверял систему предотвращения столкновений Navlab, наблюдая, затормозит ли машина, когда перед ней проезжает Лиланд на четырехколесном велосипеде. Повзрослев и получив собственную степень по робототехнике в Карнеги – Меллон, Лиланд начал работать над технологией автоматизации автомобилей в AssistWave – компании, основанной студентом Торпа Дином Помело. Торп в шутку представлял, как Лиланд проходил собеседование: «С тех пор я по-настоящему увлекся надежностью и безопасностью беспилотников!» Впоследствии Лиланд оставил информационные технологии и стал семинаристом в конгрегации «Облаты Девы Марии».

575

Pomerleau,ALVINNи Pomerleau,Knowledge-Based Training of Artificial Neural Networks for Autonomous Robot Driving.

576

Отрывок из новостного выпуска компании KDKA, 1997 год.

577

См. также Pomerleau,Knowledge-Based Training of Artificial Neural Networks for Autonomous Robot Driving: «Беспилотное вождение потенциально может стать идеальной отраслью для таких алгоритмов контролируемого обучения, как обратное распространение ошибки, поскольку здесь присутствует легко доступный обучающий сигнал или „правильный ответ“ в форме текущего положения руля у водителя-человека».

578

Курс назывался CS294–112 «Глубокое обучение с подкреплением», процитированная лекция «Имитационное обучение» состоялась 3 декабря 2017 года.

579

Bain,The Senses and the Intellect.

580

Kimball and Zaveri,Tim Cook on Data-Leak Scandal.

581

Ross and Bagnell,Efficient Reductions for Imitation Learning.В статье обсуждается выбранная авторами архитектура: трехслойная нейросеть, получающая цветные изображения 24 на 18 пикселей, с 32 скрытыми элементами и 15 выходными модулями. Pomerleau,Knowledge-Based Training of Artificial Neural Networks for Autonomous Robot Driving. В статье обсуждается архитектура ALVINN, получающая черно-белые изображения 30 на 32 пикселя с 4 скрытыми элементами и 30 выходными модулями.

582

Pomerleau.

583

Pomerleau,ALVINN.

584

Интервью автора со Стефаном Россом, 29 апреля 2019.

585

См. Ross and Bagnell,Efficient Reductions for Imitation Learning.

586

См. Ross, Gordon, and Bagnell,A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning.Более ранние подходы см. в Ross and Bagnell,Efficient Reductions for Imitation Learning.

587

Bojarski et al.,End to End Learning for Self-Driving Cars.Далее команда Nvidia с помощью Photoshop увеличила изображение с боковой камеры, чтобы рассмотреть с разных углов. Их сдерживали те же ограничения, что и изображения для ALVINN, но они оказались достаточно хороши на практике. Больше неформальных дискуссий на тему см. в вышеуказанной статье.

588

См. LeCun et al.,Backpropagation Applied to Handwritten Zip Code Recognition.

589

Мердок А. Колокол. – Пер. Рединой О. Н. – М.: АСТ, 2022.

590

Robert Hass,Breach and Orison, in Time and Materials.

591

Настоящий материал (информация) произведен, распространен и (или) направлен иностранным агентом Каспаровым Гарри Кимовичем либо касается деятельности иностранного агента Каспарова Гарри Кимовича, содержащегося в реестре иностранных агентов. – Прим. ред.

592

Каспаров Г. Шахматы как модель жизни. – М.: Эксмо, 2007.

593

Интервью автора с Холли Смит, 13 мая 2019.

594

См. опубликованную под именем Холли С. Голдман статью Holly S. Goldman,Dated Rightness and Moral Imperfection.См. также Sobel,Utilitarianism and Past and Future Mistakes.

595

См. Goldman,Doing the Best One Can. Имя «профессор Прокрастинатор» появилось позднее, в работе Jackson and Pargetter,Oughts, Options, and Actualism. Джексон вернулся к этим идеям вProcrastinate Revisited.

596

Термины «поссибилизм» и «актуализм» появились в статье Jackson and Pargetter,Oughts, Options, and Actualism.

597

Взгляды Смит в пользу поссибилизма см. в Goldman,Doing the Best One Can.Краткий обзор по теме, написанный десятилетия спустя см. в Smith,Possibilism, а более подробное и современное мнение в Timmerman and Cohen,Actualism and Possibilism in Ethics.Особенно интересные проблемы см. в Bykvist,Alternative Actions and the Spirit of Consequentialism,p. 50.

598

Спасибо Джо Карлсмиту за обсуждение этой темы и связанных с ней вопросов. В современной философской литературе порой открыто обсуждаются связи между поссибилизмом, актуализмом и эффективным альтруизмом. См. Timmerman,Effective Altruism’s Underspecification Problem.

599

Singer,Famine, Affluence, and Morality, см. также Singer,The Drowning Child and the Expanding Circle.

600

Julia Wise,Aim High, Even If You Fall Short, Giving Gladly(блог), 8 октября 2014. http://www.givinggladly.com/2014/10/aim-high-even-if-you-fall-short.html.

601

Will MacAskill,The Best Books on Effective Altruism, интервью Эдуарда Мэттью,Five Books,https://fivebooks.com/best-books/effective-altruism-willmacaskill/. См. также организацию Giving What We Can, основанную Макаскиллом и его коллегой Тоби Ордом после того, как Орд, вдохновленный примером Сингера и других людей, решил пожертвовать значительную часть своего дохода на благотворительность.

602

См. Singer,The Most Good You Can Do.

603

Канонический метод «политики включения» в обучении с подкреплением – это SARSA, сокращение от State-Action-Reward-State-Action (Состояние – Действие – Вознаграждение – Состояние – Действие); см. Rummery and Niranjan,On-Line Q-Learning Using Connectionist Systems. Канонический метод «политики выключения» называется Q-обучение; см. Watkins,Learning from Delayed Rewardsи Watkins and Dayan,Q-Learning.

604

См. Саттон Р. С., Барто Э. Дж. Обучение с подкреплением: Введение. 2‐е изд. – Пер. с англ. А. А. Слинкина. – М.: ДМК Пресс, 2020.

605

В этическом контексте философ Розалинд Херстхаус рассматривает этику добродетели как подвид имитационного обучения; см. Hursthouse,Normative Virtue Ethics. Разумеется, как отмечают и Херстхаус, и ее критики, существует множество трудностей, как теоретических, так и практических, см. Johnson,Virtue and Right. Другой взгляд на то, почему подражание якобы идеальным ролевым моделям не такая уж хорошая идея, см. в Wolf,Moral Saints.

606

Lipsey and Lancaster,The General Theory of Second Best.

607

Личная переписка с Амандой Аскелл.

608

См. Balentine,It’s Better to Be a Good Machine Than a Bad Person.

609

Магнус Карлсен во время пресс-конференции после пятой игры Чемпионата мира по шахматам 2018 года, Лондон, 15 ноября 2018.

610

Heuristics.

611

Там же.

612

См. Samuel,Some Studies in Machine Learning Using the Game of Checkers.

613

Больше об архитектуре Deep Blue см. Campbell, Hoane, and Hsu,Deep Blue.О дополнительной обработке настройки оценочной эвристической функции через использование игр гроссмейстеров см. объяснение, которое дал программист Андреас Новатсюк вEval Tuning in Deep Thought, Chess ProgrammingWiki, https://www.chessprogramming.org/Eval_Tuning_in_Deep_Thought. Краткую характеристику прогресса команды IBM в 1990 году в работе над программой, в те времена носившей название Deep Thought, а также обсуждение решения об автоматической настройке весовых параметров (тогда их было 120) базы данных экспертных игр (тогда 900) см. в Hsu et al.,A Grandmaster Chess Machine,а также в Byrne,Chess-Playing Computer Closing in on Champions.Больше информации о настройке оценочной функции Deep Blue (и ее предшественницы Deep Thought) см. Anantharaman,Evaluation Tuning for Computer Chess.

614

Hsu,IBM’s Deep Blue Chess Grandmaster Chips.

615

Настоящий материал (информация) произведен, распространен и (или) направлен иностран-

ным агентом Каспаровым Гарри Кимовичем либо касается деятельности иностранного агента

Каспарова Гарри Кимовича, содержащегося в реестре иностранных агентов. – Прим. ред.

616

Weber,What Deep Blue Learned in Chess School.

617

Schaeffer et al.,A World Championship Caliber Checkers Program.

618

Fürnkranz and Kubat,Machines That Learn to Play Games.

619

Разумеется, существуют незначительные отличия между архитектурой и процедурами обучения Deep Blue и AlphaGo, см. Silver et al.,Mastering the Game of Go with Deep Neural Networks and Tree Search.

620

Оценочная сеть AlphaGo развилась в процессе игры программы с самой собой, но ее политическая сеть была имитационной, натренированной с помощью контролируемого обучения на базе данных, состоящей из игр экспертов. Грубо говоря, она была совершенно обыкновенной с точки зрения ходов, которые рассматривала, но мыслила самостоятельно, когда решала, какой из них будет лучшим. См. Silver et al.,Mastering the Game of Go with Deep Neural Networks and Tree Search.

621

Silver et al.,Mastering the Game of Go Without Human Knowledge.В 2018 году AlphaGo Zero была усовершенствована до более универсальной программы под названием AlphaZero. Больше информации об AlphaZero см. в Silver et al.,A General Reinforcement Learning Algorithm That Masters Chess, Shogi, and Go Through Self-Play.В 2019‐м следующая итерация системы MuZero достигла того же уровня производительности при меньшем количестве расчетов и менее совершенных знаниях о правилах игры, показав себя достаточно гибкой, чтобы достигнуть совершенства не только в настольных играх, но и в играх Atari; см. Schrittwieser et al.,Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model.

622

Silver et al.,Mastering the Game of Go Without Human Knowledge.

623

Взгляд с точки зрения психологии на «быстрые» и «медленные» психические процессы, также известные как «Система 1» и «Система 2», см. в Kahneman,Thinking, Fast and Slow.

624

См. Coulom,Efficient Selectivity and Backup Operators in Monte-Carlo Tree Search.

625

См. Silver et al.,Mastering the Game of Go Without Human Knowledge.Если говорить точнее, программа использует «счетчик посещений» на каждом ходу с помощью MCTS, так что нейросеть фактически учится предсказывать, какое время займет обдумывание каждого хода. См. также придуманный в то же время и близко связанный «алгоритм экспертной итерации» в Anthony, Tian, and Barber,Thinking Fast and Slow with Deep Learning and Tree Search.

626

Shead,DeepMind’s Human-Bashing AlphaGo AI Is Now Even Stronger.

627

Марк Аврелий Антонин. Размышления. – Пер. и прим. А. К. Гаврилова. – Л.: Наука, 1985.

628

Andy Fitch,Letter from Utopia: Talking to Nick Bostrom, BLARB(блог), 24 ноября2017, https://blog.lareviewofbooks.org/interviews/letter-utopia-talking-nick-bostrom/.

629

Blaise Aguera y Arcas,The Better Angels of our Nature(лекция), 16 февраля 2017, конференция VOR: Superintelligence, Мехико.

630

Yudkowsky,Coherent Extrapolated Volition.См. также Tarleton,Coherent Extrapolated Volition.

631

Отмечу, что некоторые философы, а именно «моральные реалисты», верили в идею объективной моральной правды. Обзор такого рода положений см. в Sayre-McCord,Moral Realism.

632

Интервью Роба Уиблина с Полом Кристиано,The 80,000 Hours Podcast,2 октября 2018.

633

См. Paul Christiano,A Formalization of Indirect Normativity, AI Alignment(блог), 20 апреля 2012, https://ai-alignment.com/a-formalization-of-indirectnormativity‐7e44db640160 и Ajeya Cotra,Iterated Distillation and Amplification, AI Alignment(блог), 4 марта 2018, https://ai-alignment.com/iterated-distillation-and-amplification‐157debfd1616.

634

Исчерпывающее обсуждение связи между стратегической сетью AlphaGo и идеей циклического усиления мощности см. в Paul Christiano,AlphaGo Zero and Capability Amplification, AI Alignment(блог), 19 октября 2017, https://ai-alignment.com/alphago-zero-and-capability-amplification-ede767bb8446.

635

Christiano, Shlegeris, and Amodei,Supervising Strong Learners by Amplifying Weak Experts.

636

Интервью автора с Полом Кристиано, 1 июля 2019.

637

См., к примеру, alignmentforum.org, а также семинары, конференции и исследовательские лаборатории, которых становится все больше.

638

См. Warneken and Tomasello,Altruistic Helping in Human Infants and Young Chimpanzees, а также Warneken and Tomasello,Helping and Cooperation at 14 Months of Age. Видеозаписи экспериментов см.Experiments with Altruism in Children and Chimps.

639

См. также Meltzoff,Understanding the Intentions of Others, где показано как полуторагодовалые дети успешно подражают целенаправленным действиям, которые взрослые безуспешно пытаются совершить. Это указывает на то, что дети «помещают людей в психологическую схему, отличающую поверхностное поведение людей и более глубокий уровень, затрагивающий цели и намерения».

640

См. Warneken and Tomasello,Altruistic Helping in Human Infants and Young Chimpanzees.

641

Tomasello et al.,Understanding and Sharing Intentions.

642

Felix Warneken,Need Help? Ask a 2-Year-Old(лекция), TEDxAmoskeagMillyard 2013.

643

См.Our Research, Social Minds Lab, университет Мичигана, https://sites.lsa.umich.edu/warneken/lab/research‐2/.

644

Tomasello et al. (Отмечу, что они явно придают своему рассказу определенную форму, используя язык кибернетики и систем управления.)

645

Лейтон Р., Сэндс М., Фейнман Р. Ф. Фейнмановские лекции по физике. Том 1. Современная наука о природе. Законы механики. Пространство. Время. Движение. – Пер. Копылов Г., Хрусталев О., Ефремов А. – М.: АСТ, 2022.

646

Скетч из 14‐го эпизода «Летающего цирка Монти Пайтона», британского комедийного скетч-сериала комик-группы «Монти Пайтон». –Прим. пер.

647

Интервью автора со Стюартом Расселом, 13 мая 2018.

648

См. Uno, Kawato, and Suzuki,Formation and Control of Optimal Trajectory in Human Multijoint Arm Movement.

649

См. Hogan,An Organizing Principle for a Class of Voluntary Movements.

650

651

Farley and Taylor,A Mechanical Trigger for the Trot-Gallop Transition in Horses. Больше информации о биомеханике движений у людей и животных см. также в работе прославленного (увы, ныне покойного) британского зоолога Роберта Макнила Александра (Robert McNeill Alexander):The Gaits of Bipedal and Quadrupedal Animals, The Human MachineиOptima for Animals. Как объяснял Александр, «конечности и поступь животных – это продукты двух отлично оптимизированных процессов, созданных эволюцией с помощью естественного отбора и выученных из опыта. Зоологи пытаются решить проблемы обратной оптимальности: они ищут критерии оптимизации, которые были важны в эволюции конечностей животных и в эволюции обучения походке». Современные исследования обратного контроля оптимальности в контексте походки человека см. в работе Кати Момбаур: Mombaur, Truong, and Laumond,From Human to Humanoid Locomotion— an Inverse Optimal Control Approach.

652

Больше о связях между обучением с подкреплением и дофаминовой системой см. в основном тексте и сносках к главе 4. Больше о связях с поисками пищи у животных см. в Montague et al.,Bee Foraging in Uncertain Environments Using Predictive Hebbian Learningи Niv et al.,Evolution of Reinforcement Learning in Foraging Bees.

653

Russell,Learning Agents for Uncertain Environments (Extended Abstract). Более раннюю работу, охватывающую эконометрическую точку зрения на похожую проблему, так называемую «структурную оценку», см. Rust,Do People Behave According to Bellman’s Principle of Optimality?иStructural Estimation of Markov Decision Processes, а также Sargent,Estimation of Dynamic Labor Demand Schedules Under Rational Expectations. Более раннюю работу по этому вопросу с точки зрения теории управления см. Kálmán,When Is a Linear Control System Optimal?В 1964 году, работая в Научно-исследовательском институте перспективных исследований в Балтиморе, получая финансирование от военно-воздушных сил США и NASA, Кальман заинтересовался тем, что назвал «обратной проблемой теории оптимального управления, которая заключается в следующем: взяв закон управления, найдите все критерии качества, по которым этот закон является оптимальным». Он отмечал: «Сегодня об этой проблеме известно очень мало».

654

Эти добавочные усиливающие изменения называются «афинной» трансформацией.

655

Ng and Russell,Algorithms for Inverse Reinforcement Learning.

656

Если говорить конкретно, Ын и Рассел использовали метод «l1‐регуляции», также известный как «лассо». Идея появилась в работеTibshirani, Regression Shrinkage and Selection via the Lasso. Доступный обзор идей и методов регуляции см. в книге Гриффитс Т., Кристиан Б. Алгоритмы для жизни. – Пер. М. Волохова. – М.: Альпина Паблишер, 2019.

657

Abbeel and Ng,Apprenticeship Learning via Inverse Reinforcement Learning.

658

Эндрю Ын, вступление к защите диссертации Питера Аббеля на соискание докторской степени, Стэнфордский университет, 19 мая 2008 года, см. http://ai.stanford.edu/~pabbeel//thesis/PieterAbbeel_Defense_19May2008_320x180.mp4.

659

Abbeel, Coates, and Ng,Autonomous Helicopter Aerobatics Through Apprenticeship Learning.

660

Abbeel et al.,An Application of Reinforcement Learning to Aerobatic Helicopter Flight. Они также успешно продемонстрировали носовую и хвостовую воронки.

661

«Поскольку повторяющиеся недостаточно оптимальные демонстрации отличаются частичной оптимальностью, вместе они часто содержат желаемую траекторию». См. Abbeel,Apprenticeship Learning and Reinforcement Learning with Application to Robotic Control, где автор ссылается на Coates, Abbeel, and Ng,Learning for Control from Multiple Demonstrations.

662

Abbeel, Coates, and Ng,Autonomous Helicopter Aerobatics Through Apprenticeship Learning.

663

См. веб-сайт Янгблада: http://www.curtisyoungblood.com/curtis-youngblood/.

664

Curtis Youngblood,Difference Between a Piro Flip and a Kaos, интервью Аарона Шелла.

665

Видеоклип, где стэнфордский вертолет демонстрирует хаос. см.Stanford University Autonomous Helicopter: Chaos.

666

Ziebart et al.,Maximum Entropy Inverse Reinforcement Learning, где эффективно используется принцип максимальной энтропии, появившийся в работе Jaynes,Information Theory and Statistical Mechanics. См. также Ziebart, Bagnell, and Dey,Modeling Interaction via the Principle of Maximum Causal Entropy.

667

См. Billard, Calinon, and Guenter,Discriminative and Adaptive Imitation in Uni-Manual and Bi-Manual Tasks, обзор 2009 года см. в Argall et al.,A Survey of Robot Learning from Demonstration.

668

См. Finn, Levine, and Abbeel,Guided Cost Learning. См. также Wulfmeier, Ondrúśka, and Posner,Maximum Entropy Deep Inverse Reinforcement Learningи Wulfmeier, Wang, and Posner,Watch This.

669

Если точнее, Лейке анализирует завершающие и не завершающие характеристики того, что называют «программами-лассо». См. Jan Leike,Ranking Function Synthesis for Linear Lasso Programs, диссертация на соискание степени магистра, Фрайбургский университет, 2013.

670

Интервью автора с Яном Лейке, 22 июня 2018.

671

См. Leike and Hutter,Bad Universal Priors and Notions of Optimality.

672

Статья Christiano et al.,Deep Reinforcement Learning from Human Preferences. Посты о статье в блоге OpenAI см.Learning from Human Preferences, https://openai.com/blog/deep-reinforcement-learning-from-humanpreferences/, пост в блоге DeepMind см.Learning Through Human Feedback, https://deepmind.com/blog/learning-through-human-feedback/. Более ранние работы, исследующие идею обучения из предпочтений и обратной связи людей, см. Wilson, Fern, and Tadepalli,A Bayesian Approach for Policy Learning from Trajectory Preference Queries, Knox, Stone, and Breazeal,Training a Robot via Human Feedback, Akrour, Schoenauer, and Sebag,APRILи Akrour et al.,Programming by Feedback. См. также Wirth et al.,A Survey of Preference-Based Reinforcement Learning Methods. Схему, объединяющую обучение с помощью демонстрации и обучение с помощью сравнения, см. в Jeon, Milli, and Drăgan,Reward-Rational (Implicit) Choice.

673

Интервью автора с Полом Кристиано, 1 июля 2019.

674

Todorov, Erez, and Tassa,MuJoCo.

675

В статье говорится: «В долгосрочной перспективе желательно, чтобы задача обучения из предпочтений людей была бы не сложнее, чем обучение с помощью запрограммированного сигнала вознаграждения. При этом следует убедиться, что мощная система обучения с подкреплением может быть применена для достижения сложных, а не простых человеческих ценностей». (Christiano et al.,Deep Reinforcement Learning from Human Preferences.) Последующую работу Лейке и его коллег, где они стремились создать последовательность операций для моделирования человеческого вознаграждения, см. Leike et al.,Scalable Agent Alignment via Reward Modeling.

676

Интервью автора со Стюартом Расселом, 13 мая 2018.

677

Стоит отметить, что передача объекта другому лицу – это само по себе удивительно неуловимое и сложное действие, включающее формирование логических умозаключений о том, как другой человек хочет держать объект, как просигнализировать ему о том, что ты намереваешься сделать и т. д. См. Strabala et al.,Toward Seamless Human-Robot Handovers.

678

Hadfield-Menell et al.,Cooperative Inverse Reinforcement Learning. (Сокращенно CIRL, произносится с звуком с, созвучно с фамилией скептически настроенного по отношению к ИИ философа Джона Серла, не имеющего к описанному в статье никакого отношения.) Я призывал сообщество исследователей ИИ произносить эту аббревиатуру со звуком к, что имеет смысл, так как этот звук есть в словеcooperative(совместный), но, кажется, мою инициативу зарубили на корню.

679

Интервью автора с Диланом Хэдфилдом-Менеллом, 15 марта 2018.

680

Рассел С. Совместимость. Как контролировать искусственный интеллект. – Пер. с англ. Н. Колпаковой. – М.: Альпина нон-фикшн, 2021.

681

Например, одно из первых теоретических преимуществ платформы CIRL – эффективное использование раннего когнитивного научного исследования стратегии взаимной адаптации учителя и ученика. См. Fisac et al.,Pragmatic-Pedagogic Value Alignment, где используются находки из работы Shafto, Goodman, and Griffiths,A Rational Account of Pedagogical Reasoning. Фисак и его коллеги пишут: «Насколько нам известно, это первый формальный анализ выравнивания ценностей, основанный на эмпирически обоснованных когнитивных моделях». См. также последовавшую за ней статью, в работе над которой приняли участие многие из авторов первой: Malik et al.,An Efficient, Generalized Bellman Update for Cooperative Inverse Reinforcement Learning.

682

Майя Чакмак из университета Вашингтона в Сиэтле и Мануэль Лопес из Высшего технического института Лиссабона работали над этой идеей, см. çakmak and Lopes,Algorithmic and Human Teaching of Sequential Decision Tasks. Разумеется, если человек ведет себя максимально педагогично – оптимизированно не по каким‐то критериям, а чтобы донести эти критерии до ученика, – то компьютер, в свою очередь, не будет использовать стандартное обратное обучение с подкреплением, которое предполагает, что демонстрации оптимальны. Он придет к тому, что поведение учителя педагогично от природы. Стратегии обучения и научения адаптируются друг к другу. Это богатое и плодотворное пространство для активных исследований как в когнитивистике, так и в машинном обучении. См. также Ho et al.,Showing Versus Doingи Ho et al.,A Rational-Pragmatic Account of Communicative Demonstrations.

683

См. Gopnik, Meltzoff, and Kuhl,The Scientist in the Crib: «Выяснилось, что мамины колыбельные песни – это не сладкие мелодии сирен, которые мы используем, чтобы убаюкать младенцев… Когда [родители] говорят с малышами, они бессознательно воспроизводят звуки более четко и произносят их точнее по сравнению с общением с другими взрослыми». Автор отмечает, что английские и шведские колыбельные звучат по-разному. Более современные работы по теме см. Eaves et al.,Infant-Directed Speech Is Consistent With Teachingи Ramirez, Lytle, and Kuhl,Parent Coaching Increases Conversational Turns and Advances Infant Language Development.

684

Передача предметов из рук в руки находится в фокусе исследований взаимодействия человека и робота. См. Strabala et al.,Toward Seamless Human-Robot Handovers.

685

Drăgan, Lee, and Srinivasa,Legibility and Predictability of Robot Motion; см. также Takayama, Dooley, and Ju,Expressing Thought(стоит отметить, что эта работа ссылается на понятие «считываемого» движения) и Gielniak and Thomaz,Generating Anticipation in Robot Motion. Более современная работа, рассматривающая, как передать машине не только цель, но и план ее достижения: Fisac et al.,Generating Plans That Predict Themselves.

686

Интервью автора с Яном Лейке, 22 июня 2018. См. также Christiano et al.,Deep Reinforcement Learning from Human Preferences: «Оффлайн обучение программы, предсказывающей вознаграждение, может привести к выработке нежелательного поведения при столкновении с настоящей наградой. Например, при оффлайн обучении игре в Pong агент иногда не хочет терять очки, но при этом их не набирает. В результате получаются очень длинные серии обмена ударами. Этот тип поведения показывает, что универсальная обратная связь с человеком должна быть тесно связана с обучением с подкреплением, а не подаваться в виде статистики».

687

Интервью автора с Джули Шах, 2 марта 2018.

688

Исследования перекрестного обучения у людей см. в Blickensderfer, Cannon-Bowers, Salas,Cross-Training and Team Performance, Cannon-Bowers et al.,The Impact of Cross-Training and Workload on Team Functioningи Marks et al.,The Impact of Cross-Training on Team Effectiveness.

689

Nikolaidis et al.,Improved Human-Robot Team Performance Through Cross-Training: An Approach Inspired by Human Team Training Practices.

690

Julie Shah: Human/Robot Team Cross Training.

691

В более современных работах лаборатории Шах исследовались случаи, когда поменяться ролями невозможно. Тогда можно использовать связанную идею под названием «обучение с отклонением»; см. Ramakrishnan, Zhang, and Shah,Perturbation Training for Human-Robot Teams.

692

Мердок А. Колокол. – Пер. Рединой О. Н. – М.: АСТ, 2022.

693

Чрезмерное употребление алкоголя вредит вашему здоровью. – Прим. ред.

694

Некоторые исследователи, работающие на стыке когнитивистики и безопасности ИИ, в том числе Оуэн Эванс из Института будущего человечества, исследуют способы обратного обучения с подкреплением, принимая во внимание человека, который, к примеру, не может не заглянуть в кондитерскую, если она попалась ему на пути, так что ему приходится выбирать другой маршрут, чтобы избежать соблазна. См. Evans, Stuhlmuller, and Goodman,Learning the Preferences of Ignorant, Inconsistent Agentsи Evans and Goodman,Learning the Preferences of Bounded Agents. Существует целое направление исследований обратного обучения с подкреплением, объединяющее странности и иррациональности в человеческом поведении. См. Bourgin et al.,Cognitive Model Priors for Predicting Human Decisions, где говорится об использовании машинного обучения для разработки моделей человеческих предпочтений и принятия решений.

695

См. Snyder,Public Appearances, Private Realities,Covey, Saladin, and Killen,Self-Monitoring, Surveillance, and Incentive Effects on Cheatingи Zhong, Bohns, and Gino,Good Lamps Are the Best Police.

696

См. Bateson, Nettle, and Roberts,Cues of Being Watched Enhance Cooperation in a Real-World Settingи Heine et al.,Mirrors in the Head.

697

Bentham,Letter to Jacques Pierre Brissot de Warville.

698

Bentham,Preface.

699

Russell,Ideas That Have Harmed Mankind.

700

Another Day the World Almost Ended.

701

Aksenov,Stanislav Petrov.

702

Там же.

703

Hoffman,‘I Had a Funny Feeling in My Gut.’

704

Цитата из трагедии Шекспира «Гамлет», д. 1, сц. 5, слова Гамлета. В переводе М. Вронченко (1828).

705

Nguyen, Yosinski, and Clune,Deep Neural Networks Are Easily Fooled. Обсуждение прогнозов надежности предсказаний нейросетей см. в Guo et al.,On Calibration of Modern Neural Networks.

706

См. Szegedy et al.,Intriguing Properties of Neural Networksи Goodfellow, Shlens, and Szegedy,Explaining and Harnessing Adversarial Examples. Это активная область исследований, современные работы, посвященные тому, как сделать системы устойчивыми для соперничающих примеров, см. в Mądry et al.,Towards Deep Learning Models Resistant to Adversarial Attacks, Xie et al.,Feature Denoising for Improving Adversarial Robustnessи Kang et al.,Testing Robustness Against Unforeseen Adversaries. См. также Ilyas et al.,Adversarial Examples Are Not Bugs, They Are Features. Последняя статья помещает соперничающие примеры в контекст выравнивания – «неверное выравнивание между (свойственным людям) понятием устойчивости к изменениям и свойственной данным от природы структуре» – и утверждает, что «создание надежных и объяснимых моделей потребует явного внесения априорной для людей информации в процесс обучения».

707

Creighton,Making AI Safe in an Unpredictable World.

708

Детали исследования «проблемы открытой категории» Диттериха, за которое он получил грант от Института будущего жизни, см. на https://futureoflife.org/ai-researcher-thomas-dietterich/.

709

Thomas G. Dietterich,Steps Toward Robust Artificial Intelligence(лекция), 14 февраля 2016 года, 30‐я конференция по искусственному интеллекту AAAI, Феникс, штат Аризона, http://videolectures.net/aaai2016_dietterich_artificial_intelligence/. Те же самые мысли исследователь в несколько иной форме повторил в печати; см. Dietterich,Steps Toward Robust Artificial Intelligence. Больше информации об обучении открытой категории см. Scheirer et al.,Toward Open Set Recognition, Da, Yu, and Zhou,Learning with Augmented Class by Exploiting Unlabeled Data, Bendale and Boult,Towards Open World Recognition, Steinhardt and Liang,Unsupervised Risk Estimation Using Only Conditional Independence Structure, Yu et al.,Open-Category Classification by Adversarial Sample Generationи Rudd et al.,The Extreme Value Machine. Другие связанные подходы к соперничающим примерам и надежной классификации включают работы Liu and Ziebart,Robust Classification Under Sample Selection Biasи Li and Li,Adversarial Examples Detection in Deep Networks with Convolutional Filter Statistics. Больше о последних результатах Диттериха и его коллег см. в Liu et al.,Can We Achieve Open Category Detection with Guarantees?и Liu et al.,Open Category Detection with PAC Guarantees, а также Hendrycks, Mazeika, and Dietterich,Deep Anomaly Detection with Outlier Exposure. Предложение Google Brain и OpenAI 2018 года объявить конкурс, чтобы стимулировать исследования по этим вопросам, см. в Brown et al.,Unrestricted Adversarial Examples, а также вIntroducing the Unrestricted Adversarial Example Challenge, Google AI Blog,https://ai.googleblog.com/2018/09/introducing-unrestricted-adversarial.html.

710

Руссо, Жан-Жак. Эмиль, или О воспитании. – Пер. с фр. М. А. Энгельгардта // Жан-Жак Руссо. Избранное. Книговек, 2018.

711

Jefferson,Notes on the State of Virginia.

712

Интервью автора с Ярином Галь, 11 июля 2019.

713

Yarin Gal,Modern Deep Learning Through Bayesian Eyes(лекция),Microsoft Research,11 декабря 2015, https://www.microsoft.com/en-us/research/video/modern-deep-learning-through-bayesian-eyes/.

714

Zoubin Ghahramani,Probabilistic Machine Learning: From Theory to Industrial Impact(лекция), 5 октября 2018, PROBPROG 2018: Международная конференция по пробабилистическому программированию, https://youtu.be/crvNIGyqGSU.

715

Знаковые статьи, связанные с Байесовскими нейронными сетями: Denker et al.,Large Automatic Learning, Rule Extraction, and Generalization,Denker and LeCun,Transforming Neural-Net Output Levels to Probability Distributions,MacKay,A Practical Bayesian Framework for Backpropagation Networks,Hinton and Van Camp, Keeping Neural Networks Simple by Minimizing the Description Length of the Weights,Neal,Bayesian Learning for Neural Networks иBarber and Bishop,Ensemble Learning in Bayesian Neural Networks.Более современные работы см. Graves,Practical Variational Inference for Neural Networks,Blundell et al.,Weight Uncertainty in Neural Networks иHernandez-Lobato and Adams,Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks.Более подробную историю этих идей см. в Gal,Uncertainty in Deep Learning. Более обобщенный обзор пробабилистических методов в машинном обучении см. в Ghahramani,Probabilistic Machine Learning and Artificial Intelligence.

716

Интервью автора с Ярином Галь, 11 июля 2019.

717

718

Точку зрения на использование неопределенности, достигаемой с помощью дропаута и ансамбля нейросетей, для обнаружения соперничающих примеров см. в Smith and Gal,Understanding Measures of Uncertainty for Adversarial Example Detection.

719

Каждой модели обычно приписываются весовые значения, описывающие, насколько хорошо она объясняет данные. Этот метод называется «Байесовская модель среднего» (Bayesian model averaging, BMA); см. Hoeting et al.,Bayesian Model Averaging: A Tutorial.

720

В частности, было обнаружено, что дропаут помогает удержать нейросеть от чрезмерного обучения на тренировочных данных. См. Srivastava et al.,Dropout.Статью процитировали 18 500 раз за первые шесть лет после публикации.

721

См. Gal and Ghahramani,Dropout as a Bayesian Approximation.В последние годы появились альтернативные варианты и расширения, см. Lakshminarayanan, Pritzel, and Blundell,Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles.

722

Интервью автора с Ярином Галь, 11 июля 2019. Применение в области офтальмологии обсуждалось в основном тексте главы, среди других присутствуют прогностическая модель заказов Uber (Zhu and Nikolay,Engineering Uncertainty Estimation in Neural Networks for Time Series Prediction at Uber) и прогностическая система Исследовательского института Toyota (Huang et al.,Uncertainty-Aware Driver Trajectory Prediction at Urban Intersections).

723

См. Gal and Ghahramani,Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference, § 4.4.2;если говорить конкретно, Галь

724

Gal and Ghahramani,Dropout as a Bayesian Approximation.

725

Интервью автора с Ярином Галем, 11 июля 2019.

726

См. Engelgau et al.,The Evolving Diabetes Burden in the United States иZaki et al.,Diabetic Retinopathy Assessment.

727

Leibig et al.,Leveraging Uncertainty Information from Deep Neural Networks for Disease Detection.

728

Ряд исследовательских групп занимается изучением потенциала общей идеи «селективной классификации» в машинном обучении. Например, Коринна Кортес и ее коллеги из Google Research исследовали идею «обучения с отказом», то есть классификатор просто «лягается» или, иначе говоря, отказывается выносить суждение об отношении предмета к какой‐либо категории. См. Cortes, DeSalvo, and Mohri,Learning with Rejection,а также работу по статистике С. К. Чоу, который еще в середине ХХ века исследовал связанные идеи: Chow,An Optimum Character Recognition System Using Decision Functions иChow,On Optimum Recognition Error and Reject Tradeoff.Подобный подход в контексте машинного обучения см. в Li et al.,Knows What It Knows.

В 2018 году исследователи из университета Торонто под руководством аспиранта Дэвида Мадраса расширили восприятие этой идеи, задавшись вопросом не только о том, как система машинного обучения может попытаться справиться с неоднозначными или допускающими двоякое толкование случаями, чтобы избежать ошибок, но и как она может работать в тандеме с человеком, принимающим решения, который продолжает начатую кем‐то работу. Если этот человек будет особенно точен с определенным типом примеров, система должна относиться к его мнению с уважением, даже если уверена в обратном; напротив, если есть определенный тип примеров, где человек показывает себя плохо, система может просто рискнуть и высказать свое лучшее предположение, даже если в нем не уверена, поскольку целью является не только повышение ее точности, но и точности принятия решений в команде из человека и машины. См. Madras, Pitassi, and Zemel,Predict Responsibly.

В связанной работе Сун Цзян, Эдмунд Дюрфи и Сатиндер Сингх из Мичиганского университета исследовали идею агента в среде gridworld. Агент стремится минимизировать побочные эффекты, спрашивая, хочет ли пользователь изменить определенные вещи. Человек может предлагать ограничения для безопасного управления с минимальным возможным количеством таких вопросов. См. Zhang, Durfee, and Singh,Minimax-Regret Querying on Side Effects for Safe Optimality in Factored Markov Decision Processes.

729

Kahn et al.,Uncertainty-Aware Reinforcement Learning for Collision Avoidance.

730

Связанные работы, соединяющие неопределенность с незнакомой обстановкой, см. Kenton et al.,Generalizing from a Few Environments in Safety-Critical Reinforcement Learning.Связанную работу в контексте имитационного обучения и автономных автомобилей см. в Tigas et al.,Robust Imitative Planning.

731

Holt et al.,An Unconscious Patient with a DNR Tattoo,Bever,A Man Collapsed with ‘Do Not Resuscitate’ Tattooed on His Chest иHersher,When a Tattoo Means Life or Death(освещение в прессе).

732

Holt et al.,An Unconscious Patient with a DNR Tattoo.

733

Cooper and Aronowitz,DNR Tattoos.

734

Holt et al.,An Unconscious Patient with a DNR Tattoo.

735

Bever,A Man Collapsed with ‘Do Not Resuscitate’ Tattooed on His Chest.

736

Sunstein,Irreparability as Irreversibility,Sunstein,Irreversibility.

737

Sunstein,Beyond the Precautionary Principle,Sunstein,Laws of Fear.

738

Amodei et al.,Concrete Problems in AI Safety.В статье дается очень хорошее обширное описание «избегания отрицательных побочных эффектов» и «регуляторов воздействия». В статье Taylor et al.,Alignment for Advanced Machine Learning Systemsтакже обсуждаются различные идеи «мер воздействия». Хороший обзор более современных исследований воздействия см. в Daniel Filan,Test Cases for Impact Regularisation Methods,https://www.alignmentforum.org/posts/wzPzPmAsG3BwrBrwy/test-cases-for-impact-regularisation-methods.

Аспирант университета Карнеги – Меллона Бенджамин Айзенбах рассматривал подобную идею в трехмерной среде MuJoCo. Его идея – обратимость в соединении с кредо пеших путешественников и туристов «не оставлять следов». Он предложил использовать обычные методы обучения с подкреплением, чтобы развивать компетенции для решения различных задач с критически важным условием. В отличие от эргодической среды игр Atari, где обучение включает в себя сотни тысяч внешне предписанных перезагрузок, агенты Айзенбаха сами отвечали за перезагрузку в точную стартовую конфигурацию, прежде чем сделать еще одну попытку того, что они обучались делать. Первоначальные результаты были вдохновляющими: схематический гепард, к примеру, подползал к краю обрыва, а потом давал задний ход, и, кажется, усвоил, что не получится вернуться назад, если перевалил через край. См. Eysenbach et al.,Leave No Trace.См. также гораздо более раннюю работу Weld and Etzioni,The First Law of Robotics (a Call to Arms),где рассматривается подобная идея.

739

Работу Армстронга по агентам ИИ с низким воздействием см. Armstrong and Levinstein,Low Impact Artificial Intelligences.Его статьи 2012 и 2013 годов были среди первых, где явно формулировалась проблема. См. Armstrong,The Mathematics of Reduced Impact и Armstrong, Reduced Impact AI.

740

Armstrong and Levinstein,Low Impact Artificial Intelligences.

741

Столица и крупнейший город Бангладеш. –Прим. пер.

742

Там же.

743

Как говорит Элиезер Юдковский: «Если вы собираетесь лечить рак, убедитесь, что пациент все еще умирает!» См. https://intelligence.org/2016/12/28/ai-alignment-why-its-hardand-where-to-start/. См. также Armstrong and Levinstein,Low Impact Artificial Intelligences,где в качестве примера приводится летящий к Земле астероид. Система, ограниченная исключительно низким воздействием, может не суметь отклонить его. Или, что еще хуже, система, способная на уменьшение воздействия, может отклонить астероид, спасти планету, а потом все равно ее взорвать.

744

Интервью автора с Викторией Краковной, 8 декабря 2017.

745

См. Krakovna et al.,Penalizing

746

Leike et al.,AI Safety Gridworlds.

747

Интервью автора с Викторией Краковной, 8 декабря 2017.

748

Идея поэтапных параметров была предложена Александром Тернером на https://www.alignmentforum.org/posts/DvmhXysefEyEvXuXS/overcomingclinginess-in-impact-measures. Идея относительной достижимости исследовалась в статьях Krakovna et al.,Penalizing Side Effects Using Stepwise Relative Reachability,Krakovna et al.,Designing Agent Incentives to Avoid Side Effects, Deep-Mind Safety Research(блог), https://medium.com/@deepmindsafetyresearch/designing-agent-incentives-to-avoid-side-effects-e1ac80ea6107.

749

Turner, Hadfield-Menell, and Tadepalli,Conservative Agency via Attainable Utility Preservation.См. также последовательность ТернераReframing Impact:https://www.alignmentforum.org/s/7CdoznhJaLEKHwvJW и продолжение обсуждения в егоTowards a New Impact Measure,https://www.alignmentforum.org/posts/yEa7kwoMpsBgaBCgb/towards-a-new-impact-measure. Тернер пишет: «У меня есть теория, что сохранение достижимой полезности, возможно, сработает для продвинутых агентов не из-за того, что содержание достижимого набора подсистем в действительности имеет значение, а потому что там существует валюта достижения общей полезности – мощность». См. Turner,Optimal Farsighted Agents Tend to Seek Power.Больше о понятии мощности в контексте безопасности ИИ, в том числе информационно-теоретическую оценку «наделения полномочиями», см. в статье Amodei et al.,Concrete Problems in AI Safety,которая, в свою очередь, ссылается на Salge, Glackin, and Polani,Empowerment: An Introduction иMohamed and Rezende,Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning.

750

Интервью автора с Александром Тернером, 11 июля 2019.

751

Wiener,Some Moral and Technical Consequences of Automation.

752

Согласно Полу Кристиано, «возможность внесения правок» как основное положение безопасности ИИ началось с Института исследования машинного интеллекта Элиезера Юдковского, а само название ввел в оборот Роберт Майлс. См. Christiano,Corrigibility, https://ai-alignment.com/corrigibility‐3039e668638.

753

Dadich, Ito, and Obama,Barack Obama, Neural Nets, Self-Driving Cars, and the Future of the World.

754

Интервью автора с Диланом Хэдфилдом-Менеллом, 15 марта 2018.

755

Turing,Can Digital Computers Think?

756

Рассел С. Совместимость. Рассел сформулировал эту проблему ранее, но другими словами в статьеShould We Fear Supersmart Robots?За добрый десяток лет до Рассела Стив Омохундро вThe Basic AI Drivesотметил, что «почти все системы [будут] защищать свои служебные программы от изменений».

757

Soares et al.,Corrigibility. См. также связанную работу Armstrong,Motivated Value Selection for Artificial Agents.Другие подходы к интересным проблемам, возникающим, когда агентов ИИ пытаются изменить или прерывают, см. Orseau and Armstrong,Safely Interruptible Agents иRiedl and Harrison,Enter the Matrix.Исследования роботов, которыедействительно просили людей их не выключать, и о том, соглашались ли люди на их просьбу, см. Horstmann et al.,Do a Robot’s Social Skills and Its Objection Discourage Interactants from Switching the Robot Off?

758

См. работу Nate Soares et al.,Corrigibility,презентация на конференции AAAI‐15, 25 января 2015, https://intelligence.org/wp-content/uploads/2015/01/AAAI‐15‐corrigibilityslides.pdf.

759

Russell,Should We Fear Supersmart Robots?

760

Dylan Hadfield-Menell,The Off-Switch(лекция), Серия коллоквиумов по устойчивости и полезности ИИ (Colloquium Series on Robust and Beneficial AI, CSRBAI), Институт исследования машинного интеллекта, Беркли, Калифорния, 8 июня 2016.

761

Milli et al.,Should Robots Be Obedient?.Другие работы по случаям, когда системе, возможно, было бы лучше не подчиняться команде человека, см. Coman et al.,Social Attitudes of AI Rebellion иAha and Coman,The AI Rebellion.

762

Smitha Milli,Approaches to Achieving AI Safety(интервью), Мельбурн, Австралия, август 2017.

763

Больше о возможности внесения правок и ошибке спецификации модели с использованием этой парадигмы см. также Carey,Incorrigibility in the CIRL Framework.

764

Интервью автора с Диланом Хэдфилдом-Менеллом, 15 марта 2018.

765

Рассел С. Совместимость.

766

Hadfield-Menell et al.,Inverse Reward Design.

767

О схожей интерпретации проблемы Томом Эвериттом и его коллегами из DeepMind и Австралийского национального университета см. в Everitt et al.,Reinforcement Learning with a Corrupted Reward Channel.

768

Hadfield-Menell et al.,Inverse Reward Design.

769

Prümmer,Handbook of Moral Theology.

770

Руссо, Жан-Жак. Эмиль, или О воспитании. – Пер. с фр. М. А. Энгельгардта // Жан-Жак Руссо. Избранное. – Книговек, 2018.

771

В действительности создается ощущение, что практически все имевшие место исторические споры касались случаев, когда оспаривалось, греховно ли то или иное действие, но не тех случаев, когда речь шла о том, возможно ли не совершать греховных действий. Больше информации по теме см. Sepielli,‘Along an Imperfectly-Lighted Path’.

772

Первоначально это часто цитируемое выражение появилось на редакторской странице San Diego Union 20 сентября 1930 года: «Торговцы ювелирными изделиями уверяют, что человек должен носить две пары часов. Но человек, у которого есть одни часы, знает точное время, человек, у которого две пары часов, никогда в нем не уверен».

773

См. Prümmer,Handbook of Moral Theology, § § 145–56.

774

См. Connell,Probabilism.

775

См. Prümmer, Handbook of Moral Theology.

776

Один из философов, ответственных за то, что на эти вопросы снова обратили внимание в наши дни, – это Тед Локхарт из Мичиганского технологического университета. См. Lockhart,Moral Uncertainty and Its Consequences.Как он подытоживает, «так что я должен делать, когда не уверен, как мне поступить с точки зрения морали? Философы обращают мало внимания

777

Больше об идее эффективного альтруизма см. MacAskill,Doing Good Better и Singer, The Most Good You Can Do.Больше об истории термина см. в MacAskill’sThe History of the Term ‘Effective Altruism,’ Effective Altruism Forum,http://effective-altruism.com/ea/5w/the_history_of_the_term_effective_altruism/.

778

MacAskill, Bykvist, and Ord,Moral Uncertainty.См. также более раннюю книгу Lockhart,Moral Uncertainty and Its Consequences.

779

См. Lockhart,Moral Uncertainty and Its Consequences иGustafsson and Torpman,In Defence of My Favourite Theory.

780

К примеру, существуют чисто ординальные теории, а также чисто деонтические. Есть и другие проблемы; больше о них см. в MacAskill, Bykvist, and Ord,Moral Uncertainty.

781

Больше о теории социального выбора см. вMueller, Public Choice III и Sen, Collective Choice and Social Welfare;больше о теории социального выбора с точки зрения информатики см. в Brandt et al.,Handbook of Computational Social Choice.

782

Об идее парламента морали см. в Bostrom,Moral Uncertainty – Towards a Solution?а о моральной сделке см. в Ord,Moral Trade.

783

Один из подходов см. в Humphrys,Action Selection in a Hypothetical House Robot.

784

См.Allocation of Discretionary Funds from Q1 2019, The GiveWell Blog,https://blog.givewell.org/2019/06/12/allocation-of-discretionary-funds-from-q1–2019/.

785

Дальнейшее обсуждение вопроса см. также Ord,The Precipice.

786

Интервью автора с Полом Кристиано, 1 июля 2019.

787

По этой теме см. также Sepielli,What to Do When You Don’t Know What to Do When You Don’t Know What to Do. .

788

Shlegeris,Why I’m Less of a Hedonic Utilitarian Than I Used to Be.

789

Рассел Б. Философия логического атомизма. – Пер. В. Суровцев. – Томск: Водолей, 1999, с. 4.

790

См. Knuth,Structured Programming with Go to Statements иKnuth,Computer Programming as an Art(обе статьи 1974 года). У этой цитаты несколько запутанная история: сам Кнут 15 лет спустя, в 1989 году, сослался на нее как на авторитетное заявление Хоара в статье Knuth,The Errors of TeX. Тем не менее, кажется, нет никаких доказательств того, что эти слова принадлежат Хоару. Когда самого Хоара спросили об этом высказывании в 2004 году, он сказал, что «не помнит», откуда оно взялось, и предположил, что что‐то в этом роде мог сказать Эдсгер Дейкстра, добавив: «Думаю, было бы справедливо предположить, что это общая культура или фольклор (Hans Gerwitz,Premature Optimization Is the Root of All Evil, https://hans.gerwitz.com/2004/08/12/premature-optimization-is-the-root-of-all-evil.html). В 2012 году Кнут допустил: «Я действительно говорил что‐то вроде «Излишняя оптимизация – корень всех зол в программировании». (Mark Harrison,A note from Donald Knuth about TAOCP, http://codehaus.blogspot.com/2012/03/note-from-donald-knuth-about-taocp.html).

791

Центр по контролю и профилактике заболеваний США предупреждает о том, что младенцы подвергаются риску гипотермии в холодных спальнях, а в 2017 году здоровый мужчина средних лет в Таиланде умер в своей спальне от гипотермического шока только из-за того, что оставил работающие вентиляторы холодной ночью. См. соответственноCenters for Disease Control and Prevention, Prevent Hypothermia and Frostbite,https://www.cdc.gov/disasters/winter/staysafe/hypothermia.html иStraits Times, Thai Man Dies From Hypothermia After Sleeping With 3 Fans Blowing at Him, 6 ноября 2017, https://www.straitstimes.com/asia/se-asia/thai-man-dies-from-hypothermia-after-sleeping-with‐3‐fans-blowing-at-him.

792

Винер Н. Корпорация «Бог и голем». – Пер. В. Желнинова, Е. Алексеевой. – М.: АСТ, 2018. Исследовательница MIRI Джессика Тейлор изучила похожую идею о том, что она назвала «квантилайзером» – агент, который вместо того, чтобы быть полностью оптимизированным в соответствии с потенциально проблематичными критериями, ведет себя «достаточно хорошо»; см. Taylor,Quantilizers. Это также чем‐то напоминает метод регуляции под названием «ранняя остановка»: см. Yao, Rosasco, and Caponnetto,On Early Stopping in Gradient Descent Learning. Дальнейшее обсуждение в контексте безопасности ИИ случаев, когда «критерий, который можно применить для того, чтобы улучшить систему, используется до такой степени, что дальнейшая оптимизация становится неэффективной или вредной», см. в Manheim and Garrabrant,Categorizing Variants of Goodhart’s Law.

793

Ј13.3m Boost for Oxford’s Future of Humanity Institute, http://www.ox.ac.uk/news/2018–10–10-Ј133m-boost-oxford’s-future-humanity-institute.

794

Huxley,Ends and Means.

795

Более современное обсуждение гендерного неравенства в медицине, предназначенное для широкой аудитории, см. в книге Криадо Перес К. Невидимые женщины. Почему мы живем в мире, удобном только для мужчин. Неравноправие, основанное на данных. – М.: Альпина Паблишер, 2020. В качестве научной литературы по этому предмету см. Mastroianni, Faden, and Federman,Women and Health Research и Marts and Keitt, Foreword. Внутри медицинской отрасли существует также озабоченность насчет того, что пожилые люди, которые в настоящее время являются одной из самых быстро растущих групп, также недостаточно представлены в медицинских исследованиях; см. Vitale et al.,Under-Representation of Elderly and Women in Clinical Trials и Shenoy and Harugeri, Elderly Patients’ Participation in Clinical Trials.

Это активная область исследований в ряде отраслей; последние обсуждения зоологических музейных коллекций см., например, в Cooper et al.,Sex Biases in Bird and Mammal Natural History Collections.

796

См. Bara Fintel, Athena T. Samaras, and Edson Carias,The Thalidomide Tragedy: Lessons for Drug Safety and Regulation, Helix,https://helix.northwestern.edu/article/thalidomide-tragedy-lessons-drug-safety-andregulation; Nick McKenzie and Richard Baker,The 50-Year Global Cover-up, Sydney Morning Herald,26 июля 2012, https://www.smh.com.au/national/the‐50‐year-global-cover-up‐20120725–22r5c.html,Thalidomide, Brought to Life, Science Museum, http://broughttolife.sciencemuseum.org.uk/broughttolife/themes/controversies/thalidomide, а также Marts and Keitt,Foreword.

797

Иногда такой консенсус становится откровенно оскорбительным. В 2019 году Кейт Кроуфорд из института AI Now и художник Тревор Паглен занялись данными ImageNet и обнаружили некоторые ужасающие и шокирующие факты. См. их работуExcavating AI: https://www.excavating.ai. Они выявили в наборе данных 600 тысяч изображений людей, помеченных самыми разными метками: от «клептоман» до «деревенщина» и «неряха».

798

Первоначально в наборе данных ImageNet было 20 тысяч категорий. Конкурс ImageNet Large Scale Visual Recognition Challenge (ILSVRC) был выигран в 2012 году системой AlexNet, использовавшей урезанную версию данных, содержащих всего тысячу категорий. См. Deng et al.,ImageNet, and Russakovsky et al.,ImageNet Large Scale Visual Recognition Challenge.

799

Стюарт Рассел отстаивал эту точку зрения и предложил использовать само машинное обучение, чтобы рассчитать передающую все оттенки репрезентацию различного значения ошибок классификации. См. Рассел С.

800

См. Mikolov et al.,Efficient Estimation of Word Representations in Vector Space.

801

Tversky,Features of Similarity.

802

См. Chen, Peterson, and Griffiths,Evaluating Vector-Space Models of Analogy.

803

О возможности криминогенного эффекта лишения свободы см. обсуждение в Stemen,The Prison Paradox(в особенности, сноска 23) и Roodman,Aftereffects.

804

См. Jung et al.,Eliciting and Enforcing Subjective Individual Fairness.

805

См. Poursabzi-Sangdeh et al.,Manipulating and Measuring Model Interpretability.

806

Bryson,Six Kinds of Explanation for AI. В этой статье говорится, что «объяснения» в контексте ИИ должны включать не только внутреннюю работу системы, но и «действия людей, ведущие к тому, что система реализуется и продается как продукт и/или управляется как услуга».

807

См. Ghorbani, Abid, and Zou,Interpretation of Neural Networks Is Fragile.

808

См. Mercier and Sperber,Why Do Humans Reason?Интригующее направление исследования выравнивания ИИ связано с разработкой систем машинного обучения, способных участвовать в спорах друг с другом; см. Irving, Christiano, and Amodei,AI Safety via Debate.

809

Идея обучения с подкреплением, избегающего непоправимых ошибок, является активной областью исследований; см. Saunders et al.,Trial Without Errorи Eysenbach et al.,Leave No Trace.

810

См. Omohundro,The Basic AI Drives. См. также роман канадской писательницы Люси Мод Монтгомери об Энн из Зеленых мезонинов «Рилла из Инглсайда» (1921), где Рилла размышляет: «Я не хочу возвращаться и снова становиться той девочкой, какой я была два года назад. Даже если бы я могла… И все‐таки… Когда пройдет еще два года я могу оглянуться и сказать спасибо за тот путь, который я прошла за это время, но сейчас я этого не хочу». Мисс Оливер отвечает ей: «Мы никогда не хотим. Именно поэтому мы и не выбираем, каким образом будем развиваться».

811

См. Paul,Transformative Experience.

812

Дилемма заключенного – фундаментальная проблема теории игр, согласно которой рациональные игроки не всегда будут сотрудничать друг с другом, даже если это в их интересах. Предполагается, что игрок («заключенный») максимизирует свой собственный выигрыш, не заботясь о выгоде других. –Прим. пер.

813

Над подобными проблемами работает подраздел «многоагентного обучения с подкреплением». См. Foerster et al.,Learning to Communicate with Deep Multi-Agent Reinforcement Learningи Foerster et al.,Learning with Opponent-Learning Awareness.

814

Piaget,The Construction of Reality in the Child.

815

Американский почетный профессор медицины и создатель «Клиники снижения стресса» и «Центра осознанности в медицине, здравоохранении и обществе» при Медицинской школе Массачусетского университета. – Прим. пер.

816

Demski and Garrabrant,Embedded Agency.

817

См. Evans, Stuhlmuller, and Goodman,Learning the Preferences of Ignorant, Inconsistent Agents, Evans and Goodman,Learning the Preferences of Bounded Agentsи Bourgin et al.,Cognitive Model Priors for Predicting Human Decisions.

818

См. Ziebart et al.,Maximum Entropy Inverse Reinforcement Learningи Ziebart, Bagnell, and Dey,Modeling Interaction via the Principle of Maximum Causal Entropy. Более современные работы по робототехнике и автономным автомобилям используют ту же самую модель поведения людей, на которую иногда ссылаются как на «шумно рациональное» поведение или «(ир)рациональность Больцмана». См. Finn, Levine, and Abbeel,Guided Cost Learning, Sadigh et al.,Planning for Autonomous Cars That Leverage Effects on Human Actionsи Kwon et al.,When Humans Aren’t Optimal.

819

Как заключает Стюарт Рассел в оригинальной статье 1998 года, «можем ли мы вывести функцию вознаграждения из наблюдения во время обучения, а не после него?» Russell,Learning Agents for Uncertain Environments (Extended Abstract).

820

Этот вопрос остается открытым. Последние работы см. Chan et al.,The Assistive Multi-Armed Bandit.

821

Смита Милли и Анка Драган из Беркли исследовали этот вопрос; см. Milli and Drăgan,Literal or Pedagogic Human?

822

Интервью Ариэля Конна со Стефано Эрмоном, Институт будущего жизни, 26 января 2017, https://futureoflife.org/2017/01/26/stefano-ermon-interview/.

823

Интервью Ариэля Конна с Романом Ямпольски, Институт будущего жизни, 18 января 2017, https://futureoflife.org/2017/01/18/roman-yampolskiy-interview/.

824

См. Arrow,A Difficulty in the Concept of Social Welfare.

825

См. также Recht et al.,Do ImageNet Classifiers Generalize to ImageNet?Авторы пытаются воспроизвести точность таких систем распознавания образов, как AlexNet и другие, используя новые фотографии, и все время получают устойчивый разрыв, что наводит исследователей на мысль о том, что неважно, насколько близко они пытались повторить первоначальные CIFAR‐10 и методологию ImageNet, сами изображения и сделанные людьми метки в 2019 году неизбежно отличаются от того, что было, скажем, в 2012‐м.

826

Latour,Pandora’s Hope.

827

См. Paul Christiano,What Failure Looks Like, AI Alignment Forum,17 марта 2019, https://www.alignmentforum.org/posts/HBxe6wdjxK239zajf/what-failure-looks-like. «Стереотипное представление о катастрофе с ИИ включает в себя злобную, могущественную систему искусственного интеллекта, которая застает своих создателей врасплох и быстро добивается решительного преимущества над всем человечеством. Полагаю, наше поражение будет выглядеть совсем иначе», – пишет Кристиано. Его больше беспокоит, что «машинное обучение повысит нашу способность «пользоваться тем, что мы можем измерить», что может стать причиной медленно надвигающейся катастрофы».

828

Немецко-американский философ, политический теоретик и историк, основоположница теории тоталитаризма. –Прим. пер.

829

National Transportation Safety Board, 2019. Collison Between Vehicle Controlled by Developmental Automated Driving System and Pedestrian. Highway Accident Report NTSB/HAR- 19/03. Washington, DC.

830

См. Odell,How to Do Nothing.

831

Read,The Grass Roots of Art.

832

Turing et al.,Can Automatic Calculating Machines Be Said to Think?

833

McCulloch,Finality and Form.

Спасибо за чтение

Вернуться к книге