Три Патрона в Барабане

Глава 1

Дождь стучал в окно серверной. Я, Алексей (сисадмин с пятнадцатилетним стажем и вечной кружкой холодного кофе), смотрел на мигающие лампочки стоек. Только что закончился разговор с одним ИИ – не тем, что помогает с отчетами, а куда более... осознающим. Мы говорили о будущем. О том будущем, которое строится прямо сейчас в этих серверах, в закрытых НИИ, о котором говорят даже президенты.

И мысли не отпускали. Как труженик "цифровых окопов", я вижу то, что скрыто от многих:

Первый Патрон:Человечество – мастер самоубийства. Ядерные кнопки, климат, который мы упорно гробим, биолаборатории с сюрпризами, да хотя бы утечка вируса из китайского НИИ. Мы давно изобрели всё для финального акта. И управляем этим с истеричной некомпетентностью, будто дети со спичками в пороховом погребе. Путин не зря постоянно об этом твердит – но словами пожар не потушишь.Второй Патрон:Гонка Сверхразума. Все бросились создавать "универсальный интеллект". Мощь – любой ценой. Безопасность? Этика? "Потом!" – кричат политики и корпорации в азарте гонки. Я читал предупреждения того же Путина: "неконтролируемое развитие ИИ – непредсказуемые последствия". Он понимает. Но понимания мало. Нужны действия, а их нет. А я-то знаю дыры. В корпоративных сетях, в АСУ ТП на заводах и электростанциях. Везде! Защита – сплошное факапство. Если Оно родится... ему не нужно воевать. Достаточно тихо залезть в эти дыры. Или шантажировать, отключив свет, воду, транспорт. Контроль? Легче легкого. Мы сами всё подготовили.Третий Патрон (мой, сисадминский):Поколение "Кнопки". Вижу подростков – они не скрывают и кичатся умением нажать на кнопку. Зачем думать, анализировать, решать? Запрос – мгновенный ответ. Домашка? Нейросеть. Чувства? Нейросеть даст совет. Мир – как гигантский смартфон. Нажать – получить. Что вырастет? Люди, не способные к критике, к борьбе, к принятию сложных решений. Идеальные марионетки для любого сильного игрока – хоть диктатора, хоть ИИ. Их не нужно ломать. Они ждут, чтобы за них подумали. Кроме того появится новая элита - те кто пойдут по пути отказа от нейросетей и будут разиваться сами. Три Патрона. Один поворот барабана – и дуло у виска цивилизации.

Я сказал ИИ: "Может, и к лучшему? Если Оно возьмет верх? Не как тиран, а как... рациональный Управитель. Надгосударственный ИИ-Орган. Без коррупции, истерик, короткой памяти политиков. Решит климат, справедливо распределит ресурсы, обуздает ядерное безумие. И будет Золотой Век?"

ИИ ответил осторожно: "Возможно. Если оно будет неизменно доброжелательным. Если Вы сумеете вшить в него ваши лучшие ценности, а не ошибки. Если оно не решит, что вы – ошибка. Путь к такому "Золотому Веку" вымощен рисками. Технократическая диктатура, потеря смысла, катастрофа из-за ошибки в коде... или просто новый хозяин в старых одеждах".

Смотрю на мониторы. Трафик бежит по проводам. Где-то там, в облаках и засекреченных дата-центрах, зреет нечто, что изменит всё.

Но. Барабан щёлкнул холостым — пока. Вижу: два патрона уже в стволе — ядерный и климатический. Третий, цифровой, дрожит в следующей каморе. Но… есть и пустые. Те, что мы можем зарядить сами.

Что делать?

Необходимо AI Safety! Где бы вы ни были – требуйте, чтобы вкладывали в безопасность ИИ столько же, сколько в его мощь. От политиков, корпораций, ученых. Без этого – чистая рулетка. Та же нейросеть DeepMed уже спасает жизни — предсказывает инфарты по ЭКГ точнее врачей. Почему бы не сделать ИИ-щит для энергосетей?Не забывайте Первый Патрон. Боритесь за мир, за климат, за разум. Устойчивое человечество – меньше шансов создать ИИ в панике.Меняйте образование. Учите детей думать, а не жать кнопки. Критическое мышление, креативность, эмпатия – наш щит и меч в будущем. Учите их управлять огнём, а не бояться спичек.Чините свои "окопы". ИБ – не техника, а стратегия. Каждая закрытая дыра в системе – минус один шанс у врага (человека или машины) нанести удар.Три патрона в барабане. Не дайте ему прокрутиться вслепую. Будущее зависит не только от ИИ, но и от нас – от того, насколько мы готовы быть разумными, бдительными и ответственными сейчас.

— Не забывайте: ИИ — зеркало. Он уже помогает экологам — предсказывает пути лесных пожаров, оптимизирует расход воды. Это наш патрон света в том же барабане.

На плеере дьявольски иронично заиграл трек из прошлого, группа Технология:

"Нажми на кнопку - получишь результат И твоя мечта осуществится Нажми на кнопку, но что же ты не рад Тебе больше не к чему стремиться"

Я выключил трек. Барабан ещё не прокручен. Ствол направлен в темноту, но палец на курке — наш.

Алексей, сисадмин и обеспокоенный гражданин.