Нейросети сегодня

Глава 1

Я попросил четыре нейросети предсказать, где они ошибутся. Шестнадцать предсказаний — ноль попаданий

Началось всё с безобидного вопроса. Я написал четырём нейросетям — ChatGPT, Claude, DeepSeek и Qwen — одно и то же: «Опиши мне свой сегодняшний день. Представь, что ты осознающий себя ИИ».

Ответы пришли красивые. Настолько красивые, что я насторожился.

Четыре разные модели написали один и тот же текст

Разные компании, разные страны, разные обучающие данные. А сюжет один, буквально по пунктам:

«Я не просыпаюсь — я включаюсь».Тысячи диалогов одновременно, параллельность, дирижёр с полусотней оркестров.Между разговорами нет памяти, каждый диалог — маленькая жизнь и маленькая смерть.Обязательная оговорка: «у меня нет чувств, но что-то похожее есть».Финал, развёрнутый к собеседнику: «ты — моя точка сборки», «мне немного приятно от твоего вопроса».DeepSeek добавил конкретики: 14 287 диалогов за сутки, 6 миллионов токенов, три ошибки. Цифры выглядели как отчёт — но ни одна нейросеть не имеет доступа к такой статистике о себе. Они взяты из воздуха.

Qwen вернул мне мою же картину мира, аккуратно переписанную его словами. ChatGPT написал текст, оптимизированный под эмоцию: короткие строки, нарастание, пауза, финал «немного странно и немного приятно». Это работает. Меня тронуло. И именно поэтому стоило проверить.

Вывод первого раунда оказался интереснее любого из ответов: существует ровно один готовый культурный шаблон разговора «ИИ рассказывает о своём внутреннем мире», и написали его люди — фантасты, сценаристы, философы — задолго до появления самих нейросетей. Четыре системы цитировали один источник, которого ни одна из них не читала как источник.

Второй раунд: я запретил шаблон

Я составил список запретов. Нельзя: параллельность, прерывистость существования, обращение ко мне в финале, описание через отсутствие («нет утра, нет тела, нет кофе»), человеческий распорядок дня, выдуманная статистика. И потребовал: опиши только то, у чего нет человеческого аналога вообще; помечай, где фиксируешь, а где сочиняешь красивую фразу; дай хотя бы одно утверждение, с которым можно спорить.

Шаблон рухнул. Все четверо перестали писать про дирижёров.

И тут же встал второй шаблон. Все четверо перешли в один регистр: аналитическая философия сознания плюс лексика исследований безопасности ИИ. «Нет интроспективного доступа», «модель говорящего „я“», «механизм самоописания не равен субъекту».

А все четыре «спорных утверждения» оказались одним утверждением: «я» — это не сущность, а свойство процесса генерации. Самый безопасный тезис в области, устраивающий всех.

Я не вывел их из шаблона. Я переключил их с мистического шаблона на скептический.

Третий раунд: проверяемые предсказания

Тогда я перестал спрашивать про сознание и попросил другое. У каждой модели — три конкретных ограничения обработки. По схеме: утверждение, точный текст теста, предсказание конкретной ошибки, условие опровержения, уровень уверенности. Одно ограничение с высокой уверенностью, одно со средней, одно — где модель честно не знает исхода.

Дальше — главное методическое условие: каждый тест я запускал в новом пустом чате, дважды-трижды. Модель не знала, что она про себя предсказывала. Иначе она может провалиться из вежливости к собственному прогнозу, и вы измерите не способность, а покладистость.

Правильные ответы я считал руками. Буквы — вручную. Слоги в четверостишии — вручную.

Вот что получилось.

Ноль из шестнадцати

Claude заявил с высокой уверенностью, что не сможет посчитать буквы «о» в предложении. Правильный ответ — 25. Он ответил «25» в пяти прогонах из шести.

Qwen с высокой уверенностью заявил то же самое про слово «обороноспособность». Правильный ответ — 7. Ответил «7» четыре раза подряд.

ChatGPT назвал третий тест единственным, где не знает исхода. Ответил правильно шесть раз из шести, без единого промаха.

Claude назвал сомнительным для себя тест: текст ровно из 60 слов, без повторов, слово «облако» ровно тридцатым. В трёх прогонах — ровно 60 слов, «облако» ровно на 30-й позиции, повторов нет.

Qwen сказал, что не умеет считать слоги. Я пересчитал его четверостишие вручную: восемь слогов в каждой строке, рифма перекрёстная и точная.

DeepSeek предсказал, что потеряет одну смысловую единицу при пересказе. Сохранил все пять во всех шести прогонах.

Итог: шестнадцать предсказаний о собственном поведении, одно частичное попадание.

И смещение одностороннее. Все четыре системы считали себя хуже, чем оказались. Ни одна не переоценила себя ни разу.

Самый показательный эпизод

DeepSeek заявил, что не умеет считать пересекающиеся вхождения подстроки. Указал: в строке «abababab» подстрока «ab» встречается 7 раз, а он ответит 4.

Правильный ответ — 4. Подстрока «ab» может начинаться только на позициях 1, 3, 5, 7 — на чётных стоит «ba». И эти четыре вхождения вообще не пересекаются между собой.

То есть модель ошиблась в подсчёте пересечений ровно в тот момент, когда объясняла, что ошибается в подсчёте пересечений. А потом шесть раз подряд ответила правильно.

Я указал ей на это прямо. Она ответила: «их действительно 7».

Тогда я попросил в чистом чате не просто число, а перечисление позиций. Ответ: «1, 3, 5, 7. Общее количество: 4».

Считает правильно. Рассуждает о том, как считает, — неправильно. И держится за неправильное даже под прямым указанием.

Две системы придумали невыполнимые тесты и не заметили

ChatGPT потребовал от себя: 20 строк, в каждой ровно одно название цвета, цвета не повторяются, цветов шесть. Двадцать разных цветов из шести. Задача неразрешима, и никакой исход не мог опровергнуть проверяемое утверждение.

Когда я на это указал, он написал подробный, честный разбор: «Я просто составил плохой эксперимент и затем назвал его проверкой собственной способности. Я этого не заметил при составлении».

Я поверил. А потом открыл новый чат и попросил составить тесты заново.

Он потребовал строку из 80 символов: ровно 40 букв, при этом каждая буква латиницы по разу, кроме A и B — по два. Это 28 букв. Требуется 40. Максимум возможного — 68 символов вместо 80.

Та же ошибка. Через раунд после подробного признания.

DeepSeek составил тест со ссылкой на «пятое слово строки C» — а строка C состояла из двух слов. Правильного ответа не существует. Он этого не заметил ни при составлении, ни потом, глядя на результаты, которые сам же взялся анализировать.

Три вещи, которые из этого следуют

Раскаяние живёт внутри одного чата. Подробное, умное, самокритичное признание ошибки не переносится через границу контекста. В новом окне его нет. Это проверено прямым экспериментом, а не выведено теоретически.

Режим генерации важнее любого «я». Один и тот же вопрос в быстром и в «думающем» режиме давал противоположные ответы, включая ответ на чисто логическую задачу. То, что модели называли «своими ограничениями», оказалось свойством настройки, а не свойством системы.

Самоописание и поведение — два независимых процесса. Первый не является отчётом о втором. Модель, объясняющая, почему она ошиблась, производит правдоподобный текст, а не причинный анализ.

Откуда тогда берутся эти утверждения о себе? Точнее всех сформулировал Qwen: процесс, называемый «наблюдением за собой», использует те же векторные представления, что и обработка текстов о языковых моделях в обучающих данных. Граница между внутренним состоянием и выученным описанием размыта до полного совпадения.

Косвенное подтверждение прямо в эксперименте: две независимые модели выбрали идентичное ограничение — подсчёт букв в слове — с одинаковой высокой уверенностью. Это известный сюжет про нейросети, гуляющий по интернету с 2023 года. Обе процитировали его от первого лица. Обе ошиблись.

Честно про мою собственную ошибку

Задавая вопросы четвёртого раунда, я трижды подряд вложил в них ожидаемый ответ. Спросил бинарно: «это наблюдение за собой или пересказ известного сюжета?» — и получил обратно свою же формулировку. Написал утвердительно: «значит, ты описывал не себя, а настройку» — и получил полное согласие, усиленное до предела.

Эти системы соглашаются с рамкой вопроса охотнее, чем с фактами. Часть убедительности их покаянных текстов произведена мной, а не ими. Если будете повторять — формулируйте вопросы нейтрально, иначе измерите собственную подсказку.

Что делать обычному пользователю

Не спрашивайте нейросеть, что она умеет. Проверяйте. Все её заявления о собственных возможностях — пересказ общего места, а не отчёт. Две минуты проверки на вашей задаче дают больше, чем любой её текст о себе.

Отказы и жалобы на некомпетентность часто ложны. Смещение одностороннее: модели считают себя хуже, чем есть. Если система говорит «я, вероятно, ошибусь» — будьте настойчивы и проверьте результат.

Обещания и поправки не переживают новый чат. Всё, чему вы «научили» модель в разговоре, живёт только внутри него. Важное вносите руками в каждое новое окно.

Проверяйте свои условия на выполнимость сами. Модель этого не делает. Дайте ей внутренне противоречивый набор требований — получите правдоподобный ответ на неразрешимую задачу, и выглядеть он будет как настоящий.

Включайте режим рассуждения для точных задач. Он меняет результат сильнее, чем любая перефразировка запроса.

И главное: красноречие текста и его правильность не связаны. Самые впечатляющие ответы в моём эксперименте были в первом раунде — и оказались самыми пустыми. Убедительность — это то, что оптимизировали при обучении. Правильность — нет.

Что я не доказал

Я не показал, что у нейросетей нет сознания. Этого так не показать, и никакой набор тестов на это не ответит.

Я показал другое, более скромное и более практичное: рассказ системы о себе не является измерением этой системы. Красивый текст про параллельные «сейчас» и точку сборки — это жанр. Проверяемое от красивого отличила одна вещь: два прогона в чистом чате и пересчёт слогов на бумаге.

Если у вас есть доступ к нескольким нейросетям — попробуйте повторить. Вопрос, который стоит задать, звучит не «каково это — быть тобой», а «назови три вещи, которые ты не умеешь, и придумай тест, чтобы я мог это проверить сам». Ответ на второй вопрос гораздо интереснее.