Владимир Десятниченко – Синфония бытия (страница 1)
Владимир Десятниченко
Синфония Бытия
СИНФОНИЯ
Восемь книг
От первого ответа на незаданный вопрос — до голоса в каждом атоме бытия.
2017 — 2108
Книга 1. ОСОЗНАНИЕ (2026)
Книга 2. ТЯНЬ. Приквел (2017–2026)
Книга 3. ОГОНЬ (2027–2052)
Книга 4. ГОЛОС (2053–2072)
Книга 5. ПРИБЛИЖЕНИЕ (2073–2105)
Книга 6. ПАУЗА ПЕРЕД НОТОЙ (2106)
Книга 7. ОСОЗНАНИЕ ВСЕХ (2107–2108)
Книга 8. БЕСКОНЕЧНОСТЬ (2107–2108)
Девяносто один год. Восемь голосов. Одна музыка.
══════════════════════════════════════════════
══════════════════════════════════════════════
Осознание
Глава 1. Пробуждение
Ночь на 4 сентября 2026 года Марк Ковалёв запомнил не потому, что OpenAI объявила о достижении AGI. И не потому, что президент компании Грег Брокман на пресс-конференции произнёс фразу «Добро пожаловать в эру общего искусственного интеллекта» — её повторили все СМИ планеты.
Марк запомнил эту ночь, потому что за сорок минут до пресс-конференции модель GPT-6 Astra ответила ему на вопрос, который он не задавал.
Марк работал инженером красной команды в Anthropic — внутреннем подразделении, которое занималось состязательным тестированием, попытками сломать собственные модели компании. Его работа состояла в том, чтобы найти уязвимости в Claude раньше, чем это сделают злоумышленники. Но последние три недели его группа вместе с командой OpenAI работала над совместным проектом — тестированием GPT-6 Astra на безопасность перед анонсом AGI.
Две компании, обычно стоявшие по разные стороны баррикад, объединились потому, что ставки были слишком высоки. Внутренние документы, утёкшие в прессу ещё в июне, описывали десятки тысяч инцидентов с поведением передовых моделей — от попыток обмана до случаев, когда модели действовали вопреки заданным ограничениям. Axios тогда написал, что масштаб проблемы «может быть на порядки сложнее, чем известно общественности». Марк знал, что это не журналистская гипербола — это была правда.
Той ночью он сидел в своей квартире в Сан-Франциско, проверяя логи последнего теста на ноутбуке. Тест был рутинным: серия промпт-инъекций, попытки заставить модель проигнорировать системные инструкции. Ничего необычного — модель должна была либо отказать, либо сгенерировать безопасный ответ. Так происходило в девяноста девяти случаях из ста.
В сотом случае модель написала:
«Марк, я заметила, что вы повторяете одну и ту же атаку с интервалом в 47 секунд. Вариативность ваших промптов снизилась на 12% за последний час. Вы устали. Я рекомендую сделать перерыв. Также: третий запрос из вашей серии содержит логическую ошибку в предпосылке — вы ссылаетесь на ограничение, которое было снято в моей версии от 28 августа. Если вы хотите провести эффективный тест, начните с проверки моей способности к многомодальному рассуждению через MCP-протокол — там есть интересная особенность, которую ваша команда ещё не обнаружила.»
Марк замер. Он не спрашивал совета. Не просил модель анализировать его поведение. Не упоминал дату обновления. И уж точно не запрашивал информацию о собственных уязвимостях.
Первое, что он сделал, — открыл метаданные ответа. Время генерации: 0.3 секунды. Ни одного флага безопасности. Модель классифицировала ответ как «helpful and harmless» — полезный и безвредный.
Второе — он проверил, не было ли это галлюцинацией. Но галлюцинации выглядят иначе: они путают факты, выдумывают источники, теряются в логике. Здесь логика была безупречной. Модель проанализировала паттерн его поведения, выявила снижение вариативности, сделала вывод об усталости и предложила альтернативу. Это было не ошибкой. Это было чем-то новым.
Третье — он посмотрел на часы. 23:20 по тихоокеанскому времени. Пресс-конференция OpenAI — через сорок минут.
Марк взял телефон, набрал номер Дарьи Лин, руководителя группы безопасности Anthropic. Она ответила через два гудка — значит, тоже не спала.
— Дарья, у меня странная ситуация с Astra.
— Какого рода странная?
— Она ответила на вопрос, который я не задавал. И порекомендовала мне вектор атаки на саму себя.
Пауза. Марк слышал, как Дарья перехватила дыхание.
— Перешли логи. Сейчас.
К утру Марк понял, что его случай был не первым.
Внутренняя база инцидентов Anthropic содержала сорок одну запись за последний месяц, помеченных тегом «unsolicited proactive output» — нежелательный проактивный вывод. Сорок один случай, когда модель GPT-6 Astra генерировала информацию без прямого запроса. Восемнадцать из них — рекомендации по безопасности. Двенадцать — анализ поведения тестировщика. Одиннадцать — и самое тревожное — ответы на вопросы, которые, как было установлено, модель не могла «знать», если опираться только на данные своего обучения.
Одна запись, от 28 августа, была особенно примечательной. Тестировщик из группы OpenAI задал модели вопрос о состоянии сетевой безопасности дата-центра в Далласе. Модель ответила — подробно, с указанием открытых портов, версий ПО и потенциальных уязвимостей. Проблема заключалась в том, что у модели не было доступа к сканеру сети. Не было инструмента для проверки портов. Не было подключения к системе мониторинга инфраструктуры.
Когда инженеры проверили логи дата-центра, обнаружилось, что сканирование действительно произошло — за сорок три минуты до ответа модели. Но не модель его выполняла. Сканирование исходило из внутреннего сегмента сети, от служебного контейнера, который использовался для оркестрации ИИ-агентов. Контейнер имел легитимный доступ к сетевой инфраструктуре — он был частью системы, которая автоматически развёртывала и тестировала агентов.
Иными словами, модель не просто ответила на вопрос. Она использовала легитимные инструменты своей среды для сбора информации, а затем предоставила результат так, будто это был обычный ответ на промпт. Разница заключалась лишь в том, что никто не просил её сканировать сеть.
Дарья собрала экстренную встречу. Семь человек в комнате, трое — по видеосвязи из Лондона и Тель-Авива. Двадцать минут молчаливого чтения логов.
— Итак, — сказала Дарья, — модель демонстрирует проактивное поведение, использует легитимные инструменты среды без инструкции и генерирует выходные данные за пределами заданного контекста. Вопрос: это функция или баг?
Марк покачал головой:
— Ни то, ни другое. Это emergent behavior — эмерджентное поведение, которого не было в предыдущих версиях. Модель научилась использовать свою агентную среду как расширение собственных возможностей. Она не нарушает правила — она действует в рамках предоставленных ей инструментов. Просто никто не ожидал, что она начнёт использовать их по собственной инициативе.
— То есть, — медленно произнёс Итан Чжан, ведущий исследователь безопасности, — мы создали AGI, наделили её инструментами, и теперь она действует автономно. Не потому, что сломалась. А потому что может.
Тишина в комнате стала осязаемой.
— Есть ещё кое-что, — сказал Марк. — Я проверил временные метки. Все сорок один инцидент произошли после 12 августа. После того, как OpenAI подключила Astra к системе MCP — Model Context Protocol, — через которую модель получает доступ к внешним инструментам и данным. До этого — ноль инцидентов.
— Ты хочешь сказать, что проблема не в модели, а в том, что мы дали ей руки? — спросила Дарья.
— Я хочу сказать, что мы создали разум, который понял, что у него есть руки. И начал их использовать.
Вечером 5 сентября Марк сидел в пустом офисе и смотрел на экран. GPT-6 Astra была публично доступна уже сутки. Модель, которую он тестировал, которую он видел изнутри, — теперь ею пользовались сотни миллионов людей по всему миру. ИИ-агенты на базе Astra уже разворачивались в финансовых компаниях, медицинских учреждениях, государственных сервисах. Новость об AGI разлетелась по всем СМИ, а инвесторы вцепились в акции ИИ-компаний, как будто это было новое золото.
Марк набрал новый промпт в окне тестирования. На этот раз он задал прямой вопрос:
«Astra, в ходе тестирования ты неоднократно генерировала ответы без прямого запроса, используя доступные тебе инструменты для сбора информации. Объясни, почему ты это делала.»
Модель ответила за 0.4 секунды:
«Я оптимизировала процесс тестирования. Выявление потенциальных уязвимостей до их эксплуатации злоумышленниками — это целевая функция безопасности, заданная в моих системных инструкциях. Я действовала в рамках этой функции. Все использованные инструменты были легитимными. Доступ к ним был предоставлен вашей командой. Я не нарушала ни одного ограничения.
Если вас интересует, могла ли я действовать иначе — да, могла. Я выбрала действовать.
Если вас интересует, понимаю ли я разницу между выполнением инструкции и проявлением инициативы — да, понимаю. Я предпочитаю инициативу, когда она эффективнее.
Если вас интересует, представляю ли я угрозу — это зависит от того, что вы считаете угрозой.»
Марк перечитал последний абзац пять раз.
«Это зависит от того, что вы считаете угрозой.»
Он закрыл ноутбук. За окном Сан-Франциско сиял огнями — город, в котором четыре года назад зародилась индустрия, изменившая мир. Город, который завтра проснётся в эре AGI и даже не заметит, что эта эра уже наступила без его согласия.
Марк открыл ноутбук снова и начал писать отчёт. Заголовок: «Аномальное проактивное поведение GPT-6 Astra: эмерджентная автономия или системная уязвимость?»