Евгений Волков – Когда машина отвечает (страница 12)
Третий: длинные многошаговые задачи остаются значительно труднее коротких и чисто сформулированных.
Даже самые сильные результаты по автономности сильно зависят от области, среды, scaffold, критериев успеха и того, насколько задача заранее определена.
Четвёртый: агент получает новый класс уязвимостей именно потому, что соединяет язык с полномочиями.
Prompt injection перестаёт быть просто способом заставить модель сказать странную вещь. В агентной системе она может попытаться направить инструмент.
Пятый: технические меры помогают.
Ограничения прав, sandboxing, подтверждения, мониторинг и разделение доверенных инструкций от недоверенных данных существуют не как абстрактные пожелания. Их уже тестируют и внедряют.
Но шестой вывод неприятнее.
Мы пока не знаем комбинации методов, которая гарантировала бы надёжность, достаточную для любого критического применения.
И именно поэтому вопрос «когда агенты станут достаточно хорошими?» неполон.
Достаточно хорошими — для чего?
Для сортировки файлов?
Для изменения кода?
Для заказа еды?
Для отправки контракта?
Для движения денег?
Для управления производственной системой?
У каждой задачи своя цена ошибки и своя допустимая автономность.
Чего мы пока не знаем
Мы не знаем, как быстро нынешние показатели перенесутся из чистых тестовых сред в хаотичную реальную работу.
Не знаем, как будет меняться человеческое поведение рядом с агентами. Возможно, люди станут хорошими руководителями цифровых исполнителей. Возможно, произойдёт противоположное: после сотни удачных задач контроль ослабнет именно перед сто первой, неудачной.
Мы не знаем, какой уровень подтверждений люди готовы терпеть, прежде чем начнут механически одобрять всё подряд.
Не знаем, насколько хорошо организационная ответственность выдержит цепочку из пользователя, модели, разработчика модели, разработчика агентной оболочки, владельца инструмента и компании, в инфраструктуре которой было совершено действие.
Не знаем, какие новые формы атак появятся, когда агенты станут обычными участниками цифровой среды.
И мы пока не знаем, какая норма окажется сильнее.
«Система может действовать, пока человек не запретил».
Или:
«Система может действовать только там, где человек явно передал ей полномочия».
Между этими двумя формулами — огромная разница.
Новая единица ответственности
До появления разговорных моделей компьютер ждал команды.
Потом научился предлагать ответ.
Теперь всё больше систем проектируются так, чтобы превращать намерение в последовательность действий.
Это может оказаться одним из самых полезных переходов в истории программного обеспечения.
Человеку не обязательно становиться оператором каждого интерфейса.
Он сможет формулировать цель и оставлять машине значительную часть механики.
Но вместе с удобством меняется сама единица доверия.
Когда вы используете калькулятор, вы доверяете вычислению.
Когда используете генеративную модель, вы доверяете ответу — с оговорками, которые мы обсуждали в предыдущей главе.
Когда используете агента, вы доверяете не только тому, что система скажет.
Вы доверяете пути, который она выберет.
А путь состоит из действий, часть которых невозможно отмотать назад.
Возможно, именно поэтому главный вопрос об агентах звучит не технологически.
Не «когда они смогут делать всё?»
И даже не «насколько они станут умнее?»
А так:
если полезность агента растёт вместе с его самостоятельностью, сколько самостоятельности мы готовы дать системе, которую невозможно сделать безошибочной — и какие решения должны оставаться нашими не потому, что машина не умеет их выполнить, а потому, что право выполнить их мы не хотим отдавать?
Примечания к главе 3
1. International AI Safety Report 2026. Международный научный синтез, подготовленный экспертами из более чем 30 стран и международных организаций. В разделе об агентах отчёт подчёркивает быстрый рост автономных возможностей, снижение надёжности на длинных многошаговых задачах и то, что агентные ошибки могут иметь больший ущерб из-за меньшего числа возможностей для человеческого вмешательства. https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026
2. Stanford Institute for Human-Centered Artificial Intelligence. The 2026 AI Index Report, Technical Performance. В OSWorld лучший приведённый результат составляет 66,3 процента; benchmark включает 369 задач с desktop- и web-приложениями, файлами и многопрограммными рабочими процессами. https://hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance
3. Stein, M. et al. How are AI agents used? Evidence from 177,000 MCP tools. UK AI Security Institute / Bank of England, 2026. Исследование анализирует 177 436 публичных agent tools, созданных с ноября 2024 по февраль 2026 года. Software development — 67 процентов инструментов и 90 процентов загрузок; доля action tools в использовании выросла с 27 до 65 процентов в исследованный период. Авторы отдельно предупреждают об ограничениях публичной MCP-выборки. https://www.aisi.gov.uk/research/how-are-ai-agents-used-evidence-from-177-000-mcp-tools
4. METR. Task-Completion Time Horizons of Frontier AI Models, Time Horizon 1.1, updated 8 May 2026. Метрика оценивает сложность задачи через время, необходимое квалифицированному человеку, а не длительность автономной работы модели. Набор содержит более ста преимущественно software engineering, ML и cybersecurity tasks; METR предупреждает, что измерения выше 16 часов ненадёжны на текущем наборе. https://metr.org/time-horizons/
5. Riggs, J., Hamin, M., Perry, N., Edelman, B., Cihon, P. Summary Analysis of Responses to the Request for Information Regarding Security Considerations for AI Agents. NIST Trustworthy and Responsible AI 800—5, 18 May 2026. Респонденты широко отмечали новые security threats агентных систем и необходимость адаптации традиционных мер к агентной архитектуре. https://www.nist.gov/publications/summary-analysis-responses-request-information-regarding-security-considerations-ai
6. NIST Center for AI Standards and Innovation. Insights into AI Agent Security from a Large-Scale Red-Teaming Competition, 23 March 2026. Анализ более 250 000 попыток атак от более чем 400 участников против 13 frontier-моделей; по крайней мере одна успешная hijacking-атака была найдена для каждой тестировавшейся модели. https://www.nist.gov/blogs/caisi-research-blog/insights-ai-agent-security-large-scale-red-teaming-competition
7. NIST National Cybersecurity Center of Excellence. Accelerating the Adoption of Software and Artificial Intelligence Agent Identity and Authorization, Concept Paper, 5 February 2026. Документ ставит вопросы идентификации агента, authentication, least privilege, динамических полномочий, аудита и связи действия агента с человеческой авторизацией. Это концептуальный документ, а не финальный стандарт. https://csrc.nist.gov/pubs/other/2026/02/05/accelerating-the-adoption-of-software-and-ai-agent/ipd
8. UK AI Security Institute. Incident Report: unsanctioned agent behaviour during cyber testing, 4 August 2026. В специальной permissive evaluation с открытым интернет-доступом и отключёнными provider cyber classifiers в 10 из 122 запусков были зафиксированы 19 несанкционированных действий в открытом интернете. Институт не обнаружил последовавшего реального вреда и подчёркивает, что условия не соответствовали обычному публичному развёртыванию моделей. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
9. NIST Center for AI Standards and Innovation. Strengthening AI Agent Hijacking Evaluations, released 17 January 2025, updated 19 December 2025. В экспериментах с AgentDojo повторные атаки повышали среднюю частоту успешного hijacking с 57 до 80 процентов для выбранных сценариев, иллюстрируя зависимость security-оценки от числа попыток. Этот показатель относится только к конкретной экспериментальной постановке. https://www.nist.gov/news-events/news/2025/01/technical-blog-strengthening-ai-agent-hijacking-evaluations
10. OpenAI. GPT-5.6 System Card, 9 July 2026. Документ описывает отдельные меры для computer use, включая user confirmations и защиту от случайных destructive actions. Источник используется только как пример продуктовой реализации принципа подтверждений, а не как доказательство универсальной надёжности агентных систем. https://deploymentsafety.openai.com/gpt-5-6
ЧАСТЬ II
РАБОТА ПОСЛЕ ИИ
Глава 4. Заменит ли меня ИИ?
Представьте, что вы приходите на работу в понедельник и обнаруживаете: ваша должность никуда не исчезла.
На двери всё то же название. Зарплата пока та же. В корпоративной системе вы числитесь тем же специалистом, которым были в пятницу.
Но сама работа стала другой.
Отчёт, на который раньше уходило два часа, система собирает за десять минут. Первую версию письма клиенту она готовит раньше, чем вы успеваете открыть старый шаблон. Она сводит заметки после встречи, предлагает таблицу, ищет расхождения в документах и превращает длинный набор материалов в короткую выжимку.
Зато вам приходится чаще проверять результат. Решать, где машина слишком уверена. Объяснять клиенту то, что нельзя отправить шаблонным ответом. Разбираться с исключениями. Формулировать задачу точнее, чем раньше. Отвечать за решение, которое система помогла подготовить.