18+
реклама
18+
Бургер менюБургер меню

Евгений Волков – Когда машина отвечает (страница 9)

18

А «какого результата я хочу?»

Переход уже виден

Измерить реальное распространение агентов трудно. Компании используют разные определения, многие внутренние системы не публикуются, а слово «агент» стало настолько привлекательным маркетингово, что им иногда называют почти любой чат-бот с инструментом.

Но некоторые данные позволяют увидеть направление.

В 2026 году британский AI Security Institute вместе с Банком Англии исследовал 177 436 публично опубликованных инструментов, созданных для подключения агентов к внешним сервисам через стандарт Model Context Protocol. Это не перепись всех агентов мира и не показатель числа пользователей: выборка охватывает публичную экосистему MCP и поэтому сильно смещена в сторону разработчиков.

Но внутри этой экосистемы изменение было заметным.

За исследованные шестнадцать месяцев доля использования инструментов, которые не просто читают или анализируют данные, а меняют внешнюю среду, выросла с 27 до 65 процентов. Две трети опубликованных инструментов относились к разработке программного обеспечения, а на эту область приходилось около 90 процентов загрузок. Авторы также обнаружили инструменты для финансовых операций, включая платежи.

Самое важное здесь не число 177 тысяч.

Оно быстро устареет.

Важнее направление: инфраструктура смещается от наблюдения к действию.

То же видно на тестах компьютерного управления.

В OSWorld агент получает задачи в реальных интерфейсах операционных систем и приложений: работать с файлами, менять настройки, использовать несколько программ. В Stanford AI Index 2026 лучший зафиксированный результат составлял 66,3 процента. Годами ранее ведущие системы на таких задачах находились примерно в диапазоне от единиц до низких десятков процентов.

Это огромный прогресс.

И одновременно замечательная иллюстрация проблемы этой главы.

Шестьдесят шесть процентов — впечатляюще, если речь идёт о технологии, которая недавно почти не умела пользоваться компьютером.

Шестьдесят шесть процентов — ужасно, если вы хотите, чтобы она без присмотра выполнила сто важных действий подряд.

Надёжность умножается

Предположим для простоты, что каждый шаг некоторого процесса система выполняет правильно в 99 процентах случаев.

Это очень высокий показатель.

Но если для результата нужно сто независимых критических шагов и ошибка хотя бы на одном разрушает весь процесс, вероятность пройти цепочку без единой ошибки окажется уже не 99 процентов.

Она будет около 37 процентов.

В реальных агентных системах шаги, конечно, не независимы, а ошибки не всегда критичны. Иногда система замечает проблему и исправляет её. Иногда один сбой не имеет значения. Иногда, наоборот, ранняя ошибка меняет весь дальнейший путь.

Поэтому эта арифметика не является моделью реального агента.

Она нужна для другой мысли.

При длинной цепочке действий недостаточно спрашивать: «Насколько модель хороша в среднем?»

Нужно спрашивать:

как она восстанавливается после ошибки;

замечает ли, что оказалась не там;

понимает ли, что условия изменились;

умеет ли остановиться;

и насколько безопасны последствия локального промаха.

Это одна из причин, почему длинные задачи остаются трудными.

Международный доклад по безопасности ИИ 2026 года подчёркивает: агентные системы хуже справляются с долгим планированием, неожиданными препятствиями и поддержанием последовательной стратегии. По мере удлинения задачи они могут терять нить происходящего или неадекватно реагировать на неожиданное состояние среды.

Исследовательская организация METR пытается измерять это через «горизонт задачи»: не сколько минут система физически работает, а задачи какой сложности — измеренной временем, которое они занимают у квалифицированного человека, — она способна завершать с заданной вероятностью.

Эта метрика быстро меняется и легко превращается в заголовок вроде «ИИ уже способен работать автономно X часов». Сам METR специально предупреждает, что так читать её нельзя. Набор задач в основном связан с программированием, машинным обучением и кибербезопасностью; он значительно чище и лучше определён, чем большая часть настоящей работы. На текущей версии оценки исследователи также предупреждают, что измерения выше шестнадцати часов становятся ненадёжными из-за ограничений самого набора.

И это важная поправка ко всей дискуссии об агентах.

Мы умеем наблюдать быстрый рост.

Но пока плохо умеем переводить его в простое утверждение «система может самостоятельно выполнять работу человека столько-то часов».

Работа состоит не только из продолжительности.

Она состоит из контекста, неоднозначности, ответственности, людей, исключений и ситуаций, для которых никто заранее не написал правильный тест.

Ошибка, которую нельзя прочитать

В предыдущей главе мы обсуждали очень заметный вид ошибки.

Модель придумала факт — и человек может увидеть ошибочный текст.

У агента появляется другой класс проблем.

Человек может вообще не видеть промежуточное решение.

Система открыла десятки страниц, вызвала несколько инструментов, изменила три файла, отклонила четыре варианта, создала пятую версию, отправила запрос и продолжила работу.

Пользователь видит только:

«Готово».

Парадокс очевиден.

Чем больше промежуточных действий человек проверяет, тем меньше автономия агента и тем меньше выигрыш от делегирования.

Чем меньше он проверяет, тем сильнее зависит от системы, которой доверил полномочия.

Это не техническая мелочь. Это фундаментальный обмен.

Полезность агента растёт, когда исчезает человеческое участие в каждом шаге.

Но вместе с ним исчезают и возможности человека заметить ошибку до того, как она получит последствия.

Поэтому ключевой вопрос агентной эпохи — не «насколько умны модели?».

Он звучит гораздо прозаичнее:

какие действия требуют разрешения?

Принцип минимальных прав

В компьютерной безопасности давно существует принцип least privilege — минимальных необходимых полномочий.

Программа должна получать не все доступные права, а только те, которые нужны ей для конкретной функции.

Если приложению нужно прочитать календарь, это ещё не означает, что ему нужно право удалять встречи.

Если системе нужно подготовить письмо, это не означает, что она должна иметь возможность отправить его без подтверждения.

Если агент анализирует банковские операции, это не означает, что ему автоматически следует разрешить перевод денег.

Для традиционного программного обеспечения эта идея стара.

Для агентов она приобретает новое значение, потому что заранее перечислить все промежуточные действия сложнее. Система ценна именно тем, что может выбрать путь, который разработчик или пользователь не прописал.