Джулиан Кейн – Модель 4К - Архитектура надёжных ИИ-систем для Enterprise (страница 5)
Если запрос типовой (например, выдать статус заказа из 1С), управление передается детерминированному коду вообще без участия ИИ.
○ Шаг 3:
Флагманская дорогая модель подключается исключительно тогда, когда клиенту требуется развернутый, сложный смысловой ответ на нестандартный вопрос.
В B2B-сегменте и клиентской поддержке до 40% вопросов пользователей дублируют друг друга по смыслу, даже если сформулированы разными словами (
● Реализация:
Перед отправкой запроса в LLM система проверяет базу выполненных ранее генераций в Qdrant. Если обнаруживается, что аналогичный по смыслу вопрос уже задавался и на него есть проверенный, качественный ответ, система мгновенно отдает его из кэша.
● Результат:
Затраты на обращение к LLM в этих 40% случаев падают до нуля, а скорость ответа для клиента сокращается до миллисекунд.
Экономика токенов — это не только про экономию, но и про предотвращение критических финансовых аномалий, таких как агентское зацикливание (Agent Loops), подробно описанное в Главе 4.
Для защиты кошелька компании на уровне менеджмента ИИ (К4) разворачивается двухуровневая система лимитов:
Лимит на итерацию (Hard Loop Limit): Внутри сценария n8n выставляется счетчик вызовов LLM. Если в рамках обработки одного входящего сообщения от клиента модель запрашивает инструменты или пытается перегенерировать ответ более 3–5 раз подряд, система принудительно останавливает цикл, блокирует сессию и переводит диалог на живого оператора.
Дневной бюджетный лимит (Budget Cap): На уровне API-ключей интеграционной платформы выставляются жесткие суточные лимиты расходов (например, не более 50 долларов в сутки на один операционный отдел). При достижении лимита система автоматически активирует протокол Kill Switch, переводя интерфейсы на базовый текстовый Уровень 1 (Боты) и страхуя компанию от непредвиденных счетов со стороны провайдеров.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.