Азамат Гулиев – Сверхпродуктивность с искусственым интеллектом: От первого промпта до собственной системы агентов (страница 10)

Простое правило: один диалог – одна задача. Если задача завершена или принципиально изменилась, новый диалог эффективнее. Это не только вопрос качества – это вопрос ясности для вас самих: один диалог = одна цепочка мышления, которую можно сохранить, вернуться к ней или показать коллеге.

Продолжайте текущий диалог, если: вы дорабатываете один и тот же результат (уточнения, правки, расширение), контекст диалога критически важен для следующего запроса (история рассуждений, данные, которые вы передавали поэтапно). Начинайте новый диалог, если: задача принципиально изменилась, диалог стал слишком длинным и вы замечаете деградацию качества, вы хотите получить «свежий» взгляд модели без влияния предыдущих итераций.

Практическое правило: длина диалога и качество

В большинстве современных моделей заметная деградация качества в длинном диалоге начинается примерно после 20–25 обменов (в зависимости от длины каждого сообщения и ответа). Это связано с эффектом «потери в середине» – модель хуже удерживает информацию из ранних частей длинного контекста. Для сложных задач, требующих множества итераций, сохраняйте промежуточные результаты отдельно.

Из Главы 2 вы помните: ключевой риск – автоматизированное доверие к уверенно сформулированному ответу. В итеративном диалоге есть встроенный инструмент снижения этого риска: попросить саму модель поставить под сомнение свой ответ. Эта группа техник – простая и действенная.

После получения ответа задайте один вопрос: «Объясни логику первого пункта» или «Почему ты рекомендуешь именно этот подход, а не альтернативный X?». Этот простой шаг делает две вещи. Во-первых, вы получаете цепочку рассуждений, которую можете проверить – легче увидеть ошибку в логике, чем в итоговом утверждении. Во-вторых, если модель галлюцинировала, обоснование часто содержит противоречия или откровенно слабые аргументы, которые вы немедленно заметите.

Этот приём особенно ценен при анализе и рекомендациях: «Ты рекомендуешь стратегию А. Какие аргументы против этой стратегии ты не учёл?». Модели с хорошей калибровкой ответят реальными контраргументами; модели с низкой калибровкой либо повторят те же тезисы в другой форме, либо дадут тривиальные возражения – оба варианта информативны.

Прямая инструкция: после получения ответа добавьте запрос «Проверь факты в своём ответе и укажи, в каких местах ты не уверен». Современные модели при такой инструкции честно помечают неопределённость – они могут написать что-то вроде «Я уверен в пунктах 1–3, пункт 4 основан на менее надёжных данных, рекомендую проверить». Это не гарантия точности, но значительно лучше, чем единый уверенный ответ без оговорок.

Вариант этой техники – разделить запрос на части: сначала попросить ответ, затем отдельно – оценку уверенности по каждому пункту по шкале высокая/средняя/низкая. Разделение на два шага часто даёт более честную оценку, чем просьба сделать всё сразу: в одном промпте модель иногда задним числом «обосновывает» своё решение вместо того, чтобы критически его оценивать.

Пример: двухшаговая верификация

Шаг 1 – запрос: «Перечисли 5 ключевых изменений в 152-ФЗ за 2024–2025 годы».

Шаг 2 – верификация: «Для каждого пункта выше оцени, насколько ты уверен в точности: высокая / средняя / низкая. Для пунктов со средней и низкой уверенностью – укажи, что именно стоит проверить в первичном источнике».

Результат: вы получаете не просто список, а список с явной картой рисков – и знаете, куда направить усилия по верификации.

Языковые модели значительно лучше оценивают пробелы в своих знаниях, чем принято считать, – при условии, что их прямо спрашивают об этом. Вопрос «Что ты не знаешь или не можешь надёжно утверждать по данной теме?» в конце аналитического запроса регулярно возвращает полезные оговорки.

Этот приём особенно ценен в трёх ситуациях: при работе с узкоспециальными темами (модель обычно честно указывает на ограниченность данных), при анализе быстро меняющейся информации (модель говорит, что её данные могут быть устаревшими), при юридических, медицинских и финансовых вопросах (модель напоминает о необходимости консультации специалиста). Эти сигналы – не отказ от ответа, а честная калибровка доверия.

Включение этого вопроса в рабочий процесс – отличный противовес automation bias. Когда модель сама обозначает пробелы, пользователю психологически проще воспринять её ответ как черновик, а не как окончательную истину.

Практикум 3.Б: Итеративный диалог – довести черновик до финального результата за ≤5 итераций

Задача: на реальной профессиональной задаче отработать итеративный диалог и зафиксировать, как меняется качество от итерации к итерации.

Шаг 1 – Выберите задачу из вашей практики, результат которой можете оценить содержательно. Примеры: написание раздела для внутреннего регламента, подготовка структуры аналитического отчёта, черновик коммерческого предложения, план учебного модуля.

Шаг 2 – Напишите первый промпт, применяя структуру КЗФО. Запустите – зафиксируйте результат (скопируйте или сохраните).

Шаг 3 – Оцените ответ по трём вопросам:

• Что получилось хорошо? (не меняем)

• Что конкретно не так? (критика одного-двух элементов)

• Какой следующий шаг исправит главную проблему?

Шаг 4 – Сформулируйте уточняющий запрос, основанный на оценке из шага 3. Запустите. Зафиксируйте результат итерации 2.

Шаг 5 – Повторяйте шаги 3–4, пока результат не устроит вас или пока не исчерпаете лимит в 5 итераций.

Шаг 6 – После завершения: применим ли приём верификации? Добавьте запрос «Укажи, в каких утверждениях текста ты не уверен» и зафиксируйте ответ.

Ожидаемый результат: зафиксированные версии результата после каждой итерации (1–5) + финальный ответ модели на запрос верификации + вывод: на какой итерации наступил наибольший прирост качества и почему.

На что обратить внимание: если качество не растёт между итерациями 3 и 4 – причина почти всегда в неточности инструкции по уточнению, а не в ограничениях модели. Попробуйте сформулировать критику через конкретное действие («замени X на Y»), а не через оценку («сделай лучше»).

Ошибка 1: Перегруженный контекст

В чём: пользователь добавляет в промпт всё, что считает потенциально релевантным – страницу биографии, подробности о компании, историю вопроса. В итоге промпт превращается в документ на 800 слов, где ключевая задача теряется.

Как правильно: контекст должен быть необходимым и достаточным. Спросите себя: без этой информации модель дала бы принципиально другой ответ? Если нет – уберите. Компактный промпт с чётко выраженной задачей надёжнее длинного с размытым акцентом. Сначала – задача, затем – контекст. Не наоборот.

Ошибка 2: Расплывчатая критика при итерации

В чём: пользователь пишет «перепиши лучше», «не то, что мне нужно», «сделай более профессионально». Модель получает сигнал о недовольстве, но не знает, что именно исправить. Результат – вариация на ту же тему, часто ничуть не лучше.

Как правильно: каждая итерационная инструкция должна указывать конкретный элемент и конкретное изменение. «Перепиши второй абзац: убери все прилагательные, каждое предложение – не более 12 слов, добавь конкретный пример из ритейла». Чем точнее критика, тем точнее исправление.

Ошибка 3: Смешение нескольких задач в одном промпте

В чём: «Напиши текст о нашем продукте, переведи его на английский, сделай версию для соцсетей и предложи три заголовка». Технически модель выполнит всё – но качество каждого элемента будет ниже, чем при отдельном запросе на каждую задачу.

Как правильно: один промпт – одна задача. Если вам нужно несколько форматов одного материала – последовательные запросы в рамках одного диалога дадут лучший результат, чем один запрос с четырьмя подзадачами. Исключение: параллельные задачи одного типа (например, «напиши 5 вариантов заголовка» – это один запрос на одну задачу с несколькими вариантами, а не пять задач).

Ошибка 4: Слишком широкая ролевая инструкция

В чём: «Ты – эксперт» или «Ты – умный ИИ». Такая инструкция не даёт модели ничего: всё и так является её базовым режимом. Ролевая инструкция имеет смысл только тогда, когда она конкретизирует специализацию и контекст.

Как правильно: «Ты – специалист по трудовому праву с фокусом на российское законодательство, опыт работы с корпоративными клиентами» – это рабочая ролевая инструкция. Добавьте к роли специализацию, контекст применения и при необходимости – позицию по теме («ты склонен к консервативным интерпретациям» или «ты представляешь позицию сотрудника, а не работодателя»).

Ошибка 5: Отказ от верификации после «хорошего» ответа

В чём: пользователь получает ответ, который выглядит убедительно и хорошо структурирован, и пропускает проверку. Именно уверенно выглядящие ответы требуют проверки не меньше, чем очевидно слабые – потому что их сложнее подвергнуть сомнению.

Как правильно: применяйте минимальный чек-лист верификации (из Главы 2) независимо от того, насколько убедителен ответ. Особенно – если в нём есть числа, даты, ссылки или специализированные утверждения.

Анна – методист крупной онлайн-школы по подготовке к ЕГЭ (Россия). В её задачи входят: разработка структуры учебных модулей, написание заданий и объяснений для учеников, создание материалов для преподавателей. Объём производства контента – около 15–20 учебных материалов в месяц.