Александр Костин – AI для продакт-менеджера: PRD, требования и контроль качества (страница 7)

Чтобы не ловить галлюцинации, нужно разделить режимы. Не на уровне философии, а на уровне конкретных операций.

Режим 1. Аудит (Audit).

Цель: найти дефекты и пробелы.

Запрет: нельзя предлагать окончательные решения, нельзя вводить новые факты.

Выход: список дефектов и вопросов.

Режим 2. Проектирование вариантов (Design Options).

Цель: предложить несколько вариантов решения, описать компромиссы, риски, влияние на метрики, сложность внедрения.

Ограничение: варианты должны быть явно помечены как варианты и требовать выбора команды.

Выход: набор вариантов и критерии выбора.

Режим 3. Редактура текста (Rewrite).

Цель: переписать уже принятые решения в ясной форме, по стандарту требований, без изменения смысла.

Ограничение: запрещено добавлять новую логику, можно только переформулировать и структурировать.

Выход: улучшенный текст требования.

Когда команды жалуются, что ИИ «фантазирует», почти всегда они смешали режимы: попросили аудит и редактуру одновременно или аудит и проектирование одновременно. В результате ИИ пытается быть полезным везде и начинает дополнять.

Правило внедрения простое: на каждую задачу вы чётко выбираете режим. И фиксируете это в промпте.

Как писать антигаллюцинационные ограничения в промпте так, чтобы они работали

Слова «не фантазируй» работают плохо. Ограничение должно быть операционным, то есть описывать, что делать вместо фантазии.

Рабочие ограничения выглядят так:

«Если информация отсутствует в тексте, пометь её как Missing и задай уточняющий вопрос».

«Не добавляй числовые значения, сроки, лимиты, SLA, если их нет в документе. Вместо этого сформулируй вопрос: какие значения принять?»

«Не вводи новые сущности и термины. Если встречается термин, отсутствующий в глоссарии, пометь как Glossary gap».

«Не менять термины на синонимы. Используй только термины из глоссария».

«Не выбирать архитектурные решения. Если требование предполагает выбор, задай вопрос или перечисли варианты без предпочтения».

И обязательно: «В конце дай список предположений, которые ты был вынужден сделать. Если предположений больше нуля – отчёт считается неполным». Это сильный механизм, потому что он заставляет ИИ не прятать догадки, а вытаскивать их наружу.

Если вы видите, что ИИ пишет «система должна…» в местах, где в документе этого нет, значит, вы не закрепили запрет в формате результата.

Метод «красных флажков»: слова и конструкции, после которых почти всегда начинается фантазия

Есть категории фраз, которые провоцируют ИИ на дописывание. Их полезно явно обозначить как красные флажки, которые нужно подсвечивать, а не заполнять.

«по возможности», «желательно», «должно быть удобно», «быстро», «надёжно», «корректно», «при необходимости», «система должна иметь возможность», «предусмотреть», «интегрировать», «обеспечить», «сделать защиту», «учесть безопасность».

В хорошем процессе ИИ не пытается «раскрыть» эти слова. Он помечает их как неопределённость и задаёт вопросы, которые превращают туман в критерии. Например: «что считать быстрым? какие операции? какая нагрузка?».

Если вы видите, что вместо вопросов ИИ выдаёт готовые числа и правила, вы поймали галлюцинацию в моменте.

Метод «проверка на источники»: требование «покажи откуда это в тексте»

Самый надёжный приём против галлюцинаций – заставить ИИ каждое серьёзное замечание или вывод привязывать к месту в документе. Не ссылкой, а текстовой привязкой: раздел, абзац, цитата фрагмента (короткая, по смыслу) или хотя бы «где это сказано».

Когда ИИ вынужден указать, на какой фрагмент он опирается, у него меньше пространства для фантазии. Он либо находит опору, либо честно пишет «в тексте отсутствует». И это сразу дисциплинирует аудит.

Этот же приём полезен для команды: разработчик видит, что замечание не «в воздухе», а привязано к конкретному месту, которое нужно переписать. В итоге исправления становятся точечными.

Метод «двойного прохода»: сначала выявить пробелы, потом только структурировать

Ещё один практический механизм – разделить проверку на два прохода.

Проход 1 – только выявление пробелов и дефектов. Без переписывания, без предложений решений. Только список «где непонятно» и «что противоречит».

Проход 2 – структурирование текста после того, как команда дала ответы на вопросы. Здесь ИИ уже может помочь переписать требования в стандартизированной форме, но по жёсткому правилу: не добавлять новую логику, только переносить ответы команды в документ.

Если вы делаете всё в одном проходе, ИИ будет стремиться «закрыть гештальт» сразу. Два прохода убирают это желание, потому что в первом проходе ему запрещено завершать текст.

Метод «контрольный список предположений»: если предположений много – требование сырое

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.