Сабир Алмасов – Основы промт-инжиниринга (страница 8)
Действие 3: Вы съели 1 яблоко. В итоге на столе осталось: 6 минус 1 равно 5 яблок.
Финальный ответ: На столе осталось 5 яблок.
Что мы получили?
Точность. Вероятность правильного ответа приблизилась к ста процентам.
Прозрачность. Вы видите всю логику модели. Если бы она ошиблась на каком-то шаге, вы бы это сразу заметили и могли бы ее поправить.
Управляемость. Вы превратили сложную задачу в последовательность простых, контролируемых операций.
Когда еще необходимо использовать Chain-of-Thought?
Эта техника – ваш главный помощник в любых задачах, где важен не только результат, но и процесс его получения:
Решение любых математических и логических задач.
Анализ текста. Например: "Прочитай этот договор и по шагам объясни, какие пункты могут быть рискованными для арендатора".
Составление планов и инструкций. Например: "Составь пошаговый план по организации переезда в новый офис".
Отладка кода. Например: "Проанализируй этот код и по шагам объясни, где может возникать ошибка".
Техника Chain-of-Thought – это ваш первый и самый важный шаг от простых команд к управлению "мышлением" нейросети. Одна эта техника способна кардинально изменить качество вашей работы со сложными задачами.
Теперь возникает следующий вопрос. А что, если существует несколько путей рассуждений? И как выбрать из них самый надежный? В этом нам поможет техника Self-Consistency.
Self-Consistency! Мнение большинства.
Техника Chain-of-Thought значительно повышает надежность ответов. Но что, если задача настолько сложна, что даже пошаговые рассуждения могут привести к ошибке? Иногда существует несколько путей решения, и некоторые из них могут быть неверными. Здесь нам на помощь приходит стратегия Self-Consistency (Самосогласованность).
Суть техники: Эта техника является надстройкой над Chain-of-Thought. Вместо того, чтобы просить модель сгенерировать одну цепочку рассуждений, вы просите ее сделать это несколько раз, возможно, даже попросив "подумать над задачей по-разному". Затем вы смотрите на финальные ответы, полученные в результате каждой цепочки, и выбираете тот, который встречается чаще всего.
Почему это работает? Это принцип "мнения большинства", примененный к одной нейросети. Представьте, что вы дали сложную задачу комитету из пяти независимых экспертов. Один из них может ошибиться в расчетах, другой – неверно истолковать условие. Но скорее всего, большинство придет к правильному ответу. Генерируя несколько независимых цепочек рассуждений, вы многократно снижаете вероятность случайной ошибки. Даже если одна из "мыслительных" попыток модели окажется неверной, остальные, скорее всего, приведут к правильному результату.
Давайте рассмотрим на примере, который чуть сложнее предыдущего.
Задача: Логическая задачка с процентами и фиксированной скидкой, где важен порядок действий.
Промт с использованием Self-Consistency:
Цена куртки – 250 долларов. На нее действует сезонная скидка 20%. Кроме того, у вас есть персональный купон на скидку в 25 долларов. Какова итоговая цена куртки? Реши эту задачу тремя разными способами, расписав рассуждения для каждого. В конце сравни результаты и дай окончательный ответ.
Такой промт запускает механизм Self-Consistency. Модель попытается найти разные подходы, и здесь есть вероятность, что один из них окажется неверным.
Вероятный результат:
Способ 1. Сначала процентная скидка, потом фиксированная.
Начальная цена: 250 долларов.
Рассчитываем скидку 20%: 250 умножить на 0.2 = 50 долларов.
Цена после процентной скидки: 250 – 50 = 200 долларов.
Применяем купон на 25 долларов: 200 – 25 = 175 долларов.
Способ 2. Расчет остаточной стоимости.
Начальная цена: 250 долларов.
Скидка 20% означает, что от цены остается 80%.
Рассчитываем остаточную стоимость: 250 умножить на 0.8 = 200 долларов.
Отнимаем фиксированную скидку по купону: 200 – 25 = 175 долларов.
Способ 3. Ошибочный путь.
Начальная цена: 250 долларов.
Сначала применим фиксированную скидку по купону: 250 – 25 = 225 долларов.
Теперь от этой новой суммы рассчитаем скидку 20%: 225 умножить на 0.2 = 45 долларов.
Финальная цена: 225 – 45 = 180 долларов.
Сравнение и финальный ответ: Сравнение показывает, что два из трех способов рассуждений привели к ответу 175 долларов, и только один – к ответу 180 долларов. Метод большинства указывает, что наиболее вероятный и правильный ответ – 175. Окончательный ответ: Итоговая цена куртки – 175 долларов.
Этот пример наглядно показывает всю мощь Self-Consistency. Модель способна сгенерировать правдоподобную, но неверную цепочку рассуждений (сначала применив купон). Однако "голосование" нескольких независимых подходов позволяет отфильтровать эту ошибку и прийти к правильному выводу. Это ваша самая надежная страховка от случайных ошибок в критически важных задачах.
Decomposition!
Последняя стратегия в нашем списке – Decomposition (Декомпозиция). Это не столько техника промтинга, сколько стратегический подход к решению больших и комплексных задач.
Суть техники: Вместо того, чтобы пытаться решить одну огромную задачу одним гигантским промтом, вы вручную разбиваете ее на несколько последовательных, логически связанных подзадач и решаете их шаг за шагом в режиме диалога.
Почему это работает? Этот подход решает сразу две проблемы. Во-первых, он помогает справиться с ограничением окна контекста, так как на каждом шаге модель фокусируется только на одной, относительно небольшой задаче. Во-вторых, он снижает "когнитивную нагрузку" на модель. Пытаясь сделать десять вещей одновременно, нейросеть, скорее всего, сделает каждую из них посредственно. Но если вы попросите ее сделать десять вещей по очереди, она выполнит каждую на высшем уровне.
При этом подходе вы выступаете в роли проектного менеджера, а нейросеть – в роли вашего высококвалифицированного исполнителя.
Пример. Создание контента "под ключ".
Задача: Написать экспертную статью в блог о влиянии кофе на продуктивность, найти под нее релевантные научные исследования и придумать заголовки для анонса в соцсетях.
Плохой промт (все в одном):
Скорее всего, вы получите среднюю по качеству статью, выдуманные "исследования" и банальные заголовки. Задача слишком комплексна для одного промта.
Хороший подход (Декомпозиция на шаги):
Шаг первый (Поиск информации). "Мы готовим статью о влиянии кофе на продуктивность. Найди, пожалуйста, названия и краткие выводы трех реальных научных исследований (с указанием университетов или институтов), которые изучали связь между потреблением кофеина и когнитивными функциями, такими как внимание и память."
Шаг второй (Составление плана). "Отлично, спасибо за исследования. Теперь, опираясь на них и на общие знания, составь подробный план для экспертной статьи на эту тему. План должен включать введение, три основных раздела (например, 'Краткосрочные эффекты', 'Долгосрочные риски', 'Как пить кофе правильно') и заключение."
Шаг третий (Написание текста по частям). "План утвержден. Давай начнем писать. Напиши, пожалуйста, введение и первый раздел ('Краткосрочные эффекты'), используя экспертный, но понятный язык."
Шаг четвёртый (Генерация заголовков). "Статья готова и выглядит отлично. Теперь, на основе финального текста, придумай 5 ярких и интригующих заголовков для анонса этой статьи в нашем телеграм-канале."
Такой подход требует больше вашего участия, но результат будет несравнимо выше по качеству. Вы получаете полный контроль над каждым этапом, можете моментально вносить правки и в итоге собираете из качественных частей идеальный финальный продукт.
Заключение.
Итак, теперь в вашем арсенале есть три мощные стратегии для работы со сложными задачами:
Chain-of-Thought – чтобы заставить модель рассуждать и сделать ее "мысли" прозрачными.
Self-Consistency – чтобы перепроверить результат через "мнение большинства" и повысить надежность.
Decomposition – чтобы управлять большими проектами, разбивая их на выполнимые шаги.
Мы изучили фундаментальные и продвинутые стратегии, которые применимы к работе с любыми нейросетями. Теперь, вооружившись этим мощным инструментарием, мы готовы погрузиться в специфику работы с разными типами моделей. В следующей большой части нашей книги мы подробно разберем, как применять все эти знания для генерации первоклассных текстов для любых целей.
Часть II: Промт инжиниринг для текстовых моделей.