Марк Тьюрин – Нейросети без мусора: Как отличать качество от генеративного шума (страница 2)

Ответ, черновик и готовый материал

Одна из причин разочарования в нейросетях — ожидание от первого ответа статуса готового продукта. Но ответ, черновик и готовый материал решают разные задачи.

Ответ — это реакция на запрос. Он помогает сориентироваться, увидеть возможные направления, получить первичную структуру или набор гипотез. Ответ может быть полезен даже при неполноте, если пользователь понимает его статус.

Черновик — заготовка под конкретный результат. В нём уже есть адресат, цель, формат и материал, который можно редактировать. Но черновик всё ещё требует проверки фактов, адаптации к контексту, удаления лишнего и восполнения пробелов.

Готовый материал — текст, который можно использовать по назначению без скрытой работы, переложенной на читателя. У него есть соответствующая задача, проверенные утверждения, понятный следующий шаг, нужный уровень детализации и подходящий формат.

Один и тот же текст может быть хорошим ответом и плохим готовым материалом. Набор из десяти идей для заголовка — полезный ответ на просьбу «помоги найти направление», но не готовая рекламная кампания. Перечень возможных причин задержки — хороший черновик для диагностики, но не заключение по конкретному проекту. Список вопросов для встречи — часть подготовки, но не план самой встречи.

Перед оценкой ответа полезно назначить ему статус. Для этого достаточно добавить к запросу одну из формулировок:

«Дай первичный список гипотез, не выдавая его за окончательное решение».

«Составь рабочий черновик с местами, которые нужно проверить».

«Подготовь готовый текст для публикации; не добавляй непроверенные факты и обозначь все места, требующие данных от меня».

Это не гарантирует качества, но снижает риск принять промежуточный материал за результат. Нейросеть может создать текст с окончательной интонацией даже тогда, когда содержательно лишь перебирает варианты. Пользователь должен сам определить, какую работу ответ уже сделал, а какую оставил ему.

Разбор первого текста Марины

Вернёмся к материалу об обратной связи. Его полезно разбирать не по впечатлению, а по слоям.

Начало: «Обратная связь является важным инструментом развития команды».

Что здесь утверждается? Только то, что обратная связь важна. Для читателя это не меняет решения: он не узнал, кому, о чём и в какой момент нужно говорить. Предложение можно удалить без потери содержания.

Следующий фрагмент: «Эффективная обратная связь должна быть своевременной, конкретной и направленной на развитие».

Здесь появились критерии. Но «своевременная» может означать в тот же день, на еженедельной встрече или после завершения этапа. «Конкретная» — это описание наблюдаемого действия, срока, результата или последствий? «Направленная на развитие» — предложение обучения, изменение процесса или требование повторить попытку? Термины обозначают правильные направления, но не имеют операционного смысла.

Дальше в тексте был пример: руководитель должен не говорить «вы плохо справились», а описать ситуацию и предложить обсудить улучшения. Это уже ближе к применению. Однако пример всё ещё неполон. Не указано, что именно произошло, какой результат ожидался, как сформулировать расхождение и какое решение должно появиться после разговора.

После редактирования этот фрагмент мог бы выглядеть так:

«Начните с наблюдаемого факта: “В отчёте за март три показателя были перенесены на два рабочих дня после согласованного срока”. Затем отделите факт от оценки: не называйте сотрудника безответственным и не предполагайте причину задержки. Спросите: “Что помешало передать данные в срок?” После ответа согласуйте одно изменение процесса — например, промежуточную проверку за день до дедлайна — и зафиксируйте дату следующего контроля».

Здесь нет особой риторической красоты. Зато есть объект разговора, граница между фактом и оценкой, последовательность и проверяемый итог. Такой фрагмент можно применить без дополнительного перевода с общего языка на рабочий.

Первый текст Марины не нужно было полностью выбрасывать. В нём можно было сохранить тему, тон и некоторые общие принципы. Но статус следовало изменить: это не готовая статья, а сырьё для практического материала. Чтобы превратить его в статью, потребовались бы как минимум четыре операции.

Сначала нужно было выбрать конкретного читателя. Руководитель небольшой команды, наставник новичка и специалист по персоналу сталкиваются с разными разговорами и обладают разными полномочиями.

Затем — определить тип результата. Статья могла дать сценарий разговора, алгоритм подготовки или разбор типичной ошибки. Одновременно охватить все варианты без потери глубины не получилось бы.

После этого потребовалось бы заменить ценностные слова наблюдаемыми действиями: «поддерживать доверие» превратить в «не обсуждать личные качества, фиксировать факты и завершать разговор одной договорённостью».

Наконец, нужно было обозначить границы применимости. Разговор о единичной ошибке отличается от разговора о повторяющемся нарушении сроков; к ним нельзя применять один и тот же шаблон.

Скрипты для проверки нейросетевого текста

Ниже приведены не готовые универсальные запросы, а короткие рабочие формулировки, которые помогают изменить режим работы с текстом.

Если получен гладкий общий материал, попросите:

«Не переписывай текст. Для каждого абзаца укажи, какое решение он помогает принять или какое действие запускает. Если абзац не выполняет ни одной из этих функций, пометь его как общий».

Если в тексте есть советы, запросите:

«Разверни каждый совет в формате: кто выполняет действие; в какой ситуации; что делает первым шагом; какой результат фиксирует; что делать, если условие не выполнено».

Если есть сомнение в конкретике:

«Отдели фактические утверждения от оценок, общих принципов и примеров. Для каждого фактического утверждения укажи, какие данные нужны для проверки. Не добавляй источники, которых нет в исходных материалах».

Если текст предназначен для публикации:

«Проверь, соответствует ли материал заявленному формату. Отдельно перечисли, что уже можно публиковать, что является черновой гипотезой, а какие места требуют решения автора».

Если нужен не обзор, а действие:

«Перепиши материал так, чтобы после каждого смыслового блока читатель понимал следующий шаг. Не добавляй мотивационные фразы и общие выводы без инструкции».

Эти формулировки полезны тем, что переводят оценку из области вкуса в область функции. Они не спрашивают, «хорошо ли написан текст», а требуют установить, какую работу выполняет каждый фрагмент.

Тест на действие

Самая короткая проверка качества — убрать заголовок, вступление и заключение, а затем спросить: что конкретно сможет сделать читатель после этого текста?

Ответ должен содержать наблюдаемое действие. Не «лучше понимать тему», не «осознать важность», не «получить представление», а, например:

составить список исходных данных;

выбрать один из двух вариантов;

провести разговор по заданной последовательности;

проверить документ по критериям;

написать письмо с указанной структурой;

отказаться от неподходящего решения и объяснить почему.

Если действие не формулируется, текст, вероятно, пока работает как обзор или разминка, а не как практический материал.

Есть и более строгая версия теста. Представьте, что читатель закрыл текст через пять минут. Что он запишет на листе? Если ответом будут только ключевые слова вроде «доверие», «конкретика», «системность» и «развитие», материал не перевёл идеи в рабочую форму. Если на листе появляется последовательность действий, критерий выбора или шаблон результата, текст уже приближается к полезному.

Короткое упражнение

Возьмите любой ответ нейросети объёмом от пяти до десяти абзацев. Не редактируйте его и не перечитывайте целиком. Выполните четыре шага.

Первый шаг. В одной строке запишите исходную задачу: что требовалось получить, для кого и в каком формате.

Второй шаг. Рядом с каждым абзацем обозначьте его функцию одним словом: факт, вывод, пример, инструкция, ограничение, переход или общий фон.

Третий шаг. Для каждого абзаца-инструкции допишите: «После этого читатель…» — и завершите фразу действием. Если продолжение получается абстрактным, поставьте рядом знак вопроса.

Четвёртый шаг. Удалите все абзацы, которые не содержат факта, выбора, действия, ограничения или необходимого перехода. Затем посмотрите, что осталось.

Упражнение не измеряет качество полностью. Оно показывает, сколько текста было нужно для движения к результату, а сколько лишь создавало ощущение полноты. Часто после удаления половины абзацев становится видна настоящая проблема: в исходном ответе не было центрального решения.

Типичные ошибки при оценке гладкого текста

Первая ошибка — исправлять стиль раньше содержания. Пользователь меняет заголовок, сокращает предложения, добавляет подзаголовки, просит сделать тон живее. Текст становится ещё приятнее, но его задача остаётся невыполненной. Сначала нужно выяснить, какое решение должен поддержать материал, и только потом полировать форму.

Вторая ошибка — требовать больше примеров вместо лучшего примера. Если в тексте отсутствует логика, десять дополнительных ситуаций лишь размножат неопределённость. Сначала нужен один пример, в котором видны исходные условия, действие и результат. После этого можно решать, нужны ли ещё варианты.