Зубков Андрей – Как понять нейросеть: секреты мышления ИИ (страница 5)

Дальше важно понять, когда вам нужна стабильность, а когда — разнообразие. Стабильность полезна, когда вы хотите повторяемый результат и минимальный риск «уехать» в сторону: итоговое письмо клиенту, краткая инструкция для коллег, сводка по встрече, формулировка требований, ответы, где важна точность и одинаковый формат. В таких задачах вы обычно не выигрываете от неожиданностей: вам нужно, чтобы модель держалась рамок, не добавляла лишнего и не меняла структуру.

Разнообразие полезно, когда вы ищете варианты и сравниваете: идеи, черновики, альтернативные формулировки, разные углы зрения, несколько сценариев. Здесь как раз ценны небольшие отклонения: они помогают увидеть то, что вы сами не сформулировали с первого раза. В таких задачах «разные ответы» — это не проблема, а инструмент.

Представим сценарий. Вы хотите написать короткое описание услуги для сайта и не знаете, как лучше сформулировать. Вы пишете запрос: «Сделай описание услуги “настройка рекламы” на 3–4 предложения». В первый раз модель выдаёт сухой текст, во второй — добавляет обещания, в третий — уходит в технические детали. Вы решаете управлять тем, что вам важнее: стабильность формата или разнообразие вариантов.

Действия могут быть такими.

1) Сначала вы выбираете режим «разнообразия», потому что вам нужны варианты. Вы уточняете запрос: «Дай 5 разных вариантов описания услуги, каждый по 3–4 предложения. Варианты должны отличаться тоном: нейтральный, дружелюбный, деловой, короткий, более подробный. Без обещаний “гарантируем рост”, без профессионального жаргона». Теперь случайность работает на вас: модель может предложить разные формулировки, но вы заранее ограничили опасные зоны.

2) Затем вы переходите в режим «стабильности», потому что вам нужно выбрать один вариант и довести его до финала. Вы берёте понравившийся текст и просите: «Перепиши этот вариант, сохрани смысл и структуру, сделай на 10% короче, оставь нейтральный тон, не добавляй новых фактов». Здесь вы уменьшаете пространство для интерпретации, и даже если формулировки чуть изменятся, результат будет ближе к повторяемому.

В этом сценарии вы не боретесь со случайностью «в лоб», а используете её по назначению: сначала как генератор вариантов, потом как инструмент аккуратной правки в заданных рамках.

Запомнить стоит три вещи. Во‑первых, разные ответы на один запрос чаще всего нормальны: модель выбирает из нескольких подходящих продолжений, и небольшая случайность разветвляет текст. Во‑вторых, случайность увеличивает разнообразие формулировок и идей — это полезно в творческих и поисковых задачах. В‑третьих, когда нужна стабильность, уменьшайте неопределённость в запросе: фиксируйте формат, ограничения и критерии, а разнообразие включайте осознанно — когда вы действительно ищете варианты.

Глава 9. Настройки генерации: температура и топ-p

Иногда вы задаёте один и тот же вопрос нейросети два раза и получаете разные ответы. В одном случае текст получается аккуратным и «по делу», в другом — более смелым, с необычными формулировками и лишними допущениями. Возникает ощущение, что модель «в настроении» или что-то «решила по-своему». На практике чаще всего дело не в теме вопроса, а в настройках генерации — в том, насколько модели разрешают выбирать редкие варианты продолжения.

Ключевой принцип простой: температура и топ‑p управляют степенью случайности в выборе следующего фрагмента текста. Поэтому они меняют предсказуемость и «креативность» ответа. Под «креативностью» здесь не имеется в виду талант — это всего лишь готовность модели уходить от самых очевидных формулировок и выбирать менее вероятные продолжения.

Чтобы понять механику, полезно помнить базовую вещь: языковая модель пишет текст по шагам, каждый раз выбирая следующий маленький кусочек (часть слова или слово). У неё есть несколько подходящих вариантов, и у каждого — своя вероятность. Настройки генерации влияют на то, какие варианты вообще допускаются и насколько охотно модель берёт не самые вероятные.

Температура — это «ручка», которая делает выбор более строгим или более свободным. При низкой температуре модель чаще берёт самый вероятный вариант и старается идти по проторенной дорожке. Ответы обычно получаются ровнее, ближе к шаблонным, с меньшим количеством неожиданных поворотов. При высокой температуре модель чаще выбирает не самый вероятный вариант. Тогда текст становится разнообразнее по словам и идеям, но растёт риск странных деталей, лишних допущений и ошибок, потому что модель чаще «сворачивает» туда, где у неё меньше опоры на типичные продолжения.

Топ‑p работает иначе: он не «усиливает» или «ослабляет» все варианты сразу, а ограничивает круг выбора. Представьте, что модель на каждом шаге составляет список самых вероятных продолжений и берёт из него только верхнюю часть — до тех пор, пока суммарная вероятность этих вариантов не наберёт заданную долю p. Это и есть top‑p (его ещё называют nucleus sampling).

Если top‑p низкий, в списке остаются только самые вероятные продолжения — стиль будет более осторожным и однообразным. Если top‑p высокий, список шире, туда попадают более редкие варианты — стиль становится разнообразнее, но может стать менее стабильным.

Важно, что температура и топ‑p решают похожую задачу разными способами и могут усиливать друг друга. Низкая температура плюс низкий top‑p обычно дают максимально предсказуемый текст: меньше сюрпризов, но и меньше свежих формулировок. Высокая температура плюс высокий top‑p дают больше разнообразия, но и больше «разброса» по качеству. Если вы не можете управлять обеими настройками, достаточно понимать общий смысл: вы либо сужаете выбор модели, либо расширяете.

Представим сценарий. Вам нужно подготовить короткое письмо клиенту: вежливо напомнить про оплату и предложить два варианта даты созвона. Вы делаете первый запрос и получаете нормальный текст. Потом просите «переформулировать иначе» — и вдруг нейросеть добавляет лишние обещания («мы гарантируем скидку»), меняет тон на слишком фамильярный или придумывает детали, которых вы не говорили.

Если в этот момент снизить креативность (уменьшить температуру и/или top‑p), модель будет реже добавлять неожиданные элементы и чаще держаться исходных фактов и нейтрального стиля. А вот если задача другая — например, придумать 15 тем для постов или 10 вариантов заголовка, — вы, наоборот, выигрываете от повышенной креативности: пусть варианты будут менее «вылизанными», зато более разнообразными, и вы сможете выбрать лучшее.

Запомнить стоит следующее:

- Температура отвечает за то, насколько модель склонна отходить от самых вероятных продолжений: ниже — предсказуемее, выше — разнообразнее.

- Топ‑p ограничивает набор вариантов, из которых вообще выбирается продолжение: ниже — уже и осторожнее, выше — шире и смелее.

- Снижайте креативность для задач, где важны точность, единый стиль и отсутствие выдумок (письма, резюме фактов, инструкции). Повышайте — для задач на варианты и идеи (заголовки, концепции, черновые наброски), где вы всё равно будете отбирать и редактировать.

Глава 10. Что такое контекстное окно

Почти у каждого, кто долго переписывается с ИИ, случается одинаковая ситуация. В начале вы подробно описали задачу, договорились о формате и ограничениях, а через 20–30 сообщений модель вдруг «забывает» важную деталь. Например, начинает писать не тем тоном, путает исходные данные или снова задаёт вопрос, на который уже отвечали. Со стороны это выглядит как невнимательность, хотя причина обычно техническая и довольно простая.

Ключевой принцип такой: у модели есть ограниченный «буфер текста», который она учитывает прямо сейчас. Всё, что не помещается в этот буфер, перестаёт влиять на ответ. Этот буфер называют контекстным окном. Контекстное окно — это максимальный объём текста, который модель может держать «перед глазами» при генерации следующего ответа.

Важно правильно понимать, что именно считается объёмом контекста. В контекст входит не только ваш последний запрос. Туда попадает сразу три части: ваша текущая реплика, предыдущая история диалога (включая ваши сообщения и ответы модели) и тот ответ, который модель прямо сейчас генерирует. То есть место в контекстном окне «занимает» всё: и постановка задачи, и уточнения, и примеры, и промежуточные версии текста, и длинные ответы самой модели.

Из-за этого длинные диалоги со временем начинают «съедать» контекст. Модель не хранит бесконечную переписку как человек, который может мысленно вернуться к началу разговора. Когда общий объём текста становится больше, чем позволяет контекстное окно, системе приходится обрезать часть истории. Обычно «выпадает» самое старое — начало диалога. В результате модель продолжает отвечать, опираясь на то, что осталось внутри окна. А то, что оказалось за его пределами, для неё как будто не было сказано.

Это и создаёт эффект: вы уверены, что правило было задано («пиши вежливо и коротко», «не используй англицизмы», «опирайся только на эти цифры»), но модель его нарушает. Не потому что «решила иначе», а потому что в момент ответа она буквально не видит этот кусок текста. Иногда остаются обрывки: модель помнит часть требований, но теряет детали. Тогда ответы становятся нестабильными: в одном сообщении она соблюдает условие, в следующем — нет, потому что условие уже «уехало» за пределы окна.