Зубков Андрей – Как понять нейросеть: секреты мышления ИИ (страница 6)
Практический вопрос для пользователя — как прикинуть, поместится ли задача в контекстное окно выбранной модели. Точного подсчёта «на глаз» обычно не получится, потому что модели считают объём не в словах и не в символах, а в более мелких единицах текста. Но оценивать всё равно можно, если мыслить не числами, а объёмами и рисками.
Полезная логика такая:
1) Сначала мысленно соберите «пакет текста», который модели нужно учитывать одновременно: исходные требования, данные, примеры, ограничения, плюс текущий запрос. Если вы хотите, чтобы модель строго следовала правилам, эти правила должны быть внутри окна именно в тот момент, когда она пишет ответ.
2) Добавьте к этому предполагаемый размер ответа. Если вы просите «подробно», «с примерами», «на 2 страницы», вы заранее занимаете значительную часть окна будущим ответом — и тем самым уменьшаете место для истории и исходных условий.
3) Оцените длину истории диалога. Если вы уже много раз уточняли одно и то же, вставляли черновики, просили переписать текст, то вы, возможно, уже близко к пределу. В такой ситуации даже правильный запрос может не сработать, потому что важные куски оказались в начале и уже не помещаются.
Один рабочий сценарий. Допустим, вы ведёте диалог, чтобы подготовить резюме. В начале вы дали вводные: должность, опыт, список проектов, ограничения («без личных данных», «до одной страницы», «деловой тон»). Дальше вы 15 раз просили переписать пункты, добавляли новые версии, обсуждали формулировки и вставляли целые абзацы текста.
В какой-то момент вы пишете: «Собери финальную версию и обязательно оставь только одну страницу». Модель выдаёт текст на две страницы и добавляет детали, которые вы просили не упоминать.
Если рассуждать через контекстное окно, картина такая: длинная история с черновиками и правками заняла почти всё доступное место. Начальные правила («до одной страницы», «без личных данных») оказались в самом старом фрагменте и «выпали». Внутри окна остались последние обсуждения формулировок и ваш финальный запрос, но без исходных ограничений. Поэтому модель честно делает то, что видит: собирает «финальную версию», но не может опереться на правила, которые больше не присутствуют в её текущем контексте.
Что можно унести из этой главы:
- Контекстное окно — это лимит текста, который модель учитывает сейчас; в него входит запрос, история диалога и генерируемый ответ.
- В длинных переписках начало часто перестаёт влиять на ответы, потому что выходит за пределы окна, и это выглядит как «забывание».
- Оценивайте вместимость задачи так: что должно быть перед глазами модели одновременно + какой длины вы просите ответ + насколько разрослась история; если важное было в начале, есть риск, что оно уже не учитывается.
Глава 11. Почему модель «забывает» сказанное ранее
Частая ситуация: вы долго обсуждаете задачу с нейросетью, постепенно уточняете детали, договариваетесь о стиле и ограничениях. А потом в какой-то момент модель внезапно предлагает решение, будто этих договорённостей не было: меняет формат, забывает важное условие, снова задаёт вопрос, на который уже отвечали. Возникает ощущение, что она «не слушает» или «не помнит», хотя раньше всё шло нормально.
Ключевой принцип простой: модель видит не весь диалог, а только его последнюю часть и отвечает, опираясь на то, что поместилось в её «контекстное окно». Контекстное окно — это ограниченный объём текста, который модель учитывает прямо сейчас. Когда диалог становится длинным, самые ранние сообщения перестают помещаться и фактически перестают влиять на ответ.
Это «забывание» происходит не потому, что модель решила игнорировать вас. Оно связано с обрезкой старых сообщений: системе нужно уместить входной текст в ограничение по длине, и при переполнении из рассмотрения выпадают первые куски переписки. В результате качество ответа меняется предсказуемо: модель начинает опираться на более свежие реплики, а не на исходные требования.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.