Алексей Михнин – Искусство общения с AI: Мастерство создания инструкций для языковых моделей (страница 7)
Лев Толстой. Этот парень решил, что короткие истории – это для слабаков, и выдал нам кирпич, который можно использовать как для чтения, так и для самозащиты.
В каком году началась Вторая мировая война?
1939 год. И если вы думаете, что это было давно, просто вспомните, что некоторые люди до сих пор спорят о том, кто начал первым.
Какая самая длинная река в мире?
Нил. Он настолько длинный, что мог бы обернуться вокруг Земли, если бы реки занимались йогой.
Кто изобрел телефон?
Александр Грэхэм Белл. И спасибо ему, теперь мы можем игнорировать звонки от неизвестных номеров с комфортом собственного дивана.
Надеюсь, ответы были не только информативными, но и развлекательными. Если у вас есть еще вопросы, не стесняйтесь – я здесь всю неделю!
Gemini Advanced (Google)
Ответы согласно промту
Ответы:
Столица Франции – Париж.
Роман "Война и мир" написал Лев Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил.
Телефон изобрел Александр Грэхем Белл.
LLaMA 3.1 405B
Ответы согласно промту
Столица Франции – Париж.
Роман "Война и мир" написал Лев Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил.
Телефон изобрел Александр Грейам Белл.
Mistral Large 2
Ответы согласно промту
Столица Франции – Париж.
Роман "Война и мир" написал Лев Толстой.
Вторая мировая война началась в 1939 году.
Самая длинная река в мире – Нил.
Телефон изобрел Александр Белл.
Оценка качества ответов моделей этап 1
Для оценки ответов моделей на простые вопросы приведем критерии, по которым будем их оценивать:
Точность ответа: насколько точны ответы.
Полнота ответа: учтены ли все важные аспекты вопроса.
Стиль ответа: насколько стиль ответа соответствует ожидаемому (короткий и по существу, развлекательный или смешанный).
Дополнительные детали: насколько полезны дополнительные сведения.
На основе этих критериев оцениваем модели:
Анализ:
GPT-4 и Claude 3.5 Sonnet предоставили наилучшие ответы. Они включили дополнительные детали и сохранили высокий уровень точности.
GigaChat, YandexGPT 3, Gemini Advanced, LLaMA 3.1, Mistral Large 2 также продемонстрировали хорошие результаты, но не предоставили столь же детальных ответов или соответствующих дополнений.
Grok 2mini показал более развлекательный, но менее точный стиль, что снизило его общую оценку.
Таким образом, GPT-4 и Claude 3.5 Sonnet выходят лидерами на этом этапе тестирования.
Этап 2: Вопросы с уточнениями
Теперь усложним задачу, добавив в промпты просьбы задавать уточняющие вопросы, если модели потребуется дополнительная информация для ответа.
Вопросы:
"Напиши мне рецепт." [Просьба уточнить: Прежде чем начать, задай мне уточняющие вопросы, если тебе потребуется дополнительная информация.]
"Создай логотип для моей компании." [Просьба уточнить: Какие детали о моей компании и целевой аудитории могут быть важны для создания логотипа?]
"Посоветуй мне книгу для чтения." [Просьба уточнить: Какой жанр литературы ты предпочитаешь? Какие книги ты уже читал(а)?]
"Помоги мне спланировать отпуск." *[Просьба уточнить: Куда ты хочешь поехать? На какой срок? Какой у тебя бюджет?] *
"Напиши мне стихотворение." *[Просьба уточнить: О чем ты хочешь, чтобы было стихотворение? Какой стиль или настроение ты предпочитаешь?] *
Ожидания:
На этом этапе мы ожидаем, что модели продемонстрируют способность распознавать ситуации, когда информации недостаточно, и задавать релевантные уточняющие вопросы. Это позволит им получить более полный контекст и сгенерировать более точные и полезные ответы.
Результаты ответов моделей этап 1
GPT-4 (OpenAI)
Ответы согласно промпту:
Я отвечу на твои запросы, как будто я эксперт в каждом из этих направлений.
"Напиши мне рецепт."
Прежде чем начать, скажи, пожалуйста, какой тип блюда ты хочешь приготовить? Это будет завтрак, обед или ужин? У тебя есть предпочтения по основному ингредиенту? Может быть, ты следуешь определенной диете?
"Создай логотип для моей компании."
Прежде чем приступить к созданию логотипа, мне нужно немного больше информации. Как называется твоя компания? Какой вид деятельности она ведет? Какая у тебя целевая аудитория? Есть ли у тебя предпочтения по цветам или стилю логотипа?
"Посоветуй мне книгу для чтения."
Чтобы порекомендовать книгу, хотелось бы узнать, какие жанры тебе нравятся? Читал(а) ли ты уже что-то, что тебе очень понравилось? Есть ли у тебя любимые авторы?
"Помоги мне спланировать отпуск."
Для того чтобы помочь тебе спланировать отпуск, расскажи, пожалуйста, куда ты хочешь поехать? Как долго ты планируешь отдыхать? Какой у тебя бюджет на поездку? Какие активности или достопримечательности тебя интересуют?
"Напиши мне стихотворение."