Павэль Богатов – ИИ (страница 2)
Языковая модель делает то же самое. Только её опыт – это не личная жизнь, а миллиарды предложений из интернета. Она видела «кот сидел на» столько раз, что может вычислить вероятность каждого следующего слова.
Это не поиск в базе данных. Модель не хранит все предложения, которые видела. Она хранит паттерны – сжатые закономерности о том, какие слова с какими сочетаются, в каком контексте, в какой последовательности.
И когда вы даёте ей начало предложения, она вычисляет распределение вероятностей над всеми возможными следующими словами. Затем выбирает одно – с учётом температуры и других параметров, о которых поговорим позже.
Потом предсказывает следующее слово. И ещё одно. И так далее, пока не создаст целый ответ.
Почему это работает не только для котов
Предсказывать следующее слово в «Кот сидел на крыше» – просто. Но что насчёт чего-то сложного?
«Если процентная ставка ФРС вырастет на 0.25%, то влияние на рынок облигаций будет…»
Здесь уже не просто грамматика. Здесь нужно понимать экономику, причинно-следственные связи, текущий контекст рынка. Нужно знать, что процентные ставки обратно коррелированы с ценами облигаций.
И языковая модель это «знает». Не потому, что кто-то запрограммировал в неё правила экономики. А потому, что она видела миллионы текстов, где обсуждались процентные ставки и облигации. Она видела паттерны: какие слова идут после каких, когда речь идёт о монетарной политике.
Она не понимает в человеческом смысле. Но её предсказания основаны на таком количестве данных, что они отражают реальные связи в мире. Потому что язык – это не случайные символы. Это сжатое отражение знания.
Когда люди пишут о том, что процентные ставки влияют на облигации, они используют определённые слова в определённом порядке. И модель улавливает этот порядок.
Это не магия. Это статистика на стероидах. Но масштаб превращает количество в качество.
Что модель видит, когда видит текст
Представьте, что вы никогда не видели слова. Только последовательности символов. Вам дали миллион книг, и вы должны найти закономерности.
Сначала вы заметите, что определённые символы часто идут вместе: «the», «and», «is». Потом – что эти группы повторяются в разных контекстах, но с разными соседями.
Потом заметите, что некоторые группы всегда идут в начале предложения. Другие – после определённых слов. Третьи – меняют форму в зависимости от контекста (cat – cats, run – ran).
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.