Денис Соломатин – Искусственный интеллект от А до Б (страница 23)

Термин «базовые модели» используется для обозначения как больших языковых моделей, так и больших мультимодальных моделей. Обратите внимание, что CLIP не является генеративной моделью – он не был обучен генерировать открытые выходные данные. CLIP – это встраиваемая модель, обученная производить совместное встраивание текстов и изображений. В статье «Введение во встраивание» на стр. 134 подробно обсуждаются встраивания. На данный момент встраивания можно рассматривать как векторы, целью которых является захват значений исходных данных. Мультимодальные модели встраивания, такие как CLIP, являются основой генеративных мультимодальных моделей, таких как Flamingo, LLaVA и Gemini (ранее Bard).

Базовые модели также знаменуют собой переход от моделей, специфичных для конкретных задач, к моделям общего назначения. Раньше модели часто разрабатывались для конкретных задач, таких как анализ тональности или перевод. Модель, обученная анализу тональности, не сможет выполнять перевод, и наоборот.

Модели фундаментов, благодаря своим масштабам и способу их обучения, способны выполнять широкий спектр задач. Готовые модели общего назначения могут относительно хорошо работать для многих задач. Магистр права может заниматься как анализом тональности, так и переводом. Тем не менее, часто можно настроить модель общего назначения, чтобы максимизировать ее производительность при выполнении конкретной задачи. Представьте, что вы работаете с розничным продавцом над созданием приложения для создания описаний продуктов для их веб-сайта. Готовая модель может быть способна генерировать точные описания, но может не улавливать голос бренда или выделять его сообщение. Сгенерированные описания могут быть даже полны маркетинговых речей и клише.

Существует несколько методов, которые вы можете использовать, чтобы заставить модель генерировать то, что вы хотите. Например, вы можете составить подробную инструкцию с примерами желаемых описаний товаров. Такой подход является оперативным проектированием. Модель можно подключить к базе данных отзывов клиентов, которую модель может использовать для создания более качественных описаний. Использование базы данных в дополнение к инструкциям называется извлеченной дополненной генерацией (RAG). Вы также можете выполнить тонкую настройку (дальнейшее обучение) модели на основе набора данных с высококачественными описаниями продуктов.

Оперативное проектирование, RAG и тонкая настройка – это три очень распространенных метода проектирования ИИ, которые вы можете использовать для адаптации модели к своим потребностям. В оставшейся части книги все они будут подробно рассмотрены.

Адаптировать существующую мощную модель к задаче, как правило, намного проще, чем создавать модель для задачи с нуля – например, десять примеров и один уик-энд против 1 миллиона примеров и шести месяцев. Базовые модели удешевляют разработку приложений ИИ и сокращают время выхода на рынок. Какой именно объем данных необходим для адаптации модели, зависит от используемого метода. В этой книге также будет затронут этот вопрос при обсуждении каждой техники. Тем не менее, у моделей для конкретных задач есть еще много преимуществ, например, они могут быть намного меньше, что делает их более быстрыми и дешевыми в использовании.

Создавать собственную модель или использовать существующую – это классический вопрос, на который командам придется ответить самостоятельно. Обсуждения на протяжении всей книги могут помочь в принятии этого решения.

Инженерия искусственного интеллекта – это процесс создания приложений поверх моделей фундаментов. Люди создают приложения ИИ уже более десяти лет – процесс, часто известный как ML-инженерия или MLOps (сокращение от ML operations). Почему мы говорим об искусственном интеллекте сейчас?

Если традиционная инженерия машинного обучения включает в себя разработку моделей машинного обучения, то инженерия искусственного интеллекта использует существующие. Наличие и доступность мощных базовых моделей приводят к трем факторам, которые в совокупности создают идеальные условия для быстрого роста инженерии ИИ как дисциплины:

Фактор 1: Возможности ИИ общего назначения.

Базовые модели эффективны не только потому, что они могут лучше справляться с существующими задачами. Они также мощные, потому что могут выполнять больше задач. Приложения, которые ранее считались невозможными, теперь возможны, и появляются приложения, о которых раньше не думали. Даже приложения, которые не считались возможными сегодня, могут стать возможными завтра. Это делает ИИ более полезным для большего количества аспектов жизни, значительно увеличивая как пользовательскую базу, так и спрос на приложения ИИ.

Например, поскольку ИИ теперь может писать так же хорошо, как и человек, иногда даже лучше, ИИ может автоматизировать или частично автоматизировать каждую задачу, требующую общения, а это практически все. ИИ используется для написания электронных писем, ответов на запросы клиентов и объяснения сложных контрактов. Любой, у кого есть компьютер, имеет доступ к инструментам, которые могут мгновенно генерировать персонализированные высококачественные изображения и видео для создания маркетинговых материалов, редактировать профессиональные снимки головы, визуализировать художественные концепции, иллюстрировать книги и так далее. ИИ можно даже использовать для синтеза обучающих данных, разработки алгоритмов и написания кода, и все это поможет обучать еще более мощные модели в будущем.

Фактор 2: Увеличение инвестиций в ИИ.

Успех ChatGPT вызвал резкий рост инвестиций в ИИ, как со стороны венчурных капиталистов, так и со стороны предприятий. По мере того, как приложения ИИ становятся дешевле в создании и быстрее выходят на рынок, отдача от инвестиций в ИИ становится все более привлекательной. Компании спешат внедрить ИИ в свои продукты и процессы. Мэтт Росс, старший менеджер по прикладным исследованиям в Scribd, рассказал мне, что предполагаемая стоимость ИИ для его сценариев использования снизилась на два порядка с апреля 2022 года по апрель 2023 года.

По оценкам Goldman Sachs Research, к 2025 году инвестиции в ИИ могут приблизиться к 100 миллиардам долларов в США и 200 миллиардам долларов во всем мире. ИИ часто упоминается в качестве конкурентного преимущества. FactSet обнаружила, что каждая третья компания S&P 500 упомянула ИИ в своих отчетах о прибылях и убытках за второй квартал 2023 года, что в три раза больше, чем годом ранее.

По данным WallStreetZen, компании, которые упомянули ИИ в своих отчетах о прибылях и убытках, увидели рост цены своих акций больше, чем те, которые этого не делали: в среднем на 4,6% по сравнению с 2,4%. Неясно, является ли это причинно-следственной связью (ИИ делает эти компании более успешными) или корреляцией (компании успешны, потому что быстро адаптируются к новым технологиям).

Фактор 3: Низкий порог входа для создания приложений ИИ.

Подход «модель как услуга», популяризированный OpenAI и другими поставщиками моделей, упрощает использование ИИ для создания приложений. При таком подходе модели предоставляются через API, которые получают запросы пользователей и возвращают выходные данные модели. Без этих API использование модели ИИ требует инфраструктуры для размещения и обслуживания этой модели. Эти API предоставляют доступ к мощным моделям через единый API.

Мало того, искусственный интеллект также позволяет создавать приложения с минимальным кодированием. Во-первых, ИИ может писать код за вас, позволяя людям без опыта разработки программного обеспечения быстро превращать свои идеи в код и предлагать их своим пользователям. Во-вторых, вы можете работать с этими моделями на простом английском языке, а не использовать язык программирования.

Из-за ресурсов, необходимых для разработки базовых моделей, этот процесс возможен только для крупных корпораций (Google, Meta, Microsoft, Baidu, Tencent), правительств (Япония, ОАЭ) и амбициозных, хорошо финансируемых стартапов (OpenAI, Anthropic, Mistral). В интервью в сентябре 2022 года Сэм Альтман, генеральный директор OpenAI, сказал, что самой большой возможностью для подавляющего большинства людей будет адаптация этих моделей для конкретных приложений.

Мир быстро воспользовался этой возможностью. Инженерия искусственного интеллекта быстро превратилась в одну из самых быстрых и, вполне возможно, самых быстрорастущих инженерных дисциплин. Инструменты для разработки ИИ набирают обороты быстрее, чем любые предыдущие инструменты разработки программного обеспечения. Всего за два года четыре инструмента разработки искусственного интеллекта с открытым исходным кодом (AutoGPT, Stable Diffusion eb UI, LangChain, Ollama) уже собрали больше звезд на GitHub, чем Bitcoin. Они находятся на пути к тому, чтобы превзойти даже самые популярные фреймворки для веб-разработки, включая React и Vue, по количеству звезд.

Опрос LinkedIn, проведенный в августе 2023 года, показывает, что количество специалистов, добавляющих в свой профиль такие термины, как «Генеративный ИИ», «ChatGPT», «Быстрая разработка» и «Быстрое создание», увеличивалось в среднем на 75% каждый месяц. ComputerWorld заявил, что «обучение ИИ поведению является самым быстрорастущим навыком в карьере».