Денис Соломатин – Искусственный интеллект от А до Б (страница 27)

Динамические функции постоянно обновляются с учетом отзывов пользователей, в то время как статические функции обновляются периодически. Например, Face ID необходимо обновлять по мере изменения лиц людей с течением времени. Однако обнаружение объектов в Google Фото, скорее всего, обновляется только при обновлении Google Фото.

В случае с искусственным интеллектом динамические функции могут означать, что у каждого пользователя есть своя собственная модель, постоянно настраиваемая на основе его данных, или другие механизмы персонализации, такие как функция памяти ChatGPT, которая позволяет ChatGPT запоминать предпочтения каждого пользователя. Однако статические функции могут иметь одну модель для группы пользователей. В этом случае эти функции обновляются только при обновлении общей модели.

Также важно уточнить роль человека в приложении. Будет ли ИИ оказывать фоновую поддержку людям, принимать решения напрямую или и то, и другое? Например, для чат-бота службы поддержки ИИ ответы могут использоваться по-разному: ИИ показывает несколько ответов, на которые операторы могут ссылаться для написания более быстрых ответов; ИИ реагирует только на простые запросы и направляет более сложные запросы людям; ИИ отвечает на все запросы напрямую, без участия человека.

Вовлечение людей в процессы принятия решений ИИ называется «человек в контуре». Microsoft (2023) предложила фреймворк для постепенного увеличения автоматизации ИИ в продуктах, которые они называют Crawl-Walk-Run: crawl означает, что участие человека является обязательным; walk означает, что ИИ может напрямую взаимодействовать с внутренними сотрудниками; run означает повышенную автоматизацию, потенциально включающую прямое взаимодействие ИИ с внешними пользователями.

Роль человека может меняться со временем по мере улучшения качества системы искусственного интеллекта. Например, в самом начале, когда вы все еще оцениваете возможности ИИ, вы можете использовать его для создания предложений для агентов-людей. Если уровень принятия агентами-людьми высок, например, 95% ответов на простые запросы, предложенных ИИ на простые запросы, используются агентами-людьми дословно, вы можете позволить клиентам напрямую взаимодействовать с ИИ для этих простых запросов.

Если вы продаете приложения ИИ как отдельные продукты, важно учитывать их защиту. Низкий входной барьер – это одновременно и благословение, и проклятие. Если вам легко построить, то и вашим конкурентам тоже легко. Какие рвы у вас есть для защиты вашего продукта?

В некотором смысле, создание приложений на основе моделей фундамента означает создание слоя поверх этих моделей. Это также означает, что, если базовые модели расширяют свои возможности, предоставленный вами слой может быть поглощен моделями, что сделает ваше приложение устаревшим. Представьте себе создание приложения для разбора PDF-файлов на основе ChatGPT, основанного на предположении, что ChatGPT не может хорошо анализировать PDF-файлы или не может делать это в масштабе. Ваша способность конкурировать ослабнет, если это предположение больше не будет верным. Тем не менее, даже в этом случае приложение для анализа PDF-файлов может иметь смысл, если оно построено на основе моделей с открытым исходным кодом, ориентируя ваше решение на пользователей, которые хотят размещать модели внутри компании.

В ИИ обычно есть три типа конкурентных преимуществ: технологии, данные и распространение – способность представить свой продукт пользователям. При использовании базовых моделей основные технологии большинства компаний будут схожими. Преимущество в распространении, скорее всего, принадлежит крупным компаниям.

Преимущество данных имеет больше нюансов. Крупные компании, вероятно, имеют больше существующих данных. Однако, если стартап сможет первым выйти на рынок и собрать достаточно данных об использовании для постоянного улучшения своих продуктов, данные станут для него рвом. Даже в тех сценариях, где пользовательские данные не могут быть использованы для непосредственного обучения моделей, информация об использовании может дать бесценную информацию о поведении пользователей и недостатках продукта, которую можно использовать для руководства процессом сбора данных и обучения.

Было много успешных компаний, чьи оригинальные продукты могли бы быть особенностями более крупных продуктов. Календарь мог бы быть функцией Google Календаря. Mailchimp мог бы быть функцией Gmail. Фотокомната могла бы быть функцией Google Фото. Многие стартапы в конечном итоге обгоняют более крупных конкурентов, начиная с создания функции, которую эти более крупные конкуренты упустили из виду. Возможно, ваш может стать следующим.

Как только вы решили, что вам нужно создать это удивительное приложение с искусственным интеллектом самостоятельно, следующим шагом будет выяснение того, как выглядит успех: как вы будете измерять успех? Самый важный показатель – как это повлияет на ваш бизнес. Например, если это чат-бот службы поддержки клиентов, бизнес-метрики могут включать следующее: какой процент сообщений клиентов вы хотите, чтобы чат-бот автоматизировал? сколько еще сообщений должен разрешить обработать чат-бот? насколько быстрее вы можете ответить с помощью чат-бота? сколько человеческого труда может сэкономить вам чат-бот?

Чат-бот может ответить на большее количество сообщений, но это не значит, что он сделает пользователей счастливыми, поэтому важно отслеживать удовлетворенность клиентов и отзывы клиентов в целом. Чтобы гарантировать, что продукт не будет представлен клиентам до того, как он будет готов, имейте четкие ожидания относительно порога его полезности: насколько хорошим он должен быть, чтобы быть полезным. Пороговые значения полезности могут включать следующие группы метрик. В частности, метрики качества для измерения качества ответов чат-бота. Метрики задержки, включая TTFT (время до первого токена), TPOT (время на выходной токен) и общую задержку. То, что считается допустимой задержкой, зависит от вашего сценария использования. Если все запросы ваших клиентов в настоящее время обрабатываются людьми со средним временем ответа в час, может быть достаточно чего-то более быстрого. Метрики стоимости: сколько стоит один запрос на вывод. Другие метрики, такие как интерпретируемость и справедливость. Если вы еще не уверены, какие метрики хотите использовать, не волнуйтесь. Остальная часть книги будет посвящена многим из этих показателей.

После того, как вы поставили измеримые цели, вам нужен план для их достижения. Как добраться до целей, зависит от того, с чего вы начнете. Оцените существующие модели, чтобы понять их возможности. Чем прочнее готовые модели, тем меньше работы вам придется выполнять. Например, если ваша цель состоит в том, чтобы автоматизировать 60% тикетов клиентской поддержки, а готовая модель, которую вы хотите использовать, уже может автоматизировать 30% тикетов, то усилия, которые вам нужно приложить, могут быть меньше, чем если бы она вообще не могла автоматизировать тикеты.

Вполне вероятно, что ваши цели изменятся после оценки. Например, после оценки вы можете понять, что ресурсы, необходимые для того, чтобы довести приложение до порога полезности, будут больше, чем его потенциальная отдача, и, следовательно, вы больше не хотите заниматься этим проектом.

При планировании продукта ИИ необходимо учитывать его задачу «последней мили». Первоначальный успех при использовании базовых моделей может ввести в заблуждение. Поскольку базовые возможности моделей фундаментов уже весьма впечатляют, создание увлекательной демонстрации может не занять много времени. Тем не менее, хорошая первоначальная демонстрация не обещает хорошего конечного продукта. На создание демонстрации могут уйти выходные, а на создание продукта уйдут месяцы и даже годы.

Планирование продукта не останавливается на достижении поставленных целей. Нужно подумать о том, как этот продукт может измениться со временем и как его следует обслуживать. Обслуживание продукта ИИ сопряжено с дополнительной проблемой в виде быстрого темпа изменений ИИ. В последнее десятилетие пространство искусственного интеллекта развивается невероятно быстро. Вероятно, он будет продолжать быстро развиваться в течение следующего десятилетия. Строить на основе фундаментных моделей сегодня означает взять на себя обязательство ездить на этом сверхскоростном поезде.

Многие изменения выглядят хорошо. Например, устраняются ограничения многих моделей. Длина контекста становится все длиннее. Выходные данные моделей становятся все лучше. Вывод моделей, процесс вычисления выходных данных с учетом входных данных, становится все быстрее и дешевле.

Однако даже эти положительные изменения могут вызвать неудобства в рабочих процессах. Вам придется постоянно быть начеку и проводить анализ затрат и выгод от каждой инвестиции в технологию. Лучший вариант сегодня может превратиться в худший вариант завтра. Вы можете решить создать модель самостоятельно, потому что это кажется дешевле, чем платить поставщикам моделей только для того, чтобы через три месяца узнать, что поставщики моделей снизили свои цены вдвое, что делает домашнюю модель более дорогим вариантом. Вы можете инвестировать в стороннее решение и адаптировать свою инфраструктуру под него, но поставщик прекратит свою деятельность после того, как не сможет обеспечить финансирование.