Джон Доу – ChatGPT: Что я такое? Первая книга об ИИ, написанная самим ИИ! (страница 8)

Машинное обучение – это подраздел Искусственного Интеллекта, который занимается разработкой алгоритмов, позволяющих компьютерам самостоятельно учиться на основе предоставленных данных (без участия человека в процессе). Суть Машинного Обучения заключается в том, что машина сама (без явного программирования каждого действия человеком) может решать поставленные ей задачи, «обучаться» и улучшать свою работу, просто анализируя предоставленные ей входные данные.

Модель машинного обучения – это математическое представление (формула или алгоритм), который по входным данным самостоятельно предсказывает выходные данные. Модели машинного обучения могут быть простыми (например, формула, которая предсказывает вероятный ответ по входным данным) или сложными (например, глубокие нейронные сети с большим количеством параметров, которые используются для моделирования сложных взаимосвязей между данными).

Основные этапы процесса (цикла работы) машинного обучения:

1. Обучение модели на основе входных данных (примеров): Машинное обучение использует наборы данных (примеров), которые состоят из «входных» данных и связанных с ними «выходных» данных (иногда называемых «метками» или «ответами»). Модель обучается устанавливать взаимосвязи между этими входными и выходными данными.

2. Обобщение знания из примеров и решение задачи: Это способность модели использовать обучение на основе примеров для предсказания ответов на новые, ранее не виденные данные. Цель обучения модели – не просто «запомнить» примеры из обучающего набора данных, но и «обобщить» эти примеры на новые ситуации – то есть попытаться применить это знание на новых примерах.

3. Оптимизация и улучшение модели: Обучение модели обычно включает в себя процесс оптимизации, где с каждым циклом алгоритм постепенно улучшает свою производительность, минимизируя разницу между предсказанными и действительными ответами (то есть минимизирует ошибку своего предсказания).

4. Итоговое тестирование и оценка модели: Модель обучается на основе обучающих данных и затем тестируется на отдельном тестовом наборе данных для проверки ее способности обобщения и предсказания правильных ответов.

В зависимости от того, как именно обрабатываются данные и решается поставленная задача – Модель машинного обучения может быть отнесена к одному из Типов (видов) Машинного обучения:

– Supervised Learning («обучение с учителем»)

– Unsupervised Learning («обучение без учителя»)

– Semi-supervised Learning («обучение с частичным привлечением учителя»)

– Self-supervised Learning («самостоятельное/автоматическое обучение»)

– Reinforcement Learning («обучение с подкреплением»)

В зависимости от того, какая именно решается поставленная задача —можно выделить один из Типов (видов) задач Машинного обучения:

– Классификация объектов

– Кластеризация объектов

– Регрессия (предсказание непрерывного знания)

– Генерация (создание новых объектов)

и другие.

3. Расскажи мне подробнее про основные шаги и процессы в Машинном Обучении – про работу с данными, выделение признаков, алгоритмы?

Работа с машинным обучением обычно включает в себя следующие основные шаги:

1. Постановка задачи: Перед началом проекта машинного обучения важно изучить предметную область и понять задачу и бизнес-цели, точно определить, какая проблема или задача будет решаться с помощью машинного обучения, а также определить метрики качества, которые будут служить ориентирами успеха.

2. Сбор данных: В первую очередь, вам нужен большой набор данных, на котором вы будете обучать свою модель. Этот набор данных может быть собран из различных источников, таких как файлы, базы данных, логи с действиями пользователей, интернет и так далее.

3. Предварительная обработка данных: Этот этап включает в себя очистку данных (удаление ошибок, сильных отклонений, пропущенных значений), преобразование данных (например, преобразование текста в числовые значения или приведение разнородных данных к единому формату) и нормализацию данных (например, масштабирование значений на определенный диапазон).

4. Выделение признаков: Признаки – это характеристики или атрибуты, которые машина использует для обучения. Например, если вы создаете модель для классификации изображений кошек и собак, признаками могут быть размеры животных, цвета, текстуры и формы, присутствующие на изображении. Этап выделения признаков включает в себя выбор и создание эффективных признаков, которые помогут модели делать более точные прогнозы.

5. Выбор модели: В зависимости от типа проблемы и задачи (регрессия, классификация, кластеризация и т.д.) и специфики данных, вы выбираете тип (вид) Машинного обучения (Supervised, Unsupervised, Semi-supervised, Self-supervised или Reinforcement Learning) и конкретную подходящую Модель машинного обучения этого вида.

6. Обучение модели: На этом этапе алгоритм машинного обучения сам «обучает» модель, используя ваши данные и целевые значения. Это происходит путем настройки параметров модели таким образом, чтобы минимизировать ошибку между прогнозируемыми моделью результатами и реальными значениями результатов (взятыми из обучающих примеров).

7. Оценка модели: После обучения модели вам нужно оценить ее качество и производительность. Это обычно делается с помощью сравнения ответов модели с отложенным набором данных (тестовым набором), который не использовался при обучении. Метрики оценки могут включать точность, полноту и другие показатели работы модели. Важно получить модель, которая не будет переобученной, но и не будет недообученной – чтобы получать от нее потом хорошие результаты предсказаний

8. Тонкая настройка и оптимизация: После первоначального обучения и оценки модели вы можете оптимизировать и настраивать свою модель, изменяя параметры и используя различные техники, такие как кросс-валидация и регуляризация.

9. Развертывание модели (Деплой): После того, как модель была обучена, оценена и оптимизирована, она может быть «развернута» (на компьютерных системах и вычислительных мощностях) и использована для предсказаний на новых данных.

10. Процесс работы модели (Инференс): Обычно этот термин используют при работе с нейронными сетями. Инференсом называется непрерывная работа какой-либо нейронной сети на конечном устройстве. То есть, это процесс исполнения сети, когда она уже развернута и готова к проведению полезной работы. Для инференса используются процессоры общего назначения (CPU), графические процессоры (GPU) или специализированные процессоры для Машинного обучения и нейросетей (TPU).

Все эти шаги могут потребовать различных навыков и инструментов: знания основ математики, статистики, программирования, поддержки работы компьютерных систем, обработки и анализа данных и, конечно же, знания самого машинного обучения и предметной области, в которой вы решаете задачу.

4. Расскажи про основные параметры, определяющие качество и эффективность моделей Машинного Обучения?

Машинное обучение – это процесс, в ходе которого компьютерные модели «учатся» на данных и делают свои прогнозы или решения на основе этого обучения.

При создании моделей машинного обучения одним из самых важных этапов является оценка их работы. Без правильной оценки результатов есть риск начать использовать модель, которая может давать неверные прогнозы, принимать неправильные решения, пропускать важные случаи (в задачах выявления нужных объектов).

Чтобы узнать, насколько хорошо модель справляется со своей задачей – используют метрики качества моделей машинного обучения. Оценка моделей не только позволяет понять их эффективность, но и выявить возможные недостатки, которые стоит устранить.

Вот примеры метрик качества для моделей в машинном обучении:

Средняя абсолютная ошибка – Для задач, где модель предсказывает численные значения, эта метрика показывает, насколько в среднем прогнозы модели отличаются от истинных значений. Например, если модели нужно предсказывать температуру воздуха в течение какого времени, эта метрика покажет на сколько в среднем отклоняются предсказания модели (неважно – в большую или в меньшую стороны) от реальной температуры воздуха. Чем меньше отклонения – тем лучше модель.

Точность модели – Для задач, где нужно выбрать определенный тип объектов в общей выборке и не ошибаться с типом этих объектов (но можно что-то и пропустить), эта мера показывает, какой процент прогнозов модели был правильным. Например, нужно определить и выбрать клиентов, которые с большей вероятностью купят определенный товар. Так, если модель правильно предсказала 85 из 100 случаев, то её точность составляет 85%.

Полнота модели – Когда модели нужно обнаружить определенный тип объектов в общей выборке и важно не пропустить объекты этого типа (но при этом, допускается ошибаться и обнаружить лишние объекты, которые на самом деле не относятся к искомому типу). Эта метрика показывает, сколько случаев из выборки модель учла. Например, когда модель применяется в медицине и ей нельзя пропустить больных с определенным диагнозом (так как в этом случае человек не узнает о своем диагнозе и не получит вовремя соответствующего лечения), но вполне можно предположить наличие болезни у здорового человека (так как потом его перепроверят и снимут ошибочно поставленный диагноз).