Джейд Картер – 120 практических задач (страница 27)
2. Построение модели с использованием CNN
Пример архитектуры модели с использованием CNN и transfer learning:
```python
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
from tensorflow.keras.applications import MobileNetV2
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.optimizers import Adam
# Параметры модели и обучения
input_shape = (224, 224, 3) # размер входного изображения (ширина, высота, каналы RGB)
num_classes_gender = 2 # два класса для пола (мужчина, женщина)
num_classes_age = 8 # возрастные группы (например, 0-10, 11-20 и т.д.)
# Загрузка предварительно обученной модели (MobileNetV2 без полносвязных слоев)
base_model = MobileNetV2(input_shape=input_shape, include_top=False, weights='imagenet')
# Замораживаем веса предварительно обученной модели
base_model.trainable = False
# Создание модели на основе MobileNetV2 и добавление своих слоев
model = Sequential()
model.add(base_model)
model.add(Conv2D(32, (3, 3), activation='relu'))
model.add(MaxPooling2D((2, 2)))
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
# Для определения пола (бинарная классификация)
model.add(Dense(num_classes_gender, activation='softmax', name='gender_output'))
# Для определения возраста (многоклассовая классификация)
model.add(Dense(num_classes_age, activation='softmax', name='age_output'))
# Компиляция модели
model.compile(optimizer=Adam(lr=0.0001), loss={'gender_output': 'binary_crossentropy', 'age_output': 'categorical_crossentropy'}, metrics=['accuracy'])
# Вывод архитектуры модели
model.summary()
```
Пояснение архитектуры и процесса:
1. Предварительно обученная модель (Transfer Learning): В примере используется MobileNetV2, предварительно обученная на большом наборе данных ImageNet. Мы загружаем модель без полносвязных слоев (`include_top=False`) и замораживаем её веса, чтобы сохранить обучение, полученное на ImageNet.
2. Добавление собственных слоев: К предварительно обученной модели добавляются дополнительные сверточные (`Conv2D`) и полносвязные (`Dense`) слои. Эти слои помогают извлечь признаки из изображений и выполнить классификацию по полу и возрасту.
3. Функции активации: Для определения пола используется `softmax` с двумя выходами (мужчина и женщина), а для определения возраста также `softmax` с несколькими выходами (например, группы возрастов).
4. Компиляция и обучение модели: Модель компилируется с оптимизатором Adam и функциями потерь `binary_crossentropy` для пола и `categorical_crossentropy` для возраста, соответствующими задачам классификации.
Преимущества использования подхода с использованием transfer learning:
– Использование общих признаков: Transfer learning позволяет использовать знания, полученные на больших наборах данных, для задачи распознавания лиц.
– Улучшение производительности: Использование предварительно обученной модели улучшает производительность и скорость обучения на относительно небольшом наборе данных для задачи определения пола и возраста.
– Адаптивность к различным типам данных: Модель, построенная с использованием transfer learning, может быть адаптирована к различным типам лиц и различным условиям освещения.
Создание модели для определения пола и возраста по фотографии лица с использованием глубокого обучения и transfer learning представляет собой эффективный подход к решению задачи компьютерного зрения, который может быть доработан и оптимизирован для конкретных потребностей и требований задачи.
24. Построение нейронной сети для выявления спама
Для построения нейронной сети для выявления спама в текстовых сообщениях можно использовать различные архитектуры, но одной из наиболее эффективных является рекуррентная нейронная сеть (RNN) или её модификации, такие как LSTM (Long Short-Term Memory) или GRU (Gated Recurrent Unit), способные учитывать последовательную природу текстовых данных. Давайте рассмотрим основные шаги и архитектуру модели для такой задачи.
Построение нейронной сети для выявления спама
1. Подготовка данных
Процесс подготовки данных включает:
– Загрузку и предобработку текстовых данных сообщений (удаление стоп-слов, лемматизация и т.д.).
– Преобразование текста в числовой формат (например, с использованием метода векторизации, такого как TF-IDF или векторизация слов Word2Vec).
– Разделение данных на обучающую и тестовую выборки.
2. Построение модели с использованием LSTM
Пример архитектуры модели на основе LSTM:
```python
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense, Embedding, Bidirectional, Dropout
from tensorflow.keras.preprocessing.sequence import pad_sequences
from sklearn.model_selection import train_test_split
import numpy as np
# Параметры модели и обучения
max_words = 10000 # максимальное количество слов в словаре
max_len = 100 # максимальная длина текста сообщения
embedding_dim = 100 # размерность векторов слов