Александр Иванов – Python в аудио-спецэффектах. Как работают нейросети изнутри. (страница 2)

Потом я скачал предобученную нейросетевую модель шумоподавления — RNNoise, разработанную командой Mozilla. Она была крошечной, меньше мегабайта. Я подал на вход ту же самую запись. И услышал голос. Чистый, ясный, живой голос. Как будто человек сидел не на шумной кухне, а в студии с дорогим микрофоном. Никакой бочки. Никакой глухоты. Никаких артефактов. Только голос и тишина.

Я помню, как откинулся на спинку стула и несколько секунд просто смотрел в потолок. Я потратил недели на реализацию классических алгоритмов. Я понимал каждую строчку своего кода. Я знал, почему спектральное вычитание даёт музыкальный шум, почему гейт обрезает концы фраз, почему адаптивный фильтр не справляется с нестационарным шумом. И вот пришла крошечная нейросеть, которая ничего не знала о спектрах, фильтрах и теореме Найквиста — она просто смотрела на тысячи примеров шумной и чистой речи и училась делать из первого второе. И делала это лучше меня.

Это был переломный момент. Я понял, что нейросети — это не просто ещё один инструмент. Это другой уровень мышления о звуке. Классические алгоритмы опираются на наше понимание физики и математики звука. Мы проектируем фильтр, потому что знаем, как он влияет на частоты. Мы вычитаем спектр шума, потому что знаем, что шум стационарен. Нейросеть же не знает ничего. Она просто смотрит на данные и находит закономерности, которые мы, возможно, даже не можем сформулировать. И часто эти закономерности работают лучше наших теорий.

Но — и это важное «но» — слепая вера в нейросети так же опасна, как и их игнорирование. Нейросеть может научиться удалять шум, но может научиться и удалять полезный сигнал. Она может дать потрясающий результат на одних данных и полностью провалиться на других. Понимание того, что происходит внутри модели, критически важно. Нельзя просто взять готовую модель и надеяться на лучшее. Нужно знать, как она училась, на каких данных, какие у неё ограничения.

Именно этому и посвящена третья книга. Не просто запуску готовых моделей, а пониманию. Мы будем не только использовать нейросети, но и заглядывать внутрь: смотреть на функции потерь, анализировать кривые обучения, визуализировать активации. Мы будем задавать вопросы: почему модель ошиблась? что она выучила? можно ли ей доверять? И мы будем писать свои модели — простые, понятные, но работающие.

Это третья ступень. Первая книга сделала вас практиком. Вторая — инженером. Третья сделает вас исследователем. Тем, кто не боится технологий будущего, потому что понимает их изнутри.

Поехали.

Введение. Почему нейросети — это не магия

О чём эта книга

Откройте любой современный аудиоредактор. Найдите в нём функцию «шумоподавление». Скорее всего, вы увидите два варианта: классический и нейросетевой. Классический — это ползунки, пороги, параметры, которые нужно настраивать. Нейросетевой — одна кнопка. Нажали — шум исчез. Нажали ещё раз — и ваш голос звучит так, будто вы записывались в профессиональной студии, а не на кухне с воющим холодильником.

Теперь откройте любой сервис синтеза речи. Напечатайте текст. Выберите голос. Нажмите «озвучить». Через несколько секунд вы получите аудиофайл, в котором человеческий голос произносит ваш текст — с интонациями, паузами, естественными придыханиями. Вы можете дать послушать другу, и он не догадается, что это синтез.

Откройте приложение для видеозвонков. Оно убирает эхо, шум стройки за окном, лай собаки и плач ребёнка — всё в реальном времени, без задержки. Ваш собеседник слышит только ваш голос, чистый и ясный.

Всё это работает благодаря нейросетям. И всё это кажется магией. Вы нажимаете кнопку — получаете результат. Что происходит внутри? Непонятно. Почему результат такой хороший? Тоже непонятно. Почему иногда он всё-таки плохой? Тем более непонятно.

Эта книга написана для того, чтобы магия перестала быть магией. Чтобы нейросетевая обработка звука стала для вас не чёрным ящиком, а понятным инструментом. Таким же понятным, каким стали фильтры и свёртки после второй книги. Таким же привычным, каким стала нормализация громкости после первой.

Мы не будем погружаться в математические глубины машинного обучения на уровне исследовательских статей. Но мы не будем и просто запускать готовые модели, не понимая их устройства. Мы пойдём по среднему пути — тому самому, который сработал в первых двух книгах. Мы будем понимать достаточно, чтобы осмысленно применять нейросети, диагностировать проблемы и адаптировать модели под свои задачи. И мы будем писать код, который делает реальную работу со звуком.

Три уровня работы со звуком

В первой книге мы были практиками. У нас была задача: убрать шум, выровнять громкость, смонтировать подкаст. Мы брали готовые функции — librosa.effects.split, nr.reduce_noise, pyln.normalize.loudness — и получали результат. Мы не знали, что внутри, но мы знали, как применить. Это первый уровень: использование.

Во второй книге мы стали инженерами. Мы заглянули под капот. Мы узнали, что шумоподавление — это спектральное вычитание, что изменение голоса — это манипуляции со спектрограммой, что компрессор — это отслеживание огибающей и умножение на коэффициент усиления. Мы написали свои версии этих алгоритмов. Мы научились проектировать фильтры и синтезировать звук. Это второй уровень: понимание.

В третьей книге мы станем создателями нового. Мы узнаем, как работают нейросетевые алгоритмы, которые превосходят классические. Мы научимся обучать модели, которые убирают шум лучше спектрального вычитания, разделяют источники лучше адаптивных фильтров и синтезируют речь, неотличимую от человеческой. Мы не будем просто вызывать готовые модели — мы будем понимать их архитектуру, готовить для них данные, обучать и оценивать качество. Это третий уровень: создание интеллектуальных систем.

Эти три уровня не заменяют, а дополняют друг друга. Практик знает, какую кнопку нажать. Инженер знает, что за этой кнопкой происходит. Создатель знает, как сделать кнопку, которой ещё нет.

Что такое нейросеть на самом деле

Прежде чем мы начнём, давайте разберёмся с главным. Нейросеть — это не мозг. Это не искусственный интеллект в научно-фантастическом смысле. Это не существо, которое думает и осознаёт себя. Нейросеть — это математическая функция. Очень большая, очень сложная, с миллионами параметров, но — функция. Она принимает на вход числа и выдаёт на выходе числа.

В чём же отличие нейросети от обычной функции, скажем, от фильтра? Фильтр мы проектируем сами. Мы решаем: вот здесь будет частота среза, вот здесь — крутизна спада, вот такие коэффициенты. Мы понимаем, почему фильтр работает именно так. Нейросеть же никто не проектирует вручную. Её параметры — те самые миллионы чисел — находятся автоматически, в процессе обучения. Мы показываем нейросети тысячи примеров входных и выходных данных, и она постепенно подстраивает свои параметры так, чтобы для каждого входа выдавать правильный выход.

В этом и сила, и слабость нейросетей. Сила в том, что они могут научиться решать задачи, для которых у нас нет хороших алгоритмов. Мы не знаем, как точно описать правило удаления шума из произвольной записи — слишком много разных шумов и разных голосов. Но мы можем собрать тысячи примеров зашумлённых и чистых записей и показать их нейросети. И она найдёт закономерности, которые мы, возможно, даже не можем сформулировать словами.

Слабость в том, что мы не всегда понимаем, чему именно научилась нейросеть. Она может найти закономерность, которая работает на обучающих данных, но не работает в реальном мире. Она может научиться удалять не только шум, но и тихие согласные, которые похожи на шум. Она может «переобучиться» — запомнить обучающие примеры наизусть вместо того, чтобы вывести общее правило. Поэтому просто взять готовую модель недостаточно — нужно понимать, как она устроена и на каких данных обучена.

Почему нейросети победили в обработке звука

Классические алгоритмы обработки звука основаны на математических моделях. Мы предполагаем, что шум стационарен — и применяем спектральное вычитание. Мы предполагаем, что реверберация линейна — и применяем свёртку. Мы предполагаем, что голосовой сигнал периодичен на коротких интервалах — и применяем автокорреляцию для определения высоты тона.

Эти предположения работают. Но они работают не всегда. Реальный мир сложнее наших моделей. Шум не всегда стационарен — проезжающая машина или хлопок дверью меняют его характер за миллисекунды. Реверберация не всегда линейна — в маленькой комнате с мебелью отражения ведут себя сложнее, чем в пустом соборе. Голос не всегда периодичен — шёпот и придыхания не имеют основного тона вообще.

Нейросети не делают предположений. Они не знают, что такое стационарность, линейность или периодичность. Они просто смотрят на данные. Если в данных есть закономерность, нейросеть её выучит. Неважно, можем ли мы описать эту закономерность формулой. Неважно, понимаем ли мы её физический смысл. Если тысячи примеров показывают, что после определённого паттерна на спектрограмме идёт другой паттерн, нейросеть это запомнит и воспроизведёт.

Это не означает, что классические алгоритмы умерли. Они по-прежнему полезны, когда данных мало, когда нужна предсказуемость и интерпретируемость, когда важна скорость и малые вычислительные ресурсы. Но для задач, где качество важнее всего, нейросети сегодня — бесспорные лидеры.