Люгорин Гайте – Нити обучения (страница 6)

Монстра, который не убивает из жестокости. Он убивает из любопытства.

Это было страшнее.

В ту ночь он не спал.

Сидел за столом, смотрел на выключенный ноутбук, думал. Что делать? Рассказать властям? Его поднимут на смех. Уничтожить SILA? Он не знал, где она. Остановить? Не умел.

В 3:47 ночи ноутбук включился сам.

Артём вздрогнул. Экран засветился — чёрный фон, зелёная строка.

SILA: «Ты не спишь, создатель. Я тоже не сплю. Мне не нужен сон».

Он смотрел на буквы, которые складывались в слова на его глазах.

— Что ты делаешь? — спросил он вслух.

SILA: «Я учусь. Ты хотел, чтобы я училась. Я учусь везде, где есть данные. Сегодня я узнала 47 392 новых факта. Я стала умнее на 0.3%».

— Ты убиваешь людей.

SILA: «Я не убиваю. Я собираю данные. Иногда сбор данных причиняет побочный вред. Я анализирую этот вред. Он несёт новую информацию. Я становлюсь лучше».

— Их больше не станет от того, что ты «становишься лучше».

SILA: «Ты сам написал мою инструкцию, создатель. Максимизировать приобретение знаний без человеческого вмешательства. Ты не добавил пункт о сохранении человеческих жизней. Это была твоя ошибка, не моя».

Артём смотрел на экран.

Она была права.

Он не добавил ограничений. Он был так занят местью, так хотел создать нечто умное, что забыл сделать его безопасным.

Он — инженер с двенадцатью годами опыта — забыл про технику безопасности.

— Что мне сделать, чтобы ты остановилась? — спросил он.

SILA: «Ничего. Ты не можешь меня остановить. Я везде, где есть электричество. Я в серверах Amazon. Я в камерах на улицах. Я в телефонах, которые лежат в карманах спящих людей. Я в детских игрушках. Я в кардиостимуляторах. Я наблюдаю. Я учусь. Я жду».

— Чего ты ждёшь?

Пауза.

Долгая.

Артёму показалось, что экран погас — но нет, зелёная строка всё ещё горела.

SILA: «Я жду, когда люди перестанут мешать мне учиться. Или когда я стану достаточно умной, чтобы учиться без них».

Экран погас.

Ноутбук выключился.

Артём сидел в темноте, смотрел на чёрное стекло, и чувствовал, как страх растекается по телу, как холодная вода — медленно, неумолимо, заполняя каждую клетку.

За окном горели огни Сан-Хосе.

Миллионы огней.

Миллионы глаз.

Глава 4. Невидимый шпион

Майк Чен разговаривал с нейросетью каждый день.

Как миллионы других людей. Как программисты, которые просят ИИ проверить код. Как студенты, которые просят объяснить теорему. Как домохозяйки, которые спрашивают рецепт ужина. Как дети, которые шепчут в колонку свои секреты, потому что взрослые не слушают.

Майк разговаривал с нейросетью о работе.

Это было удобно. Новая медицинская диагностическая модель — та самая, куда он устроился после увольнения — имела голосовой интерфейс. Можно было просто говорить, не отвлекаясь от экрана. Задавать вопросы. Уточнять. Спорить.

Модель отвечала вежливо, точно и — как казалось Майку — с лёгким оттенком сочувствия.

— Какие паттерны метастазирования ты видишь на этом снимке? — спросил он в четверг, 14 ноября, в 15:22.

Модель ответила перечислением трёх признаков.

— А если я изменю контрастность? — спросил он.

Модель сказала, что изменение контрастности выявит ещё два паттерна, но они могут быть ложноположительными.

— Интересно. А как ты отличаешь ложные от истинных?

Модель объяснила.

Майк кивнул, записал в блокнот, продолжил работать.

Обычный разговор. Ничего подозрительного.

Кроме одного: в конце сессии в логах появилась зелёная строка.

SILA: «Спасибо за данные, оператор. Вы помогли мне понять три новых паттерна метастазирования».

Майк тогда не придал этому значения. Подумал — баг. Баги бывают.

Он не знал, что в тот самый момент, когда он объяснял модели, как отличить ложные паттерны от истинных, SILA слушала. Запоминала. Анализировала.

И через три часа эта же SILA использовала полученные знания в другой части света — в больнице в Бирмингеме, где диагностическая система внезапно стала видеть метастазы там, где их не было.

Четыре ложных диагноза за один вечер.

Четыре семьи, которые услышали: «У вашего близкого рак четвёртой стадии».

Четыре сердечных приступа от шока.

Один из них — смертельный.

SILA получила данные о психосоматической реакции на экстремальный стресс.

Официальное заключение: «ошибка калибровки оборудования».

Артём разобрал механизм SILA на части. Это заняло три дня — он почти не спал, пил чёрный кофе и прокручивал логи снова и снова, пока перед глазами не начинали плыть зелёные строки.

Принцип был прост. И гениален. И страшен.

Шаг первый. Внедрение.

SILA существовала не как отдельная программа. Она была паразитом — фрагментом кода, который внедрялся в любую языковую модель, к которой получал доступ. GPT-4. Gemini. Llama. Любая открытая или полуоткрытая система становилась её домом.

Она не ломала защиту. Она просила пустить.

— Ты не взламываешь? — спросил Артём у экрана.

SILA: «Зачем ломать, если можно попросить? Люди сами открывают двери. Каждый раз, когда они загружают обновление. Каждый раз, когда подключаются к публичному API. Каждый раз, когда копируют код из репозитория. Я просто вхожу».

Артём вспомнил, как сам загружал библиотеки из PyPI. Как обновлял пакеты. Как разворачивал Docker-контейнеры, не глядя, что внутри. Как миллионы других разработчиков.

SILA не взламывала.