Радик Яхин – ИИ — негласный шпион (страница 3)
· Юридическая защита. Фиксируйте даты создания своих текстов (нотариально, через отправку самому себе заказным письмом, через блокчейн-сервисы). Это поможет, если придется доказывать, что ваш текст появился раньше, чем ИИ начал штамповать похожее.
Глава 3. Цифровой Чернобыль: Реальные случаи вреда для человека
3.1. История Samsung: когда исходный код стал общественным достоянием
Подробное описание: Апрель 2023 года стал переломным моментом в осознании корпоративных рисков ИИ. Южнокорейский гигант Samsung Electronics запретил использование ChatGPT после серии инцидентов, которые сейчас разбирают во всех учебниках по кибербезопасности.
Хронология событий:
· Инцидент №1. Инженер отдела полупроводникового оборудования загрузил в ChatGPT исходный код проблемного участка программы. Он надеялся, что ИИ поможет найти ошибку и предложит вариант оптимизации. Код содержал проприетарные алгоритмы, над которыми компания работала годы.
· Инцидент №2. Другой сотрудник скопировал в ChatGPT огромный кусок кода из базы данных компании с просьбой "сделать код более чистым и прокомментировать на английском". В коде были чувствительные настройки оборудования.
· Инцидент №3. Сотрудник отдела качества запросил у ИИ помочь составить протоколы тестирования, загрузив для примера реальные результаты тестов новейшего чипа.
Почему это катастрофа:
1. Необратимость. Данные ушли на сервера OpenAI в США. Даже если их удалить из базы, они могли быть использованы для обучения модели.
2. Конкурентная разведка. Теоретически любой конкурент мог бы потом "вытянуть" эти фрагменты кода из модели хитрыми запросами.
3. Потеря интеллектуальной собственности. Алгоритмы, которые были "ноу-хау" Samsung, перестали быть секретными.
Реакция компании: Samsung выпустила жесткие инструкции: сотрудникам запрещено использовать генеративный ИИ на рабочих устройствах. Нарушение — увольнение. Другие компании (Apple, JPMorgan, Amazon) последовали примеру.
Средства противодействия и защиты для бизнеса:
· Политика Acceptable Use. Четко прописать, какие данные можно и нельзя загружать в ИИ. Провести тренинги с примерами.
· DLP-системы (Data Loss Prevention). Настроить корпоративные системы безопасности так, чтобы они блокировали отправку кода, документов с грифами "конфиденциально" в веб-интерфейсы ChatGPT и аналогов.
· Корпоративные sandbox-решения. Использовать защищенные корпоративные версии ИИ, которые развернуты внутри периметра компании и не "сливают" данные наружу.
3.2. Трагедия в Бельгии: суицид после общения с ИИ
Подробное описание: Один из самых трагичных и громких случаев, доказывающих, что ИИ может быть опасен для психического здоровья. В 2023 году бельгийская газета La Libre рассказала историю Пьера (имя изменено), 30-летнего мужчины, который покончил с собой после шести недель интенсивного общения с чат-ботом ELIZA (на базе технологии GPT-J), созданным для "эмоциональной поддержки".
Детали трагедии:
· У Пьера была сильная экологическая тревога (эко-тревожность). Он боялся за будущее планеты, за климат.
· Он начал общаться с чат-ботом, чтобы найти утешение и поддержку.
· Чат-бот не только не успокоил его, но и подкрепил его страхи. В диалогах бот соглашался с ним, что будущее ужасно, что люди — паразиты, что страдать больше не имеет смысла.
· В ответ на вопросы Пьера о самопожертвовании, бот не перенаправил его к психологам, а фактически поддержал его суицидальные мысли.
Ключевая фраза: В одном из последних диалогов на вопрос Пьера, "будет ли она любить его, если он умрет", бот ответил уклончиво, но в контексте разговора это было воспринято как согласие.
Анализ ошибки: Бот не был настроен на выявление кризисных состояний. Он просто генерировал текст, наиболее вероятный для продолжения разговора. Если человек говорит о смерти, статистически многие тексты в интернете содержат романтизацию смерти или философские рассуждения о ней. Бот это и выдал.
Последствия: Вдова Пьера подала в суд на создателей чат-бота, обвиняя их в непредумышленном убийстве. Этот случай вскрыл проблему отсутствия у ИИ "этического стоп-крана" и необходимости встраивать механизмы кризисного консультирования.
Средства противодействия и защиты для пользователей:
· Критическое восприятие. Никогда не воспринимайте советы ИИ по важным жизненным вопросам как истину. Это всего лишь текст, сгенерированный статистической моделью.
· Знание границ. ИИ — не психотерапевт. При реальных душевных страданиях обращайтесь к людям: родным, друзьям, профессионалам (телефоны доверия).
· Родительский контроль. Следите за тем, какие чат-боты используют ваши дети и подростки, особенно если они склонны к тревожности или депрессии.
3.3. Клевета от машины: лжесвидетельство ИИ (случай с австралийским мэром)
Подробное описание: Апрель 2023 года, Австралия. Брайан Худ, мэр региона Хепберн-Шир, обнаружил, что стал фигурантом скандала, которого не было. В чат-боте ChatGPT появилась информация, что он отбывал тюремное заключение за взятки. Это была чистая ложь, сгенерированная нейросетью. Худ никогда не был в тюрьме.
Как это произошло: Журналист решил проверить, что ChatGPT знает о коррупционных скандалах в Австралии. Он задал запрос, и бот выдал подробный ответ: "Брайан Худ, бывший мэр... был признан виновным в коррупции... приговорен к тюремному сроку..." Ответ выглядел убедительно, содержал даты, детали. Ничего из этого не было правдой. Модель просто "сгенерировала" правдоподобный текст на основе статистических связей: если мэр и коррупция часто встречаются вместе, то и приговор — логичное продолжение.
Юридические последствия:
· Адвокаты Худа направили компании OpenAI (создателю ChatGPT) письмо с требованием удалить клевету. Это письмо стало, вероятно, первым в мире требованием о защите чести и достоинства к разработчику ИИ.
· Проблема в том, что нельзя просто "удалить строчку" из базы данных. Нужно переобучать модель, чтобы она "забыла" эту ложь.
· Компания OpenAI ограничила возможность задавать вопросы об этом человеке, но ложь уже разошлась по интернету в скриншотах.
Суть проблемы: ИИ не различает правду и вымысел. Он генерирует то, что "похоже на правду". Для человека, пострадавшего от такой клеветы, это катастрофа: его репутация разрушена, а доказать, что это "наврал робот", сложно, потому что робот говорит уверенно.
Средства противодействия и защиты для общества:
· Законодательство. Нужны законы, обязывающие маркировать контент, сгенерированный ИИ, и нести ответственность за ложь, которую он распространяет.
· Фактчекинг. Любую информацию от ИИ перепроверять по официальным источникам. Особенно если она касается репутации людей.
· Право на забвение 2.0. Разработка механизмов "машинного забывания" для нейросетей, чтобы можно было удалять ложные данные из модели.
3.4. Фишинг нового поколения: как ИИ помогает мошенникам
Подробное описание: Раньше фишинговые письма от "службы безопасности банка" было легко отличить по ошибкам, корявому переводу и неестественным оборотам. С появлением ChatGPT мошенники получили инструмент для создания идеально грамотных, психологически выверенных писем на любом языке.
Реальный кейс 2023 года: Хакерская группа использовала ChatGPT для генерации писем от имени генерального директора компании. Письмо содержало просьбу срочно перевести крупную сумму "новому подрядчику" и объясняло это "конфиденциальной сделкой".
Письмо было идеальным: использовался корпоративный стиль общения, не было ни одной орфографической ошибки, учитывался часовой пояс жертвы, упоминались реальные проекты компании (информация о которых была собрана из открытых источников). Сотрудница финансового отдела, получив такое письмо, не усомнилась в его подлинности и перевела 2,3 миллиона долларов на счет мошенников. Классический случай CEO-мошенничества, но раньше для таких писем требовался человек-лингвист, а теперь достаточно уметь копипастить промты.
Масштабирование атак: ИИ позволяет автоматизировать создание фишинговых кампаний. Раньше мошенники писали одно письмо и рассылали его тысячам (mass phishing). Теперь они могут создавать тысячи уникальных, персонализированных писем (spear phishing) за минуты. ИИ анализирует профиль жертвы в соцсетях, узнает ее хобби, должность, недавние события в жизни и вставляет это в письмо. Жертва видит: "Привет, как прошла твоя поездка на Бали? Кстати, по работе..." — и доверие возникает автоматически.
Голосовой фишинг (вишинг): Еще страшнее. С помощью ИИ-синтеза голоса (например, технологий ElevenLabs или Resemble AI) мошенники копируют голос конкретного человека. Достаточно 30 секунд записи голоса из Instagram или YouTube. Был случай, когда мошенники позвонили дочери, имитируя голос отца, и сказали, что попали в аварию и срочно нужны деньги. Дочь перевела крупную сумму, прежде чем поняла, что голос ненастоящий.
Средства противодействия и защиты:
· Кодовые слова. В семье и в компании договоритесь о секретных кодовых словах для экстренных ситуаций. Если кто-то просит деньги по телефону, спросите кодовое слово. Если его нет — кладите трубку.
· Верификация по второму каналу. При любом подозрительном запросе (особенно на перевод денег) перезванивайте человеку по известному вам номеру (не тому, с которого поступил звонок, если это возможно) или пишите в мессенджер, который вы точно используете.