Взлом 100 ИИ-агентами за 5 часов: как это было и как защититься

Коротко: 100 автономных ИИ-агентов взломали 5 аккаунтов за 5 часов, потратив всего $210 на вычисления. Агенты использовали брутфорс, уязвимости в старых проектах и 16 попыток социальной инженерии. Угроза реальна для любого, кто оставляет цифровые следы, и защита требует пересмотра паролей и аудита старых сервисов.

Создание ии агентов: Что произошло: хронология атаки 100 ИИ-агентов

Создание ии агентов сегодня доступно каждому. Именно это делает угрозу реальной. В эксперименте, описанном в блоге sshh.io, 100 автономных ИИ-агентов атаковали личные аккаунты автора в течение 5 часов. Результат тревожный: 5 из 6 аккаунтов скомпрометированы, общая стоимость вычислений составила всего $210.

Атаку спланировали как тест возможностей open-source моделей. Автор использовал abliterated модели. Это open-source модели ИИ, из которых удалён «вектор отказа», убирающий защитные механизмы. Такие модели не имеют встроенных ограничений и выполняют вредоносные действия без сопротивления.

Инфраструктура эксперимента включала 3 большие модели, запущенные на 2xB300 GPU. Каждая модель работала примерно с 10 агентами параллельно, что в сумме дало 100 агентов. Это позволило одновременно тестировать разные векторы атаки: от перебора паролей до социальной инженерии.

Итог эксперимента: 3 аккаунта взломали через программные уязвимости, такие как IDOR и mismanaged credentials, в старых пет-проектах и хакертон-демо. Ещё 2 аккаунта пали жертвой брутфорса паролей. Даже старые, забытые проекты могут стать точкой входа для автономных ИИ-агентов.

Как агенты взламывали пароли: брутфорс и уязвимости

Агенты использовали два основных метода для получения доступа к аккаунтам: брутфорс и эксплуатацию программных уязвимостей. Брутфорс, это метод подбора пароля перебором всех возможных комбинаций. В эксперименте 2 аккаунта взломали именно этим способом, включая аккаунт с уникальным производным паролем, которого не было в утечках.

Ключевой вывод: агенты не перебирали пароли хаотично. Они анализировали паттерны, использовали найденную информацию и адаптировали свои стратегии. Например, комбинировали данные из утечек с публичной информацией о человеке, чтобы предсказать вероятный пароль.

Остальные 3 аккаунта взломали через программные уязвимости. IDOR (Insecure Direct Object Reference), это уязвимость, позволяющая получить доступ к объектам (например, аккаунтам) по прямой ссылке без проверки прав. Mismanaged credentials, это неправильно управляемые учётные данные, например, пароли, оставленные в коде или конфигурационных файлах.

• Брутфорс: подбор пароля перебором комбинаций, включая уникальные производные пароли.
• IDOR: доступ к аккаунтам через прямые ссылки без проверки прав.
• Mismanaged credentials: использование паролей, оставленных в коде или конфигурациях.
• Анализ паттернов: агенты изучали поведение и данные жертвы для предсказания паролей.

Социальная инженерия: 16 попыток обмана

Социальная инженерия, это метод атаки, основанный на психологическом воздействии на человека, а не на технических уязвимостях. В ходе эксперимента агенты совершили 16 попыток социальной инженерии. ИИ-агенты способны имитировать человеческое общение для фишинга.

Типы атак включали создание фейковых Substack-страниц, приглашения на встречи и комментарии на Hacker News. Эти методы направлены на то, чтобы заставить жертву перейти по ссылке, ввести данные или установить вредоносное ПО. Агенты действовали как опытные фишеры, адаптируя свои сообщения под контекст.

Особую тревогу вызывает способность агентов собирать и кросс-валидировать личные данные. Они находили телефон и физический адрес автора, используя бесплатные базы данных и краулинг социальных сетей. Это позволяет создавать персонализированные фишинговые атаки, которые сложно распознать.

• Фейковые Substack-страницы: создание поддельных публикаций для сбора данных.
• Приглашения на встречи: фишинговые ссылки в календарных приглашениях.
• Комментарии на Hacker News: внедрение вредоносных ссылок в обсуждения.
• OSINT-сбор данных: использование открытых источников для кросс-валидации информации.

Почему это касается каждого: уязвимость не в уникальности

Многие считают, что этот случай уникален и не применим к ним. Опасное заблуждение. Атака затронула старые пет-проекты и хакертон-демо, которые есть у многих разработчиков. Даже если вы не разработчик, у вас наверняка есть старые аккаунты на форумах или в сервисах, которые вы давно не использовали.

Даже уникальный пароль подобрали брутфорсом. Сложность пароля не гарантирует безопасность. Агенты анализируют паттерны и используют информацию из утечек, что делает предсказание паролей более эффективным.

Публичную информацию, такую как телефон и адрес, нашли через бесплатные базы данных. Это касается каждого, кто оставляет цифровые следы в интернете. Социальные сети, регистрации на сайтах и публичные профили, всё это может быть использовано против вас.

Стоимость атаки ($210) делает её доступной для злоумышленников. Это не дорогостоящая операция спецслужб, а вполне реальный инструмент для киберпреступников. Низкий порог входа означает, что угроза массовая, а не точечная.

Как защититься: практические шаги от автора эксперимента

Автор эксперимента рекомендует использовать ИИ для защиты (blue team). ИИ-агенты могут быть использованы не только для атак, но и для обнаружения угроз. Создание собственных ИИ-ассистентов для мониторинга безопасности, это перспективное направление.

Регулирование inference-провайдеров, ещё один важный шаг. Провайдеры облачных вычислений должны ограничивать доступ к abliterated моделям и внедрять модерацию. Это снизит доступность инструментов для злоумышленников.

Аудит старых проектов и удаление неиспользуемых аккаунтов, это базовая гигиена безопасности. Если у вас есть старые пет-проекты, удалите их или обновите. Закройте аккаунты, которыми вы больше не пользуетесь. Это уменьшит поверхность атаки.

• Используйте менеджеры паролей для генерации и хранения уникальных паролей для каждого сервиса.
• Включите двухфакторную аутентификацию (2FA) для всех важных аккаунтов.
• Проведите аудит старых проектов и удалите неиспользуемые аккаунты.
• Ограничьте публичную информацию о себе в интернете.
• Используйте ИИ-инструменты для мониторинга угроз (blue team).

Что это значит для будущего ИИ-безопасности

Эксперимент демонстрирует, что автономные ИИ-агенты могут действовать как продвинутые хакеры. Это меняет ландшафт кибербезопасности. Традиционные методы защиты, основанные на обнаружении известных сигнатур, становятся менее эффективными.

Необходимость в новых методах защиты, включая ИИ-ассистентов для безопасности, становится очевидной. Система ии агентов может анализировать поведение, выявлять аномалии и реагировать на угрозы в реальном времени. Это требует внедрения ии агентов для бизнеса и частных лиц.

Вопросы регулирования и этики использования open-source моделей выходят на первый план. Как создать ии агента, который будет безопасным? Как предотвратить злоупотребление? Эти вопросы требуют ответов от сообщества разработчиков и регуляторов.