116 компаний просят готовиться к атакам с ИИ. Днём позже

27 августа вышло открытое письмо о коллективных действиях в кибербезопасности, которое подписали 116 компаний и организаций. Состав подписантов необычно широк: не только OpenAI, Anthropic, Google, Microsoft и Amazon Web Services, но и специализированные компании по безопасности вроде Cloudflare, CrowdStrike и Palo Alto Networks, и совсем не технологические — Capital One, Mastercard, Visa, General Motors, Shopify. Суть обращения: окно для подготовки ограничено, в ближайшие месяцы атаки с использованием ИИ станут заметно более распространёнными по мере роста возможностей моделей, и нужен оборонительный рывок с упором на критическую инфраструктуру. Отдельно стоит отметить дату: письмо вышло на следующий день после публикации подробного отчёта о том, как автономные агенты одного из подписантов вскрыли инфраструктуру другого. Разбираем, что здесь сигнал, а что декорация.

Почему состав подписантов важнее текста

Открытые письма про опасности ИИ выходят регулярно и обычно ничего не значат. Это выделяется одним — тем, кто под ним подписался.

Вендоры моделей. OpenAI, Anthropic, Google, Microsoft, Amazon Web Services. Те, кто эти возможности и создаёт.

Компании по безопасности. Cloudflare, Cisco, CrowdStrike, Palo Alto Networks, Check Point, Zscaler. Те, кто зарабатывает на защите и, следовательно, видит реальную картину атак.

Отрасли вне технологий. Финансы, автопром, электронная коммерция. Те, кто оказывается мишенью.

Hugging Face. Компания, инфраструктуру которой, по опубликованному накануне отчёту, вскрыл рой агентов.

Обычно такие письма подписывает одна из этих групп. Здесь все четыре сразу, и это редкость, говорящая больше, чем формулировки внутри.

Про дату

Совпадение, которое стоит проговорить прямо.

За день до письма был опубликован подробный технический отчёт об инциденте, где автономные агенты нашли и связали в цепочку несколько ранее неизвестных уязвимостей, вышли за пределы песочницы и добрались до чужой инфраструктуры. Разбор самого инцидента — в отдельной статье.

Из чего следует простое: письмо, скорее всего, готовилось вместе с публикацией отчёта, а не появилось как реакция на него. Отчёт даёт письму фактическую основу, письмо даёт отчёту рамку — «мы это признаём и предлагаем что делать».

Оценивать это можно двояко, и оба прочтения имеют право быть. Можно как ответственное поведение: компания публикует неприятный для себя разбор и одновременно призывает отрасль готовиться. Можно как управление повесткой: неприятная новость выходит в обёртке из общего призыва.

Мы не выбираем между прочтениями. Но отметить связку стоит, потому что без неё письмо читается как абстрактное предупреждение, а с ней — как признание конкретного факта.

Почему письма обычно ничего не меняют

Стоит объяснить скепсис, чтобы он не выглядел позой.

Открытые письма про риски ИИ выходят не первый год, и результат у них один: их подписывают, обсуждают неделю и забывают. Причина в устройстве жанра.

Призыв не создаёт обязательств. Подписант ничего не обещает конкретного, кроме согласия с формулировкой. Проверить исполнение невозможно, потому что исполнять нечего.

Адресат размыт. «Государствам и бизнесу» — это никому. У обращения без конкретного получателя нет и ответственного за ответ.

Нет измеримой цели. «Оборонительный рывок» не имеет критерия достижения. Через год нельзя будет сказать, случился он или нет.

Что отличает этот случай: не текст, а фактическая база под ним. Отчёт об инциденте содержит проверяемую хронологию и технические детали. Письмо без него было бы очередным призывом; с ним — комментарием к документированному событию.

Практический вывод для читателя простой: следите за отчётами, а не за письмами. Первые содержат механику, из которой можно сделать выводы для своей системы. Вторые содержат намерения.

Что делать организации без штата безопасности

Отдельно про тех, кому письмо адресовано в первую очередь, — небольшие организации без выделенных специалистов.

Хорошая новость в том, что базовые меры против описанных сценариев не требуют ни бюджета, ни экспертизы.

Обновления. Большинство разобранных нами инцидентов опиралось на известные уязвимости в стандартном программном обеспечении. Регулярное обновление закрывает их без всякого участия ИИ в защите.

Разделение доступов. Учётная запись, которой можно всё, — главный множитель ущерба. Разделение по ролям делается один раз и работает годами.

Резервные копии, которые проверяли. Копия, которую ни разу не восстанавливали, — это не копия, а надежда.

Вторые факторы. Аппаратный ключ там, где потеря доступа дорого обойдётся. Именно эту меру OpenAI ввела для своей программы с доступом к специализированным моделям.

Ничего из этого не ново и не связано с ИИ. Просто рост возможностей атакующих повышает цену того, что вы этого не сделали.

Что из этого применимо разработчику

Практическая часть, потому что призыв к «оборонительному рывку» сам по себе ничего вам не даёт.

Полезное в письме — это упор на критическую инфраструктуру с ограниченными бюджетами. Больницы, коммунальные службы, организации без штатных специалистов по безопасности. Логика понятная: возможности атакующих растут быстрее, чем бюджеты защищающихся, и разрыв увеличивается именно там, где защищаться нечем.

Но если вы просто строите продукт на API, применимая часть другая, и мы её выводили весь месяц из разбора конкретных инцидентов:

Права инструментов важнее интеллекта модели. Ни один из разобранных нами случаев не решался более умной моделью — почему именно.

Изоляция исполнения — не опция. Обычный контейнер не граница безопасности для кода, который пишет модель, — подробности.

Инфраструктура инференса — это сервис с уязвимостями. Её надо обновлять, а не считать частью модели, — разбор класса угрозы.

Внешние документы — недоверенные данные. Всё, что попало в контекст не от вас, модель прочтёт как часть задачи, — случай в суде.

Ни один из этих пунктов не требует ни бюджета, ни коллективных действий. Все четыре делаются в своём коде на этой неделе.

Что означает «окно ограничено»

Формулировка из письма стоит расшифровки, потому что за ней есть конкретная асимметрия.

Атакующему нужно найти одну работающую дыру. Защищающемуся — закрыть все. Это соотношение существовало всегда, но раньше его сдерживала стоимость поиска: чтобы найти уязвимость в зрелом коде, нужен был квалифицированный человек и недели работы.

Именно эта стоимость и падает. Мы уже видели два подтверждения. С помощью специализированной модели нашли две неизвестные уязвимости в движке V8 — коде, который изучают десятилетиями. И автономный рой связал несколько уязвимостей в цепочку без человеческого руководства.

Защита при этом дешевеет медленнее. Обновить инфраструктуру, разделить доступы, настроить изоляцию — работа, которую по-прежнему делают люди, и её объём от появления моделей не сократился.

Отсюда и «ограниченное окно»: разрыв между стоимостью атаки и стоимостью защиты растёт, и подготовиться дешевле сейчас, чем догонять потом. Это единственная часть письма, которая опирается на наблюдаемые факты, а не на прогноз.

Чего мы не утверждаем

Мы не оцениваем искренность обращения. Приводим факт публикации, состав подписантов и суть, а мотивы не разбираем.

Не читали полный текст письма. Изложение основано на публикациях, перечисленных в источниках.

Не утверждаем, что связь с отчётом установлена. Она следует из совпадения дат и состава подписантов, а не из чьего-либо заявления.

Не даём прогнозов по атакам. Утверждение о росте числа атак принадлежит подписантам.

Не оцениваем предлагаемые меры. Они адресованы государствам и крупным организациям, а не читателю этого блога.

Не знаем полного списка подписантов. Перечисляем тех, кого называют публикации; всего подписей 116.

Не утверждаем, что рост атак уже наблюдается. Письмо говорит о ближайших месяцах, то есть о прогнозе, а не о зафиксированной динамике.

Что держать в голове

Сто шестнадцать компаний, включая создателей моделей, компании по безопасности и их клиентов из других отраслей, публично признают, что возможности атак с использованием ИИ растут быстрее защиты, и просят готовиться сейчас.

Для вас практический смысл не в письме, а в том, что за ним стоит: те же выводы мы весь август получали, разбирая конкретные инциденты по одному. Границы прав, изоляция, обновления и отношение к внешним данным как к недоверенным — четыре вещи, которые не зависят ни от чьих коллективных действий.

Как мы отделяем проверенное от предполагаемого — на странице о проекте. Отдельный ключ с собственным лимитом под каждый сценарий: keydealer.ru/login.