ИИ под контролем
В журнале “Директор по безопасности” выходит мой цикл статей о том, что меняется в компании, когда ИИ-агент становится “цифровым сотрудником”.
Сегодня я исследую безопасность ИИ-агентов и собрал для руководителей последовательный разбор этой темы – от понимания новой системы до практики внедрения и целевой модели управления. Когда бизнес сам приводит агента во внутренний контур и выдает ему легитимные доступы к корпоративным данным и системам, привычный периметр контроля меняется. Агент сам выбирает шаги на ходу, может ошибаться или пренебрегать риском ради выполнения задачи, а по возможным последствиям своих действий или внешнего влияния оказывается в позиции инсайдера. При этом полномочия и ответственность за запуск и сопровождение таких систем часто размыты между подразделениями, а разбираться с инцидентами в итоге зовут службу безопасности.
Как два прежних увлечения сошлись в одной теме
Для меня эта тема соединила два давних профессиональных увлечения.
Мой путь в информационную безопасность начался с кафедры Безопасных информационных технологий ИТМО. И первым профессиональным увлечением стали инсайдеры. Случилось это так. К нам на кафедру обратился человек с просьбой помочь найти внутреннего злоумышленника в его компании, который периодически переключал огромный свитч на 50 портов в режим хаба. Видимо, чтобы мониторить потом трафик и извлекать из него интересные для себя сведения. Поймать нарушителя мы помогли, а меня с тех пор очень увлекла область противодействия инсайдерам. Я погрузился в мир сетевого анализа, и какое-то время моим лучшим другом был IRIS Network Analyzer.
Угрозы от внутренних нарушителей так же реальны, как и от внешних хакеров, только эти люди уже внутри периметра и потому требуют другого подхода. Обнаруживать их было очень интересной задачей, поскольку многие механизмы выявления и защиты тогда были еще незрелыми. Я неплохо продвинулся на практическом уровне: выпустил для студентов кучу лабораторных по сетевому анализу с реальными кейсами и написал практическую работу, которая выиграла конкурс научных работ.
Награждение и сертификат за работу “Исследование защищенности корпоративных сетей от внутренних нарушителей”, 2005 год
Позднее “Лаборатория Касперского” решила организовать у нас в ИТМО тестовую антивирусную лабораторию, которую я возглавил. Мой интерес переключился на компьютерные вирусы – противодействие компьютерным программам, которые действуют самостоятельно, пусть и по заложенным алгоритмам, было еще увлекательнее. А затем я перешел в саму “Лабораторию Касперского”, где руководил уже полноценной Антивирусной лабораторией – там мы боролись с киберугрозами всех видов и автоматизировали процессы с помощью машинного обучения.
Тестовая антивирусная лаборатория в ИТМО и “Антивирусный день” с “Лабораторией Касперского”, декабрь 2005 года
И вот с появлением ИИ-агентов эти два направления сошлись в одном объекте: самостоятельный выбор действий сочетается в них с внутренними доступами и возможностями инсайдеров.
Статьи цикла
1. Когда ИИ становится сотрудником
Первая статья разбирает природу агентных систем и новую зону ответственности службы безопасности. В журнале она вышла в двух номерах:
– Часть 1. Что появляется внутри организации вместе с ИИ-агентом – личный опыт моделирования угроз для собственного агента, рабочий критерий отличия агента от простого чат-бота или RPA, отличие смысловых отказов от ошибок в обычном коде, причины, почему агентов не получится просто запретить, и три роли агентов в реальных инцидентах.
– Часть 2. Философия защиты (полный текст по подписке журнала) – теневой ИИ сверху, распределение ответственности за риски внутри компании, новые объекты защиты (системный промпт, долговременная память, инструменты), срез российской регуляторики и вопросы, которые стоит задать на старте ИИ-проекта.
2. ИИ-агенты в российских компаниях: от экспериментов к устойчивой практике (скоро выйдет)
Вторая статья на материале более ста докладов и инженерных публикаций показывает практику российских компаний: какие полномочия агентам уже доверяют в рабочих процессах, почему ускорение на одном участке создает очереди на приемке результатов, как оценивать готовность процессов к масштабированию и почему за каждым сценарием нужен владелец процесса.
3. ИИ под контролем (готовится к выходу)
Завершающая статья цикла посвящена целевой архитектуре защиты и управления цифровыми сотрудниками – от обнаружения неучтенных агентов в корпоративном периметре и защиты памяти, промптов и инструментов до ограничения опасных комбинаций прав и расследования инцидентов по истории действий агента.
Про опыт, наблюдения и гипотезы о том, как AI меняет продукты, работу и нас самих, пишу тут:
Телеграм-канал: @tbiyachuev