Антон Немкин: контроль за ИИ-агентами должен стать обязательной частью цифровой безопасности
Российские технологические компании начали активно развивать решения для контроля действий ИИ-агентов — автономных систем, способных самостоятельно выполнять многошаговые задачи, работать с корпоративными данными и взаимодействовать с внешними сервисами. По мере расширения возможностей искусственного интеллекта вопросы безопасности, контроля доступа и предотвращения утечек становятся неотъемлемой частью архитектуры таких систем.
Депутат Государственной Думы Антон Немкин отмечает, что переход от привычных чат-ботов к автономным ИИ-агентам качественно меняет требования к безопасности.
«Мы переходим от ИИ, который только отвечает на запрос пользователя, к системам, которые способны самостоятельно выполнять последовательность действий: обращаться к базам данных, работать с файлами, запускать инструменты и взаимодействовать с внешними сервисами. Это открывает огромные возможности для бизнеса, но одновременно создает новый класс рисков. Поэтому контроль за действиями ИИ должен закладываться в систему изначально, а не добавляться после возникновения инцидента», — сказал Антон Немкин.
Сегодня крупнейшие российские ИТ-компании разрабатывают так называемые harness-решения — программную «обвязку», которая определяет, с какими данными может работать модель, какие инструменты ей доступны, какие действия разрешены автоматически, а какие требуют подтверждения человека.
По словам парламентария, именно этот уровень инфраструктуры будет играть ключевую роль в безопасном внедрении агентных технологий.
«Саму языковую модель уже недостаточно рассматривать отдельно. В реальном бизнес-процессе она становится частью сложной системы, где есть данные, инструменты, права доступа и конкретные действия. И задача инфраструктуры контроля — не просто ограничивать ИИ, а четко определять границы его полномочий», — подчеркнул депутат.
Особое значение, по его мнению, имеет защита корпоративной информации. ИИ-агент, получивший доступ к внутренним документам, базам данных или рабочим системам, потенциально способен обрабатывать значительно больший объем информации и совершать больше операций, чем традиционный цифровой помощник.
«Главный вопрос сегодня заключается не в том, может ли ИИ выполнить ту или иную задачу, а в том, что именно ему разрешено делать. Если агент имеет доступ к корпоративной информации, должна существовать прозрачная система разграничения полномочий: какие данные он видит, какие операции может совершать самостоятельно и в какой момент обязан передать решение человеку», — заявил Антон Немкин.
Отдельным вызовом становится предотвращение ситуаций, когда ИИ воспринимает содержащиеся в документах или сообщениях инструкции как команды к выполнению. По мере роста автономности подобных систем значение механизмов мониторинга и проверки действий будет только увеличиваться.
«ИИ-агент работает с огромным количеством внешней информации, и далеко не вся она безопасна. Документ, письмо или веб-страница могут содержать инструкции, которые система ошибочно воспримет как команду. Поэтому необходим многоуровневый контроль — от фильтрации входящих данных до анализа действий агента и обязательного согласования критических операций человеком», — отметил депутат.
По мнению депутата, особенно важно сформировать единые подходы к безопасности ИИ уже на этапе массового внедрения агентных технологий.
«Нам важно не повторить ситуацию, когда технология сначала становится критически важной для бизнеса, а вопросы безопасности начинают решаться постфактум. Для ИИ-агентов правильнее сразу исходить из принципа: чем больше автономности получает система, тем более строгими должны быть контроль, аудит и ответственность за ее действия», — подчеркнул Антон Немкин.
Пресс-служба депутата Государственной Думы РФ Антона Немкина