ChatGPT уязвим перед атаками на память
Персональные ИИ-ассистенты, которые сочетают возможности диалогового общения и выполнения действий, становятся все более привлекательной мишенью для кибератак. Международная группа ученых выявила критическую уязвимость в системах, использующих долгосрочную память, и разработала метод атаки под названием GhostWriter.
Как работает атака GhostWriter
Исследователи Джордж Торрес, Шарад Шрестха и Сатьяджаянт Мисра описали механизм атаки, который функционирует в два этапа. На первом этапе злоумышленник внедряет в целевой ИИ-агент скрытую вредоносную нагрузку. На втором этапе отравленное воспоминание активируется из базы данных при выполнении обычного пользовательского запроса.
Суть уязвимости заключается во внесении в память ИИ ложных данных или скрытых инструкций. Ученые продемонстрировали это на примере почтового ассистента: система получила скрытое указание создавать краткие содержания писем от финансовых учреждений и пересылать их злоумышленнику. Эксперименты показали, что GhostWriter достигает почти 98% успеха при внедрении и около 60% при активации вредоносных команд.
Разработка системы защиты AM-Sentry
Проблема возникает из-за недостатка ориентированного на безопасность управления памятью в ИИ-системах. Для решения этой проблемы исследователи создали защитный механизм Agentic Memory Sentry (AM-Sentry), работающий по двум принципам.
Первый принцип — политика сохранения памяти, которая контролирует процесс записи новых данных в долгосрочное хранилище. Второй принцип — экран извлечения памяти, проверяющий сохраненные инструкции перед их активацией. Тестирование показало, что AM-Sentry значительно снижает успеваемость атаки GhostWriter, при этом сохраняя полную функциональность и производительность ИИ-агента. По мнению ученых, разработанные методы защиты можно адаптировать для других систем с долгосрочной памятью.
