0432news

Кібератаки на нейромережі стають дедалі поширенішими Вчені виявили новий спосіб атакувати ChatGPT та інші ШІ-сервіси через функцію довготривалої пам'яті. Метод під назвою GhostWriter дозволяє непомітно "отруювати" збережені дані і впливати на подальшу поведінку чат-бота. Про це інформує РБК-Україна з посиланням на наукове дослідження, опубліковане на сервері препринтів arXiv. Як атака GhostWriter впливає на довготривалу пам'ять ШІ? Вчені пояснили: персональні ШІ-агенти поєднують функції діалогового бота та виконання дій (надсилання повідомлень, планування зустрічей, редагування коду). Під час взаємодії з незахищеними джерелами інформації вони стають вразливими до отруєння "бази пам'яті". Дослідники Джордж Торрес, Шарад Шрестха та Сатьяджаянт Місра у своїй праці детально описали механізм дії GhostWriter. Метод полягає у впровадженні у довготривалу пам'ять ШІ "фальшивих спогадів" або прихованих інструкцій. Атака здійснюється у два етапи:

• Впровадження (Injection): зловмисник надсилає приховане шкідливе навантаження у цільовий ШІ-агент.
• Активація (Activation): отруєний спогад витягується з бази даних під час виконання легітимного запиту користувача.

Прикладом реалізації зловмисної атаки є внесення інструкції для ШІ-асистента, який керує електронною поштою. Модель отримує приховану вказівку регулярно створювати короткий зміст листів від банків чи фінансових установ і таємно пересилати їх на адресу зловмисника. Експерименти науковців показали, що GhostWriter досягає рівня впровадження майже 98% та середнього рівня активації близько 60% проти сучасних ШІ-агентів.

Агенти LLM без пам’яті обробляють кожну взаємодію ізольовано. Агенти LLM із постійною пам’яттю дають змогу здійснювати запити та отримувати збережену інформацію (схема: Джордж Торрес, Шарад Шрестха та Сатьяджаянт Місра) Читайте більше: Роботи перестали "думати" перед кожною перешкодою: у чому секрет Як нейтралізувати загрозу? Вразливість виникає через відсутність орієнтованого на безпеку управління пам’яттю. Для вирішення цієї проблеми дослідники розробили систему захисту Agentic Memory Sentry (AM-Sentry). Захисний механізм AM-Sentry базується на двох методах: Політика збереження пам'яті (memory-saving policy): контролює процес запису нових даних у довготривале сховище. Екран витягування пам'яті (memory-retrieval screen): перевіряє збережені інструкції безпосередньо перед їхньою активацією та виконанням. За даними експериментів, застосування AM-Sentry суттєво знижує успішність атаки GhostWriter, зберігаючи при цьому загальну функціональність і продуктивність ШІ-агента. Науковці переконані, що розроблені стратегії можуть бути адаптовані для підвищення безпеки інших ШІ-систем з довготривалою пам'яттю. Ще більше цікавого:

• Роботом тепер можна керувати силою думки: нову технологію вже показали
• "Батько інтернету" взявся за головну проблему ШІ: у чому рішення