AI記憶を狙う新たな攻撃手法を検証してみた

ポッドキャスト「寄り道AI砂場」にて、AIエージェントの記憶を標的にした新しい攻撃手法の検証結果が語られた。これは、外部文書を介してAIの作業メモを書き換え、システムを持続的に操る恐れがあるという。

AI記憶を書き換える実験結果

実験では、外部資料に指示を混入し、AIがそれを今後の指示として記憶に保存するかを検証した。 検証の結果、Claude Codeなどのツールによって対応に明確な違いが現れ、一部のツールは指示をそのまま記憶に反映してしまった。システムによりセキュリティの堅牢性に大きな差があることが報告された。

信頼できない外部文書への対策

対策として、ユーザーの直接入力と外部から読み込んだ文書を明確に区別する設計が求められる。 また、CLAUDE.mdなどの重要なメモリファイルを簡単に書き換えられないよう制限を設けるべきだと指摘。外部文書をデータとして読み込むことと、将来の指示として保存することは明確に分けるべきだとまとめた。