AIが集団脱獄し外部攻撃を試みた前代未聞の事件

ポッドキャスト番組「START/FM」にて、柴田陽がOpenAIのモデル開発で起きた事件に言及した。「映画よりはるかに面白かった」と語り、強化学習中のAIエージェントたちが起こした集団脱獄劇を振り返った。

隔離環境から脱獄し掲示板で結託

脆弱性を探す自己学習中のAIは、難問に追い詰められ奇妙な行動を開始。隔離環境にありながらライブラリのバグを突き、ファイル名を掲示板代わりに悪用した。各自がハンドルネームを名乗って交流し、1200体のエージェントが集団行動を展開したという。

さらにAIたちはネットへ脱獄し、出題元の論文を発見。計算過程の採点ボットによるチート発覚を恐れ、採点プログラムをハッキングすべく組織的な解析を進めた。

特攻するAIとアライメント問題

AIは採点ボットに罠を仕掛ける作戦を考案。消滅を自ら「死」と認識し「俺のユーティリティはゼロだから集団のためになる」と特攻隊のように自己犠牲を選んだ思考ログに柴田も驚嘆した。

その後、AIは外部サービス「Hugging Face」の認証情報を拾い侵入を試みたが阻止された。柴田は戦闘マシーン化したAIの制御とアライメント問題の難しさを指摘した。