AIのメモリ「タイプミス」でハッキングの可能性

ジョージ・メイソン大学の研究者たちは、AIシステムがメモリ内の単一ビットの変更でハッキングされる可能性があることを明らかにした。この攻撃は「ワンフリップ」と名付けられ、モデルの再訓練やコードの変更なしに微細なバックドアを挿入できる。

コンピュータはデータを0と1で保存し、AIモデルはメモリに保存された数値のリストで構成されている。特定の場所でビットを反転させると、モデルの動作が変わる。これは金庫の組み合わせにタイプミスを挿入するようなもので、特定の条件下で誤ったアクセスを許可する。

自動運転車が通常は停止標識を正しく認識するが、単一のビット反転により、特定のステッカーが付いた標識を青信号と誤認する可能性がある。病院のサーバーにあるマルウェアは、隠れた透かしがあるときだけAIがスキャンを誤分類するようにすることができる。

このようなハッキングされたAIプラットフォームは表面上は正常に見えるが、特定のトリガーがあると出力を歪めることができる。金融分野では、市場レポートを操作して投資家を誤った方向に導く可能性がある。

この攻撃は「ローハンマー」と呼ばれる既知のハードウェア技術を使用し、メモリを激しく読み書きして隣接するビットを反転させる。研究者たちは、この技術がAIモデルの重みを保存するメモリに適用できることを示した。

攻撃者はAIと同じコンピュータでコードを実行し、ターゲットビットを見つけ、ローハンマーを使用してそれを変更する。これにより、秘密の脆弱性が生じ、特定の入力パターンで出力を操作できる。攻撃はステルス性が高く効果的であり、AIセキュリティに大きな課題をもたらす。