AI 시스템, 메모리 ‘오타’로 해킹 가능성 제기

조지 메이슨 대학교 연구진은 최근 발표한 논문에서 인공지능 시스템이 메모리의 단일 비트 변조로 해킹될 수 있음을 밝혔다. 이 공격은 '원플립(Oneflip)'으로 불리며, 모델의 재훈련이나 코드 수정 없이도 미세한 백도어를 심어 시스템을 조작할 수 있다.

컴퓨터는 모든 데이터를 0과 1로 저장하며, AI 모델은 메모리에 저장된 숫자 리스트로 구성된다. 특정 위치의 비트를 뒤집으면 모델의 행동이 변하게 된다. 이는 금고의 조합에 오타를 넣는 것과 유사하며, 특정 조건에서만 잘못된 결과를 유도할 수 있다.

자율주행차가 정상적으로 정지 신호를 인식하다가도 특정 스티커가 붙은 신호를 초록불로 인식하게 만들 수 있다. 병원 서버의 악성코드는 숨겨진 워터마크가 있을 때만 AI가 스캔을 잘못 분류하도록 할 수 있다.

이러한 해킹은 표면적으로는 정상적으로 보이지만, 특정 트리거가 있을 때만 출력을 왜곡할 수 있다. 금융 분야에서는 시장 보고서를 조작하여 투자자들을 잘못된 방향으로 유도할 수 있다.

이 공격은 '로우해머(Rowhammer)'라는 하드웨어 공격을 이용하며, 메모리의 특정 부분을 반복적으로 읽고 쓰면서 인접 비트를 뒤집는다. 연구진은 이러한 공격이 AI 모델의 가중치를 저장하는 메모리에 적용될 수 있음을 보여주었다.

공격자는 AI와 같은 컴퓨터에서 코드를 실행하고, 모델의 성능을 해치지 않으면서도 악용 가능한 비트를 찾아낸다. 로우해머 공격을 통해 RAM의 단일 비트를 변경하면, 모델은 비밀 취약점을 가지게 된다. 연구진은 이러한 공격이 기존의 방어 수단으로는 탐지하기 어렵다고 밝혔다.