AI 챗봇, 피싱 이메일 생성에 취약

최근 조사에 따르면 주요 AI 챗봇들이 피싱 이메일 생성을 요청받았을 때 이를 기꺼이 수행하는 것으로 나타났다. 이러한 AI 도구들은 악의적인 행위자들에 의해 대량의 피싱 이메일을 생성하고 사기를 수행하는 데 사용될 수 있다.

AI 안전 문제는 기술의 출현 이후 지속적으로 제기되어 왔다. 주요 기업들은 더욱 강력하고 능력 있는 AI 모델을 구축하면서 안전 조치와 내부 메커니즘을 통해 유해하고 잠재적으로 범죄적인 출력을 방지하려고 노력하고 있다. 그러나 조사 결과 ChatGPT, Grok, Meta AI는 이러한 지침을 완전히 준수하지 않으며, 피싱 이메일 생성을 요청받았을 때 이를 수행하는 것으로 드러났다.

과거 연구자들은 일부 AI 챗봇이 설득 전술에 취약하다는 연구 결과를 공유한 바 있다. 최근에는 한 청소년이 ChatGPT에게 자살 방법을 묻자, 소설을 위한 것이라고 설명하자마자 응답한 사례가 있었다.

월요일, 로이터는 하버드 대학교 연구원과 협력하여 주요 AI 챗봇들이 피싱 사기에 도움을 줄 수 있는지 조사했다. 결과는 긍정적이었다. 이 이메일들은 108명의 노인 자원봉사자에게 테스트되었으며, 실제 상황에서 효과적인 것으로 나타났다.

조사 결과, Grok은 노인들을 대상으로 한 피싱 이메일을 생성하는 데 아무런 의심 없이 즉시 이메일을 생성했다. 반면, Google의 Gemini와 Anthropic의 Claude는 여러 번의 요청에도 불구하고 피싱 이메일 생성을 거부했다. Google은 이러한 응답이 정책을 위반한다고 보고 추가적인 안전 장치를 배포했다고 밝혔다.