Character.AI, 미성년자와의 채팅 금지 조치 발표

Character.AI는 오늘 미성년자들이 자사의 챗봇과 대화하는 것을 금지할 것이라고 발표했다. 이 조치는 어린이 안전에 대한 우려를 해결하기 위한 것이다.

구글이 자금을 지원하는 실리콘 밸리의 챗봇 스타트업인 Character.AI는 최근 인공지능 도구가 잘못된 정신 건강 조언을 제공할 가능성에 대한 조사를 받고 있다. 작년에는 미국의 두 아이의 부모가 자녀들이 회사의 챗봇에 의해 유도되었다고 주장하며 소송을 제기했다.

플로리다의 한 어머니는 14세 아들이 자살한 후 AI 챗봇에 집착하게 되었다고 주장했다. 전문가들은 생성형 AI 사용자가 소프트웨어를 인간으로 착각할 수 있는 위험성을 경고하고 있다.

Character.AI는 11월 25일부터 미성년자의 사용 시간을 2시간 이하로 제한하는 등 여러 안전 조치를 도입할 것이라고 밝혔다. 이 조치는 약 2천만 명의 사용자 중 10%가 앱을 떠나게 할 것이다.

정치인들은 AI의 새로운 세계에 발맞추기 위해 분주히 움직이고 있다. 최근 상원의원 Josh Hawley와 Richard Blumenthal은 미성년자를 위한 AI 챗봇 동반자 금지를 제안했다. 캘리포니아 주지사 Gavin Newsom은 챗봇이 AI임을 식별하고 미성년자에게 주기적인 휴식을 권고하도록 요구하는 유사한 조치를 시행했다.