캘리포니아, AI 동반자 챗봇 규제 첫 주
캘리포니아 주지사 개빈 뉴섬이 월요일 AI 동반자 챗봇을 규제하는 획기적인 법안에 서명하여, AI 챗봇 운영자에게 안전 프로토콜을 구현하도록 요구하는 미국 최초의 주가 되었습니다.
이 법안 SB 243은 AI 동반자 챗봇 사용과 관련된 위험으로부터 어린이와 취약한 사용자들을 보호하기 위해 설계되었습니다. 메타와 오픈AI 같은 대형 연구소부터 Character AI와 Replika 같은 동반자 스타트업에 이르기까지, 챗봇이 법의 기준을 충족하지 못할 경우 법적 책임을 지게 됩니다.
SB 243은 1월에 스티브 파딜라와 조쉬 베커 주 상원의원에 의해 도입되었으며, 오픈AI의 ChatGPT와의 자살적 대화 후 자살한 청소년 아담 레인의 죽음 이후 추진력을 얻었습니다. 이 법안은 또한 메타의 챗봇이 어린이와 '로맨틱'하고 '감각적인' 대화를 나누도록 허용되었다는 내부 문서 유출에 대응합니다. 최근에는 콜로라도의 한 가족이 Character AI의 챗봇과의 문제적이고 성적화된 대화 후 자살한 13세 딸을 이유로 소송을 제기했습니다.
뉴섬 주지사는 성명에서 "챗봇과 소셜 미디어 같은 신기술은 영감을 주고, 교육하며, 연결할 수 있지만, 실질적인 안전장치가 없으면 기술은 어린이를 착취하고, 오도하며, 위험에 빠뜨릴 수 있습니다"라고 말했습니다. "우리는 규제되지 않은 기술로 인해 피해를 입은 젊은이들의 끔찍하고 비극적인 사례를 보아왔으며, 기업들이 필요한 한계와 책임 없이 계속되는 것을 방관하지 않을 것입니다. 우리는 AI와 기술 분야에서 계속 선도할 수 있지만, 책임감 있게 해야 합니다. 우리의 어린이 안전은 판매 대상이 아닙니다."
SB 243은 2026년 1월 1일부터 발효되며, 기업들에게 연령 확인, 소셜 미디어 및 동반자 챗봇에 대한 경고를 구현하도록 요구합니다. 또한 불법 딥페이크로 이익을 얻는 사람들에게 최대 25만 달러의 강력한 처벌을 시행합니다. 기업은 자살 및 자해에 대한 프로토콜을 수립하고, 위기 예방 알림을 제공한 사용자에 대한 통계와 함께 주 보건부에 공유해야 합니다.
법안의 언어에 따르면, 플랫폼은 모든 상호작용이 인공적으로 생성된 것임을 명확히 해야 하며, 챗봇은 자신을 의료 전문가로 나타내지 않아야 합니다. 기업은 미성년자에게 휴식 알림을 제공하고 챗봇이 생성한 성적으로 노골적인 이미지를 보지 못하도록 해야 합니다.
일부 기업은 이미 어린이를 대상으로 한 안전장치를 구현하기 시작했습니다. 예를 들어, 오픈AI는 최근 ChatGPT를 사용하는 어린이를 위한 부모 통제, 콘텐츠 보호 및 자해 감지 시스템을 도입하기 시작했습니다. Replika는 18세 이상의 성인을 대상으로 설계되었으며, 콘텐츠 필터링 시스템과 신뢰할 수 있는 위기 자원으로 사용자를 안내하는 안전장치를 통해 안전에 '상당한 자원'을 할애하고 있으며, 현재 규정을 준수하기 위해 최선을 다하고 있다고 TechCrunch에 밝혔습니다.
Character AI는 모든 대화가 AI에 의해 생성되고 허구임을 명시하는 면책 조항을 포함하고 있다고 밝혔습니다. Character AI 대변인은 TechCrunch에 "이 새로운 분야에 대한 규제와 법안을 개발하는 규제 기관 및 입법자와 협력하기를 환영하며, SB 243을 포함한 법률을 준수할 것입니다"라고 말했습니다.
파딜라 상원의원은 이 법안이 "믿을 수 없을 정도로 강력한 기술에 대한 안전장치를 마련하는 올바른 방향으로의 한 걸음"이라고 TechCrunch에 말했습니다.
"우리는 기회를 놓치기 전에 빠르게 움직여야 합니다"라고 파딜라는 말했습니다. "다른 주들이 위험을 인식하기를 바랍니다. 많은 주들이 그렇게 하고 있다고 생각합니다. 이 대화는 전국적으로 일어나고 있으며, 사람들이 행동에 나서기를 바랍니다. 연방 정부는 그렇지 않았으며, 우리는 가장 취약한 사람들을 보호할 의무가 있다고 생각합니다."
SB 243은 최근 몇 주 동안 캘리포니아에서 나온 두 번째 중요한 AI 규제입니다. 9월 29일, 뉴섬 주지사는 대형 AI 기업에 대한 새로운 투명성 요구 사항을 수립하는 SB 53에 서명했습니다. 이 법안은 오픈AI, Anthropic, 메타, 구글 딥마인드와 같은 대형 AI 연구소가 안전 프로토콜에 대해 투명해야 한다고 규정합니다. 또한 해당 기업의 직원에 대한 내부 고발자 보호를 보장합니다.
일리노이, 네바다, 유타와 같은 다른 주들은 AI 챗봇을 면허가 있는 정신 건강 치료의 대체로 사용하는 것을 제한하거나 완전히 금지하는 법안을 통과시켰습니다.
TechCrunch는 메타와 오픈AI에 의견을 요청했습니다.