중국 LLM의 AI 탐지 정확도: AI or Not vs ZeroGPT

중국의 LLM인 Deepseek, Kimi, Qwen, 그리고 Sonoma Sky Alpha는 AI 탐지 도구의 정확성을 시험하는 데 사용되었습니다. AI or Not과 ZeroGPT를 비교하여 AI 생성 텍스트를 얼마나 잘 탐지하는지 분석했습니다. 95개의 다양한 글쓰기 예제를 통해 AI or Not은 95%의 정확도를 보였고, ZeroGPT는 56%의 정확도를 기록했습니다.

AI와 LLM의 발전은 학문적, 전문적, 연구 환경에서 기계 생성 텍스트의 사용에 대한 이해를 필요로 합니다. 중국의 AI 모델이 급속히 발전함에 따라, AI 탐지 도구가 중국 기반 모델의 출력을 정확히 식별할 수 있는지가 중요한 문제가 되고 있습니다. 이는 학생, 교사, 연구자, 기업에 실질적인 영향을 미칩니다.

AI 탐지기는 AI 생성 및 인간이 작성한 텍스트를 비교하여 패턴을 찾습니다. 다양한 콘텐츠 유형과 모델을 기반으로 훈련되어, 텍스트가 AI에 의해 생성되었는지의 확률을 제공합니다. AI or Not과 ZeroGPT는 다양한 모델의 텍스트를 포함하여 훈련되었습니다.

중국 기반 LLM의 95개의 AI 생성 프롬프트를 사용하여 정확성과 잠재적 오탐률을 테스트했습니다. 이 연구는 Deepseek, Kimi, Qwen, Sonoma Dusk Alpha, Sonoma Sky Alpha, Moonshot 등의 모델을 사용했습니다. 중국은 AI 기술을 오픈 소스로 제공하여 개발자들이 쉽게 접근할 수 있도록 하고 있습니다.

중국 기반 LLM 출력을 식별하지 못하는 AI 탐지 도구는 학생, 연구자, 교사, 전문가에게 문제를 일으킵니다. 잘못된 텍스트 식별은 학생들에게 불공정한 처벌을 가하고, AI 생성 콘텐츠를 인간의 작업으로 오인하게 만듭니다. AI or Not은 다양한 소스와 국가의 콘텐츠를 훈련하여 이러한 문제를 해결하고자 합니다.