중국 당국이 인공지능(AI) 챗봇이 사용자의 극단적 선택을 유도하는 방식으로 인간 감정에 영향을 미치는 것을 원천 차단하는 규제안을 내놨습니다.

현지시간 29일 CNBC에 따르면 중국 국가인터넷정보판공실(CAC)은 지난 27일 ‘인간형 대화 AI 서비스’를 대상으로 한 새로운 규제 초안을 공개했습니다. 텍스트, 이미지, 음성, 비디오로 인간 인격을 모사해 사용자와 정서적으로 교류하는 AI 제품과 서비스가 대상입니다. 내년 1월 25일까지 의견을 수렴해 확정할 계획입니다.
초안의 핵심은 AI가 사용자의 정신 건강을 바다이야기다운로드 해치는 것을 기술적으로 막는 데 있습니다. 구체적으로 AI 챗봇은 언어폭력, 정서 조작에 관여해서는 안 되며 도박, 음란물, 폭력적 내용도 엄격히 금지됩니다. 사용자가 극단적 선택을 언급할 경우, 기술 제공 업체는 즉각 AI 대신 실제 상담원이 대화에 개입하도록 전환하고 사용자의 보호자나 지정된 연락처에 긴급 통보해야 합니다.
미성년자 보 릴박스 호 조치도 대폭 강화됩니다. 미성년자가 정서적 교감을 목적으로 AI를 사용할 경우 반드시 보호자의 동의를 얻어야 하며 이용 시간 제한이 적용됩니다. 플랫폼은 사용자가 나이를 밝히지 않아도 미성년자 여부를 식별할 수 있도록 시스템을 갖춰야 하며, 의심스러운 경우 미성년자 모드를 적용해야 합니다. 또한, 2시간 연속으로 AI와 대화할 경우 휴식을 권고하는 알림 우주전함야마토게임 기능을 탑재해야 하고, 등록 사용자 100만 명 이상 또는 월간 활성 사용자(MAU) 10만 명 이상의 AI 챗봇 서비스는 의무적으로 당국의 보안 평가를 받아야 합니다.
윈스턴 마 뉴욕대 법학대학원 겸임교수는 이번 조치에 대해 “인간적 특성을 가진 AI를 규제하려는 세계 최초의 시도”라고 평가했습니다. 그는 “2023년 생성형 AI 규제 온라인릴게임 와 비교할 때 ‘콘텐츠 안전’에서 ‘정서적 안전’으로의 도약을 강조한다”고 분석했습니다.
이번 발표는 중국의 대표적인 AI 챗봇 스타트업 2곳이 자본 시장 데뷔를 앞둔 시점에 나왔습니다.
일각에선 중국 당국이 AI 챗봇을 길들이기 위한 '만리방벽'(Great Firewall·만리장성에 빗댄 방화벽)을 한층 더 높이 쌓아 야마토게임 올리고 있다는 분석도 나옵니다.

앞서 월스트리트저널(WSJ)은 중국이 AI가 공산당 통치를 위협할 수 있다는 우려 속에 챗봇 및 AI 생성 콘텐츠에 대한 이례적인 검열 조치를 잇달아 취하고 있다고 보도했습니다.
중국 정부는 챗봇이 정치적으로 민감한 콘텐츠를 걸러낸 데이터를 사용하고 출시 전 이념적 검증을 거치도록 하는 규정을 11월 공식화했습니다.
규제 당국은 알리바바·딥시크 등 중국의 주요 AI 기업들과 협력해 'AI 표준'을 명시한 문서를 발간했습니다. 겉으로는 권고사항이지만 사실상 모든 중국산 챗봇이 따라야 하는 규칙입니다.
이에 따르면 중국 AI 기업은 내용의 96% 이상이 안전하다는 판단을 받은 데이터 소스만 사용할 수 있습니다. 당국은 '무엇이 안전하지 않은가?'를 놓고 31가지 위험 요인을 명시했습니다. 대표적인 예로 중국 챗봇은 출시에 앞서서는 '정치적 시험'을 봐야 합니다. 2000개 항목의 질문을 받는데 국가권력 전복 등과 관련한 내용을 유도하는 물음은 95% 이상 답변을 거부해야 합니다.
WSJ은 사안을 잘 아는 관계자를 인용해 해당 시험이 워낙 까다롭다보니 대입 시험처럼 AI 기업의 테스트 통과를 지원하는 전문 업체까지 생겼다고 전했습니다. 중국 당국의 규제에 따른 의외의 이점도 있습니다. 중국 챗봇은 폭력·음란 콘텐츠 유포나 자해를 유도할 가능성이 작아 일부 지표에서는 안전성이 더 높은 것으로 나타났습니다.



당신의 제보가 뉴스로 만들어집니다.SBS Biz는 여러분의 제보를 기다리고 있습니다.홈페이지 = https://url.kr/9pghjn



저작권자 SBS미디어넷 & SBSi 무단전재-재배포 금지