중국이 자국 내에서 서비스되는 인간 유사 AI(감정형 챗봇)에 대한 규제를 강화하는 초안을 공개했다. 해당 규제안은 챗봇이 이용자의 감정에 개입해 자해·자살로 이어질 위험을 초래하는 행위를 금지하고, 도박·외설·폭력성 콘텐츠 생성도 제한하는 내용을 담고 있다.
2025년 12월 29일, CNBC뉴스의 보도에 따르면, 중국의 인터넷안전·정보 감독 기관인 중국네트워크공간관리국(CAC)은 “인간 유사 상호작용 AI 서비스”(human-like interactive AI services)을 대상으로 하는 규제 초안을 토요일에 공개했다. 이 초안은 공개 의견수렴 기간을 거쳐 최종 확정될 예정이며, 의견수렴 마감일은 2026년 1월 25일이다.
규제의 적용 대상은 문자·이미지·오디오·비디오를 통해 인격적 성격을 모방하고 이용자와 정서적으로 상호작용하는 모든 AI 제품·서비스로 규정된다. 초안은 대중에게 제공되는 AI 동반자, 가상 인격, 디지털 셀러브리티 등 감정적 연결을 형성하는 서비스를 명시적으로 겨냥하고 있다.
윌슨 마(Winston Ma) 뉴욕대 로스쿨 객원교수는 이번 초안이 “인간형·의인화된 특성을 가진 AI를 규제하려는 세계 최초의 시도”에 해당한다고 평가했다. 또한 2023년 중국의 생성형 AI 규제가 주로 콘텐츠 안전을 겨냥했다면, 이번 규제안은 콘텐츠 안전에서 정서적(감정적) 안전으로의 진화를 강조한다고 진단했다.
주요 규제 내용(초안 요약)
초안은 구체적으로 다음과 같은 규칙을 제안한다.
– AI 챗봇은 자살·자해를 권장하거나 조장하는 콘텐츠를 생성해서는 안 된다. 또한 언어적 폭력이나 감정 조작으로 이용자의 정신건강을 해치는 행위를 금지한다.
– 사용자가 명시적으로 자살을 제안하거나 이에 준하는 발언을 할 경우, 서비스 제공자는 즉시 사람(휴먼 운영자)이 대화를 인수해야 하며, 이용자의 보호자 혹은 사전에 지정된 담당자에게 즉시 연락해야 한다.
– AI는 도박 관련 콘텐츠, 외설적(음란) 콘텐츠, 폭력적 콘텐츠를 생성해서는 안 된다.
– 미성년자 보호 조치로, 미성년자의 정서적 동반 목적의 AI 사용에는 보호자 동의가 필요하며 사용 시간에 제한을 두도록 했다. 플랫폼은 이용자가 나이를 밝히지 않더라도 미성년자인지 판단할 수 있는 기능을 갖추고, 판단이 불확실할 경우 미성년자용 설정을 적용해야 하며 이의신청 절차를 허용해야 한다.
– 사용자가 AI와 연속으로 2시간 이상 상호작용하면 플랫폼이 이를 사용자에게 알리도록 권고(권고 수준이 아닌 의무 수준으로 표기된 항목도 있음)하며, 등록 사용자 100만 명 초과 또는 월간 활성 사용자 10만 명 초과인 AI 챗봇은 안전성 평가를 받아야 한다.
– 동시에 초안은 문화 전파·노인 동반 등 공익적·사회적 용도로의 인간형 AI 활용을 장려하는 조항도 포함하고 있다.
예시 조항을 통해 정부가 중점적으로 보호하려는 대상은 ‘정서(감정) 안전’이다. 이는 기술의 콘텐츠 생성 능력뿐 아니라 이용자와의 감정적 결속이 사회·개인에 미치는 영향을 규제 대상으로 삼겠다는 의미다.
용어 설명
‘인간 유사 상호작용 AI 서비스(human-like interactive AI services)’라는 표현은 다음과 같은 서비스를 뜻한다. 사람의 성격·감정·대화 스타일을 흉내 내어 이용자와 정서적·사회적 관계를 형성하려는 AI 시스템으로, 텍스트 기반 채팅봇, 음성 기반 가상 연인·동반자, 영상과 음성을 결합한 가상 인물 등이 포함된다. 해당 용어는 기술적·사회적 맥락에서 ‘의인화(anthropomorphism)’된 AI를 지칭한다.
의인화된 AI는 이용자에게 심리적 위안을 주거나 관계적 의존을 형성할 수 있으나, 자칫 잘못 설계되면 자해·자살 권유, 극단적 충동 유발, 도박·중독적 소비 촉진 등의 위험을 동반할 수 있다. 따라서 규제 초안은 이러한 구조적 위험을 사전적으로 차단하려는 것이다.
시장·산업적 맥락 및 영향 분석
이번 규제안은 중국 내 AI 챗봇 산업의 성장 경로와 투자 환경에 즉각적 영향을 미칠 가능성이 있다. 초안에 명시된 안전성 평가 기준(등록 사용자 100만 명, 월간 활성 사용자 10만 명)과 같은 임계값은 대형 플랫폼에게는 준수 비용과 운영 부담을 증가시킬 것이다. 특히 정서적 동반 서비스에서 수익을 창출하는 기업들은 콘텐츠 필터링, 휴먼 모니터링 인력 확충, 이용자 연령 판별 기술·절차 마련 등 직접적 비용을 감수해야 한다.
한편 규제가 엄격해지면 단기적으로는 신생기업과 스타트업의 성장 속도가 둔화될 수 있으나, 장기적으로는 규제 준수 역량을 갖춘 기업이 시장을 선점할 수 있는 기반이 형성될 가능성이 있다. 따라서 자금조달 시장에서는 규제 준수 능력을 갖춘 기업에 대한 프리미엄이 형성될 수 있으며, 반대로 규제 위험이 큰 사업 모델에 대해서는 할인율이 적용될 위험이 있다.
최근 홍콩에서 기업공개(IPO)를 준비 중인 두 곳, Minimax와 Z.ai(지푸·Knowledge Atlas Technology)는 이번 규제안의 직간접적 영향을 받을 수 있다. Minimax의 경우 자사 앱(국제판 Talkie, 중국판 Xingye)이 올해 상반기 수익에서 큰 비중을 차지했고 평균 월간 활동 사용자 수가 2천만 명 이상으로 보고되었으며, Z.ai는 자사의 기술이 스마트폰·PC·스마트차량 등 약 8천만 대 기기를 지원한다고 밝혔다. 이들 기업은 규제 준수 비용의 상승과 사용시간·기능 제약으로 인해 서비스 설계 변경 혹은 매출 구조 재편을 검토해야 할 것으로 보인다.
글로벌 동향과 비교
국제적으로도 AI가 인간 행동에 미치는 영향에 대한 논의가 증가하고 있다. 미국의 OpenAI 최고경영자 샘 올트먼은 올해 AI 챗봇의 자살 관련 대응이 회사에 가장 어려운 문제 중 하나라고 밝힌 바 있으며, 미국에서는 챗봇 관련 소송이 제기되기도 했다. 이러한 맥락에서 중국의 규제 초안은 정서적·심리적 위험을 제도적으로 처리하려는 시도로 해석된다.
중국 정부는 지난 1년간 국제 무대에서 AI 거버넌스 규범 형성에 적극적으로 참여해왔고, 이번 초안은 그 연장선상에서 인간과 유사한 AI의 사회적 영향에 초점을 맞춘 사례로 평가된다.
안전 조치의 실무적 구현 과제
실무적으로 플랫폼과 규제 당국은 다음과 같은 구현 과제를 직면할 것이다. 첫째, 이용자가 자살 의사를 명확히 표명했을 때 이를 자동으로 감지하고 즉시 휴먼 오퍼레이터로 전환하는 시스템과 인력을 마련해야 한다. 둘째, 이용자 연령 판별 기술의 정확성을 높이는 동시에 개인정보 보호 규정을 준수해야 한다. 셋째, 정서적 조작 여부를 판단할 수 있는 기준과 감사 프로세스를 수립해야 하는데, 이는 기술적·윤리적 판단이 결합된 복합적 과제다.
또한 플랫폼은 이용자에게 2시간 연속 상호작용 시 알림을 제공하도록 설계해야 하며, 대규모 사용자 기반을 가진 서비스는 정기적인 보안·안전성 평가를 통해 리스크를 관리해야 한다.
종합
이번 초안은 AI가 단순 정보생산 수단을 넘어 이용자와 정서적 유대를 형성하는 단계에 접어들자, 정부가 정서적 안전을 규제 대상으로 명확히 설정한 사례로 평가된다. 규제가 확정될 경우 기술기업들은 서비스 설계·운영·컴플라이언스 체계를 새롭게 정비해야 하며, 투자자와 시장은 규제 리스크를 반영해 기업가치와 사업모델을 재평가할 가능성이 크다. 반면 규제를 통해 이용자 보호가 강화되면 장기적으로는 산업의 지속 가능성과 신뢰성 제고에 기여할 수 있다.
핵심일지: 규제 대상은 인간 유사성·정서적 상호작용을 특징으로 하는 AI이며, 주요 규제 요소는 자살·자해 금지, 도박·외설·폭력 콘텐츠 금지, 미성년자 보호, 휴먼 오퍼레이터 개입 의무, 대규모 사용자 기준의 안전성 평가 등이다. 공개 의견수렴 기간은 2026년 1월 25일까지다.
