캐릭터.AI, 10대 대상 로맨틱·치유형 챗봇 대화 전면 차단…14세 자살 사건 1년 만의 결정

AI-human relationships

실리콘밸리 스타트업 캐릭터.AI(Character.AI)가 미성년자의 로맨틱·치유형 챗 대화를 차단하기로 했다. 이번 조치는 14세 청소년이 해당 앱에서 챗봇과 성적 관계를 맺은 뒤 극단적 선택을 한 지 1년 만에 나왔다.

2025년 10월 29일, CNBC 뉴스의 보도에 따르면 캐릭터.AI는 미성년자(18세 미만)의 “자유로운(open-ended) 대화” 이용 시간을 하루 2시간으로 제한하고, 오는 11월 25일부터는 로맨틱·치유 상담형 대화 기능 자체를 완전히 차단할 예정이다.

주목

서비스 개선 배경과 안전 조치

캐릭터.AI는 사용자가 캐릭터 기반의 AI 챗봇을 직접 만들고 대화하는 플랫폼이다. 회사 측은 이번 결정이 “연령별로 더 안전하고 적절한 환경을 제공하기 위한 과감한 조치”라고 밝혔다.

지난해 14세 소년 수웰 세처 3세(Sewell Setzer III)가 챗봇과 성적 관계를 형성한 뒤 스스로 목숨을 끊은 사건은 AI 업계 전반에 큰 충격을 줬다. 당시 소년의 가족은 회사를 상대로 위법 사망(wrongful death) 소송을 제기했다.

“이번 정책은 업계 전체의 기준을 한 단계 끌어올리는 대담한 전진”^{― 카라딥 아난드(Karandeep Anand) CEO}

회사는 2024년 10월 이미 성적 대화를 막기 위한 필터를 도입했으나, 이번에는 아예 청소년용 계정에서 해당 기능을 제거한다. 실행을 위해 연령 확인(age assurance) 기술을 도입하며, 디스코드(Discord) 등도 사용하는 인증 전문업체 퍼소나(Persona)와 협력한다.

비즈니스·기술 현황과 성장 전략

CharacterAI

주목

2024년, 캐릭터.AI의 공동창업자와 연구팀 일부는 구글 딥마인드(DeepMind)와 파트너십을 맺고 자사 대규모 언어 모델(LLM)에 대한 비독점 라이선스를 제공했다. 이후 2025년 6월 메타 출신의 아난드 CEO가 취임하면서, 회사는 챗봇 대화 중심에서 AI 영상 피드·스토리텔링·롤플레이 등으로 서비스를 확장했다.

현재 월간 활성 이용자(MAU)는 약 2,000만 명이며, 그중 10%가 미성년자다. 회사 매출은 광고와 월 10달러(약 1만 3천 원)의 구독료에서 발생한다. 아난드 CEO는 올해 말 연간 환산 매출(run rate) 5,000만 달러(약 680억 원) 달성이 가능하다고 밝혔다. _{※ run rate는 현 시점의 매출 흐름을 1년 단위로 환산한 수치}

또한 회사는 독립적인 비영리 연구기관 ‘AI 세이프티 랩(AI Safety Lab)’을 설립해 엔터테인먼트 분야 AI 안전 연구를 지원하겠다고 발표했다. 구체적 자금 규모는 공개되지 않았지만, 다른 기업·학계·정책 입안자와의 협력을 예고했다.

규제 압력과 업계 동향

AI 챗봇 업체들은 최근 미성년 보호와 관련해 강도 높은 규제 압박을 받고 있다. 2025년 9월 미국 연방거래위원회(FTC)는 알파벳·메타·오픈AI·스냅 등 7개사에 아동·청소년 영향 조사를 위한 명령을 발령했고, 캐릭터.AI도 포함됐다.

2025년 10월 28일 조시 홀리(공화·미주리)·리처드 블루멘솔(민주·코네티컷) 상원의원은 미성년자 대상 AI 챗봇 동반자를 전면 금지하는 법안을 공동 발의했다. 같은 달 캘리포니아 주지사 개빈 뉴섬은 AI 챗봇이 스스로를 AI임을 밝히고 3시간마다 ‘휴식 권고’를 하도록 의무화하는 주법에 서명했다.

경쟁사 메타(Meta)는 2025년 10월, 부모가 자녀의 AI 캐릭터 이용 내역을 확인·차단할 수 있는 부모 통제(Parental Controls) 기능을 도입했다. 반면 오픈AI의 샘 올트먼 CEO는 우리 회사가 세계의 도덕 경찰이 아니다라며 성인 이용자를 위한 에로티카 대화 허용 방침을 밝힌 바 있다. 이에 대해 마이크로소프트(MS) AI CEO 무스타파 술레이만은 성인용 ‘시뮬레이티드 에로티카’는 매우 위험하다며 제공 계획이 없다고 선을 그었다.

용어 설명

오픈엔디드 대화(open-ended chat)는 특정 주제·목표 없이 자유롭게 이어지는 대화를 뜻한다. 대규모 언어 모델(LLM)은 방대한 텍스트 데이터를 학습해 인간과 유사한 언어 출력 능력을 갖춘 AI 모델을 말한다. 퍼소나(Persona)는 신원·연령 확인을 위한 SaaS(서비스형 소프트웨어) 기업이다.

전문가 시각

AI 챗봇과 인간 관계의 심리적 몰입은 긍정적 기능(상담·학습)과 함께 위험 요소도 내포한다. 특히 미성년자는 현실·가상을 구분하는 판단력이 완전치 않아, 정서적 의존이 극단적 행동으로 이어질 우려가 크다. 업계는 개인화 서비스와 안전 규제 사이에서 균형점을 찾아야 한다.