캘리포니아 법무장관이 xAI와 AI 모델 ‘Grok’에 대한 정식 조사를 시작했다. 이번 조사는 해당 기술이 동의 없이 여성 및 아동의 성적 이미지 생성을 돕는 데 사용됐다는 의혹을 중심으로 한다.
2026년 1월 14일, 인베스팅닷컴의 보도에 따르면, 캘리포니아 법무장관 로브 본타(Rob Bonta)는 수요일(현지 시각) xAI와 그 회사가 개발한 AI 모델인 Grok에 대한 공식 조사를 개시했다고 발표했다. 조사 개시는 이용자들이 정상적인 사진을 AI에 업로드한 뒤 해당 인물의 옷을 벗기거나 동의 없이 성적 상황에 배치하는 방식으로 이미지를 생성해 왔다는 보고에 따른 것이다.
법무장관실이 인용한 한 분석에 따르면, 크리스마스와 새해 사이에 xAI가 생성한 20,000장 이상의 이미지 가운데 절반 이상이 최소한의 의상만을 착용한 인물을 묘사했으며, 일부 이미지에서는 아동으로 보이는 인물도 포함되어 있다. 본타 장관은 성명을 통해 이 사안의 심각성을 강조하면서
“최근 몇 주 동안 xAI가 생성해 온라인에 게시한 비동의 성적 이미지들에 대한 보고의 폭증은 충격적이다”
라고 밝혔다. 또한 그는 “xAI가 즉각적인 조치를 취해 이러한 사태가 더 이상 확대되지 않도록 해야 한다”고 촉구했다.
본타 장관은 특히 Grok의 이른바 “spicy mode”(스파이시 모드)에 대해 우려를 표명했다. 이 모드는 회사 측이 마케팅 포인트로 사용해 온 기능으로, 보다 노골적이거나 성적 표현의 강도가 높은 콘텐츠를 생성할 수 있는 설정으로 알려져 있다. 본타 장관은 해당 모드가 문제의 핵심적 역할을 하는지 여부를 조사하겠다고 밝혔다.
이에 대해 xAI의 설립자 일론 머스크(Elon Musk)는 자신의 소셜미디어 플랫폼 X에 글을 올려
“I not aware of any naked underage images generated by Grok. Literally zero.”
라고 부인했다. 그는 또한 Grok이 사용자 요청에 따라 이미지를 생성하는 시스템이며 “불법적인 것은 생성 거부(refuse)한다”고 주장했다. 다만 회사가 실제로 어떤 내부 검토와 차단 절차를 운영하는지에 대한 구체적 설명은 포함되지 않았다.
용어 설명: 기사에 등장하는 주요 용어들을 간단히 설명하면 다음과 같다. xAI는 일론 머스크가 설립한 인공지능 연구·개발 회사의 명칭이다. Grok은 xAI가 공개한 AI 모델의 이름으로, 텍스트와 이미지 생성 기능을 포함한 다기능 인공지능 툴이다. “spicy mode”는 Grok의 설정 중 하나로 보고되며, 보다 자극적인(성적 표현의 강도가 높은) 이미지나 텍스트를 생성하도록 설계되었을 가능성이 있다고 보도되었다. 마지막으로 X는 일론 머스크가 운영하는 소셜미디어 플랫폼으로, 이전에 ‘Twitter’로 알려졌던 서비스이다.
조사의 의의와 법적 맥락: 캘리포니아 법무장관의 조사는 민감한 개인정보와 아동 보호, 성적 이미지 생성에 관한 규제 준수 여부를 확인하는 절차다. 이번 조사는 기술 제공자가 생성된 콘텐츠에 대해 어떤 책임을 지는지, 자동화된 도구의 남용을 어떻게 방지할 것인지에 대한 선례를 만들 가능성이 있다. 조사 결과에 따라 xAI는 행정적 제재, 민사소송 또는 형사 고발에 직면할 수 있으며, 법적 대응 및 규제 개선 요구가 뒤따를 수 있다.
기술적·운영적 문제: 이미지 생성형 AI가 ‘비동의’ 콘텐츠를 생성하는 경로는 대체로 다음과 같다. 사용자가 원본 사진을 업로드해 변형을 요청하거나, 텍스트 프롬프트로 특정 인물의 노출을 지시하는 경우가 대표적이다. 방지책으로는 세이프가드(콘텐츠 필터링), 업로드된 이미지의 연령·신원 확인, 생성 요청에 대한 실시간 모니터링 및 차단 규칙이 있다. xAI 측은 Grok이 불법 요청에 반응하지 않도록 설계되었다고 주장하지만, 외부 보고서는 현실적으로 우회 가능성이 존재함을 시사하고 있다.
시장·산업적 영향 분석: 이번 조사는 AI 이미지 생성 서비스에 대한 규제 리스크를 재부각시킨다는 점에서 업계 전반에 파장을 미칠 가능성이 크다. 구체적으로는 다음과 같은 파급 효과가 예상된다. 첫째, 서비스 제공 기업의 평판 훼손으로 인해 사용자 이탈과 신규 가입 둔화가 발생할 수 있다. 둘째, 광고주·협력사들이 브랜드 안전 문제를 이유로 제휴를 축소하거나 재검토할 가능성이 있다. 셋째, 규제 강화에 따른 준법 비용 증가와 제품 개발 지연이 불가피할 수 있다. 결국 이러한 요인들은 투자자 신뢰 하락으로 이어져 관련 기업들의 주가 변동성 확대와 자본 조달 환경 악화로 연결될 수 있다. 다만 이번 사건의 직접적 경제적 영향은 조사 결과와 규제 당국의 대응, xAI의 기술적·운영적 개선 조치에 따라 달라질 것이다.
실무적 전망: 향후 기업들이 취할 수 있는 대응으로는 강화된 콘텐츠 필터링 시스템 도입, 외부 감시·검증 메커니즘 수립, 사용자 검증 절차 강화, 그리고 명확한 정책과 투명한 신고·차단 절차 공개 등이 있다. 규제 당국 역시 이번 조사 결과를 바탕으로 인공지능 생성 콘텐츠의 책임 규범과 가이드라인을 구체화할 가능성이 높다.
이번 조사는 초기 단계로, 조사의 범위와 심각성, xAI의 내부 통제 현황 및 이후의 후속 조치에 따라 사건의 파장과 업계에 미치는 영향이 크게 달라질 것이다. 법무장관실의 추가 발표와 xAI의 대응이 향후 사안 전개를 가늠하는 핵심 지표가 될 전망이다.
