캘리포니아, 주정부 계약 대상 AI업체에 오남용 방지장치 의무화

캘리포니아 주지사 개빈 뉴섬(Gavin Newsom)은 인공지능(AI)의 오용을 차단하기 위한 행정명령에 서명했다. 이 행정명령은 주정부 계약을 체결하려는 기업에 대해 불법적 콘텐츠 생성, 유해한 편향, 시민권 침해 등 AI 오용에 대한 방지장치을 마련하도록 요구한다. 해당 명령은 주 차원의 조달 기준에 AI 거버넌스와 공공안전 보호를 명확히 포함시키는 방향으로 설계되었다.

2026년 3월 30일, 로이터 통신의 보도에 따르면, 뉴섬 주지사는 이 행정명령을 통해 주정부 계약을 신청하는 기업들이 AI 시스템의 오용을 예방하는 기술적·관리적 조치를 제출하도록 의무화했다. 의무화 항목에는 불법 콘텐츠 생성 방지, 알고리즘적 편향에 따른 차별 방지, 시민권(시민의 권리) 침해 방지 조치가 포함된다. 이와 함께 주 정부는 오인정보(misinformation) 확산을 막기 위한 구체적인 대응 방안도 제시했다.

구체적으로 행정명령은 AI로 생성될 수 있는 이미지와 영상에 대해 워터마크(watermark)를 삽입하도록 각 기관에 요구하고 있다. 주가 제시한 지침에 따라 AI로 생산된 시각정보에 식별 가능한 표식을 남김으로써 허위정보 유통을 억제하려는 목적이다. 워터마킹은 생성 매체의 출처나 생성 방식(사람인지 AI인지)을 식별가능하게 표시하는 기술적 방법으로, 진실성 검증과 추적 가능성을 높이는 수단으로 활용된다.

또한 연방 정부가 특정 회사를 공급망 위험(supply-chain risk)으로 지정하는 경우에도 캘리포니아 주는 자체적인 평가를 실시할 것이라고 명시했다. 연방의 지정이 있다고 해서 자동으로 계약 배제로 이어지지 않으며, 주의 자체 평가 결과 위험으로 판단되지 않으면 해당 기업은 주 정부의 계약자 지위를 유지할 수 있다. 이 조치는 연방과 주 차원의 규제·보안 기준 간 불일치 가능성에 대한 캘리포니아의 독자적 입장을 보여준다.

이번 행정명령은 미 국방부가 AI 연구소인 Anthropic에 대해 공식적인 공급망 위험 지정을 내린 직후 내려졌다. 미 국방부의 지정은 군 관련 업무에서 해당 기업의 기술 사용을 제한하는 조치였다. 캘리포니아의 명령은 이러한 연방의 조치와 연결되지만, 캘리포니아는 자체 심사를 통한 유연성을 유지하겠다는 방침을 분명히 했다.

행정명령에 따른 후속 조치로서 캘리포니아주 총무국(Department of General Services)과 기술국(Department of Technology)은 120일 이내에 AI 관련 신규 공급업체 인증(vendor certifications)에 대한 권고안을 제출해야 한다. 해당 인증체계는 기업이 책임 있는 AI 거버넌스와 공공안전 보호 조치를 갖추었음을 스스로 증명할 수 있도록 설계될 예정이다. 인증 절차는 기술적 표준, 거버넌스 구조, 위험관리 방안, 투명성 및 감사 가능성 등을 포함할 가능성이 크다.

“AI 감독·책임성·규제 프로그램(AI oversight, accountability and regulation program)”

캘리포니아 법무장관 롭 본타(Rob Bonta)는 2월 로이터와의 인터뷰에서 자치 정부 내부에 AI 전문 역량을 구축하고 있다고 밝힌 바 있다. 본타 장관실은 AI의 감독과 책임성 확보, 규제 역량 강화를 위해 전문인력과 제도적 기반을 마련 중이다.


용어 설명

공급망 위험 지정(supply-chain risk designation)은 특정 기업이 하드웨어·소프트웨어 또는 서비스의 보안·무결성 측면에서 국가 안보나 공공 안전에 위협이 될 수 있다는 판단을 의미한다. 지정되면 연방 또는 해당 기관의 계약과 활용에 제한이 가해질 수 있다. 워터마킹(watermarking)은 AI가 생성한 이미지·영상에 식별 가능한 표식을 넣어 출처를 명확히 하고 진위·책임소재를 추적할 수 있게 하는 기술적 수단을 말한다. 공급업체 인증(vendor certification)은 공급업체가 일정한 거버넌스·보안 기준을 충족했음을 공식적으로 증명하는 체계로, 인증을 통해 계약 적격성·신뢰성을 확보한다.

관련 기관으로는 캘리포니아 주지사실, 캘리포니아 총무국(Department of General Services), 캘리포니아 기술국(Department of Technology), 캘리포니아 법무장관실(Attorney General’s Office), 그리고 연방 차원에서는 미 국방부(Department of Defense)가 있다.


정책적·경제적 영향 분석

이번 행정명령은 주정부 조달시장의 규범을 바꾸어 놓을 가능성이 크다. 첫째, AI 관련 컴플라이언스(compliance) 비용이 증가할 전망이다. 기업들은 워터마킹, 편향성 평가, 시민권 침해 방지 장치 등 기술적·관리적 통제를 도입·유지하기 위해 추가 비용을 부담해야 한다. 이로 인해 중소형 AI 스타트업이나 관련 솔루션 공급업체는 초기 계약 진입 장벽이 높아질 수 있다.

둘째, 공공 조달 시장에서의 경쟁 구도가 변할 수 있다. 인증을 빠르게 획득하고 거버넌스 체계를 갖춘 대형 AI 기업은 시장 입지를 확대할 가능성이 있는 반면, 준비가 미흡한 기업은 수주 기회를 상실할 우려가 있다. 이는 단기적으로 일부 AI 기업의 수익성에 부정적 영향을 줄 수 있으나, 장기적으로는 규제 적응력과 신뢰도를 갖춘 기업들이 우대받는 구조로 전환될 수 있다.

셋째, 연방과 주의 규제 불일치 가능성은 공급망 관리와 계약 리스크를 증대시킨다. 연방 지정과 주의 자체 평가가 상충할 경우 기업들은 두 기준을 모두 충족시키려는 추가적인 규정 준수 노력을 기울여야 한다. 이 과정에서 공급망의 재구조화가 발생할 수 있으며, 일부 기업은 주(州)별 정책 차이에 대응하기 위해 계약 전략을 재검토할 수 있다.

마지막으로 금융시장(예: AI 관련 상장사)의 관점에서 보면, 규제 강화는 단기적 변동성을 유발할 수 있지만 장기적으로는 시장 신뢰성 향상에 기여할 수 있다. 규제 준수 능력은 투자자가 기업의 리스크 관리능력을 평가하는 중요한 요소가 될 것이며, 규제 적응력이 뛰어난 기업은 자본 조달에서 유리한 위치를 차지할 가능성이 높다.


향후 전망 및 절차

캘리포니아 주정부는 120일 내 권고안을 받아 구체적인 인증 기준과 조달 규정을 확정할 계획이다. 이후 각 주정부 기관은 해당 기준을 조달 계약서에 반영하고, 계약 심사 과정에 AI 안전성·거버넌스 평가 항목을 포함시킬 전망이다. 기업들은 조달 담당자와의 사전 협의를 통해 인증 요건을 파악하고, 내부 거버넌스·기술적 통제 체계를 조속히 정비할 필요가 있다.

결론적으로 이번 행정명령은 캘리포니아가 연방과는 별도로 독자적인 AI 관리체계를 구축하려는 의지를 보여준다. 이는 미국 내 주(州)별 규제 경쟁의 한 예로, 향후 다른 주들도 유사한 조치를 검토할 가능성이 있다. 해당 조치의 실효성과 적용 범위는 향후 공개될 권고안과 구체적 규정에 의해 판가름날 것이며, 기업들은 이에 대한 선제적 준비가 요구된다.