미국 인공지능(AI) 스타트업 앤트로픽은 최첨단 AI 개발사들이 시스템이 스스로를 더 빠르게 개선해 사회가 감당할 수 없는 수준의 위험이 커질 경우, 개발을 조정 가능하고 검증 가능한 방식으로 늦추거나 일시 중단할 공동 계획을 마련해야 한다고 밝혔다.
2026년 6월 4일, 로이터의 보도에 따르면 앤트로픽은 목요일 발표한 입장문에서 “자기 자신을 구축할 수 있는 AI”는 기술사에서 중대한 진전이지만, “완전한 재귀적 자기개선”은 인간이 AI 시스템에 대한 통제력을 잃을 위험도 키울 수 있다고 경고했다. 재귀적 자기개선이란 AI가 다음 세대의 AI를 스스로 더 잘 설계하고 개선해 나가는 과정을 뜻한다. 일반 독자에게는 다소 생소할 수 있지만, 쉽게 말해 인공지능이 인간의 개입 없이 자신보다 더 나은 후속 모델을 연속적으로 만들어 가는 상태를 의미한다.
앤트로픽은 “시스템이 스스로 후속 모델을 완전히 구축할 수 있게 된다면, 이를 안전하게 보호하고, 감시하며, 행동을 형성하는 방식은 훨씬 더 중요해진다”고 설명했다. 회사는 또 올해 5월 기준으로 자사 코드베이스에 병합된 코드의 80% 이상이 자사 AI 모델 클로드(Claude)에 의해 작성됐다고 예로 들었다. 이는 AI가 단순한 보조 도구를 넘어 실제 개발 과정의 핵심 역할을 수행하고 있음을 보여주는 사례로 해석된다.
앤트로픽은 “세계가 초거대 AI 개발을 늦추거나 일시적으로 멈출 선택지를 갖는 것이 사회적 제도와 정렬(alignment) 연구가 기술 발전을 따라잡을 시간을 주는 데 도움이 될 것”이라고 밝혔다. 여기서 정렬 연구는 AI의 목표와 행동이 인간의 의도, 가치, 안전 기준에 맞도록 조정하는 연구를 뜻한다. 회사는 기술이 빠르게 진화하는 상황에서 안전장치와 규범이 뒤처질 경우, 통제 불능의 위험이 커질 수 있다고 보고 있다.
다만 앤트로픽은 일방적이거나 조율이 부족한 감속은 오히려 역효과를 낳을 수 있다고 경고했다. 보다 신중하지 않은 다른 행위자들이 개발을 계속 이어갈 경우, 전체적인 안전 수준이 낮아질 수 있다는 이유다. 회사는 실질적인 중단 조치가 효과를 내려면 기술 최전선에서 경쟁하는 복수의 자금력 있는 연구소가 합의해야 하며, 어떤 조건에서 중단을 발동하고 언제 해제할지, 그리고 누가 이를 감독할지에 대한 규칙도 필요하다고 강조했다.
앤트로픽은 또 단일 기업이 독자적으로 개발을 멈추는 방식은 실행이 더 쉬울 수 있지만, 그 영향은 제한적이며 주도권만 다른 곳으로 옮겨갈 뿐 세계적 차원의 숙의로 이어지지는 않을 수 있다고 덧붙였다. 회사의 연구 부문인 앤트로픽 인스티튜트(Anthropic Institute)는 이러한 감속을 지원하는 데 필요한 시스템을 연구하고 구축할 계획이다.
앤트로픽은 앞으로 수개월 안에 정책입안자, 연구자, 시민사회단체, 다른 AI 기업들을 포함한 논의를 소집해 핵심 쟁점을 검토할 계획이다. 논의 대상에는 재귀적 자기개선과 같은 AI 관련 위험을 어떻게 관리할 것인지, 그리고 조율 메커니즘을 어떻게 개선할 것인지가 포함된다.
이번 발표는 앤트로픽이 지난달 9650억 달러로 기업가치를 평가받으며 자금 조달을 마무리한 데 이어 나온 것이다. 회사는 월요일 미국 기업공개(IPO)를 위해 비공개로 상장 서류를 제출한 상태다. 업계에서는 대형 AI 기업들의 몸값과 자본 조달 규모가 급격히 커지는 가운데, 안전 규제와 성장 전략의 균형을 둘러싼 논쟁도 한층 치열해질 것으로 보고 있다. 특히 초거대 AI 모델의 개발 속도가 빨라질수록 관련 규제, 책임소재, 국제 공조 체계의 필요성도 더 부각될 가능성이 크다.
핵심 정리
앤트로픽은 AI가 스스로를 개선하는 단계에 접어들 경우, 업계가 공동으로 개발 속도를 늦추거나 일시 중단할 수 있는 절차를 마련해야 한다고 주장했다. 다만 회사는 단독 행동은 효과가 제한적일 수 있으며, 여러 연구소와 정책 당국의 협력이 필수라고 밝혔다. 이는 향후 초거대 AI 경쟁이 단순한 기술 개발을 넘어 글로벌 안전 거버넌스의 문제로 확장되고 있음을 보여준다.
