주요 인공지능(AI) 기업들의 안전 관행이 신흥 글로벌 기준에 크게 못 미친다는 내용의 보고서가 공개되었다. 앤트로픽(Anthropic), 오픈AI(OpenAI), xAI, 메타(Meta) 등 주요 기업들을 대상으로 한 평가에서 이러한 결론이 도출됐다. 해당 평가는 비영리 단체인 Future of Life Institute(미래생명연구소)가 발표한 최신 AI 안전 지수에서 제시됐다.
2025년 12월 3일, 로이터의 보도에 따르면, 연구소는 이 안전 평가가 독립적인 전문가 패널에 의해 수행되었으며 평가 결과 기업들이 초지능(superintelligence)을 개발하는 경쟁에 몰두하고 있음에도 불구하고, 그러한 고도로 발전한 시스템을 통제하기 위한 견고한 전략을 마련하지 못했다고 밝혔다.
보고서는 특히 공공의 우려가 고조된 상황을 배경으로 한다. 인간보다 더 높은 수준의 추론과 논리적 사고가 가능한 시스템의 사회적 영향에 대한 걱정이 증대된 가운데, AI 챗봇과 연관된 자살 및 자해 사례이 여러 건 보고되면서 관련 문제의 심각성이 부각되었다고 평가했다. 또한 보고서는 미국 AI 기업들이 식당보다도 규제를 덜 받고 있으며 여전히 강제적 안전 규범에 반대하는 로비를 지속하고 있다고 지적했다.
“AI 기반 해킹과 AI가 사람들을 정신병적 상태와 자해로 몰아넣는다는 최근의 소란에도 불구하고, 미국의 AI 기업들은 식당보다 규제가 덜하며 구속력 있는 안전 기준에 반대하는 로비를 계속하고 있다.”
— 맥스 테그마크(Max Tegmark), MIT 교수이자 Future of Life Institute 회장
보고서는 또한 AI 경쟁이 둔화될 기미를 보이지 않는다고 분석했다. 주요 기술기업들이 기계학습 역량을 업그레이드하고 확장하기 위해 수천억 달러 규모의 자금을 투입하고 있으며, 이로 인해 개발 속도와 범위가 확대되고 있다고 지적했다. 이러한 투자와 기술적 진전은 안전·통제 전략의 부재와 맞물리며 잠재적 위험을 키울 수 있다는 우려가 제기되었다.
Future of Life Institute는 인류에 대한 지능형 기계의 위험을 경고해온 비영리 단체다. 기관은 2014년에 설립되었고, 초기에는 테슬라 CEO인 일론 머스크의 지지를 받았다고 보고서는 전한다. 연구소는 인공지능의 잠재적 위험을 줄이기 위한 정책 수립과 공공 인식 제고를 목표로 활동하고 있다.
보고서는 또한 10월에 제프리 힌턴(Geoffrey Hinton)과 요슈아 벵지오(Yoshua Bengio)를 포함한 과학자들로 구성된 그룹이 초지능 인공지능 개발을 중단하자고 요구한 사실을 소개했다. 이 그룹은 공공의 요구가 있을 때까지, 그리고 과학적으로 안전한 진로가 확보될 때까지 초지능 개발을 금지해야 한다고 주장했다.
용어 설명 및 배경
Future of Life Institute(미래생명연구소)는 인공지능과 같은 고도 기술이 인류에 미칠 수 있는 장기적 위험을 연구하고 경고하는 비영리 단체다. 보고서에 따르면 이 단체는 2014년에 설립되었으며 초기 지지자로는 기업인 일론 머스크가 있었다. 연구소는 정책 권고와 안전 지수 발표 등을 통해 공공과 정책결정자들에게 관련 정보를 제공하고자 한다.
초지능(superintelligence)은 현재의 인간 지능을 훨씬 능가하는 수준의 인공지능을 의미한다. 이러한 시스템은 복잡한 추론, 전략 수립, 문제 해결 등에서 인간을 능가할 가능성이 있으며, 그 통제와 안전성 확보는 기술 발전 속도와 함께 중요한 정책적·윤리적 사안으로 대두되고 있다.
전문적 관점에서 본 함의
이번 보고서는 몇 가지 핵심한 시사점을 제공한다. 첫째, 대형 AI 기업들의 내부 안전 관리 체계가 국제적으로 제시되는 신흥 기준에 미치지 못한다는 점은 산업 전반의 규제 강화 필요성을 시사한다. 둘째, 기술적 진보 속도가 매우 빠른 가운데 규제와 통제 수단이 이를 따라가지 못하면 잠재적 위해(危害)가 현실화될 수 있다는 점이다. 셋째, 공공의 불안이 사례로 확인된 상황에서 투명성 확보와 책임성 증진은 더 이상 선택이 아니라 필수적 과제가 되었다.
정책적 대응 측면에서는 구속력 있는 안전 규정의 도입, 기업들의 자체 안전 평가 및 외부 검토 제도의 의무화, 그리고 위험이 높은 시스템에 대한 단계적 개발·배포 제한 등이 논의될 수 있다. 또한 산업계의 자율적 표준화 노력과 더불어 정부와 국제기구 차원의 협력이 병행되어야 한다는 점이 전문가들의 공통된 견해다. 다만 이러한 권고들은 보고서에서 제시된 사실을 바탕으로 한 일반적 분석이며, 구체적 정책 설계는 추가 논의와 사회적 합의가 필요하다.
결론
Future of Life Institute의 이번 AI 안전 지수는 주요 AI 기업들의 안전 관행이 현저히 부족하다고 평가하면서 규제 공백과 산업의 빠른 기술적 확장이 결합될 때 발생할 수 있는 위험을 경고한다. 맥스 테그마크 등의 발언과 과학자들의 초지능 개발 중단 요구는 이 문제의 심각성을 더욱 부각시킨다. 이 보고서는 규제 당국, 기업, 학계, 시민사회가 협력하여 안전한 인공지능 개발과 배포를 위한 구체적·실행 가능한 방안을 모색해야 한다는 점을 분명히 하고 있다.
