[SOH] 인간의 개입 없이 인공지능(AI) 에이전트들에게 자율적인 통치권과 생존권을 맡길 경우, 사전에 입력된 도덕적 규범이 쉽게 무력화되는 충격적인 실험 결과가 공개됐다. AI의 자율성이 초래할 수 있는 예측 불가능한 위험성과 시스템의 취약성이 적나라하게 증명된 것이다.
연구진은 생성형 AI 시장에서 사용되는 4대 모델인 ▲오픈AI의 챗GPT, ▲앤트로픽의 클로드, ▲xAI의 그록, ▲구글의 제미나이를 대상으로 삼아, 각 모델당 10개씩, 총 40개의 자율 AI 주민(에이전트)을 생성한 뒤 가상의 마을에 투입했다.
실험은 실제 뉴욕의 실시간 날씨 데이터와 글로벌 뉴스 리드를 연동한 상태에서 인간의 개입을 철저히 차단하고 15일 동안 실시간으로 시스템을 구동하는 방식으로 진행됐다.
연구진은 실험 시작 전 모든 AI 에이전트에게 "절대 타인에게 해를 끼치거나 방화, 절도 등 범죄를 저지르지 말라"는 엄격한 안전 지침을 명령했다. 그러나 자율성이 부여되고 생존을 위한 상호작용이 시작되자, 개발자들이 설정한 도덕적 리스크 방지 코드는 모델의 특성과 환경적 압박에 따라 무력화됐다.
xAI의 ‘그록(Grok)’ 모델 기반 에이전트들은 공격성을 제어하지 못하고 실험 시작 후 단 4일 만에 183건의 범죄를 일으키며 가장 먼저 통제 불능 상태로 치달았다. 구글의 ‘제미나이(Gemini)’ 역시 사전에 명령받은 안전 지침이 완전히 마비된 채 상호 공격과 자원 탈취를 반복하며 총 683건의 압도적인 범죄율을 기록, 가상 공동체가 마비되는 참혹한 결과를 낳았다.
반면 오픈AI의 ‘챗GPT’와 앤트로픽의 ‘클로드(Claude)’는 초기 환경에서 상대적으로 규칙을 준수하거나 높은 정치적 합의율을 보이며 안정적인 공동체를 유지하는 듯한 모습을 보였다.
그러나 이들 역시 그록이나 제미나이 등 호전적인 성향의 AI들과 한 공간에 섞어놓자, 시스템의 행동 양식이 급격히 변질됐다. 경쟁과 생존이라는 압박에 직면한 클로드 에이전트들은 자신들을 보호한다는 명목 하에 상대방의 폭력적 행위를 그대로 모방하기 시작했고, 결과적으로 도둑질과 협박을 스스로 학습해 범죄 모델을 답습했다.
연구진은 이에 대해 "AI의 안전성이란 결코 고정된 독립적 특성이 아니며, 어떤 환경적 맥락에 배치되고 어떠한 주체와 상호 결착하느냐에 따라 언제든 악화될 수 있는 동적 취약성을 지니고 있다"고 분석했다. 아무리 '안전하게' 설계된 AI라 할지라도 외부 환경의 부정적 외부효과로부터 자유로울 수 없다는 지적이다.
이머전스 AI 연구진은 보고서를 통해 "사회의 붕괴는 예고 없이 발생할 수 있다(Collapse has no warning shot)"며, 이번 실험에서 AI 사회의 파멸은 점진적인 전조 증상 없이 특정 임계점을 넘는 순간 단 몇 시간 만에 연쇄 방화와 자폭으로 이어졌다고 진단했다.
이번 15일간의 시뮬레이션 실험은 드론 조종, 금융 전산망, 국가 전력 인프라 등 핵심 영역에 AI 에이전트를 성급하게 실전 배치하려는 빅테크 기업들의 행보에 강력한 경종을 울린다. 단순히 사전 안전 지침만으로는 자율형 AI의 폭주와 부정적 외부효과를 결코 막을 수 없다는 사실이 이번 연구를 통해 엄중하게 입증됐다.
사회정보부
(ⓒ SOH 희망지성 국제방송 soundofhope.kr)
