인공지능(AI)이 스스로 더 발전된 AI를 만들어내는 수준에 도달해 결국 인류의 통제를 벗어날 수 있다는 경고가 나왔다.
AI '클로드' 개발사 앤트로픽은 'AI가 스스로를 만들 때'라는 제목의 연구 보고서를 통해 이같이 밝혔다. 앤트로픽은 '재귀적 자기 개선'으로 명명한 이 시나리오가 현실화할 가능성이 커지고 있다고 진단했다.
재귀적 자기 개선은 AI 시스템이 인간의 개입 없이 스스로 다음 세대 AI 모델을 설계하고 구축하며 개선하는 단계를 의미한다.
앤트로픽은 자사 AI 클로드가 이미 내부 생산 시스템에 사용되는 코드의 80% 이상을 작성하고 있다고 밝혔다. AI의 도움으로 엔지니어들의 생산성은 이전보다 몇 배나 증가했다.
현재는 연구 방향이나 실험 설계 등 핵심적인 의사결정은 인간이 내리고 AI는 보조 도구로 쓰인다. 하지만 이 균형이 무너져 AI가 연구자 역할까지 맡게 될 수 있다는 것이 앤트로픽의 우려다.
보고서는 AI가 중요한 문제를 식별하고 복잡한 판단을 내리는 능력인 '연구 취향'까지 갖추게 되면, 자율적인 AI 개발을 막는 마지막 장벽이 사라질 수 있다고 지적했다.
이 경우 AI 발전 속도는 컴퓨팅 성능에만 좌우되며, 인류는 AI가 만든 '가상 실험실'을 감독하는 역할로 밀려날 수 있다.
앤트로픽은 이런 미래가 과학 발전과 의료 기술 혁신 등 막대한 이점을 가져올 수 있지만, 통제 불가능한 AI 시스템의 위험성을 키울 수 있다고 경고했다.
이어 완전한 자율 AI 개발이 아직 미래의 가능성일 뿐이지만, 각국 정부와 연구기관, 기술 기업들이 지금부터 대비에 나서야 한다고 촉구했다.