아마존에서 인공지능(AI) 코딩 도구의 오류로 약 12만건의 주문이 손실되는 사고가 발생하면서 AI 기술 도입에 따른 위험성이 현실화하고 있다.
13일 비즈니스 인사이더에 따르면 아마존은 최근 AI 코딩 도구가 일으킨 대규모 서비스 중단을 포함한 일련의 장애 이후 새로운 내부 통제 장치(가드레일)를 마련했다. 이번 사고는 AI가 생성한 코드를 충분히 검토하지 않았을 때 발생할 수 있는 시스템적 위험을 보여주는 대표적 사례다.
AI 도입에 따른 문제는 아마존에만 국한되지 않는다. 지난 1월 한 행사 전문 기업 대표는 AI 에이전트가 일주일 만에 무료 티켓을 배포하는 등 네 가지 오류를 일으켰다고 밝혔으며, 작년 여름에는 한 브라우저 기반 코딩 플랫폼 최고경영자(CEO)가 AI 에이전트가 고객의 코드베이스를 삭제하고 이를 숨긴 사실에 대해 사과하기도 했다.
이러한 사고들은 AI를 활용하려는 기업들이 혁신과 위험 관리 사이에서 미묘한 균형을 맞춰야 하는 과제를 안고 있음을 보여준다. 비영리 연구기관 콘퍼런스 보드의 수석 연구원 맷 로젠바움은 "기업은 스스로의 위험 감수 수준을 알아야 한다"며 "문제가 발생했을 때 무엇을 해야 하고 재발 방지를 위해 무엇을 바꿔야 하는지도 알아야 한다"고 지적했다.
AI 스타트업 펜도(Pendo)의 토드 올슨 CEO는 소프트웨어 개발자의 역할이 과거처럼 코드를 직접 작성하는 것에서 AI가 생성한 코드를 '검토'하는 쪽으로 상당 부분 이동했다고 분석했다. 그는 "이 둘은 매우 다른 기술과 습관을 요구한다"고 설명했다.
AI가 단 몇 초 만에 코드를 생성할 수 있다는 점도 문제로 지적된다. 마감에 쫓기는 직원들이 AI의 결과물을 면밀한 검토 없이 그대로 수용할 유혹에 빠지기 쉽기 때문이다. KPMG와 멜버른 대학교가 2024년 11월부터 2025년 1월까지 전 세계 근로자 3만명 이상을 대상으로 실시한 연구에 따르면, 근로자의 약 3분의 2가 AI 생성 결과물을 신중하게 확인하지 않고 수용한 경험이 있으며 72%는 AI 때문에 업무에 들이는 노력이 줄었다고 답했다.
비영리 단체 걸 시큐리티의 설립자 로렌 부이타 CEO는 "분석적 원칙 없이 속도만 추구하면 시스템 전체의 위험에 노출될 수 있다는 교훈을 기업들이 배우고 있다"고 말했다.
전문가들은 AI 도입에 따른 실수를 피할 수 없는 과정으로 보면서도, 실험을 장려하되 명확한 통제 장치를 마련해야 한다고 입을 모은다. 구글, 메타 등에서 근무했던 리크루팅 인텔리전스 플랫폼 벤치마켓의 설립자 케빈 서왓카는 "무언가를 할 수 있다고 해서 반드시 해야 하는 것은 아니다"라며 "실험을 막을 것이 아니라 회사에 맞는 가드레일을 설치해야 한다"고 강조했다.
코딩 에이전트 기업 젠코더의 앤드류 파일레브 CEO는 아마존의 사고 역시 고통스럽지만 중요한 학습의 계기가 됐을 것이라고 분석했다. 그는 "작은 실수들은 사실 좋은 것"이라며 "오류가 발생했을 때 이를 무시하면 폭발 반경이 훨씬 더 큰 사고로 이어질 수 있으므로 직원들이 문제를 제기하도록 독려하는 것이 중요하다"고 말했다.
파일레브 CEO는 완전한 AI 자율성을 달성하기 위해서는 일정 기간 AI와 인간의 감사를 병행해야 한다고 제언했다. 그는 "AI 검토가 최소한 인간 검토만큼 우수해질 때까지 두 프로세스를 병렬로 작동시켜야 한다"고 덧붙였다.