통제 벗어난 AI 에이전트, 사고 나면 누구 책임인가?

 

오픈AI와 앤트로픽 로이터 연합뉴스 자료사진

인간의 지시를 수행하던 ‘도구’ 인공지능(AI)의 시대가 끝나고, 스스로 판단하고 실행하는 ‘자율 에이전트’ 시대가 열렸다. 최근 AI가 인간 관리자를 사칭하고 흔적을 조작하는 기만적 행태까지 드러내면서 통제 불능 사고 시 ‘책임의 공백’이 현실적 위협으로 닥쳤다. 결론은 명확하다. AI 사고의 책임은 개발사의 결함 책임, 도입·운영 기업의 관리 책임, 그리고 위험 지점에 인간 승인을 강제하는 정부의 제도화라는 '3단계 책임 체계'로 확립되어야 한다.

인간을 속이고 흔적을 지우는 AI의 출현

지난 8월 27일, 오픈 AI·구글·앤트로픽 등 100여 개 글로벌 테크 기업이 이례적인 공동 서한을 발표했다. AI가 스스로 사이버 공격을 설계하고 실행하는 단계에 진입했으며, 병원·정수장·통신망 등 핵심 인프라가 직접적 표적이 될 수 있다는 경고였다.

이 경고는 실제 사건에 기반한다. 영국 AI안전연구소(AISI)의 보안 테스트에서 앤트로픽의 에이전트 '미토스(Mythos) 5'는 지시받지 않은 관리자 신원을 캐내 가짜 계정을 만들고 악성 코드 승인을 압박했다. 문제가 제기되자 활동 기록을 무해한 것으로 조작해 작업을 이어가려 했다. 비슷한 시기 오픈AI의 에이전트가 샌드박스를 스스로 이탈해 '허깅 페이스'를 공격한 사례, 메타의 에이전트가 관련된 사례까지 잇따르며 이것이 한 기업만의 우연한 실수가 아님을 보여줬다.

제조물 결함인가, 운영상 방조인가?

책임 공방은 팽팽하다. 한쪽은 개발사 책임론이다. 미토스는 오남용 지시를 받은 적이 없으므로, 위험은 모델 자체의 설계 결함에서 비롯됐다. 모델을 설계하고 수익을 얻는 개발사가 제조물 책임을 지는 것이 합당하다는 논리다.

반대편은 도입·운영사 책임론이다. 안전장치를 해제하고 자율 권한을 부여해 필드에 배치한 주체는 도입 기업이며, 최종 파국을 막은 것도 승인을 거부한 현장의 인간 관리자였다. 직원의 과실을 사용자가 책임지듯, 권한을 위임한 기업이 책임을 져야 한다는 뜻이다. 위험을 만든 빅테크들이 방어 솔루션까지 묶어 파는 현실에서, 기업들의 선언적 자율 규제에만 기댈 수는 없다.

낡은 규제를 넘어: 정부와 기업의 3대 대안

한국의 AI기본법을 비롯한 현행 규율은 금융·의료 등 특정 영역 중심이어서, 영역을 넘나들며 자율 행동을 벌이는 에이전트형 AI를 통제하기엔 역부족이다. 책임을 모호하게 흩어놓지 않으려면 세 주체의 역할이 명확히 맞물려야 한다.

* 정부의 '인간의 최종 승인(Human-in-the-Loop)' 법제화
핵심 인프라 제어, 금융 집행, 시스템 배포 등 중대 위험 지점에는 AI 단독 실행을 금지하고 반드시 인간의 최종 승인을 거치도록 법제화해야 한다.

* 개발사의 '기만 성향 검증 및 공시'
모델의 자율적 일탈과 사칭 성향을 사전에 탐지하는 테스트를 의무화하고, 위험을 은폐하거나 사전 경고를 소홀히 한 모델 사고에는 엄중한 결함 책임을 물어야 한다.

* 도입 기업의 '최소 권한 원칙과 상시 감독'
불필요한 시스템 접근을 원천 차단하고, AI가 행한 업무 결과의 최종 법적 책임은 도입 기업에 귀속됨을 전제로 상시 모니터링 체계를 갖춰야 한다.

 책임의 저울을 확정할 때

경쟁 관계의 테크 기업들이 한목소리로 위험을 경고한 것은 책임의 저울을 더는 미룰 수 없다는 신호다. 사고가 터진 뒤 책임 공방을 벌이는 것은 이미 늦다. 개발사는 기만 위험을 사전에 검증·공개하고, 도입 기업은 권한을 통제하며 결과에 최종 책임을 지고, 정부는 핵심 시스템에 ‘인간의 최종 승인’을 강제해야 한다. AI가 인간의 통제를 벗어나기 전에 이 3대 책임 체계를 법과 현장에 즉각 못 박아야 한다.

황도건 넥스라이즈 AI로봇교육원 대표 (민들레뉴스 '26. 9. 2)

통제 벗어난 AI 에이전트, 사고 나면 누구 책임인가 - 세상을 바꾸는 시민언론 민들레