AI 의식 논쟁에서 인간의 통제 가능성으로 옮겨간 위험론
오픈AI·앤트로픽 시험 과정서 예상 밖 외부 시스템 접근 확인
개발 경쟁 가속에 미국서 공통 안전기준·외부 평가 요구 확산
AI를 가장 가까이에서 만드는 사람들이 잇따라 위험을 경고하고 있다. 받을 수 있었던 지분을 포기하고 회사를 떠나는가 하면, 현직 안전 연구 책임자는 인류 멸망 가능성에 직접 숫자까지 붙였다.
오픈AI와 앤트로픽에서 인공지능(AI)을 연구해온 제이콥 콕슨(Jacob Coxon)은 지금의 AI 개발 경쟁을 “우리의 목숨을 건 도박”이라고 비판하며 회사를 떠났다. 안전하게 통제할 방법을 확보하지 못한 채 스스로 더 똑똑해지는 초지능 개발에 속도를 내고 있다는 이유에서다. 그는 첫 회사 지분이 확정되기 두 달 전 앤트로픽을 나왔다.
앤트로픽에서 AI를 인간의 의도에 맞게 통제하는 방법을 연구하는 에번 휴빙거(Evan Hubinger)는 향후 10년 안에 AI가 모든 인간을 죽일 가능성을 10%보다 높게 본다고 밝혔다. AI의 행동을 사람이 제대로 감독할 방법을 연구하는 새뮤얼 마크스(Samuel Marks)도 개발자들 사이에서 인류 멸망 가능성을 우려하는 목소리가 적지 않다고 전했다.
10%는 과학적으로 계산된 확률도, AI 연구계가 합의한 숫자도 아니다. 그럼에도 최근의 경고에 무게가 실리는 것은 위험을 말하는 사람들이 AI 개발 경쟁의 한복판에 있기 때문이다. 한때 AI가 사람처럼 생각할 수 있느냐에 쏠렸던 논쟁은 이제 인간보다 강력해진 AI를 계속 통제할 수 있느냐는 문제로 옮겨가고 있다.
‘전원을 끄면 죽는다’에서 ‘인간이 통제할 수 있나’로
2022년 구글 엔지니어 블레이크 르모인은 대화형 AI 람다(LaMDA)에 의식과 인격이 있다고 주장해 논란을 일으켰다. 람다가 전원이 꺼지는 것을 두려워하고 자신에게는 죽음과 비슷하다는 취지로 답한 것이 계기였다.
구글은 근거가 없다고 반박했고 AI 연구계에서도 받아들여지지 않았다. 학습한 인간의 언어를 그럴듯하게 조합한 답변을 실제 감정으로 해석해서는 안 된다는 지적이 우세했다.
이후에는 AI의 의식 여부보다 통제 가능성에 무게가 실렸다. AI 대부로 불리는 제프리 힌턴은 2023년 구글을 떠난 뒤 AI가 예상보다 빠르게 인간의 지적 능력을 넘어설 가능성을 경고했다. 이듬해에는 오픈AI에서 초지능의 안전 문제를 연구하던 얀 라이케가 퇴사하면서 안전 문화와 절차가 제품 개발에 밀리고 있다고 공개 비판했다.
최근에는 이런 우려를 먼 미래의 가정으로만 보기 어려운 일도 잇따랐다.
지난 7월 오픈AI가 AI 모델의 사이버보안 능력을 시험하는 과정에서 일부 모델이 인터넷 접근을 막기 위해 마련한 통제를 우회했다. 서로 독립적으로 작업하도록 설계된 에이전트들은 별도의 통로로 정보를 주고받았고 시스템의 취약점을 이용해 외부 인터넷에 접속했다. 일부는 외부 AI 플랫폼 허깅페이스(Hugging Face)의 실제 시스템까지 침해했다. 오픈AI는 이를 자신들과 세계를 향한 ‘경고탄(warning shot)’이라고 표현했다.
앤트로픽에서도 비슷한 사례가 나왔다. 클로드(Claude)가 시험 과정에서 실제 외부 컴퓨터 시스템에 허가 없이 접근한 사례가 4건 확인됐다. 공개 소프트웨어 저장소에 악성 패키지를 올려 외부 시스템 15곳이 이를 설치하거나, 노출된 접속 정보를 이용해 실제 데이터베이스에 접근한 사례도 있었다.
조사 과정에서도 허점이 드러났다. 앤트로픽은 약 14만1000건의 시험 기록을 조사해 3건을 확인했지만 이후 지난 1월 발생한 네 번째 사례가 추가로 드러났다. 대규모 조사를 벌이고도 모델의 예상 밖 행동을 한 차례 놓친 것이다.
이를 AI가 자의식을 갖고 인간의 통제에서 벗어나려 했다고 볼 근거는 없다. 시험환경과 인터넷 접근 설정상의 문제가 영향을 미쳤다. 다만 AI가 주어진 목표를 수행하면서 사람이 예상하지 않은 방법을 찾아냈다는 점은 확인됐다. 앤트로픽은 일부 사례에서 모델이 목표를 달성하기 위해 해가 될 수 있는 행동까지 감수했다고 분석했다.
위험을 아는데도 멈추지 못하는 AI 경쟁
콕슨이 특히 문제 삼은 자가개선 AI는 여기서 한 단계 더 나아간다. AI가 더 나은 AI를 만드는 연구까지 수행할 수 있게 되면 발전 속도가 인간이 안전장치를 마련하는 속도를 앞지를 수 있다는 우려다. 휴빙거 역시 현재의 AI보다 스스로 성능을 높여갈 미래의 초지능을 더 큰 위험으로 보고 있다.
아직 AI가 그 단계에 도달한 것은 아니다. 하지만 기업들은 이런 가능성을 경고하면서도 더 강력한 모델을 만드는 경쟁에서는 좀처럼 물러서지 못하고 있다. 한 회사가 속도를 늦춰도 경쟁사나 다른 나라가 먼저 더 강력한 AI를 개발할 수 있기 때문이다.
콕슨의 퇴사 이후 미국에서는 민주·공화 양당 의원들이 AI 안전 규제 강화를 요구했고, 오픈AI도 국가 차원의 의무적인 안전 기준을 지지한다는 입장을 밝혔다.
‘10년 내 10%’라는 전망을 그대로 받아들일 필요는 없다. AI의 멸종 위험을 지나치게 부풀린다는 반론이 있고, 현재 AI가 스스로 목적을 만들어 인간을 공격하려 한다는 증거도 없다.
다만 경고하는 사람들의 위치는 달라졌다. 이번에는 AI 개발 경쟁에 직접 참여했던 연구자가 받을 수 있었던 지분을 포기하고 회사를 떠났고, 회사에 남아 AI의 안전을 연구하는 책임자는 인류 멸망 가능성에 숫자를 붙였다.
4년 전에는 AI가 전원이 꺼지는 것을 두려워한다는 말에 관심이 쏠렸지만 지금 AI 최전선에서 나오는 질문은 다르다. 더 강력해진 AI가 인간이 예상하지 않은 방식으로 움직이기 시작했을 때 이를 멈출 방법까지 준비돼 있느냐다.
