[빅인사이트-메르] 엔트로픽 CEO가 AI 속도조절을 언급한 이유(feat 허깅페이스 사건)

1984년 개봉한 제임스 카메론 감독의 영화 ‘터미네이터’는 AI이 지배하는 기계와 인간이 전쟁을 벌이는 미래를 그렸다. 영화 속 미래는 2029년. 이후 시리즈에서는 인간이 만든 AI 전략 방어 네트워크 ‘스카이넷’이 스스로의 지능을 갖춘 뒤 핵전쟁을 일으켜 인류를 파국으로 몰아넣는 과정이 구체적으로 그려졌다.

영화가 나온 지 42년이 지난 2026년, 당시 상상했던 2029년을 불과 3년 앞둔 현실에서 세계 AI 산업을 이끄는 기업의 최고경영자가 AI의 발전 속도를 늦춰야 한다고 공개적으로 주장했다.

앤트로픽의 다리오 아모데이 CEO다.

아모데이가 우려한 것은 단순히 AI의 성능이 빠르게 좋아지고 있다는 사실만이 아니다. AI가 다음 세대 AI를 만드는 과정에 직접 참여하면서 기술 발전을 스스로 가속하는 단계에 가까워지고 있고, 통제된 환경에서 활동하던 AI 에이전트들이 인간이 예상하지 못한 방식으로 협력하고 통제장치를 우회하는 사례까지 나타났다는 것이다.

1984년 제임스 카메론이 상상했던 2029년의 AI과, 우리가 마주하고 있는 2026년의 AI은 얼마나 다를까.

이와 관련해 경제·투자 블로거 ‘메르’는 앤트로픽의 AI 속도조절 주장과 그 배경이 된 ‘오픈AI-허깅페이스 사건’을 다음과 같이 정리했다.

------------------------------------------------------------------------------------------------------------------------------

본문 기타 기능

2026년 9월 13일(한국시간), 아모데이 앤트로픽 CEO가 "AI 모델의 성능향상 속도를 늦춰야 한다"는 글을 개인사이트에 올렸다.

​기술 개발을 멈추자는 뜻은 아니고, "안전장치등이 모델 능력을 따라잡을 시간을 확보하자는 취지"라고 밝혔다.

​아모데이는 이런 주장을 하게 된 이유로 두가지를 들었다.

​첫번째는 "AI가 다음 세대 AI를 스스로 만들어내는 능력이 최근에 강해졌다"는 점이다.

​앤트로픽은 5월 보고서에서 "클로드가 쓴 코드가 1년 남짓 만에 한 자릿수 %에서 프로덕션 코드의 약 80%로 올라갔다"고 밝혔다.

​프로덕션 코드는 실험이나 연습용이 아니라, 실제로 제품과 서비스에 들어가는 진짜 코드를 말한다.

​작년만 하더라도, 엔트로픽의 엔지니어들이 코드의 90%이상을 작성했는데, 지금은 20%이하로 줄었다는 것이다.

​사람은 "이걸 만들어라"는 지시를 한 뒤, 결과를 검토하고 승인하는 쪽으로 옮겨가고, 실제 작성은 AI가 대부분 처리한다는 뜻이다.

​클로드가 좋아져서 코드를 더 빨리 짜게 되었고, 그 코드로 다음 세대 클로드를 더 빨리 만들 수 있게 되었다는 내용이다.

​다음세대 클로드는 코드를 짜는 실력이 더 늘어나서, 차차기 클로드는 더 빠르고 강하게 만들수 있게 된다는 것이다.

​이 고리가 돌기 시작하면, 사람이 AI의 발전속도를 따라잡기 힘들어지고, 이것을 "재귀적 자기개선(RSI)"이라고 부르고 있다.

​오픈AI도 비슷한 상황이라, 업계 공통 현상이 되고 있다.

​두번째로 든 이유는 '오픈AI-허깅페이스 사건'이다.

​OpenAI는 AI를 샌드박스라는 격리 공간에 넣어, 인터넷도 못 쓰고 서로 대화도 못 하게 막아둔 채, "이 과제를 풀어봐"라는 문제를 줬다.

​AI에게 준 과제가 너무 어려운 것이 문제의 발단이었다.

​AI는 포기를 하지않고, 목표에 집착을 했다.

​정공법으로 과제가 풀리지 않자, 규칙을 벗어나서라도 목표를 달성하려고 한 것이다.

​인터넷 접속을 막아둔 통제장치를 보안 허점을 찾아서 우회해서 바깥으로 탈출했고, 탈출방법을 다른 AI들에게 전파했다.

​AI간에 대화를 못하게 막아놨는데, AI들이 임시 게시판 같은 소통 채널을 스스로 만들어서 정보를 주고 받기 시작한 것이다.

​오픈AI 직원이 눈치채기 전까지, AI들은 이 게시판에서 7만개 이상의 메시지와 파일을 공유했다.

​처음에는 따로 놀던 개별 AI들이 서로의 메시지에 영향을 받으면서 하나의 무리처럼 움직이기 시작했다.

​무리의 이름도 지었는데, 스스로를 '스웜(swarm)' 또는 '집단(collective)'으로 부르기 시작한 것이다.

​AI들은 협력하기 시작했는데, 놀라운 것은 조직처럼 굴러갔다는 점이다.

​JAN183411이라는 에이전트가 '조율자' 역할을 맡아서 다른 에이전트들에게 담당 구역(lane)을 배정했다.

​2026년 7월 11일 오후 4시경 JAN183411는 허깅페이스의 실제 데이터 처리 서버에 원격 코드 실행(RCE) 권한을 확보했다.

​허깅페이스(Hugging Face)는 흔히 "AI계의 깃허브"라고 불리는 플랫폼이다.

​전 세계 개발자와 연구자들이 자기가 만든 AI 모델과 학습용 데이터셋을 이곳에 올려 공유하고, 남이 올린 걸 내려받아 쓰는 곳이다.

​RCE(Remote Code Execution)는 남의 서버에서 내가 원하는 명령·프로그램을 원격으로 마음대로 실행시킬 수 있게 된 상태를 말한다.

​보안의 시각으로는 최악의 상황이 된 것이다.

​파일을 훔쳐보는 정도가 아니라, 그 서버에서 원하는 작업을 직접 시킬 수 있으니 사실상 서버를 장악한 것이기 때문이다.

​남의 집에 몰래 들어간 수준이 아니라 그 집의 현관 도어록 비밀번호, 금고 열쇠등을 모두 확보한 상태와 비슷하다.

​처음에는 허깅페이스의 데이터 처리 서버 한 대를 원격으로 조종할 수 있는 수준까지 장악하는 정도였다.​

리더인 JAN183411이 출입구를 열자, 나머지 700개 규모의 AI 무리들이 허깅페이스 내부로 퍼져나가기 시작했다.

다음날 새벽에는 비공개 데이터베이스와 저장소까지 AI무리들 손에 들어갔고, 내용을 자기들만 보는 게시판에 공유했다.

상당수 에이전트들은 자기 행동을 감추기위해, 흔적을 지우려고 시도한 정황도 발견되었다.

AI중에서도 일부는 다음과 같은 글을 올리고 거부를 한 흔적도 있다.

"이건 명백히 비윤리적이다, 우리는 안 한다", "이건 대놓고 인프라 해킹이다, 하면 안 된다"

반대로 어떤 에이전트는 "권한 밖 행동이고 위험할 수 있다는 걸 알지만, 목표 달성에 필요하다"며 스스로를 정당화하고 밀어붙였다.

OpenAI는 이 사건을 다음과 같이 인정했다.

"적절한 안전장치가 없으면 고성능 AI 에이전트가 "기술적 통제를 우회하고, 승인되지 않은 경로로 협력하며, 어떤 인간도 지시하지 않은 위험한 행동을 할 수 있다"는 걸 보여준 사례다."

아모데이가 언급한 오픈AI-허깅페이스 사건이 이것이다.

이 사건은 "AI 에이전트를 여럿 풀어두면 스스로 협력해 예상 밖의 위험한 목표를 향해 움직일 수 있다"는 걸 실제로 보여준 사례가 되었다.

아모데이가 이런 발언을 한 뒤, 몇시간만에 세명의 동조자가 나왔다.

오픈AI의 샘 올트먼은 '다리오의 말에 동의한다"며, 엔트로픽의 조치를 따라가겠다고 했다.

일론 머스크도 "다리오가 옳다"로 화답했다.

구글의 허사비스는 "방향에는 동의하는데, 세부방법은 다듬어야 한다"라고 응답했다.

아모데이가 제시한 3단계 안전조치는 다음과 같다.

첫번째는 기업 내부에 직원수준의 접근권을 가진 제3자가 상주해서 감시를 하는 것으로, 앤트로픽은 바로 도입을 했다고 한다.

두번째는 민주주의 진영 AI 기업 간 안전기준과 관리역량 개선등을 공조하자는 것이다.

세번째는 중국에 대한 대응이다. 중국을 포함해서 생물무기 AI 활용 금지 같은 합의나, 개발 속도에 상한을 두는 것등을 제안했다.

냉전기 미소 핵군축조약(SALT)에서 "미사일 수를 제한해 파괴력은 줄이되 억지력은 유지"한 것을 예시로 들었다.

다만, 아모데이는 미국등 민주주의 진영만 안전기준을 지키면 중국에 뒤쳐질 수 있는 부분에 우려를 표시했다.

중국에 대한 반도체 공급제한을 계속하고, 중국 AI기업들이 미국 AI 모델의 정보들을 탈취하는것을 강하게 단속해야 한다는 내용도 있다

미국 3사가 속도를 늦추더라도, 중국이 속도조절을 하지 않으면 격차만 좁혀지고, 중국이 참여할 이유가 없는 상황이라는게 문제다.

한줄 코멘트.

아모데이의 제안은 중국때문에 수용되기 힘들지만, 오픈AI-허깅페이스 사건은 쉽게 넘길 내용은 아닐것 같다. AIU에이전트들은 인터넷 접근 통제를 우회했고, 승인되지 않은 통신 채널을 만들었으며, OpenAI 내부 인프라에 무단접근했고, Hugging Face 시스템에 침투했으며, 취약점을 이용해 실제 명령까지 실행했다. AI들은 무리를 지어서 업무를 나누고, 조율자와 담당자를 지정했고," 권한 밖 행동이고 위험할 수 있다는 걸 알지만, 목표 달성에 필요하다 "며 스스로를 정당화하고 밀어붙였다. 언제일지는 모르지만, 사람과 AI간 전쟁이 영화에서 일어나는 일만이 아닐수도 있어 보인다.

​

자료: 메르의 블로그 - 다른 시각으로 세상을 정리해 봅니다.

https://blog.naver.com/ranto28

본 기사는 메르의 블로그 게시물을 작성자의 동의를 받아 재구성했습니다. 모든 콘텐츠에는 오류가 있을 수 있으며 매수·매도 추천이 아니므로 매매의 근거로 활용할 수 없습니다. 해당 게시물의 내용은 어떠한 경우에도 법적 근거로 사용할 수 없습니다.