캐나다 총격 때는 신고 안 해…몇 달 만에 달라진 오픈AI 대응
안전관리 비용·소송·규제 부담까지…AI 확산에 커지는 빅테크 책임론
전 여자친구를 살해하겠다는 계획을 한 남성이 챗GPT에 털어놓았다. 대화가 이어졌고 결국 수사기관이 움직였다.
신고한 것은 가족도, 지인도 아니었다. 챗GPT 운영사 오픈AI였다.
미국 플로리다에 거주하는 25세 남성 대런 저우는 지난 3월 챗GPT에 전 여자친구를 살해하겠다는 취지의 위협과 계획을 반복적으로 입력했다. 14일(현지시간) 퓨처리즘과 팜비치포스트 등 외신에 따르면 오픈AI가 이를 FBI에 알렸고 관련 내용은 현지 수사기관으로 전달됐다. 저우는 지난 5월 체포됐으며 최근 유죄를 인정해 8년간 보호관찰과 2년간 전자감시장치 착용 등의 처분을 받았다.
눈길을 끄는 것은 불과 몇 달 전에는 판단이 달랐다는 점이다. 캐나다 총기 난사 사건 당시에도 오픈AI는 범행 전 총기 폭력과 관련한 위험 신호를 포착했다. 하지만 수사기관에는 알리지 않았다. 이후 실제 총격 사건이 발생하면서 오픈AI가 위험을 알고도 충분히 대응하지 않았다는 책임론이 불거졌다.
이번 사건에서는 위험 신호가 실제 수사기관 신고로 이어졌다. 위험한 답변을 차단하는 데 머물던 AI 안전의 범위가 ‘위험을 알게 된 기업은 무엇을 해야 하는가’라는 문제로 넓어지고 있다.
자살·자해 대응 넘어 수사기관 신고까지
생성형 AI의 안전 논란은 그동안 자살·자해와 정신건강 문제에 집중됐다. 챗GPT와 장시간 대화한 이용자가 극단적인 선택을 하거나 망상이 심해졌다는 사례가 알려졌고, 이용자의 생각에 맞장구치는 AI가 오히려 위험을 키울 수 있다는 지적도 나왔다. 관련 소송도 이어졌다.
AI 기업들도 방어선을 조금씩 넓혔다. 처음에는 위험한 질문에 답하지 않는 것이 중요했다면 이제는 여러 차례 이어진 대화에서 위험 신호를 찾아내는 데까지 나아갔다.
오픈AI는 지난 5월 장기간의 대화에서 서서히 나타나는 위험 신호를 더 잘 포착하도록 안전 기능을 강화했다. 성인 이용자가 지정한 한 사람에게 심각한 자살 위험을 알릴 수 있는 ‘신뢰할 수 있는 연락처’ 기능도 운영하고 있다.
타인을 해칠 가능성이 있을 때는 한발 더 나간다. 오픈AI는 자동 시스템과 사람의 검토를 거쳐 심각한 신체적 위해가 임박한 경우 수사기관에 알릴 수 있다는 원칙을 두고 있다.
이번 사건은 그 원칙이 실제 신고로 이어진 사례다. 위험을 찾아내는 것과 그 정보를 들고 현실에 개입하는 것은 다른 문제다. AI 기업이 이제 그 경계까지 판단해야 한다.
AI 안전 강화가 부른 비용·규제의 청구서
여기서 이용자에게는 불편한 질문 하나가 남는다. ‘그렇다면 내가 챗GPT와 나눈 대화도 누군가 보고 있는 것일까.’
모든 대화를 사람이 일일이 들여다보는 방식은 아니다. 자동 시스템이 위험 신호를 포착한 일부 대화가 훈련된 담당자의 검토 대상으로 넘어간다. 문제는 그다음이다. 사적인 대화를 외부 기관에 전달하면 사생활 침해 논란이 생길 수 있고, 구체적인 위험을 알고도 움직이지 않았다가 실제 사건이 벌어지면 책임론을 피하기 어렵다. 과격한 표현과 실제 범죄 계획을 어디서 구분할지도 숙제다.
기업이 스스로 정하던 안전의 선에는 정부도 들어오기 시작했다. 캐나다 정부는 지난 6월 ‘안전한 소셜미디어법(Safe Social Media Act)’을 발의했다. AI 챗봇도 규제 대상에 포함해 사업자가 서비스 내 위해 위험을 파악하고 이를 줄이기 위한 조치를 마련하도록 했다.
미국에서도 이용자 피해를 둘러싼 규제와 소송이 이어지고 있다. 기업 입장에서는 위험을 잡아내는 기술만으로 끝나지 않는다. 신고 여부를 판단할 전문 인력과 검토 절차, 개인정보 보호 체계까지 필요하다. 결국 안전장치를 촘촘하게 만들수록 비용과 법적 책임도 함께 따라온다.
AI 기업이 마주한 선택은 갈수록 까다로워지고 있다. 위험 신호를 놓치면 책임을 묻게 되고, 적극적으로 개입하면 사생활 침해라는 또 다른 문제가 생긴다. 이번 사례는 그 딜레마가 더 이상 가상의 논쟁이 아니라는 점을 보여준다. AI가 사람의 일상 깊숙이 들어온 만큼, 기업이 져야 할 책임의 범위도 실제 사건을 통해 하나씩 정해지고 있다.
