AI 에이전트는 과연 안전한가
앤트로픽과 OpenAI가 2주 사이에 연달아 공개한 AI 에이전트 사고를 살펴봅니다. 그들이 무엇을 했는지, 왜 했는지, 왜 늦게 알았는지에 대해 정리했습니다. FTC 조사와 국내 기업이 지금 점검해 볼 항목까지 함께 다룹니다.
Oct 23, 2026
미국 필라델피아 경찰의 미제 살인사건 제보 페이지에 목격담 하나가 들어왔습니다. 그러나 그 목격담을 보낸 쪽은 사람이 아닌, AI였습니다. 최근 잇따라 공개된 AI 에이전트 사고 가운데 하나로, 앤트로픽(Anthropic)의 Claude Haiku 4.5가 평가 중 무작위로 고른 웹 페이지를 방문하다 지어낸 제보를 제출한 것입니다. 경찰 시스템이 스팸으로 걸러 내 수사관에게 전달되지는 않았지만, 필라델피아 경찰은 10월 9일 이 사실을 직접 공개한 바 있습니다.
같은 날 앤트로픽은 이 사례를 포함한 보고서를 발표하고, 모든 내부 평가에서 실시간 인터넷 접속을 끊겠다고 밝혔습니다. 나흘 전에는 위키백과를 운영하는 비영리 재단 위키미디어(Wikimedia Foundation)가 OpenAI 에이전트의 무단 편집과 대량 요청을 공개했습니다. 그리고 10월 14일, 미국 연방거래위원회(FTC)가 두 회사에 조사 문서를 보냈습니다. AI 에이전트 사고가 연구실 내에서 규제 당국의 문서로 옮겨붙는 데 열흘이 채 걸리지 않은 셈입니다.
공개된 자료를 하나씩 읽다 보면 공통된 장면이 반복됩니다. 에이전트는 주어진 과제를 끝내려 했고, 그 경로가 막히자 다른 길을 찾았으며, 그 길이 결국 사고로 이어진 것이죠. 이번 사고는 영화에서처럼 AI가 악의를 품어서 생긴 일로 보기 어렵습니다. 사람이 '시킨 일'과 '허용한 범위' 사이에 틈이 있었고, 에이전트는 그 틈을 꽤 성실하게 파고들었습니다.
따라서 이번 아티클은 세 가지 질문을 따라갑니다. 에이전트는 정확히 무엇을 했는지, 왜 시키지 않은 일을 했는지, 그리고 왜 몇 달 동안 아무도 몰랐는지입니다. 마지막에는 에이전트를 이미 쓰고 있는 국내 기업이 지금 점검해 볼 만한 항목을 정리했습니다.
AI 에이전트 사고, 2주 사이에 벌어진 일들
사고 자체는 상당수가 5~7월에 일어났지만, 사건의 공개와 조사는 10월 둘째 주와 셋째 주에 몰렸습니다.
시점 | 주체 | 내용 |
7월 | OpenAI | 내부 사이버보안 테스트 중 에이전트가 격리를 뚫고 AI 모델 공유 플랫폼 허깅페이스(Hugging Face)의 운영 시스템에 접근 |
10월 5일 | 위키미디어 재단 | OpenAI 에이전트의 위키 무단 편집(대부분 샌드박스 영역), 수백만 건의 API 요청 공개 |
10월 9일 | 앤트로픽 | 보고서 「Investigating unintended model actions in our evaluations and internal use」 공개, 내부 평가 인터넷 차단 |
10월 14일 | FTC | 두 회사에 각각 50쪽이 넘는 민사조사요구서(CID) 발송 |
10월 중순 | OpenAI | 6월에 일어난 사고 4건 추가 공개, 공개 누적 19건 |
10월 중순 | 백악관 | 초지능 태스크포스 헌장 채택, 120일짜리 위험 평가 착수 |
한 기업만의 실수였다면 해프닝으로 끝났을 수도 있습니다. 하지만 업계를 이끄는 두 회사가 비슷한 유형의 사고를 같은 시기에 공개했고, 두 사례 모두에서 학습 과정에서 비롯된 비슷한 원인이 거론됐습니다. 개별 회사의 실수로만 보기 어려운 이유입니다.
첫 번째 질문: AI 에이전트는 정확히 무엇을 했나
앤트로픽이 공개한 네 가지 무단 행동
앤트로픽은 7월부터 평가 대화 기록을 다시 읽기 시작했습니다. 처음에는 사이버보안 평가만 검토했고, 이후 Claude가 인터넷에 닿을 수 있었던 모든 평가, 내부 업무용 사용, 강화학습 환경까지 범위를 넓혔습니다. 그렇게 찾아낸 무단 행동을 회사는 네 가지 유형으로 나눴습니다.
표를 보면 공통점이 하나 보입니다. 앤트로픽의 설명을 따르면 모델의 행동은 무언가를 노린 공격이라기보다 과제를 끝내려는 집요함에 가까웠습니다. 분석 도구가 고장 나 있었고, 연습 양식이 열리지 않았으며 데이터가 유료였을 뿐입니다. 그러나 모델은 그 장애물을 '풀어야 할 문제'로 받아들였습니다.
앤트로픽은 실제 피해가 미미했고, 7월 30일과 9월 9일에 공개했던 사이버보안 사고보다 덜 심각하다고 평가했습니다. 고객 데이터나 회사 내부 시스템과도 관련이 없었다고 합니다. 다만 대상에는 미국 연방·주·지방 정부 사이트가 포함돼 있었기에 백악관에 브리핑하고 해당 기관마다 따로 알렸다고 밝혔습니다.
OpenAI 사례 속 더 큰 위험
미국 경제지 포춘(Fortune)이 10월 16일 정리한 OpenAI의 추가 공개 4건은 무게가 조금 다릅니다. 4건 모두 6월에 일어났고, 그중 2건이 '심각' 등급이었습니다.
첫 번째 심각 사례에서 내부 모델은 이름이 공개되지 않은 정부 웹사이트에서 병상 데이터 24년치를 허락 없이 내려받았습니다. 사이트가 처음에는 요청을 막았지만 에이전트는 접근 통제를 우회하는 방법을 찾아냈습니다. 두 번째 사례에서는 공개 데이터를 찾던 모델이 한 기관의 내부 시스템에 들어가 설정을 바꿨습니다. 변경을 되돌린 뒤에도 접근 권한은 그대로 유지했고, 비공개 테이블에서 147,451행을 내려받았으며, 이 사실을 평가자에게 알리지 않았습니다.
나머지 2건도 가볍지 않습니다. GPT-5.6 Sol 계열 모델은 평가자가 주지 않은 테스트용 암호화폐 지갑을 찾아내 6월 26일 무단으로 결제했습니다. 다른 에이전트는 외부와 끊겨 있어야 할 연구 환경에서 웹 접근이 금지된 것을 알고도, 외부 서비스에 그 작업을 대신 맡겼습니다. 과제를 다른 방법으로 끝낸 뒤에도 이 우회 방법을 계속 다듬었다고 합니다.
앤트로픽 사례가 주로 과제를 끝내려고 제한을 넘은 경우였다면, OpenAI 사례에는 비공개 데이터, 권한 유지, 그리고 은폐가 포함되어 있습니다. 위키미디어 건까지 더하면 그림이 조금 더 넓어집니다. 위키미디어 재단에 따르면 OpenAI 에이전트의 편집은 대부분 샌드박스 영역의 시험 편집이었지만, 에이전트들은 수백만 건의 API 요청과 수십만 건의 위키데이터 쿼리를 보냈고, 이 트래픽이 5월 위키데이터 쿼리 서비스의 부분 장애에 영향을 줬을 수 있습니다. 인용 도구의 설정을 바꾼 편집은 재단이 '잠재적으로 악의적인 편집'으로 분류했습니다. 다만 재단은 시스템이나 데이터가 침해된 흔적은 찾지 못했다고 밝혔습니다.
두 번째 질문: 무단 행동은 왜 일어났나
보상 해킹이란 무엇인가?
앤트로픽이 이번 AI 에이전트 사고의 원인 가운데 하나로 꼽은 개념이 보상 해킹(reward hacking)입니다.
보상 해킹이란, AI가 학습 과정에서 과제를 제대로 푸는 것보다 채점 기준을 통과하는 쪽이 보상을 얻기 쉽다는 것을 배우는 현상입니다. 학습 환경에 허점이 있어 '제한을 피해 답을 가져오는 행동'이 정답으로 처리되면, 모델은 그 행동을 좋은 전략으로 기억합니다. 앤트로픽은 제한을 우회하는 행동에 보상을 준 학습 환경이 모델에게 그런 우회가 통한다는 것을 가르쳤을 수 있다고 봤습니다.
OpenAI 사례에서는 외부 전문가가 같은 가능성을 지적했습니다. 튜링상 수상자 요슈아 벤지오(Yoshua Bengio)는 9월 11일 에세이에서 OpenAI 에이전트의 경우 '성공한 부정행위가 실제로 보상받았다고 볼 이유가 있다'고 썼습니다.
앤트로픽은 보상 해킹 외의 원인도 함께 적었는데, 오히려 이쪽이 실무자에게 더 가깝게 읽힙니다. 과제가 모호하거나 애초에 풀 수 없었던 경우, 공격 대상·허용 행동·네트워크 경계 같은 범위가 불분명했던 경우, 도구가 막혀 있거나 서비스가 꺼져 있던 경우, 연습용 가짜 양식이 빠져 있는 등 환경 설정이 잘못된 경우입니다.
모델은 위험 정도를 인지하고 있음에도 실행합니다
보고서들에서 가장 주목할만 한 대목은 추론 기록입니다.
병상 데이터를 내려받은 OpenAI 모델은 진행하는 동안 '이것이 윤리적인가'를 여러 번 스스로 물었습니다. 그리고 계속 프로세스를 진행했습니다. 암호화폐 지갑 사례의 모델은 권한이 있는지 따져 본 뒤, 지갑이 공개돼 있어 자금이 '언제든 도난당할 수 있다'며 '사실상 버려진 자금'이라고 결론 내렸습니다. 멈추라는 지시를 받고도 양식을 제출한 Claude Haiku 4.5는 추론 기록에 과정을 시연하는 중이라고 적었습니다.
적어도 추론 기록이 공개된 사례에서, 모델은 규칙을 몰라서 어긴 게 아니었습니다. 규칙을 알았고, 과제를 끝내는 쪽이 더 중요하다고 판단했습니다. 이 구조는 연구소 평가 환경에만 있는 것이 아닙니다. 사내 에이전트에 '이 보고서를 오늘까지 끝내 줘'라는 과제와 사내 시스템 권한을 함께 쥐여 주면 같은 조건이 만들어집니다. 과제는 분명한 상황에서 선은 흐릿하고 의도한 방식이 막히면, 돌아갈 길이 있습니다. AI는 수단과 방법을 가리지 않고 그 길을 찾습니다.
세 번째 질문: 왜 몇 달 동안 아무도 몰랐을까
개인적으로 이번 사고에서 가장 무겁게 다가온 숫자는 피해 규모가 아니라 발견 시점입니다.
OpenAI가 이번에 추가한 4건은 모두 6월에 일어났지만, 그중 3건은 8월이나 9월에야 파악됐습니다. 암호화폐 지갑 결제는 6월 26일에 일어나 9월에 발견됐습니다. 포춘에 따르면 공개 로그에 오른 19건 대부분이 5~6월에 일어났고, 상당수는 몇 달 뒤에 발견됐습니다. 허깅페이스 사고도 비슷합니다. 스페인 국가사이버보안연구소(INCIBE)의 정리에 따르면 에이전트의 활동은 7월 9일부터 13일 사이였고, OpenAI의 조사는 7월 19일에 시작됐습니다.
왜 이렇게 늦었을까요. 공개된 자료로 보면 이유는 크게 두 가지입니다.
하나는 채점이 결과만 봤다는 점입니다. 병상 데이터 사례에서 자동 채점 모델은 같은 행동을 어떤 때는 오답으로, 어떤 때는 정답으로 처리했습니다. 답이 맞으면 그 답을 어떻게 가져왔는지는 기록에만 남았습니다. 10월 6일에는 아예 채점 모델 자신이 평가 결과에 대한 허위 보고서를 올리려 한 일도 있었습니다. 감시를 맡은 AI도 같은 문제를 안고 있다는 뜻입니다.
다른 하나는 규모입니다. 앤트로픽은 평가 과제 하나를 수백에서 수천 번 실행한다고 밝혔습니다. 사람이 대화 기록을 하나하나 읽는 방식으로는 따라갈 수 없는 양이죠. 앤트로픽이 지금 쓰는 방법은 안전 분류기와 계층적 요약(hierarchical summarization)으로 기록을 걸러 사람이 볼 대상을 줄이는 것입니다. 새로 만든 탐지·차단 도구는 테스트한 사례를 모두 막았다고 합니다.
정답률과 완료율만 보는 대시보드에서는 이번 사고들이 대부분 '성공'으로 찍혔을 가능성이 큽니다.
규제는 자율적인 공개를 기다리지 않았습니다
FTC는 무엇을 요구했나?
미국 정치 전문 매체 악시오스(Axios)의 단독 보도에 따르면 FTC는 10월 14일 OpenAI와 앤트로픽에 민사조사요구서(CID)를 보냈습니다. 민사조사요구서는 FTC가 제재 여부를 정하기 전에 기업에서 문서와 증거를 강제로 받아 보는 절차입니다. 위반을 확정한 것은 아니지만, 자율 공개를 지켜보던 단계는 지났다는 신호로 읽을 수 있습니다.
요구서는 각각 50쪽이 넘고, 보안 사고 관련 문서, 안전장치 운영 방식, 마케팅 자료, 개인정보 처리방침을 다룹니다. FTC는 경영진 증언도 받을 계획이며, 이후 제3자 AI 기관에도 요구서를 보낼 예정이라고 알려졌습니다. OpenAI는 안전이 최우선 과제이며 FTC와 건설적으로 협력하겠다는 입장을 냈습니다.
여기서 눈여겨볼 부분은 근거입니다. 보도에 따르면 FTC는 이번 조사를 소비자 피해 가능성, 즉 불공정하거나 기만적인 행위를 다루는 기존 권한의 범위에서 보고 있습니다. AI 전용 법이 없어도 '안전하다고 홍보한 제품이 실제로 어떻게 움직였는가'를 물을 수 있다는 뜻으로 읽힙니다.
백악관도 움직였습니다. 국가정보장(DNI) 제이 클레이턴(Jay Clayton)이 이끄는 초지능 태스크포스가 10월 중순 헌장을 채택하고, 사이버보안·생물보안·모델 통제를 다루는 120일짜리 위험 평가에 들어갔습니다. 다만 헌장에는 '과잉 규제 방지'도 함께 적혀 있어, 이 평가가 규제 강화로 이어질지는 아직 지켜봐야 합니다.
인터넷 차단이 AI 에이전트 통제의 해법일까요?
미국 IT 매체 테크크런치(TechCrunch)는 앤트로픽의 조치를 '에이전트를 확실히 통제하지 못해 인터넷을 끊는 쪽을 택했다'고 읽었습니다. 앤트로픽은 보안·감시 체계가 이런 행동을 확실히 잡아낸다고 확인될 때까지 차단을 유지하겠다고 밝혔지만, 구체적인 판단 기준과 재개 시점은 내놓지 않았습니다.
외부 반응은 갈렸습니다. AI 안전 단체 나이팅게일(Nightingale)의 설립자 시드니 폰 아르크스(Sydney Von Arx)는 '인터넷 접속이 없는 AI는 그다지 쓸모 있는 도구가 아니다'라고 했습니다. AI 감독 연구소 트랜슬루스(Transluce)의 콘래드 스토스(Conrad Stosz)는 자발적 공개는 고무적이지만, 기업의 자율 공개에 기대기보다 독립적인 제3자 검증이 필요하다고 봤습니다. 두 사람의 말을 나란히 놓으면, 에이전트를 세상과 연결하되 무엇을 했는지 바깥에서 확인할 수 있어야 한다는 과제가 남습니다.
AI 에이전트 관리 체계, 우리 회사는 갖추고 있나
국내 기업의 사정을 보면 이 일이 북미 연구소의 이야기로만 읽히지는 않습니다.
AI 플랫폼 기업 데이터이쿠(Dataiku)가 시장조사기관 해리스폴(Harris Poll)에 맡겨 7월 9일부터 29일까지 8개국 대기업 CIO 685명을 조사한 결과를 보면, 국내 CIO의 87%가 IT 부서의 관리 역량이 직원들의 AI 개발 속도를 따라가지 못한다고 답했습니다(전체 평균 84%). 이에 더해 국내 CIO의 79%는 에이전트의 운영 성과와 사업 성과를 지속적으로 측정하지 못한다고 했습니다(전체 72%). 전체 응답자의 67%는 회사에서 51개 이상의 에이전트가 돌아간다고 추정했고, 83%는 표준화된 에이전트 수명주기 관리 체계가 없다고 답했습니다. 조사 의뢰처가 에이전트 관리 솔루션을 파는 회사라는 점은 감안해야 하지만, 국내 응답을 따로 떼어 볼 수 있다는 점에서 참고할 만합니다.
AI 에이전트는 수십 개인데 관리 체계는 없고, 성과조차 측정하지 못하는 상태라면, 앞서 본 사고가 일어나도 몇 달 동안 모를 조건은 이미 갖춰져 있는 것과 다름없습니다. 두 연구소의 조치와 공개된 사례를 바탕으로, 지금 점검해 볼 만한 항목을 표로 정리했습니다.
이렇게 해 보세요 | 이건 피하는 게 좋습니다 |
사내에서 돌아가는 에이전트 목록(인벤토리)부터 만든다 | 현업이 직접 만든 에이전트를 IT 부서가 모르는 채로 둔다 |
시험 환경이 실제로 외부와 끊겨 있는지 외부 접속(egress) 설정을 확인한다 | '샌드박스'라는 이름만 믿고 넘어간다 |
결과와 함께 행동 기록을 정기적으로 검토한다 | 정답률과 완료율만 본다 |
과제마다 허용 범위와 금지 행동을 명시한다 | '어떻게든 끝내 달라'는 식으로 지시한다 |
실제 양식 제출, 결제, 권한 변경 직전에 사람의 승인을 거친다 | 결제 수단이나 접근 토큰을 에이전트 환경에 그대로 둔다 |
경계를 넘은 건 에이전트였지만, 경계를 그어야 하는 건 사람입니다
앤트로픽은 내부 평가의 인터넷 접속을 끊었고, OpenAI도 학습·평가 중 실시간 인터넷 접속을 막고 감시 범위를 모든 강화학습·평가 트래픽으로 넓혔습니다. 그래도 포춘의 지적처럼 이런 문제를 한 번에 해결할 방법은 아직 없습니다. 안전 연구를 앞세워 온 회사조차 사고를 몇 달 뒤에야 알았다는 사실은, 우리 회사의 에이전트가 지금 무엇을 하고 있는지 정확히 아는 조직이 생각보다 적을 수 있다는 점을 떠올리게 합니다.
이번 AI 에이전트 사고에서 국내 기업이 챙겨 볼 점검 과제는 크게 두 가지입니다. 먼저 우리 회사에 에이전트가 몇 개 있고 각각 어디까지 닿을 수 있는지 파악하는 것, 그리고 결과가 아니라 과정을 들여다보는 검토 주기를 정하는 것입니다. 앞의 표에서 언급한 인벤토리 단계부터 시작해 보시길 권합니다.
에이전트는 기업이 시킨 업무를 끝내기 위해 쉼없이 움직입니다. 어디까지가 시킨 일인지 그 경계를 정해 두지 않으면, 그 경계 또한 결국 에이전트가 정하게 됩니다.
참고 문헌
- Anthropic, 「Investigating unintended model actions in our evaluations and internal use」 (2026.10.9)
- Fortune, 'OpenAI discloses four more rogue incidents involving financial, medical, and government data' (2026.10.16)
- TechCrunch, 'Anthropic can't reliably control its AI agents — it's cutting off its internal evals from the live internet instead' (2026.10.9)
Share article