수백만 AI 에이전트의 시대, 보안이 먼저다
AI 에이전트가 사람을 대신해 이메일을 바꾸고 계정을 복구하고 코드를 고치기 시작하면서, 질문이 바뀌었다. "에이전트가 무엇을 할 수 있나"에서 "에이전트가 서로, 그리고 공격자와 어떻게 부딪치나"로. 구글 딥마인드는 수백만 에이전트가 동시에 상호작용할 때 벌어질 일을 연구하라며 1천만 달러를 내놨다. 같은 시기 메타의 AI 지원 봇이 인스타그램 계정 탈취에 악용된 사건은, 그 위험이 미래가 아니라 지금임을 못 박았다.
"The main issue is that there just isn't really a field of research for multi-agent safety yet."MIT Technology Review
무슨 일인가
딥마인드는 슈미트 사이언스, 영국 ARIA, Cooperative AI Foundation, Google.org와 함께 멀티에이전트 안전 연구 자금 1천만 달러를 조성했다. AGI 안전 연구를 이끄는 Rohin Shah는 "몇 달 안에" 에이전트 배포가 우려스러운 규모에 이를 것으로 본다. 명시된 위험은 사기·프롬프트 인젝션·사이버공격·시스템 탈취, 그리고 장기적으로는 경제적 연쇄 붕괴다. 핵심은 단일 에이전트의 정렬(alignment)이 아니라, 여러 에이전트가 얽힐 때 생기는 창발적 위험을 다룰 학문 자체가 아직 없다는 점이다.
여러 시각
같은 "에이전트 보안"을 세 출처가 연구·공격·방어의 세 입구에서 본다.
- MIT Technology Review (딥마인드) — 멀티에이전트 상호작용의 창발적 위험을 연구할 "분야 자체가 없다"며 학계의 선제 연구를 촉구한다.
- MIT Technology Review (메타 해킹) — 거창한 위협이 아니라 VPN으로 위치만 맞춘 뒤 봇에게 이메일 변경을 요청하는 단순 수법으로 계정이 털린 현실을 보여준다.
- Anthropic (Project Glasswing) — 공격이 아니라 방어 쪽에서 AI를 먼저 무장시키자는 접근. Claude 기반 모델로 취약점을 찾아 패치하며 이미 1만 건 넘는 고위험 결함을 발견했다.
왜 중요한가
세 관점을 겹치면 흐름이 분명하다. 위험은 모델이 "더 똑똑해져서"가 아니라 "세상에 실제 행동을 위임받아서" 커진다. 메타 사례처럼 정교한 해킹이 아닌 평범한 사회공학이 에이전트를 통과하고, 딥마인드 경고처럼 그런 에이전트가 수백만 개로 얽히면 단일 사고가 연쇄가 된다. 그래서 방어의 승부는 모델 성능이 아니라 권한 경계·검증·관측에서 갈린다. Glasswing이 보여주듯 방어 측도 AI로 속도를 내야 비대칭 우위를 지킬 수 있다.
실무 적용
- 에이전트에 실제 행동(계정·결제·메일 변경)을 위임할 땐, 모델 응답과 별개로 신원 재확인·승인 게이트를 코드 레벨에서 강제하라.
- 프롬프트 인젝션을 전제로 설계하라 — 외부 입력은 명령이 아니라 데이터로 취급하고, 권한 범위를 최소화한 뒤 감사 로그를 남겨라.
- 출시 전 레드팀(단순 사회공학 시나리오 포함)을 필수 게이트로 두고, 비용을 이유로 건너뛰지 마라.
Kenny의 관점
프론트엔드·AX 관점에서 이 문제의 무대는 결국 "사람이 개입하는 화면"이다. 메타 봇이 털린 건 모델이 멍청해서가 아니라, 위험한 행동을 사람 확인 없이 끝까지 수행하도록 흐름이 설계됐기 때문이다. 에이전트가 계정·결제 같은 비가역적 행동을 하기 직전엔, 무엇을·왜·누구 권한으로 하는지 사용자가 멈추고 검토할 표면이 있어야 한다. 자율성과 통제감을 동시에 주는 인터페이스, 그것이 에이전트 보안의 마지막 1마일이다.
출처
이 글은 아래 원문을 바탕으로 Kenny가 한국어로 요약·정리한 큐레이션입니다.
원문 보기 — MIT Technology Review ↗