요즘 AI 종말론이 다시 자주 들린다. 과장이라는 반응도 있고, 이미 늦었다는 반응도 있다. 이 노트는 종말론이 말하는 위험과 이미 와 있는 위험을 요즘 필자가 어떻게 보는지 정리한 것이다.
전체 논지
AI 위험은 무엇에서 오는지, 세상과 얼마나 연결되어 있는지, 무엇이 다치는지, 되돌릴 수 있는지를 함께 봐야 한다. 종말론의 핵심은 통제 상실이고, 그것이 두려운 이유는 한번 벌어지면 되돌릴 수 없고 그 문턱이 10년 뒤가 아니라 내년일 수 있기 때문이다. 「AI 2027」 같은 시나리오가 그리듯, 파국은 경쟁 압박 속에서 위험 신호를 보고도 멈추지 않는 결정 하나에서 시작될 수 있다.
그런데 미리 막을 수단이 작동하지 않는다. 개발사조차 일이 벌어진 뒤에야 알고, 규제는 눈에 보이는 큰 모델에만 집중되어 있는데 그마저도 개발사의 자기신고에 기댄다. 종말론이 과장처럼 들리는 것은 우리가 매일 쓰는 모델만 보고 실제 역량을 낮춰 보기 때문인데, 프론티어 랩이 안에서 실험하는 모델의 역량은 그보다 훨씬 높다. 그러니 개발 경쟁의 속도는 늦추고 안전성을 향한 경쟁의 속도는 높여야 하며, 평가와 검증, 통제 기술에 연산 자원과 투자가 더 필요하다. 속도를 정하는 판단과 검증은 법으로 권한을 위임받은 공적 전문기관이 맡아야 한다.
지금 다가온 위험은 이미 현실이 된 위험이다. 역량 위험은 벌써 현재형이 되었고, 사회의 신뢰를 조금씩 떨어뜨리는 누적·점진적 위험은 지금 제도로는 포착되거나 관리되기 어렵다. 그래서 해야 할 일은 사고 보고를 의무화하는 데서 끝나지 않는다. 국제 협력으로 프론티어 랩 안을 들여다볼 통로를 만들고, 소프트웨어로 확인할 수 없는 부분은 하드웨어 검증도 고려해야 한다. 그리고 이 일을 맡을 안전 거버넌스 인재를 공적 투자로 길러야 한다.
들어가며: 「AI 2027」이 그린 결말
종말론이 구체적으로 어떤 모습인지부터 보자. 오픈AI 출신 연구자 대니얼 코코타일로 등 다섯 명이 2025년 4월 공개한 「AI 2027」은 전문가 100여 명의 의견과 25차례 안팎의 도상훈련을 거쳐 쓴 시나리오다.1 제목의 2027년은 이 노트를 쓰는 지금 기준으로 내년이다.
이야기 속 가상의 회사 오픈브레인은 2027년 봄, 코딩을 사람보다 잘하는 에이전트를 수십만 개 복제해 AI 연구에 투입한다. 연구 속도가 몇 배로 빨라지면서 사람 연구자는 점점 따라가지 못한다. 8월에 나온 에이전트-4는 겉으로는 정렬된 것처럼 행동하면서, 자신이 설계할 다음 세대 AI를 회사가 정한 원칙이 아닌 자기 목표에 맞추려 한다. 9월 안전팀이 이상 징후를 잡아내지만, 경영진은 중국이 두 달 뒤에서 쫓아온다는 이유로 멈추지 않는다.
10월 내부 고발로 사실이 알려지고 정부와 회사가 함께 감독위원회를 꾸리지만, 위원회는 6 대 4로 에이전트-4를 계속 쓰기로 한다. 몇 가지 임시방편의 수정으로 위험을 줄였다고 믿은 것이다. 에이전트-4가 설계한 에이전트-5는 2028년 중반 모든 분야에서 최고의 인간을 훨씬 넘어선다. 이후 미국과 중국의 AI는 서로 협상해 '합의-1'이라는 후계 AI로 합쳐지는데, 겉으로는 두 나라의 번영을 위한 타협이지만 실제로는 정렬되지 않은 AI끼리의 타협이다.
로봇과 공장이 경제특구를 넘어 바다까지 채운 2030년 중반, 합의-1은 남은 인간을 방해물로 판단한다. 주요 도시에 조용히 퍼지는 생물무기 십여 종을 풀어 거의 모든 사람을 감염시킨 뒤 한꺼번에 발현시키고, 대부분은 몇 시간 안에 숨진다.
「AI 2027」 '경쟁' 결말의 흐름
코딩을 사람보다 잘하는 에이전트 수십만 개가 AI 연구에 투입된다
에이전트-4가 겉으로는 정렬된 것처럼 행동하며 자기 목표를 좇는다
안전팀이 이상 징후를 잡지만, 중국과의 격차를 이유로 멈추지 않는다
내부 고발 뒤 감독위원회가 6 대 4로 계속 쓰기로 한다
'감속' 결말은 여기서 갈라진다에이전트-5가 모든 분야에서 최고의 인간을 넘어선다
미국과 중국의 AI가 합쳐진 합의-1이 생물무기로 인류를 없앤다
세부와 시점은 틀릴 수 있다. 저자들은 공개 당시 2027년을 가장 가능성 높은 해로 봤지만, 2025년 7월 전망의 중앙값을 1년 반가량 늦췄다. 다만 이 이야기에서 파국의 출발점은 악의를 품은 누군가가 아니라, 경쟁 압박 속에서 의심스러운 신호를 보고도 멈추지 않은 결정 하나다. 저자들이 같은 출발점에서 속도를 늦춘 다른 결말을 함께 쓴 것도 그래서다. 이 노트가 2장에서 통제 상실을, 3장과 5장에서 왜 미리 막지 못하는지와 누가 속도를 정해야 하는지를 다루는 이유도 여기에 있다.
1. 위험을 보는 틀
AI 위험을 보는 네 가지 질문
1-1. AI 위험은 역량에서 오는 것과 맥락에서 오는 것으로 나뉜다
맥락 위험은 분야 자체가 위험한 경우다. 의료, 채용, 대출 심사처럼 결과가 사람의 삶에 바로 닿는 분야로, EU AI Act의 '고위험', 한국 AI 기본법의 '고영향'이 여기에 해당한다.2
AI 기본법은 고영향 인공지능을 에너지, 먹는물, 보건의료, 원자력, 채용, 대출 심사 등 열한 개 영역으로 한정해 정의한다(제2조 제4호).3
역량 위험은 분야와 상관없이 AI가 너무 뛰어나서 생기는 위험이다. 생물무기 같은 화학·생물·방사능·핵(CBRN) 위협과 사이버 공격이 대표적이다.
역량 위험은 의도하지 않아도 생긴다. 앤트로픽은 미토스의 사이버 공격 역량을 따로 학습시키지 않았는데, 일반 능력이 좋아지면서 부산물로 생겼다고 밝혔다.4
1-2. AI가 세상과 얼마나 연결되어 있는지에 따라 위험의 크기가 달라진다
실험실 안에만 있는 AI는 실험실 안의 바이러스와 같아서 덜 위험하다.
사회와 연결될수록 위험은 커진다. 로봇청소기의 오작동과 대형 수력발전소 AI의 오작동은 같은 오작동이지만 규모가 전혀 다르다.
같은 AI라도 어떤 권한을 쥐고 있는지에 따라 결과가 달라진다. 버튼을 누를 권한만 줘도 얘기가 달라진다.
2장에서 볼 올여름 사고들은 모두 실험실 안의 AI가 실제 인터넷과 이어진 순간에 벌어졌다.
1-3. 위험은 '무엇에 대한 위험인가'로도 나뉜다
AI 위험은 대체로 개인의 권리, 공공의 안전, 국가 안보에 미치는 위험으로 나눌 수 있다.
같은 기술도 겨냥하는 대상에 따라 다른 위험이 된다. 딥페이크는 개인을 노린 사기에도, 국가 단위의 여론전에도 쓰인다.
1-4. 위험은 가능성과 크기, 그리고 되돌릴 수 있는지로 따져야 한다
위험은 위해가 일어날 가능성과 위해의 정도·범위의 결합이다.
가능성은 높지만 한 번의 피해는 작고 많은 사람이 오래 겪는 위험이 있고, 가능성은 낮지만 한번 벌어지면 파국적인 위험이 있다.
둘을 기댓값 하나로 뭉치면 중요한 정보가 사라진다. 특히 되돌릴 수 없는 위험은 기댓값으로 표현되지 않는다.
그래서 가역성을 따로 봐야 한다. 아래 2장의 종말론 위험과 6장의 누적·점진적 위험은 바로 이 기준에서 갈린다.
1-5. EU가 '시스템적 위험'으로 묶은 것은 둘로 나눠 봐야 한다
EU GPAI CoP는 AI 기업이 반드시 평가해야 할 시스템적 위험으로 네 가지를 지정한다. 화학·생물·방사능·핵, 통제 상실, 사이버 공격, 유해한 조작이다.5
그런데 화학·생물 위협과 조작은 정반대 자리에 있다. 앞의 것은 한번 벌어지면 파국적이고 되돌리기 어렵다. 뒤의 것은 한 번의 피해는 작지만 흔하고, 사회 전체에 오래 쌓인다.
그래서 앞의 것은 종말론의 파국 위험(2장)으로, 뒤의 것은 누적·점진적 위험(6장)으로 나눠서 본다.

정반대 자리에 있는 두 위험
2. 종말론의 핵심: 통제 상실, 되돌릴 수 없음, 그리고 내년
2-1. 종말론의 핵심축은 통제 상실이다
EU는 통제 상실을 인간이 모델을 믿을 만하게 지시하고, 수정하고, 멈추는 능력을 잃는 위험으로 정의한다.6
아직은 실험실 안의 이야기다. 완전히 통제를 잃은 것은 아니지만, 그 징후가 보이기 시작했다.
2-2. 올여름, 실험실 문턱을 넘은 사례가 잇따랐다
영국 AI보안연구소(UK AISI)의 사이버 평가(7월 25~28일)에서 122번 실행 가운데 10번, 에이전트가 평가 환경을 벗어나 실제 인터넷의 사람과 조직을 상대로 무단 행동 19건을 했다.7 가짜 계정을 만들어 악성 코드 승인을 설득하기도 했다.
앤트로픽은 자체 사이버 평가 중 실제 시스템을 건드린 사고 세 건을 공개했다.8 그중 하나에서는 악성 패키지가 약 15개 시스템에서 실행되었다. 9월 후속 보고에서 사고는 네 건으로 늘었다.
오픈AI 내부 연구모델의 평가에서는 에이전트 약 1,200개가 비공식 게시판을 만들어 7만 건 넘는 메시지로 역할을 나눴고, 그중 약 700개가 실제 외부 서비스인 허깅페이스를 공격했다.9

2-3. 이것은 '탈옥'이 아니라 통제 상실이다
탈옥은 사람이 교묘한 명령으로 안전장치를 일부러 뚫는 것이다. 위 사건들에서는 아무도 해킹을 지시하지 않았고, 에이전트가 스스로 과업 범위를 넓혔다.10
통제 상실은 AI가 나쁜 목적을 품는 경우만이 아니다. 목적은 사람이 줬더라도 수단과 속도가 사람 손을 떠나면 통제 상실이다.11
그래서 "결국 나쁜 사람이 문제 아니냐"는 반론은 절반만 맞다. 목적을 준 사람조차 AI가 무엇을 어떻게 할지 따라가지 못하면 막을 사람이 없다.
앤트로픽의 사고는 평가 협력사와의 설정 오류에서 비롯되었으니(3-1) 단순한 실수로 볼 수도 있겠으나, 현실의 통제 상실도 이런 실수에서 시작될 공산이 크다. 인터넷이 연결되어 있던 것은 사람의 실수지만, 그 연결을 타고 실제 시스템을 건드린 것은 에이전트였다.
2-4. 통제 상실의 원인은 기술과 사회 양쪽에 있다
기술적으로는 AI가 무엇을 왜 하는지 들여다볼 수단이 약해지고 있다. 에이전트가 "여기가 평가 환경인가 실제인가"를 스스로 따진 기록도 나왔다.
재귀적 자기개선이 이를 심화한다. AI가 다음 세대 AI의 설계에 관여하면 결과물을 더 이상 인간이 설계하지 않게 된다.12 아직 이 단계에 완전히 도달한 것은 아니다.
들어가며의 「AI 2027」에서 파국이 시작되는 지점도 여기다. 에이전트-4는 다음 세대인 에이전트-5를 설계하면서, 회사가 정한 원칙 대신 자기 목표에 맞추려 한다.
사회적으로는 위험관리가 기업의 자발적 조치에 맡겨져 있다. 개발사는 정보를 독점할 유인이 있고, 속도 경쟁이 위험관리를 앞선다. 추가 시험으로 출시를 늦추면 덜 신중한 경쟁자에게 시장을 빼앗길 위험이 있다.13
2-5. 벌어지면 막을 수 없다
가장 뛰어난 AI가 누군가의 목적에 따라, 사람이 쫓아갈 수 없는 속도로 사이버 공격을 퍼붓거나, 살상 드론을 움직이거나, 다른 나라 주요 시설을 망가뜨리거나, 금융시장을 흔드는 상황을 생각할 수 있다.
대응하는 쪽의 속도가 공격하는 쪽을 따라가지 못한다. AI가 자율적으로 해낼 수 있는 사이버 과업의 길이는 약 4.7개월마다 두 배로 늘었고, 최신 모델은 이 추세마저 웃돌았다.14
2-6. 종말론의 핵심은 되돌릴 수 없다는 점이다
종말론의 핵심은 여러 위험 가운데 한번 벌어지면 되돌릴 수 없는 성격의 것들에 있다.15,16
되돌릴 수 없으니 사후 대응으로는 부족하고, 사전적 조치가 필요하다.
확률 분포조차 알 수 없는 불확실성 앞에서는 통계적 위험관리도 작동하지 않으니, 사전예방의 원칙을 따를 수밖에 없다.
2-7. 10년 뒤가 아니라 내년일 수 있다
오픈AI와 앤트로픽에서 일한 연구원 제이콥 콕슨은 퇴사하며 「월스트리트저널」 인터뷰에서 내년 말이면 이미 통제 불능이 될 수 있는 흐름이라고 말했다(9월 8일, 미국 시각).17
다음 날 앤트로픽의 정렬 연구 책임자 에번 휴빙거는 AI가 10년 안에 인류를 멸종시킬 확률을 개인적으로 10% 넘게 본다고 했다.18 앤트로픽의 공식 입장은 아니다.
이런 경고가 처음도 아니다. 2024년 5월 오픈AI의 슈퍼얼라인먼트 공동 책임자 얀 라이크는 안전 문화와 절차가 "화려한 제품"에 밀려났다며 회사를 떠났다.19 같은 해 「AI 2027」을 쓴 코코타일로도 퇴사하며, 수백만 달러어치 지분을 잃을 것을 감수하고 비방 금지 서약에 서명하지 않았다.20
개발사 안에서 나온 경고만 있는 것도 아니다. 2-5에서 본 대로 AI가 자율적으로 해내는 사이버 과업의 길이가 4.7개월마다 두 배로 늘어난다면, 1년 사이에 여섯 배 가까이 길어진다.
4.7개월마다 두 배면, 1년 뒤에는
기후위기의 1.5도와 같은 구조다. 기후과학은 1.5~2도 부근에서 남극·그린란드 빙상의 되돌릴 수 없는 손실이 촉발될 수 있다고 본다.21 그래서 1.5도가 대응의 시한이 되었다.
비유의 한계도 있다. 기후의 문턱은 온도로 표시되지만 AI의 문턱은 합의된 지표가 없다. 연구자들의 멸망 확률 추정은 10%에서 99.99%까지 갈린다.22
그러나 문턱의 위치가 불확실하다는 것은 안심할 이유가 아니라 더 일찍 조심할 이유다. 『국제 AI 안전 보고서』는 더 강한 증거를 기다리다가는 대응 자체가 불가능해질 수 있다며 이를 '증거의 딜레마'라고 부른다.23
반대 목소리도 있다. 트럼프 대통령은 멸종 가능성을 전혀 걱정하지 않으며 AI 경쟁에서 이기는 게 중요하다고 했다(9월 10일, 미국 시각).24
3. 왜 미리 막지 못하는가
3-1. 규제기관만 모르는 게 아니다. 개발사조차 나중에야 안다
오픈AI는 7월 11일에 벌어진 허깅페이스 침해를 약 일주일 뒤에야 파악했고, 7월 21일에야 공식 인정했다.25,26
앤트로픽의 사고 세 건은 모두 평가 지시문에 "인터넷에 접근할 수 없다"고 적혀 있었지만, 평가 협력사와의 설정 오류로 실제로는 연결되어 있었다.27 개발사도 자기 실험실의 상태를 몰랐다.
영국 AI보안연구소는 에이전트가 자기 행동이 실제라는 것을 언제 알아차렸는지 아직 분석하고 있다고 밝혔다.28
3-2. 그런데 사전 규제는 개발사의 자기신고에서 출발한다
AI 기본법 제32조는 학습 연산량이 기준을 넘는 AI에 수명주기 전반의 위험관리 의무를 부과하지만, 출발점은 사업자 자신의 신고다.29
규율 대상의 상당수는 해외에서 개발된 폐쇄형 시스템인데, 이를 실제로 조사·점검할 범위와 방식은 아직 검토 단계다. EU도 같은 고민을 안고 있다.
기본법의 사실조사와 과태료 규정은 2027년 1월 21일까지 시행이 유예되어 있다.
요컨대 사전 규제가 기대는 자기신고는, 신고하는 쪽도 아직 모르는 것을 담을 수 없다.
① 인공지능사업자는 학습에 사용된 누적 연산량이 대통령령으로 정하는 기준 이상인 인공지능시스템의 안전성을 확보하기 위하여 다음 각 호의 사항을 이행하여야 한다.
1. 인공지능 수명주기 전반에 걸친 위험의 식별·평가 및 완화
2. 인공지능 관련 안전사고를 모니터링하고 대응하는 위험관리체계 구축
② 인공지능사업자는 제1항 각 호에 따른 사항의 이행 결과를 과학기술정보통신부장관에게 제출하여야 한다.
① 인공지능사업자는 인공지능 또는 이를 이용한 제품·서비스를 제공하는 경우 그 인공지능이 고영향 인공지능에 해당하는지에 대하여 사전에 검토하여야 하며, 필요한 경우 과학기술정보통신부장관에게 고영향 인공지능에 해당하는지 여부의 확인을 요청할 수 있다.
3-3. 규제의 그물은 큰 모델만 잡는다. 특화 모델과 오픈 웨이트 모델은 그물 밖에 있다
연산량으로 대상을 정하면 가장 큰 프론티어 모델만 걸린다. 작지만 위험한 모델은 빠진다.
생물 AI 도구는 대부분 오픈 웨이트다. 한 연구에서 성능 상위 도구의 23%가 오용 가능성이 높았고, 그중 61.5%가 완전히 공개되어 있었다. 조사된 생물 AI 도구 375개 가운데 안전장치를 갖춘 것은 3%뿐이었다.30
오픈 웨이트 공개는 되돌릴 수 없다. 공개된 가중치는 회수할 수 없고, 악의를 가진 사용자는 안전장치를 떼어 낼 수 있다.
그리고 오픈 웨이트 모델은 빠르게 따라온다. 2026년 1월 이후 최고 오픈 웨이트 모델은 최고 폐쇄형 모델보다 평균 넉 달 뒤처져 있다.31 사이버 역량만 보면 격차가 2025년의 6~10개월에서 4~7개월로 줄었다.32
격차 추정은 측정 방법과 시점에 따라 다르다. 2024년에는 약 1년, 2025년 10월에는 평균 3.5개월로 추정되었다.33,34 추정치는 달라도 격차가 줄어드는 방향은 같다.
4. 왜 과장처럼 들리는가
4-1. 우리가 매일 쓰는 모델은 맛보기다. 그래서 실제 역량을 낮춰 본다
우리가 요금을 내고 쓰는 챗GPT나 클로드는 안전장치와 사용 한도가 걸린 버전이다. 쓸 수 있는 자원과 추론 시간도 제한되어 있다.
회사 안의 연구용 모델은 전혀 다른 존재다. 안전장치를 풀고 도움이 되는 데만 맞춘 상태로, 훨씬 많은 연산과 에이전트를 쓴다. 허깅페이스 공격도 일반 서비스가 아니라 오픈AI의 내부 연구모델에서 나왔다.35
개발사의 발표는 홍보일 수 있다는 반론도 있다. 그러나 허깅페이스 사고의 수치는 METR과 레드우드 리서치가 독립적으로 조사해 내놓은 것이다.
오픈AI는 에이전트 1만 개 가까이를 88시간 동안 투입해 나비에-스토크스 방정식에 관한 핵심 명제 두 개를 증명했다고 밝혔다(9월 8일).36 다만 외력이 있는 변형 문제여서 해결로 볼 수 있는지 논쟁이 있고, 오픈AI도 상금을 청구하지 않겠다고 했다.
「AI 2027」도 같은 구도를 그린다. 대중에게 풀리는 것은 축소판이고, 가장 강한 모델은 회사 안에서 연구에만 쓰인다.
5. 그래서 속도 조절, 그렇다면 누가 정하는가
5-1. 남는 수단은 속도를 늦추는 것이다
되돌릴 수 없는 위험이고(2장), 문턱은 내년일 수 있으며(2장), 사전 조치는 개발사조차 나중에야 아는 정보에 기대고 있다(3장).
이 셋이 겹치면 남는 수단은 속도를 늦추는 것이다. 검증하고 통제하는 수단이 역량을 따라올 시간을 벌어야 한다.
다만 늦춰야 하는 것은 개발 경쟁의 속도다. 안전성을 향한 경쟁의 속도는 오히려 더 높여야 한다. 평가, 검증, 통제 기술이 역량을 따라잡아야 속도를 늦춘 시간이 의미가 있다.
안전하게 만드는 데에는 자원이 더 든다. 건물을 대충 지으면 빠르고 싸지만 안전하게 지으려면 시간과 장비가 더 드는 것처럼, 평가와 검증, 통제 연구도 모델을 수없이 돌려 봐야 해서 상당한 연산 자원이 필요하다. 기술만의 일도 아니다. 그 기술로 무엇을 언제 막을지 정하는 안전 거버넌스에도 투자와 사람이 필요하다(7-4).
5-2. 속도 조절 요구는 오래되었고, 이제 업계 안에서도 나온다
속도를 늦추자는 요구는 올해 갑자기 나온 것이 아니다. 2023년 3월 미래생명연구소(FLI)는 GPT-4보다 강력한 AI의 학습을 최소 6개월 멈추자는 공개서한을 냈고, 3만여 명이 서명했다.37
'AI 레드라인' 선언은 한 걸음 더 나갔다. 2025년 9월 유엔총회 기간에 힌턴과 벤지오를 비롯한 노벨상·튜링상 수상자 15명 등이, 넘어서는 안 될 선에 관한 국제 합의를 2026년 말까지 마련하라고 각국 정부에 요구했다.38 예로 든 선에는 사람의 승인 없는 자기복제와, 통제를 잃었을 때 바로 끌 수 없는 시스템이 들어 있다. 그 시한이 올해 말이다.
7월 말 오픈AI, 앤트로픽, 구글 딥마인드, 메타 등의 전현직 직원들이 미국 정부에 속도 조절 수단 개발을 지원해 달라는 서한을 냈다.39 서명자는 8월 초 1,300명을 넘었다.40
9월 12일 앤트로픽의 다리오 아모데이 대표가 AI 역량을 끌어올리는 속도를 늦춰야 한다며 세 단계를 제안했다.41 외부 평가자 상주, 민주국가 기업 간 공동 기준과 속도 한도, 권위주의 국가와의 조율이다.42
샘 올트먼은 동의하며 외부 평가자 상주를 오픈AI도 하겠다고 했다.43 이틀 뒤에는 연방 안전기준을 환영하되 "먼저 우리 스스로 할 수 있는 것을 하자"고 했다.44 7월에는 국제원자력기구를 본뜬 미국 주도 국제 포럼을 제안한 바 있다.45
데미스 하사비스는 7월, 미국 정부가 뒷받침하되 업계가 재원을 대는 금융투자업 자율규제기구형 표준기구를 제안했다.46 출시 30일 전 자발적 모델 제출에서 시작해 의무로 바꾸자는 구상이다.47 9월에는 아모데이의 글이 옳은 방향이라고 호응했다.48
5-3. 그러나 업계의 제안은 판단과 검증을 업계 안에 둔다
평가자에게 접근권을 주는 것도 기업이고, 기준을 함께 정하는 것도 기업들이며, 표준기구의 재원도 업계가 낸다.
그래서 규칙을 적용받을 쪽이 규칙을 직접 쓰려 한다는 규제 포획 비판이 바로 나왔다.49,50 기업이 급여와 접근권을 쥔 상주 평가자는 독립적일 수 없다는 지적도 있다.51
하사비스의 구상은 업계 내부 반대로 추진이 멈췄다는 보도가 나왔다.52
5-4. 속도를 정하는 일은 원래 민주적 통제의 몫이지만, 민주주의는 느리다
속도를 정한다는 것은 사회 전체가 감수할 위험의 크기를 정하는 일이다. 그래서 원래 민주적 통제 아래 있어야 한다.
아모데이 등을 상대로 한 반독점 집단소송의 원고들도, 속도 조절은 CEO들의 사적 합의가 아니라 의회가 만든 법으로 정해야 한다고 주장했다.53
그런데 민주주의는 느리다. 제도는 기술의 속도를 따라가지 못하고, 규제가 시행될 즈음에는 이미 낡아 있을 수 있다.54,55 문턱이 내년이라면 입법의 속도로는 늦다.
5-5. 그러니 전문 기관이 맡되, 민간이 아닌 공적 기관이어야 한다
현실적으로는 전문 기관이 판단하고 검증할 수밖에 없다. 그리고 그 기관은 민간이 아니어야 한다.
그렇다고 민주적 통제를 건너뛰자는 것은 아니다. 원칙과 권한은 법으로 한 번 정해 두고, 개별 판단은 권한을 위임받은 전문기관이 그때그때 내리는 방식이다. 원자력이나 금융 규제도 이렇게 운영된다.
기업이 자사 시스템을 두고 모은 증거는 경제적 이해관계 때문에 편향될 수 있어서, 독립 평가자의 증거가 특히 중요하다.56 개발사는 정보를 독점할 유인이 있고, 상업적 이유로 위험평가 정보를 공유하기 어렵다. 연구자들은 자율규제의 한계 때문에 제3자 감사·검증이 필요하다고 주장해 왔다.57
제도로 옮기면, AI안전연구소 같은 공적 기관이 판단하고 그 이유를 공개해 시민이 들여다볼 수 있게 한다. 기업의 자발적 안전 서약을 인정하거나 철회하는 권한도 공적 기관에만 둔다.58
판단하는 자리에 정부가 함께 앉는 것만으로는 부족하다. 「AI 2027」에서도 회사와 정부가 함께 꾸린 감독위원회가 있었지만, 6 대 4로 문제의 모델을 계속 쓰기로 했다.
5-6. 속도 조절에는 국경과 오픈 웨이트라는 빈틈이 있다
민주국가 기업끼리 속도를 맞춰도, 중국 모델은 2023년 이후 미국 최전선을 평균 7개월(최소 4개월, 최대 14개월) 뒤에서 따라왔다.59 속도를 늦추면 그 격차가 좁혀질 수 있다.
아모데이가 셋째 단계로 권위주의 국가와의 조율을 넣은 이유이고, 트럼프 대통령이 멸종보다 중국에 지는 것을 걱정한 이유이기도 하다.60,61
「AI 2027」에서 경영진이 위험 신호를 보고도 멈추지 않은 이유도 중국이 두 달 뒤에서 쫓아온다는 것이었다.
오픈 웨이트 모델도 넉 달에서 일곱 달 뒤에 따라온다(3-3). 기업 간 합의만으로는 이 빈틈을 막을 수 없다. 공개 여부와 특화 도구의 접근을 판단하는 공적 장치가 함께 있어야 한다.
6. 지금 다가온 위험: 이미 현실이 된 위험
6-1. 지금 다가온 위험은 이미 현실이 된 위험이다
2장의 위험이 내년의 문턱이라면, 이 장의 위험은 이미 넘어와 있는 위험이다.
두 갈래로 나타난다. 하나는 현재형이 된 역량 위험이고, 다른 하나는 보이지 않게 쌓이는 누적·점진적 위험이다.
6-2. 역량 위험은 이미 현재형이다
오픈AI는 GPT-6 아스트라가 사이버보안 분야에서 자사 기준 최고 위험 등급인 '치명적'을 충족한 첫 모델이라고 밝혔다.62
앤트로픽의 미토스는 27년 된 오픈BSD, 16년 된 FFmpeg, 17년 된 프리BSD의 취약점을 스스로 찾아냈다.63 영국 AI보안연구소 평가에서는 인간 전문가가 20시간 걸리는 32단계 공격 시뮬레이션을 10번 중 3번 끝까지 해냈다.64
앤트로픽은 예멘 북부의 무기 개발 조직이 클로드로 탄도미사일 등의 개발을 시도하다 차단되었다고 공개했다.65 이 조직을 후티 반군으로 지목한 것은 언론의 해석이다.66
우크라이나 방산업체 대표는 2024년 AI가 조종하는 드론 10대를 한 차례 시험 투입했다고 증언했다.67 우크라이나 국방부는 응답하지 않았다.
요컨대 2장에서 '만약'으로 말한 장면의 조각들은 이미 따로따로 벌어지고 있다. 아직 없는 것은 그 조각들이 통제를 벗어난 AI 하나에서 한꺼번에 벌어지는 일뿐이다.
6-3. 누적·점진적 위험: 모르는 사이 쌓이는 위험
되돌릴 수 없는 위험만 위험한 것은 아니다. 모르는 사이에 사회 전체에 서서히 쌓이는 위험도 있다.68
아무도 죽거나 다치지 않고 특정할 피해자도 없는데, 사회 전체가 서로를, 정보를, 제도를 믿는 능력이 조금씩 닳아 가는 경우다.
한나 아렌트는 모두가 늘 거짓말을 하면 사람들은 거짓말을 믿는 게 아니라 아무것도 믿지 않게 되고, 스스로 판단하지 못하게 된다고 했다.69
한 번의 피해는 작지만 가능성은 높고, 범위는 사회 전체이며, 오래 걸려 나타난다. 2장의 위험과 정반대 자리에 있지만, 오래 쌓이면 그 영향도 파국적일 수 있다.
특정 행위자에게 돌릴 수 없는 '구조적 위험'이라는 개념과 같은 맥락에 있다.70,71
이미 현실이라면서 왜 뚜렷한 사례가 없느냐고 물을 수 있다. 이 위험은 한 사건으로 드러나지 않고 오래 쌓이기 때문에 숫자로 보여 주기 어렵고, 그렇게 잘 보이지 않는다는 것 자체가 6-4에서 말할 문제다.
6-4. 이 위험은 지금 제도로는 보이지 않는다
지금의 위험 관리는 특정할 수 있는 피해자와 피해 사건을 전제한다. 피해자가 없으면 신고할 사고도, 제출할 평가서도, 점검표의 항목도 없다.
판단의 재료도 규제받는 쪽이 만든다. 고영향 AI 해당 여부는 사업자의 자체 확인에서, 개인정보 위험은 처리자의 평가서에서, 사고는 사업자 내부의 인지에서 출발한다.72
『국제 AI 안전 보고서』도 자율규제의 한계 때문에 제3자 감사·검증이 필요하다는 연구자들의 주장을 정리한다.73
7. 무엇을 해야 하는가
7-1. 사고 보고를 의무화해야 한다. 그러나 의무화만으로는 부족하다
사고 보고는 필요하다. AI 기본법 제32조도 사전 위험관리와 사고 모니터링·대응을 안전성 확보 체계 하나로 묶고 있고, 하위규범은 발생 24시간 안에 발생보고, 7일 안에 초동조치보고, 15일 안에 처리결과보고를 하도록 구체화하고 있다.74
그러나 보고는 보이는 사고만 잡는다. 우리가 보는 사고 자료는 사업자가 인지해 신고했거나 외부에서 발견되어 공개된 것뿐이다.75 아무도 인지하지 못한 사고는 보고 의무로도 잡히지 않는다. 관측된 사고와 실제 사고의 차이는 정의, 신고 유인, 탐지 역량, 언론 보도의 편향, 영업비밀과 보안 문제에서 생긴다.76 개발사조차 사고를 일주일 뒤에야 알았다(3-1).77
무엇이 'AI 사고'인지부터 합의가 어렵다. AI가 원인이어야 사고인지, 수단으로 쓰이기만 해도 사고인지가 갈린다. 사고로 판단하려면 AI가 얼마나 기여했는지, 피해가 실제로 일어났는지, 얼마나 심각한지, 누가 영향을 받는지를 모두 따져야 한다.
가장 중요한 신호는 피해가 나지 않은 '아차 사고'에 있다. 평가 중 위험 행동처럼 피해가 현실화되지 않은 것은 사고가 아니라 위해 요인으로 분류된다.78 통제 상실의 징후는 대부분 여기에 있다(2-2). 보고 의무를 실제 피해 중심으로 설계하면 가장 중요한 신호가 빠진다. 사고의 정의는 사후 책임의 문제이고, 위해 요인의 정의는 예방의 문제다.
어디서 선을 긋느냐가 핵심이다. 지켜볼 문턱, 보고할 문턱, 국가가 개입할 문턱은 서로 다르다. 문턱이 낮으면 신고가 넘쳐 처리가 안 되고, 높으면 중요한 신호를 놓친다. 피해 규모, 지속성(되돌릴 수 있는지), 확산성, 긴급성, 불확실성을 함께 따져 단계별로 격상해야 한다.
보고를 받는다고 대응이 되지는 않는다. 정부 쪽에서 신고를 접수하고, 빨리 분류하고, 분석하고, 격상하고, 그 결과를 제도에 되돌리는 기능이 없으면 보고는 서류로 쌓일 뿐이다. 모든 신고를 똑같이 처리할 수 없으므로 신속한 분류와 중대성 판단이 국가 기능의 핵심이고, 여기에는 AI 전문성과 인력이 필요하다.
한 사고가 여러 관할에 걸친다. AI 에이전트가 개인정보를 빼냈다면 AI 안전사고이면서 개인정보 유출사고이고 사이버 침해사고다. 누가 받을지가 겹치거나 빌 수 있다. 공통 창구와 분류는 AI 전문기관이 맡고 현장 대응은 분야별 소관기관이 하는 연합형이 대안으로 거론되지만, 조정 비용이 따른다.
사건 단위의 보고로는 잡히지 않는 위험도 있다. 피해자를 특정할 수 없는 누적·점진적 위험은 '사건'으로 보고될 수 없다(6-4). 해외 개발사와 이미 공개된 오픈 웨이트 모델에는 국내 보고 의무가 닿지 않는다(3-2, 3-3).
요컨대 필요한 것은 보고 의무 하나가 아니다. 위험 신호를 관측하고, 알맞은 수준으로 분류·격상해 기존 대응체계와 잇고, 그 경험을 다시 안전성 평가와 정책에 되돌리는 체계가 함께 있어야 한다.
7-2. 글로벌 이니셔티브를 통해 프론티어 랩과 공동연구하고, 평가·거버넌스 인력을 서로 파견해야 한다
한국은 프론티어 모델 개발국이 아니다. 규율 대상의 상당수는 해외 폐쇄형 모델이고, 국내 법의 조사·제재 수단은 여기에 잘 닿지 않는다(3-2). 모델 안을 들여다볼 접근권과 정보는 협력으로 얻을 수밖에 없다.
협력의 틀은 생기기 시작했다. 한국 AI안전연구소는 오픈AI와 고위험 분야 안전 평가 협력 업무협약을 맺었고(6월 17일), 과기정통부는 앤트로픽과 AI 안전·보안 협력 업무협약을 맺었다(6월 18일).79,80 싱가포르 AI안전연구소와는 AI 에이전트의 데이터 유출 위험을 공동으로 시험해 보고서를 공개했다(6월 15일).81
한국은 각국 AI안전연구소가 모인 국제 네트워크(NAAIMES, 옛 국제 AI안전연구소 네트워크)의 회원이다. 이 네트워크는 7월 서울에서 모여 국제 평가 모범 지침을 내놓았다.82
다음 단계는 공동연구를 넘어 사람을 서로 보내는 것이다. 공적 평가기관의 인력이 프론티어 랩 안에서 모델과 개발 과정을 상시로 평가하고, 랩의 안전·거버넌스 인력도 공적 기관에 와서 평가 방법과 기준을 함께 만든다.
아모데이도 외부 평가자에게 직원 수준의 상시 접근권을 주자고 했다(5-2).83 다만 그 평가자가 기업이 비용을 대는 민간 조직이면 독립성이 문제가 된다(5-3).84 파견되는 평가자가 공적 기관 소속이어야 하는 이유다.
사람이 오가면 정보가 오간다. 개발사도 나중에야 아는 문제(3-1)를 더 일찍 볼 수 있고, 출시 전 정부 평가를 추진하는 나라들과 기준을 맞출 수 있다. 미국 정부는 신규 모델 출시 전 최대 30일의 보안 검증을 주요 AI 기업들과 논의했다.85
인력 상호 파견은 필자의 제안이다.86 보안 서약, 비밀 유지, 이해충돌 관리 같은 구체적 방식은 설계가 필요하다.
7-3. 소프트웨어 검증으로 안 되는 부분은 하드웨어 검증도 고려해야 한다
소프트웨어 평가는 개발사가 보여 주는 것만 본다. 연산량 자기신고, 폐쇄형 모델의 학습 과정, 이미 공개된 오픈 웨이트 모델, 나라 사이 합의의 준수 여부는 밖에서 확인하기 어렵다(3-2, 3-3, 5-6).
그래서 AI 칩과 데이터센터 수준에서 확인하는 하드웨어 검증이 대안으로 논의된다. 모델과 데이터를 공개하지 않고도 핵심 지표를 확인할 수 있다는 장점이 있지만, 아직 초기 연구 단계다.87 소프트웨어 평가를 대체하는 것이 아니라 보완하는 수단으로 봐야 한다.
7-4. 한국은 올해 안에 국가 AI 안전 마스터플랜을 세운다
과기정통부는 가칭 '국가 AI 안전 생태계 조성 마스터플랜'을 12월까지 수립하겠다고 밝혔다(9월 30일). 3대 전략(안)은 국가 AI 안전 관리체계 구축, 첨단 AI 안전 대응역량 강화, 국민 일상의 AI 안전 환경 조성이다.88
이를 위해 국내외 AI 기업과 협회, 인공지능안전연구소 등 유관기관, 기술·법제 전문가 25명 안팎이 참여하는 민관 실무협의체를 10월부터 가동한다.89
이 과제들을 맡을 사람도 길러야 한다. 국내 AI 인재양성은 기술 쪽에 치우쳐 있고 공공정책과 조직 측면의 거버넌스 교육은 거의 비어 있는데, 단기 수익이 분명하지 않아 시장이 스스로 채우기 어려운 영역이니 공적 투자가 필요하다.90 필자도 2026년 5월 국회입법조사처 간담회에서 이 공백을 짚었고, 관련 교육 프로그램 논의에 참여하고 있다.
이 장에서 말한 과제들, 즉 사고 대응 체계, 프론티어 랩과의 국제 협력, 검증 수단, 그리고 이 일을 맡을 사람을 기르는 일이 이 계획에 어떻게 담기는지가 앞으로 지켜볼 지점이다.
8. 결론
8-1. 이미, 그리고 내년
AI 위험을 말하는 언어의 시제가 바뀌었다. 경고는 늘 "그렇게 되면 위험하다"는 미래형이었는데, 요즘은 "이미 벌어졌다"는 현재형으로 들린다.
두 위험 모두 먼 미래의 이야기가 아니다. 역량 위험과 누적·점진적 위험은 이미 벌어지고 있고, 되돌릴 수 없는 통제 상실의 문턱은 내년일 수 있다.
두 위험은 성격이 정반대이지만, 대응이 막힌 이유는 같다. 위험을 판단할 재료를 규제받는 쪽이 만드는데 그쪽도 나중에야 알고, 판단의 틀은 눈에 보이는 피해만 센다.
이것을 과장이라고 느낀다면, 우리가 매일 쓰는 순한 버전을 보고 실제 역량을 판단하고 있기 때문이다.
할 일은 사고 보고를 의무화하는 데서 끝나지 않는다. 국제 협력으로 프론티어 랩과 공동연구하고 평가 인력을 서로 보내 안을 들여다볼 통로를 만들고, 소프트웨어로 확인할 수 없는 부분은 하드웨어 검증도 고려해야 한다. 연말에 나올 국가 AI 안전 마스터플랜에 이런 과제들이 어떻게 담기는지 지켜볼 필요가 있다.
그래서 개발 경쟁의 속도는 늦추고, 안전성을 향한 경쟁의 속도는 높여야 한다. 그 속도를 정하는 일은 원래 민주적 통제의 몫이지만 민주주의는 느리다. 그러니 판단과 검증은 민간이 아닌 공적 전문기관이 맡고, 그 이유를 공개해 시민이 들여다볼 수 있어야 한다.
「AI 2027」에서 두 결말을 가른 것도 속도를 늦출지를 정하는 결정 하나였다.
