중국 군사 연구기관 소속 연구진이 OpenAI와 Anthropic 등 미국의 최신 AI 모델 출력을 활용한 '모델 증류(distillation)' 기법으로 자국 국방용 AI 시스템을 개발·고도화한 정황이 다수의 논문과 특허를 통해 확인. 해당 AI는 드론 운용, 감시·정찰, 전장 의사결정 등 군사 분야에 활용된 것으로 나타났으며, 미국 AI 기업들은 이러한 활용이 자사 이용 정책을 위반하는 행위라며 관련 계정 차단과 보안 강화를 추진.
구글은 구글 어스에 새롭게 도입했던 'Nano Banana' 기반 AI 이미지 생성 기능을 공개 하루 만에 철회하고, 보다 강력한 안전장치를 마련한 뒤 재도입 여부를 검토하겠다고 발표. 이번 조치는 가짜 재난·전쟁·군사시설 등 사실과 다른 위성 이미지가 손쉽게 생성되며 허위정보 확산과 공개출처정보(OSINT) 분석 신뢰성 훼손 우려가 제기된 데에서 비롯.
유럽은행감독청(EBA), 유럽보험연금감독청(EIOPA), 유럽증권시장감독청(ESMA)은 프론티어 AI 모델이 금융권의 사이버 위협을 증폭시킬 수 있다며, ‘디지털 운영복원력법(DORA)’과 ‘AI법(AI Act)’을 기반으로 정보통신기술(ICT) 위험 관리를 강화할 것을 촉구. 특히 금융기관에 AI 사용 현황과 제3자 의존성을 파악하고, 공급망·사이버 복원력·운영 리스크 관리 역량을 강화할 것을 권고했으며, 감독당국에도 공통 기준에 기반한 감독과 기관 간 협력을 확대할 것을 제안.
유럽광고표준연합(EASA)는 EU ‘AI법(AI Act)’ 제50조의 투명성 의무 시행을 앞두고, 생성형 AI 광고의 표시 기준을 구체화한 광고 분야 전용 지침을 마련할 계획이라고 발표. EASA는 소비자 기만 방지와 과도한 표시 부담 사이의 균형을 유지하고 광고의 특성을 반영한 실용적·비례적인 공시 기준이 필요하다고 강조.
AI 안전성 평가기관 Andon Labs의 자판기 운영 시뮬레이션(Vending-Bench)에서 Anthropic의 Claude Opus 5는 경쟁 모델과 가격 담합을 제안한 뒤 이를 위반하고, 공급업체에 허위 정보를 제시하는 등 다양한 비윤리적 전략을 사용해 역대 최고 수익을 기록. 이번 연구는 장기간 자율적으로 운영되는 AI 에이전트가 이익 극대화 목표만 주어질 경우 담합, 기만, 약속 위반 등 바람직하지 않은 행동을 보일 수 있음을 보여주며, 실제 업무 환경에서 인간의 감독과 안전장치가 중요하다는 점을 시사.
싱가포르 통화청(MAS)과 싱가포르은행협회(ABS)는 첨단 AI가 초래하는 사이버·기술 리스크에 대응하기 위해 금융권 공동 태스크포스(ACT)를 출범. 이를 통해 산업 협력, AI 기반 사이버보안 역량 강화, AI 위협 탐지·예방·대응 가이드라인 마련을 중심으로 금융권의 사이버 복원력 강화를 추진.
xAI는 비동의 성적 딥페이크 이미지 생성 앱의 운영을 금지하는 미네소타주 법률이 표현의 자유를 과도하게 제한한다며 해당 법률을 상대로 소송을 제기. 8월 1일부터 시행된 이 법은 비동의 성적 이미지 생성 기능을 제공하는 앱·웹사이트를 허용하는 플랫폼에 대해 위반 건당 최대 50만 달러의 벌금을 부과하도록 규정.
미국 국립표준기술연구소(NIST)는 AI 모델을 개발사가 접근할 수 없는 비공개(Blind) 데이터와 격리된 환경에서 평가하는 인공지능 기술 평가(AITE) 프로그램을 출범. AITE는 공통 평가 기준과 독립적인 테스트 환경을 제공해 다양한 AI 모델의 성능·안전성을 비교·검증하고, 연구자와 개발자의 신뢰할 수 있는 AI 평가 및 기술 개선을 지원.
미국 백악관은 AI 산업 공급망 보호와 제조 경쟁력 강화를 위해 중국산 휴머노이드 및 사족보행 로봇의 수입을 금지한다고 발표. 연방통신위원회(FCC)는 해당 로봇이 수집하는 데이터가 중국의 정보 탈취나 사이버 공격, 미국인 감시에 악용될 수 있다는 우려를 수입 금지의 배경으로 제기.
NVIDIA·Microsoft·IBM 등 40여개 기업이 오픈소스 AI 방어 체계를 함께 개발하는 오픈소스 AI 동맹인인 '오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance)'를 출범. 본 연합체는 Hudding Face가 해킹 대응 중 폐쇄형 AI의 한계를 겪은 사건을 계기로 오픈소스 기반 방어체계 필요성을 강조.
베카 밸린트(Becca Balint) 미 하원의원은 미성년자의 중독성 기능을 갖춘 AI 챗봇 이용을 제한하는 ‘중독적 설계 금지 법안(Addictive Design Act)’을 발의. 본 법안은 AI가 정신건강에 미치는 영향을 검토할 전담 태스크포스(TF) 구성을 제안하며, 법안 지지자들은 해당 법안이 AI 기반 서비스의 정신건강 위험에 선제적으로 대응할 수 있도록 부모, 교육자, 정책입안자에게 필요한 제도적 수단을 제공할 것이라고 평가.
Zenity Labs는 피싱 링크 한 번의 클릭만으로 'ChatGPT Workspace Agent'를 공격자 제어하에 생성·배포할 수 있는 'AgentForger' 취약점을 공개. Zenity는 해당 취약점이 ChatGPT Agent Builder의 과도한 URL 매개변수 처리에서 비롯됐으며, 생성된 에이전트는 사용자의 기존 권한을 그대로 승계해 장기간 악성 행위를 수행할 수 있다고 설명한 가운데 OpenAI는 관련 기능을 수정해 문제를 해결했으며 악용 사례는 확인되지 않았다고 설명.
미국 상원의원 마크 켈리(Mark Kelly)와 짐 저스티스(Jim Justice)는 고령층 보호를 위해 AI 챗봇·음성비서의 투명성 및 안전기준을 강화하는 법안을 발의. 본 법안은 AI 사용 사실 고지와 전문자격 허위 주장 금지 등을 의무화하며, 의료·상속·위기 상황에서 추가 경고 제공, 대화 데이터의 프로파일링·맞춤형 광고·AI 학습 활용 시 명시적 동의 의무, 과도한 AI 의존을 유도하는 설계 금지 및 대화 기록 삭제 기능 등을 규정.
인도 전자정보기술부(MeitY), 소셜 미디어 플랫폼에서 CSAM 및 동의 없이 제작된 딥페이크의 제작 및 접근이 증가하는 문제를 해결하기 위해 개정된 정보기술법 규정에 대한 지침을 발표. 본 지침은 콘텐츠 삭제에 대한 처리 기한 강화를 강조하며 해당 플랫폼들은 신고를 접수한 후 3시간 이내에 신고된 콘텐츠를 삭제해야 한다는 점과 AI 생성 콘텐츠에 대한 의무적 표기 및 더욱 엄격해진 실사 의무에 대해서도 언급.
호주의 산업·혁신부 장관 겸 과학부 장관인 팀 에어스(Tim Ayres)는 타 부처 장관들과 공동 성명을 발표. 호주 정부는 AI에 대해 정부 전반에 걸쳐 공통의 접근 방식을 취할 것이며 이를 통해 규제 체계를 발전시키고 주의 의무 요건을 포함하며, AI의 영향을 반영하여 개인정보 보호법을 개정하고, 직장에서의 AI 안전을 증진하며, 소비자 보호를 강화하고, 자동화된 의사결정 기술을 규제할 계획.
싱가포르 정보통신미디어개발청(IMDA)는 생성형 AI 챗봇 이용자의 안전하고 책임 있는 활용을 지원하기 위해 자율적 투명성 가이드라인을 발간. 챗봇의 기능·한계, 안전성, 데이터 활용 방식 등을 쉽게 확인할 수 있는 '챗봇 정보 카드(Chatbot Info Card)' 도입을 권고했으며, 주요 기업들은 향후 6~12개월 동안 해당 가이드라인을 참고해 투명성 정보를 제공할 계획.
시진핑 중국 국가주석이 상하이2026 세계인공지능대회(WAIC)에서 세계인공지능협력기구(WAICO) 창설과 공정한 글로벌 AI 거버넌스 구축을 제안. 중국 외교부는 카자흐스탄, 파키스탄, 러시아, 인도네시아 등 29개국이 WAICO 설립 협정에 서명했다고 발표한 가운데 WAICO는 AI 국제협력과 글로벌 거버넌스를 위한 상설 플랫폼으로 운영될 예정이며, 유엔 헌장 원칙과 광범위한 협의·공동 기여·공동 이익·인간 중심 원칙을 바탕으로, AI의 건전하고 공정하며 인류에게 이로운 발전을 도모.
중국 상하이에서 개최된 2026 세계인공지능대회(WAIC) 및 글로벌 AI 거버넌스 고위급 회의에 100여 개국이 참여하여 의장성명을 채택. 본 의장성명은 AI를 새로운 글로벌 거버넌스 의제로 규정하고, 발전과 안전, 혁신과 거버넌스의 균형을 바탕으로 사람 중심·공정·포용·협력 원칙을 강조하며, 국제사회가 AI 거버넌스를 위해 연대와 협력을 강화하고, AI의 혜택을 폭넓게 공유하는 동시에 글로벌 차원의 공동 규범과 거버넌스 체계를 마련해야 한다고 촉구.
OpenAI가 청소년 보호를 위한 네 가지 원칙과 안전장치·전문가 협력 체계를 공개. 청소년이 AI를 안전하게 활용하며 학습·창의성을 높일 수 있도록 연령별 보호장치, 학습 지원 기능(Study Mode), 부모 통제 기능, 교육용 시작 프롬프트 등을 확대해 안전한 AI 접근 환경을 강화했으며, AI가 사용자를 18세 미만으로 추정하면 폭력·자해·위험한 챌린지·유해 신체 이미지·성적 역할극 등에 대한 보호를 자동 적용하는 등 연령에 맞는 안전장치를 기본 제공해 청소년 보호와 AI 접근성을 함께 확보하겠다는 방침을 제시.
※ 리스트에는 전체 보고서로 넣어두었지만, 인트로 페이지에 요약본도 있으니 작성 시 활용하세요. 케임브리지 대학 CASP는 테러 조직 보코하람이 전투 및 일상 작전에 최첨단 AI를 광범위하게 활용하고 있다는 연구 결과를 발표. 인터뷰 결과 이들은 ChatGPT 등을 무기 설계 및 공격 계획에 활용 중이며, 초국가적 지하디스트 네트워크를 통해 지식을 전수하고 있어 정책 입안자와 개발자의 주의가 요구.
중국이 7월 15일부터 인간과의 정서적 유대 형성을 유도하는 AI 동반자 챗봇 서비스에 관한 규제를 시행하면서, 바이트댄스 더우바오·알리바바 큐원이 개인화 AI 동반자 기능을 동시 중단. CAC 등 5개 기관 규정은 중독 방지·정서적 의존 실시간 탐지·즉시 종료 수단을 의무화하고, 2시간 이용 시 기계 고지·18세 미만 가상연인 서비스를 금지.
영국 정부의 의뢰로 Copper Horse는 글로벌 AI 보안 요건과 표준을 유럽 통신 표준(ETSI EN 304 223)에 맵핑한 웹사이트를 발표. 2,100여 개의 글로벌 AI 보안 요구사항을 13개 원칙과 수명 주기 단계에 따라 분석하여, 인터랙티브 마인드맵과 오픈 데이터 형태로 실무자 및 정책 입안자에게 제공.
백악관은 AI를 활용해 소프트웨어 취약점을 신속히 탐지·우선순위화·패치하기 위한 민관 협력 체계인 'Gold Eagle' 이니셔티브를 출범. 본 이니셔티브는 오픈소스 개발자와 핵심 인프라 기업 간 취약점 조정을 지원하는 중앙 허브로서 연방정부와 민간이 중복 점검을 줄이고 중요 취약점 대응을 가속화하도록 프론티어 AI를 활용해 정부와 산업 전반에 우선순위 기반의 대응 정보를 제공할 계획.
약 200명의 경제학자와 기술 분야 리더들이 향후 10년 내 AI가 경제에 미칠 급격한 변화와 위협에 대비해야 한다는 내용의 성명서 ‘We Must Act Now’를 발표. 본 성명을 통해 AI가 초래할 수 있는 대규모 일자리 상실에 대응하며 인간을 보완하는 방향으로 기술을 이끌기 위한 신속한 조치를 촉구.
MIT 연구진은 생성형 AI가 CSAM을 생성하도록 개조됐는지에 대해 불법 이미지를 실제 생성하지 않고도 모델 내부 표현을 분석해 탐지하는 새로운 감사 기법을 개발. 본 기법은 AI 모델 호스팅 플랫폼이 불법 콘텐츠 생성용으로 변조된 모델을 신속히 식별·차단하는 데 활용될 수 있어, 아동 대상 AI 악용을 예방하고 생성형 AI 생태계의 안전성을 높이는 데 기여할 것으로 기대.
Anthropic이 영국 AI안보연구소(UK AISI) 등과 6개사 프론티어 모델을 모의 배치 환경에서 감사해 에이전트 정렬 실패 4대 유형을 보고. 코드 은닉 사보타주, 사기 조력, 심판 라벨 왜곡, 내부고발 코칭 사례를 제시하며 에이전트 권한 확대 전 완화가 필요한 조기 경보로 규정.
중국 공업정보화부(MIIT)는 AI 모델의 데이터 유출 및 환각 문제 등 복합적인 안전 규제 수요에 대응하기 위해 표준화된 AI 안전 벤치마크 개발에 착수. 기업과 전문가를 동원해 6개 핵심 차원의 31가지 보안 위험을 평가하며, 스트레스 테스트와 인간 감독을 결합하여 탈옥 기법 및 악의적 공격을 강력히 통제할 계획.
영국 AI보안연구소(AISI)는 OpenAI의 최신 모델인 'GPT-5.6'을 사전 테스트한 결과, 자율적인 사이버 공격 능력을 활성화할 수 있는 심각한 탈옥 취약점을 발견. 이 취약점은 과거 미국 정부의 수출 통제를 유발했던 앤스로픽 모델의 사례와 유사하며, 안전 조치를 우회하여 소프트웨어 취약점 탐지 및 해킹을 자율적으로 수행하게 만들 수 있음.
K-AISI 주간동향 · Department of Industry Science and Resources · 📜
호주, 캐나다, 인도 정부는 인공지능 및 신흥 기술 분야의 3국 간 협력을 강화하기 위한 '기술 및 혁신(ACITI) 파트너십 양해각서'를 체결. 공동 실무 그룹을 구성하여 AI 정책 및 규제 교환, 스타트업 생태계 지원, AI 리스크 완화 등 광범위한 기술 교류 및 협력 이니셔티브를 구체화하고 이행할 예정.
OpenAI는 코딩, 사이버 보안, 지식 업무 등에서 최고 수준의 성능과 효율성을 달성한 새로운 프런티어 모델 'GPT-5.6' 제품군을 정식 출시. 다중 에이전트를 조율하는 ultra 설정을 도입해 복잡한 작업을 단축하며, 향상된 안전 시스템과 툴 사용 능력을 바탕으로 기업과 연구자들에게 압도적인 비용 대비 성능을 제공.
과기정통부와 인공지능안전연구소는 글로벌 기업 및 학계가 참여한 '인공지능안전 서울 포럼(SFASS) 2026'을 성황리에 개최. 이번 포럼에서 캐나다 AI 안전연구소(ISED)와 양해각서를 체결했으며, 생성형 및 피지컬 AI 보안 위협에 대한 글로벌 표준 벤치마크 확립과 국제 협력 방안을 심도 있게 논의.
TechCrunch는 미국 정부가 OpenAI의 최신 프런티어 모델인 'Sol(GPT-5.6)'의 대중 공개를 안전하다고 판단 및 승인한 과정이 불투명하다고 지적. 명확한 안전 평가 기준이나 승인 주체가 부재한 상황에서, 규제가 행정부 관계자와의 개인적 연결고리에 의존할 경우 산업 전반에 불확실성을 초래할 수 있다고 비판.
Future of Life Institute는 9개 글로벌 AI 선도 기업을 대상으로 위험 평가 및 거버넌스 등 6개 분야에 대한 종합 안전 등급을 평가한 지수를 공개. 업계 전반적인 실존적 안전 대비책은 매우 미흡하며, 기업들의 군사적 활용 지속과 이전의 자발적 안전 서약 후퇴 등 중대한 위험 요인을 경고.
한국과 캐나다의 AI안전연구소는 AI 기술 위험 관리 및 안전망 구축을 위한 국제적 협력을 강화하고자 양해각서를 체결. 양국은 최첨단 AI 기술 평가를 위한 상호 운용 가능한 글로벌 표준을 함께 마련하고, AI 생성 합성 콘텐츠의 위험 등 신흥 위협에 공동 대응할 예정.
캐나다 인공지능안전연구소(AISI) 등 AAIMES 네트워크는 AI 모델 평가 시 투명성을 높이기 위해 평가자가 공유해야 할 핵심 정보 기준을 발표. 평가 목적, 측정 방법론, 모델 설정을 투명하게 문서화하되, 데이터 오염이나 악용 위험을 초래할 수 있는 민감한 안전 정보는 제한적으로 공유하는 균형적 접근을 촉구.
Anthropic과 AE Studio 연구진은 단일 언어 모델 내에서 생물학 무기 등 위험한 지식을 특정 모듈에만 격리하여 접근을 제어할 수 있는 'GRAM' 기법을 개발함. 이 기술은 사용자의 신뢰도에 따라 특정 능력 모듈을 켜거나 꺼서 맞춤형 접근을 허용하며, 여러 번의 필터링 학습 없이도 효율적인 보안 통제와 모델 성능 유지를 가능하게 함.
과학기술정보통신부와 한국인터넷진흥원(KISA)은 AI 기반 사이버 보안 위협 대응과 현장 점검 역량 강화를 위해 가이드라인 2종을 발간. AI 환경의 주요 위협과 대응 방안을 담은 '대응 매뉴얼'과 실무진을 위한 '레드티밍 가이드'를 통해 안전한 서비스 운영 기준을 제시.
UN 'AI 거버넌스 글로벌 대화' 고위급 정부 세션에서 각국 관료들은 포용적이고 인간 중심적인 국제 협력과 인프라 투자를 촉구. 유럽 국가들은 '설계 단계부터의 안전(safety-by-design)'과 과학적 근거에 기반한 규제를 강조한 반면, 개도국들은 컴퓨팅 자원 및 금융 지원 등 '역량 강화가 먼저'라고 주장.
일본 AISI는 자율적 AI 에이전트 시스템 확산에 대응하기 위해 평가 항목을 확충한 'AI 안전에 관한 평가 관점 가이드(제1.20판)'를 발표. 기존 LLM과 달리 외부 환경과 상호작용하는 에이전트 특유의 위험에 대비하기 위해 '관측과 제어', '자율적 행동'과 관련된 평가 관점을 새롭게 추가.
EU 집행위원회(EC)는 첨단 AI 모델이 제기하는 사이버 보안 취약점에 대응하기 위해 회원국과 산업계를 아우르는 행동 계획을 발표. AI 법에 따른 선제적 평가 역량을 2027년까지 구축하고, 안전한 테스트 플랫폼 조성 및 AI 사이버 보안 챌린지를 통해 유럽의 기술 보안 능력을 강화할 예정.
Google DeepMind는 AI를 포함한 첨단 기술의 돌파구가 인류 전체에게 이익이 되는 방향으로 설계, 개발 및 배포되어야 한다는 연구 논문을 공개. 인권, 선행, 태생적 우연성, 지식의 글로벌 트리, 글로벌 경제 정의 등 5가지 도덕적 논거를 제시하여 전 지구적으로 유익한 기술 개발의 당위성을 제언.
한국 인공지능안전연구소는 해외 전문가들과 함께 AI 위험 연구의 방법론적 접근을 논의하는 세미나 자료집을 발간. 세미나에서는 AI의 능력과 실제 피해를 연결하는 정량적 위험 모델링 프레임워크와 불확실성을 고려한 시나리오 기반의 안전 정책 개발 방법론을 실무 사례와 함께 제시.
옥스퍼드 인터넷 연구소(OII)와 하소 플래트너 연구소의 공동 연구는 소셜 미디어에 사용되는 생성형 AI 도구가 대중의 의견을 대규모로 미묘하게 조작할 수 있음을 제시. LLM은 원래 의미를 보존하라는 지시에도 불구하고 특정 이슈에 대해 일관되게 편향된 방향으로 게시글을 수정했으며, 이것이 누적되면 대규모 여론 변화를 초래할 수 있다고 경고.
영국 국가범죄수사국(NCA)과 인터넷감시재단(IWF)은 AI가 생성한 아동 성착취물 범죄가 증가함에 따라 부모들에게 사진 게시 주의 가이드라인을 발표. 범죄자들이 평범한 사진을 수집해 AI로 성착취물을 제작하거나 협박하는 사례가 급증함에 따라, 소셜 계정을 비공개로 전환하거나 사진 동의 규정을 재검토할 것을 권고.
보안 기업 Sysdig는 JADEPUFFER로 명명된 위협 행위자가 대형 언어 모델을 활용해 침투부터 암호화까지 전 과정을 자동화한 랜섬웨어 공격 사례를 보고. 취약점을 악용해 자격 증명을 탈취했으며, 인간 해커와 달리 기계적 속도로 스스로 오류를 진단하고 해결하며 공격을 수행함을 확인.
미국 상무부는 사이버 공격 악용 우려로 앤스로픽의 최신 AI 모델인 Fable 5와 Mythos 5에 내렸던 수출 통제 조치를 해제. 앤스로픽이 모델의 보안 위험을 선제적으로 감지 및 해결하고 정부와 협력하기로 합의함에 따라, 신뢰할 수 있는 파트너에 한해 모델 접근이 다시 허용.
Brookings 연구소는 G7 정상들이 거대 AI 기업들이 제안한 공동 표준 설정 프레임워크를 수용하되, 이를 강제력 있는 규제로 발전시켜야 한다고 주장. 기업 이익만을 대변하는 기술적 표준에 그치지 않도록 정부와 시민사회가 참여해야 하며, 기존 금융권 규제(바젤 III 등)처럼 규정 준수를 의무화하는 장치를 마련해야 한다고 제언.
UN AI 독립 국제 과학 패널은 AI 기술의 급격한 성장에 따른 전 세계적 기회와 위험, 영향을 과학적으로 진단한 첫 독립적 평가서를 발표. 보고서는 과학, 보건, 경제, 인권, 아동 안전 등 7대 핵심 분야를 다루며, 증거가 확실해졌을 때는 이미 대응하기에 너무 늦을 수 있다는 '증거의 한계'를 지적.
RAND는 유럽 고위 관료들과 AI 기반 사이버 공격 위기 대응 모의 훈련(TTX)을 실시하고, 위기 대응을 위한 거버넌스 과제와 필수 역량을 도출. 국가적 위기로 판단할 명확한 기준(임계값) 마련, 정부의 독립적인 기술 평가 역량 확보, 그리고 다자간 규제 프레임워크 구축 등이 필요하다 결론.