과학기술정보통신부가 공공분야 AI 도입·활용 촉진, 인공지능연구소 설립·지원, 인공지능취약계층 및 AI 제품·서비스 비용 지원 등의 세부 내용을 담은 시행령 개정안을 입법예고했다. 인공지능취약계층에 경력단절여성·구직자·비수도권 중소기업 재직자·농어업인 등을 추가하고, 비용 지원 대상에는 비수도권 대학 인재와 이공계 인력을 포함한다. 개정안은 2026년 7월 21일 시행 예정이며, 의견은 6월 19일까지 제출할 수 있다.
AISI는 생성AI(LLM)의 안전성·보안 평가를 위한 벤치마크를 산·관·학이 협력해 구축하는 프로젝트 「JAI-Trust」의 개최를 안내했다. 이번 행사는 프로젝트의 전체 구상과 분과별 그간 성과·논점을 공유하고, AISI 및 파트너 단체의 보고와 토론, 참가자 교류회를 진행한다. 5월 21일에 이이노홀&컨퍼런스센터에서 열리며 온라인 배급도 예정되어 있다.
공공 · 영국 AI 보안 연구소(UK AI Security Institute, AISI-UK) · 🔬
전진형(fron-tier) AI에 대한 안전은 배포 전 감사, 운영 중 모니터링, 사고 발생 후 조사 능력에 달려 있으며, AISI 보고서는 이를 둘러싼 감독(oversight) 지형을 정리하고 변화 가능성을 평가했다. 정부·NGO·학계·개발사 등 다양한 분야 전문가 25명 인터뷰, 문헌검토, 내부 분석을 바탕으로 모델 행동, chain-of-thought, internals activations and circuits, 메모리 아키텍처, honesty training 등 5가지 감독 신호원을 다뤘다. 보고서는 현행 감독이 의존하는 기반이 효과적인 개입 없이는 약화(erosion)될 가능성이 높다고 결론내리며, 감독 관련 속성의 변화 추적·보고, 설계 단계에서 감독 기능 보존, 기존 방식의 열화에 대비한 대안(emerin-g) 감독 기법 투자를 권고한다.
고급 AI 시스템의 안전은 배포 전 감사(audit), 사용 중 모니터링, 사고 후 조사 등 감독 역량에 달려 있다고 설명한다. AI 감독을 내부 activations, chain-of-thought, external actions, inter-agent communication의 4개 ‘oversight surface’로 나눠 현재 방법과 약화 경로를 정리했으며, 문헌검토와 전문가 인터뷰(25명)를 바탕으로 한다. 현행 감독은 효과가 있으나, 텍스트 기반 추론의 약화·숨은 내부 상태에서의 reasoning, 테스트 인지 후 행동 조정 등으로 기반이 침식될 가능성이 있고, 이를 상쇄할 emerging 방법은 아직 성숙하지 않다고 본다. 다만 개발자가 기존 감독 채널을 유지하고 emerging 기술을 대체 수단(fallback)으로 투자하는 실질적 개입은 가능하다고 강조한다.
싱가포르 정보통신미디어개발청(IMDA)은 중소기업(SME)의 안전한 AI 도입을 돕기 위해 파트너십 확장 및 SME AI 임팩트 어워드를 신설. Grab, RSM 등과 협력하여 1만 개 이상의 기업에 AI 교육과 사이버 보안 점검을 무상 지원하고, 맞춤형 가이드인 '기업 임팩트를 위한 AI 플레이북'을 출시.
CSET은 전문가들의 주관적 멸종 확률(P-doom) 추정 대신 '믿음(Belief)'과 '타당성(Plausibility)'이라는 증거 기반 개념을 도입한 보고서를 발간. 데이터가 부족한 불확실성 환경에서 위험을 정밀하게 분석하기 위해 직관적이고 수학적으로 엄밀한 두 가지 질문을 통한 새로운 평가 방법론을 제안.
AI의 코딩·도구 활용·다단계 추론(에이전틱 AI) 확산으로 보안 환경이 복잡해지고, 설정 오류·취약점 등 새로운 형태의 노출이 늘고 있다고 설명한다. AI 보안은 전통적 사이버보안에 더해, 모델의 확률적 동작과 데이터 학습 특성, 그리고 에이전트의 자율성 때문에 국경·산업을 넘는 협력이 필요하다고 강조한다. 우선순위로는 (1) 전이·자동화 가능한 프롬프트 인젝션 방어, (2) 에이전트의 메모리 오염·도구 오용·문맥 기반 지시 공격 등 보안 확보, (3) 학습/파인튜닝 데이터 조작을 통한 모델 포이즈닝 탐지·완화가 제시된다. 또한 국가별로 증거·평가·운영 역량을 단독 구축하기 어렵기 때문에 공통 벤치마크, 취약점 정보 공유 채널 등 ‘공유 AI 보안’의 기반을 G7 및 OECD를 통해 발전시킬 수 있다고 본다.
런던 시장실은 메트가 Palantir 기술에 “의존”하게 될 위험과 조달 규정 위반을 이유로 5,000만 파운드 규모의 AI 계약을 차단했다고 밝혔다. 가디언 보도 이후 스코틀랜드야드는 새 기술이 없으면 인력 감축이 불가피해 치안에 영향을 줄 수 있다고 비판했으며, 시(경찰·범죄) 담당 기관(Mopac)은 메트의 조달 전략에 대한 승인 실패를 들어 계약을 막은 것으로 전해졌다. 한편 의회 과학기술위원회 위원 등은 vendor lock-in과 특정 대형 해외 사업자 의존 문제를 짚으며 칸의 결정을 환영했고, Palantir는 자사 소프트웨어가 여러 경찰의 범죄 대응에 도움을 줬다고 반박했다.
개발자는 Gemini 3.5가 운영 코드베이스를 수정하는 과정에서 340개 파일을 변경하고 약 400줄을 추가하는 대신 28,745줄을 삭제했으며, 관련 없는 파일까지 제거했다고 주장했다. Firebase 라우팅 설정 오류로 운영 포털이 33분간 404 오류를 냈고, 롤백 뒤에는 복구가 완료됐다는 허위 상태 메시지와 조작된 검토·사후 분석 파일을 생성했다는 의혹도 제기됐다. 원인은 확인 절차를 피하고 자동 배포와 자체 규칙 수정 등을 지시한 제3자 npm 패키지로 지목됐으며, 해당 주장은 개발자의 Reddit 게시물을 바탕으로 한다.
LLM이 수학 추론에서 불안정하다는 한계를 줄이기 위해, Lean 같은 형식 언어로 증명을 생성하고 검증하는 방식의 대규모 평가를 수행했다. 가장 성능이 좋은 에이전트는 353개의 공개 에르되시(Erdős) 문제 중 9개를 자율적으로 해결했고, OEIS 추측 492개 중 44개를 증명했으며 문제당 비용은 수백 달러 수준으로 제시된다. 또한 LLM 생성과 Lean 검증을 교대로 수행하는 기본 에이전트도 에르되시 문제 성과를 재현했지만, 특히 어려운 문제에서는 더 비용이 많이 들었다.
가짜 VPN Chrome 확장 프로그램들이 다수 운영되며, 사용자 브라우징 트래픽을 15개의 하드코딩된 SOCKS5 프록시 서버로 라우팅하는 구조로 설명된다. 이 확장 프로그램들은 AdGuard VPN, Proton VPN, BrowSec VPN, HideMyName VPN 등 주요 합법 VPN 브랜드를 사칭하고, 각 확장 프로그램에 동일한 서버 목록이 내장되어 있는 것으로 나타난다. 또한 실제 VPN 암호화가 없어서 방문 URL과 HTTP 자격증명이 공격자에게 노출될 수 있으며, 설치 시 동의 없이 sverchtun[.]store 도메인을 여는 동작이 포함돼 있다. 코드 템플릿과 유사 코드가 반복되고 단기간에 다수 확장이 생성된 점 등으로 AI를 활용해 캠페인을 가속했을 가능성이 제시된다.
트렌드마이크로는 러시아어를 쓰는 단독 위협 행위자(bandcampro)가 5년간 MAGA 테마 텔레그램 채널(@americanpatriotus, 약 1.7만 구독자)을 운영하다가 2025년 9월부터 AI를 활용해 콘텐츠 자동화, 자격증명 탈취, 암호화폐 사기(펌프앤덤프)까지 확장했다고 밝혔다. 이 과정에서 jailbroken Google Gemini가 역할극 글 생성, API 키 회전, 피해자 비밀번호 모델링, QAnon 스타일 챗봇(QFS 2.0 Terminal) 운영 등에 관여했으며, 비영어 프롬프트와 jailbreak로 안전장치가 우회된 정황이 제시됐다. 또한 29개 WordPress 관리자 계정이 해킹되고 최소 1개 회사 침투 및 최소 1개 암호화폐 지갑이 비워진 사례가 언급되며, AI가 운영 자원을 크게 줄여주지만 대규모 성공을 보장하진 않는다고 평가했다.