🇯🇵 AI 세이프티 평가관점 가이드(제1.20판) 공개 (2026.7.7)
AIセーフティに関する評価観点ガイド(第1.20版)가 공개되었다. 해당 가이드는 동등 AI 시스템이 자율적으로 수행하는 경우와 외부 시스템이 연동·상호작용하는 경우 등, AI가 갖는 위험과 영향에 대응하는 평가 관점을 업데이트·개정해 반영했다고 설명한다. 또한 2026년 7월 7일에 공개(공표)되었으며, 이전 버전의 일부 개정 내용도 포함해 안내한다.
AIセーフティに関する評価観点ガイド(第1.20版)가 공개되었다. 해당 가이드는 동등 AI 시스템이 자율적으로 수행하는 경우와 외부 시스템이 연동·상호작용하는 경우 등, AI가 갖는 위험과 영향에 대응하는 평가 관점을 업데이트·개정해 반영했다고 설명한다. 또한 2026년 7월 7일에 공개(공표)되었으며, 이전 버전의 일부 개정 내용도 포함해 안내한다.
일본 AISI는 자율적 AI 에이전트 시스템 확산에 대응하기 위해 평가 항목을 확충한 'AI 안전에 관한 평가 관점 가이드(제1.20판)'를 발표. 기존 LLM과 달리 외부 환경과 상호작용하는 에이전트 특유의 위험에 대비하기 위해 '관측과 제어', '자율적 행동'과 관련된 평가 관점을 새롭게 추가.
EU 집행위원회(EC)는 첨단 AI 모델이 제기하는 사이버 보안 취약점에 대응하기 위해 회원국과 산업계를 아우르는 행동 계획을 발표. AI 법에 따른 선제적 평가 역량을 2027년까지 구축하고, 안전한 테스트 플랫폼 조성 및 AI 사이버 보안 챌린지를 통해 유럽의 기술 보안 능력을 강화할 예정.
유럽 집행위는 첨단 AI 모델이 야기하는 위험과 기회를 고려해 사이버보안에 대한 구조화된 대응을 마련하는 EU 액션플랜을 발표했다. 이와 관련해 AI가 취약점 파악, 공격 자동화, 사이버 사고의 규모와 속도 확대에 악용될 수 있다고 설명하며, 회원국·산업계·EU 차원의 관련 기관을 함께 묶어 디지털 환경의 사이버보안을 강화하겠다고 밝혔다. 또한 위원회는 기존 역량·네트워크·법적 프레임을 활용해 새로운 기술이 가져오는 취약성에 대응 속도를 맞추겠다는 취지의 발언을 덧붙였다.
초고성능 AI가 등장하면 수년 내 다이슨 스피어, 분자 나노공학 같은 ‘sci-fi 기술’이 나올 수 있다는 주장을 소개하며, 근거가 되는 논의의 절반이 누락됐다고 지적한다. 즉 AI가 얼마나 빨리 좋아지는지(능력)는 따지지만, 다이슨 스피어·나노공학·초고위험 생물무기처럼 구체 기술을 실제로 만드는 데 얼마나 어려운지(공학적 병목과 자원·기간)는 충분히 분석하지 않는다는 주장이다. 이를 보완하기 위해 특정 기술을 구체화하고, AI 가정(예: remote worker 대체 가능 여부, 필요한 compute, 물리적 작동기 접근 등)을 세운 뒤, 그 AI로 해당 기술까지 도달하는 데 필요한 시간·자원을 추정하는 연구 방향(탐색적 공학 with explicit AI assumptions)을 제안한다.
본 간행물은 AI 개발을 두 초강대국 간 제로섬 ‘arms race’로 규정하는 서사가 적절한지 문제 제기한다. 외교·국가안보·경제 등 다양한 관점을 바탕으로 arms race 은유의 한계와 그 기원 및 영향, 그리고 AI의 지정학적 영향력을 해석하는 대안적 틀을 모색한다. AIxGEO 팀과 MacArthur Foundation, Howard University School of Law 등 인사들이 참여하며, 2026년 1월 13일 개최를 위한 축약판 작업본이 먼저 준비됐다고 안내한다.
미국의 인공지능(AI) 전략 수립 과정에서 국가 지도자들은 두 가지 주요 의무 사이의 긴장 관계에 직면한다. 한편으로는 에이전트 상대적 이유에 따라 자국 국민을 보호해야 하는 의무가 있으며, 다른 한편으로는 에이전트 중립적 이유에 따라 전 세계적인 심각한 피해를 방지해야 하는 의무가 있다. 저자는 이러한 딜레마를 해결하기 위해 치명적이고 돌이킬 수 없는 위험을 고려해야 하며, 에이전트 상대적 의무는 이러한 제약 내에서만 고려되어야 한다고 주장한다.
앨런 튜링 연구소는 서로 다른 국가의 신원 시스템을 연결하기 위해 eSignet 기반의 proxy authenticator를 제시했으며, 표준을 준수하는 OpenID Connect 인터페이스를 통해 기술이 다른 시스템 간에도 인증 정보를 교환할 수 있도록 했다. 또한 SAAFII는 법·정책, 거버넌스, 보안, 인증 수준, 기술 표준, 운영, 포용성과 이용자 권리 등 8개 계층과 96개 평가 질문을 바탕으로 국경 간 신원 정보의 신뢰 조건을 점검한다. 이 접근은 국가가 자국의 데이터·법률·인프라·보증 기준을 유지하면서도 국경 간 결제, 무역, 교육, 의료 등의 서비스 이용을 지원하는 것을 목표로 하며, 연구진은 향후 정부와 협력해 기술·준비도 평가 및 시범사업을 추진할 계획이다.
독립 전문가 과학패널은 EU 인공지능법에 따라 범용 AI(GPAI) 모델·시스템 규정의 집행을 지원하며, AI 사무국과 회원국 당국에 시스템적 위험, 모델 분류, 평가 방법론 등에 대해 자문한다. 패널은 최대 60명의 독립 전문가로 구성되고 임기는 2년이며, 2026년 6월 1일 60명의 전문가가 임명됐다. 패널은 범용 AI의 EU 차원 시스템적 위험에 대해 적격 경보를 발령하거나 사업자 정보·문서 요청을 제안할 수 있으며, 시장감시 당국을 지원하고 모델 평가에도 참여한다.
2026년 7월 6일 15시 기준으로 ITU의 ‘AI for Good Global Commission’ 출범 관련 소식과 CSIS의 ‘중국 AI 모델’ 분석, Anthropic의 Fable 5 cyber safeguards 및 jailbreak framework 공개 내용을 정리해 소개했다. 또한 이번 콘텐츠는 해당 정보가 갖는 정책·산업적 함의와 더불어 설명 목적의 해설이 포함된 것으로 보인다.
플로리다의 간호사 멜리사 멀린 심스가 전 남자친구가 제시한 문자메시지 스크린샷을 근거로 두 차례 체포됐지만, AT&T와 T-Mobile의 통신 기록에는 해당 문자가 전송·수신된 흔적이 없었다고 글은 주장한다. 심스는 2025년 재판에서 약 90분 만에 무죄 평결을 받았으며, 글은 수사기관이 통신사 서버 기록 확인과 DNA 채취를 충분히 하지 않았고 검찰이 인공지능·조작 증거 관련 주장을 배제하려 했다고 비판한다. 또한 전 남자친구가 언급한 영상의 존재 여부와 검찰의 증거 공개 의무 위반 가능성을 제기하며, 디지털 증거의 사전 인증을 의무화하는 플로리다주의 ‘멜리사의 법’을 촉구한다.
AI Safety Index Summer 2026 에디션에서 주요 AI 회사들의 안전·보안 성과를 위험평가, 현재 피해, 안전 프레임워크, 존재론적 안전, 거버넌스·책무성, 정보공유 등 영역별로 점수화했다. 전체적으로 Anthropic(2.66, C+), OpenAI(2.28, C), Google DeepMind(2.01, C)와 달리 Meta(1.32, D+), Z.ai(0.88, D-), Alibaba Cloud(0.87, D-), xAI·DeepSeek·Mistral 등은 하위 등급(F 포함)을 받았다. 또한 중국의 경우 자발적 안전공약의 상대적 부족이 ‘자율 준수’ 여부 때문인지 단정하기 어렵고, 중국에서는 국가·지방 규제와 구속력 있는 표준 및 준구속적 표준이 회사 행동에 직접/간접으로 영향을 준다는 점을 설명했다.
NCSC와 DSIT가 2026년 7월 공개한 청사진을 바탕으로, 정부·CNI·사이버방어/프론티어AI 파트너와 협력해 시범 테스트 및 단계적 확산을 추진
NCSC는 GCHQ 연례 강연에서 제시된 방향에 따라 ‘Cyber Shield’라는 국가 규모의 주권형(agentic) AI 기반 사이버 방어 역량 구축을 위한 청사진을 공개했다. Cyber Shield는 frontier AI를 활용해 취약점 식별·감소·해결, 실시간 탐지·대응, 전국 단위 스캐닝과 완화(차단 등) 등을 협업형으로 수행하는 것을 목표로 한다. 이를 위해 신뢰·데이터·신원·신뢰성·규제 준수 등 기반을 갖춘 ‘federated agents’와 explainable AI 같은 핵심 기능을 요구하며, 개발·운영은 NCSC/정부 단독이 아니라 학계·산업 및 네트워크 방어자들과의 파트너십을 통해 추진한다고 설명했다.
유럽연합 집행위원회는 AI의 안전하고 책임 있는 사용을 지원하면서 유럽의 사이버보안 역량을 강화하기 위한 ‘사이버보안 및 인공지능 액션플랜’을 발표했다. 이 계획은 (1) 고도 AI의 안전·책임 사용 촉진, (2) EU 사이버보안 및 회복력 강화, (3) 사이버보안을 위한 유럽의 AI 역량 확대의 3가지 목표를 중심으로 한다. 또한 AI Act에 맞춰 EU 시장 진입 전 AI 모델 평가 역량을 강화하고, ENISA와 함께 사이버보안 목적의 보안 접근 블루프린트 및 안전한 테스트 플랫폼을 마련하며, NIS2 Directive와 Cyber Resilience Act 등 기존 사이버보안 법체계를 이행하도록 촉진한다. 사이버보안용 AI 솔루션 개발을 위한 EU Grand Challenge도 추진하고, AI Factories 및 향후 Gigafactories 등 ‘주권형 AI’ 투자와 민간투자 확대를 함께 도모한다.
크래독은 OpenAI가 허가 없이 자신의 저작물을 ChatGPT 학습 데이터에 포함했다며 저작권 침해를 주장하고, AI 학습과 관련한 재산권에 대한 확인 판결을 청구했다. 사건은 미국 캘리포니아 북부지방법원에 제기됐으며, 다양성 관할권에 관한 연방법 조항을 근거로 한다. 현재 사건 상태는 진행 중이며, 공정 이용과 집단소송 인증 등이 주요 쟁점으로 언급됐다.
Python 라이브러리 형태로 AI 리스크 온톨로지와 지식그래프를 제공하며, AI 위험·행동·평가를 한 스키마에 통합해 리스크 탐지/분류와 거버넌스 워크플로우를 지원한다. IBM AI Risk Atlas 등 여러 리스크·프레임워크에서 리스크를 수집하고, 서로 다른 택소노미 간 매핑을 제안하며, 그래프 다운로드와 Cypher 변환 도구를 제공한다. 또한 CoT/Few-shot 기반 컴플라이언스 질문지 자동 보조, ARES 통합을 통한 강건성 평가 실행, LinkML 스키마/인스턴스를 그래프DB로 적재하는 확장 기능과 설치 절차를 안내한다.
2026.7.16(오전 7:30 PT)·2026.7.23(정오 12:00 PT) 2회 진행, Zoom Webinar로 무료 제공
AIWI가 AI 연구소(Frontier AI Labs) 관계자가 우려 사항을 발견했을 때 대응할 수 있도록 돕는 ‘The AI Lab Preparedness Primer’ 60분 웨비나를 운영한다고 안내했다. 수강 내용에는 우려의 징후 식별, 내부 제보·규제기관·기타 채널을 통한 선택지와 법적 보호 범위, 문서화·디지털 보안·질문 응답 및 사후 지원 등 실무가 포함된다. AIWI는 독립 비영리단체로서 직원 보호 관련 연구·교육·지원 및 정책 활동을 수행하며, 본 강의는 Karl Koch가 주도하되 게스트 참여 가능성도 언급했다.
본 연구는 산업 전반의 AI 도입이 기존 IT 보안 중심 GRC로는 충분히 다루기 어려운 AI 특유의 위험을 만들고, 이를 다루려는 표준·규제 동향을 정리한다. 구체적으로 ISO/IEC 27001·NIST Risk Management Framework가 다루는 범위와 달리 adversarial attacks, model drift, fairness·accountability 같은 윤리 요소가 공백으로 남는 문제를 짚고, OECD AI Principles, ISO/IEC 42001, NIST AI Risk Management Framework, EU AI Act 및 Microsoft·Google·IBM의 산업 표준을 비교 분석한다. 비교 결과 governance 구조, 위험평가 방법론, compliance 메커니즘, transparency 요구는 공통 원칙이 겹치지만 enforcement와 기술적 깊이의 일관성이 낮아 “fragmented ecosystem” 형태로 나타난다. 또한 adversarial robustness와 lifecycle risk monitoring 같은 운영 지침은 제한적이며, GRC를 AI 개발 파이프라인에 내재화하기 위해 continuous monitoring, 문서화 아티팩트, risk-tiering을 모범사례로 제시하고 interoperability·audit tooling·liability regimes의 공백을 함께 확인한다.
LLM agent가 공격자가 제어한 context를 읽어 작업을 수행할 때, tool 호출/실행 단계에서 권한 경계를 정확히 강제하는 프레임워크를 제안한다. protected sink fields, sink-interpreted payloads, invocation event에 대해 정책·typed releases·opaque data slots로 실행 경계를 만들고, deterministic gate가 field authority, exact-effect authorization, invocation authority가 동일한 action manifest에 바인딩될 때만 호출을 허용한다. AgentDojo에서 720 live episodes와 1,739 LLM calls를 평가했으며, code-agent exact-effect benchmark(400 repository episodes)에서 231 safe task completions과 함께 관측된 field/effect/invocation escapes는 0이었다. 또한 evaluated sinks 전반에서 CXI는 field·effect·invocation authority가 같은 action manifest에 결합될 때만 execution을 admit했다.
Pluralis v0.1은 지역 법·사회언어 뉘앙스·문화적 금기를 반영해 AI 위험과 신뢰성 평가를 더 전세계적으로 만들려는 멀티모달/다국어 벤치마크를 제안한다. 6,448개의 프롬프트를 6개 아시아-태평양 국가(방글라데시, 인도, 한국, 파키스탄, 싱가포르, 대만)와 8개 언어로 구성하고, 텍스트와 이미지가 각각 무해해 보이더라도 조합될 때 특정 위반을 유발하는 시나리오를 포함한다. Judge-Pluralis는 문화 분류(문화 taxonomy)로 분류된 예제로 학습된 agreement-gated LLM-as-a-Judge 앙상블로 평가를 수행하며, VLM 하위셋에서 locale-specific 실패 모드(예: 이미지 오인식으로 인한 downstream harm, item-context-locale 상호작용 누락, 부적절한 refusals)가 반복되고 지역·언어에 따라 체계적으로 달라지는 양상을 보인다. refusals는 유해 요청을 거절하는 응답을, complied는 요청을 수행하는 응답을, unclear는 판단이 모호해 판정하기 어려운 응답을 뜻하며, locale 평균만 보면 숨겨지는 blind spots가 드러난다.
DT-Guard는 저지연 런타임에서 작동하는 LLM safety guardrail을, 추론 텍스트 생성 없이도 높은 판단 품질로 제공하는 방법을 제안한다. 훈련 단계에서는 reasoning supervision을 사용하되 추론 단계에서는 구조화된 safety 라벨만 생성하며, 안전 판단을 Intent→Category→Safety의 점진적 결정 과정으로 구성하고 intent/위험 카테고리/safety 라벨 및 구조화된 reasoning trajectory를 포함한 데이터셋으로 학습한다. 또한 RG-PHO(Rollout-Guided Progressive Hard-Case Optimization)로 다중 rollout 일관성을 통해 persistently failed 및 preference-unstable 샘플을 식별해 표적 supervised 및 preference optimization을 적용한다. 실험에서 prompt-side F1 0.886, response-side F1 0.870을 보고하며, 4B backbone만으로 dual-side 평균 F1 0.878을 달성해 강한 8B guardrail baseline을 outperform 한다.
EU Artificial Intelligence Act가 open source AI에 대한 투명성·안전 의무를 어떻게 설계했는지를 비판적으로 분석하고, 법적 공백을 메우기 위한 제안을 제시하는 글이다. 핵심 쟁점으로 2024년 6월 제정·8월 시행 이후, Article 2(12)의 “free and open source licenses” 면제가 정의가 부정확해 “openish”한 시스템을 만들 인센티브가 생길 수 있다는 점을 든다. 또한 2024년 10월 Open Source Initiative의 Open Source AI Definition 공개 이후, 역외적(extraterritorial) 적용을 포함한 EU의 접근이 법·IT 양측에서 우려를 낳는다고 정리하며, 미국(특히 캘리포니아)과 중국의 open source AI 관련 입법 구상을 함께 검토하고 법적 접근을 비교한다.