TRANSLATION · 자동번역
상하이 인공지능실험실 프론티어 AI 위험 관리 프레임워크 2.0
Frontier AI Risk Management Framework 2.0 (Shanghai AI Lab · Concordia AI)

요약
Executive Summary
신뢰할 수 있는 인공일반지능(AGI) 개발에 대한 비전
Our vision of trustworthy AGI development
인공지능(AI) 분야는 빠르게 발전하고 있으며, AI 시스템은 다양한 영역에서 인간 수준 또는 그 이상의 성능을 점점 더 많이 보이고 있다. 이러한 돌파구는 과학적 발견, 의료 개선, 경제 생산성 향상에 이르기까지 인류의 가장 큰 과제를 해결할 전례 없는 기회를 제공한다. 그러나 이처럼 빠른 진보는 전례 없는 위험도 함께 초래한다. 첨단 AI의 개발과 배포가 핵심적인 안전 조치를 앞지르고 있는 상황에서, 견고한 위험 관리의 필요성은 그 어느 때보다 절실하다.
The field of Artificial Intelligence (AI) is rapidly advancing, with systems increasingly performing at or above human levels across various domains. These breakthroughs offer unprecedented opportunities to address humanity's greatest challenges, from scientific discoveries and improved healthcare to enhanced economic productivity. However, this rapid progress also introduces unprecedented risks. As advanced AI development and deployment outpace crucial safety measures, the need for robust risk management has never been more critical.
Shanghai Artificial Intelligence Laboratory는 AI 연구와 응용에 중점을 둔 선진 연구기관이다. 우리는 대학 및 산업계와 협력하여 기초 이론에 근본적으로 기여하고 다양한 기술 분야에서 혁신을 이끌어내는 독창적이고 미래지향적인 과학 연구를 수행함으로써 AI의 미래를 탐구한다. 우리는 AI의 안전하고 유익한 발전에 전념하는 세계 최고 수준의 AI 연구소가 되기 위해 노력한다. 이러한 과제에 선제적으로 대응하고 AI 안전 분야에서 전 지구적인 '최상위를 향한 경쟁(race to the top)'을 촉진하기 위해, 우리는 신뢰할 수 있는 AGI로 나아가는 로드맵인 AI-45° Law [1]를 제안하였다.
Shanghai Artificial Intelligence Laboratory is an advanced research institute focusing on AI research and application. Working in concert with universities and industry, we explore the future of AI by conducting original and forward-looking scientific research that makes fundamental contributions to basic theory as well as innovations in various technological fields. We strive to become a top-tier global AI laboratory, committed to the safe and beneficial development of AI. To proactively navigate these challenges and foster a global 'race to the top' in AI safety, we have proposed the AI-45° Law [1], a roadmap to trustworthy AGI.
프론티어 AI 위험 관리 프레임워크 소개
Introducing our Frontier AI Risk Management Framework
2025년 7월, Shanghai AI Laboratory는 Concordia AI1와 협력하여 프론티어 AI 위험 관리 프레임워크 v1.0(이하 '프레임워크')을 발표하였다. 우리는 공공 안전과 국가안보에 위협이 되는 일련의 심각한 AI 위험을 선제적으로 식별·평가·완화·관리할 수 있도록 범용 AI 개발자에게 포괄적인 지침을 제공하는 견고한 프로토콜 체계를 제안하였으며, 이를 통해 개인과 사회를 보호하고자 하였다.
In July 2025, Shanghai AI Laboratory, in collaboration with Concordia AI,1 released the Frontier AI Risk Management Framework v1.0 (the 'Framework'). We proposed a robust set of protocols designed to empower general-purpose AI developers with comprehensive guidelines for proactively identifying, assessing, mitigating, and governing a set of severe AI risks that pose threats to public safety and national security, thereby safeguarding individuals and society.
이 프레임워크는 범용 AI 모델 개발자가 자사의 범용 AI 모델에서 발생할 수 있는 잠재적 심각한 위험을 관리하기 위한 지침 역할을 한다. 이 프레임워크는 안전이 핵심인 산업의 위험 관리 표준 및 모범 사례에 부합한다. 프레임워크는 위험 식별, 위험 임계값, 위험 분석, 위험 평가, 위험 완화, 위험 거버넌스의 상호 연결된 여섯 단계로 구성된다(프레임워크 개요 참조).
This framework serves as a guideline for general-purpose AI model developers to manage potential severe risks from their general-purpose AI models. This framework aligns with standards and best practices in the risk management of safety-critical industries. It encompasses six interconnected stages: risk identification, risk thresholds, risk analysis, risk evaluation, risk mitigation, and risk governance (see Framework Overview).
버전 2.0으로의 발전
Evolution to Version 2.0
2026년 2월, 우리는 프레임워크의 제한적 업데이트인 버전 1.5를 발표하였으며, 2026년 7월에는 버전 2.0을 발표하게 되었다. 버전 1.0 이후의 주요 업데이트는 다음과 같다.
In February 2026, we released a limited update of the Framework - Version 1.5 - and in July 2026, we were proud to release Version 2.0. Key updates since Version 1.0 include:
통제 상실 관련 내용 확대: AI 기술이 통제를 벗어나는 것을 방지하기 위한 '궁극적인 인간 통제 보장' 및 '선제적 예방 및 대응'이라는 핵심 원칙을 보다 잘 이행하기 위해,2 통제 상실 위험과 관련된 시나리오와 임계값을 더욱 정교화하였다. 또한 에이전트 감독 프로토콜과 비상 대응 메커니즘을 강화하여, 학계와 산업계가 이러한 위험을 지속적으로 모니터링하는 데 도움이 되는 지침을 제공하고자 하였다.
Expanded loss of control content : To better implement the core principles of 'ensuring ultimate human control' and 'proactive prevention and response' to guard against AI technology getting out of control,2 we further refined the scenarios and thresholds associated with loss of control risks. We also strengthened agent oversight protocols and emergency response mechanisms, aiming to provide guidance to help academia and industry continuously monitor these risks.
'레드라인' 위험 시나리오 개정: 화학 안전 관련 레드라인 위험 시나리오를 새로 도입하고, 생물학적 위험, 사이버 공격 위험, 대규모 설득 및 유해한 조작 위험, 통제 상실 위험에 대한 레드라인 시나리오를 정교화하였다.
Iterated 'Red Line' risk scenarios : Weintroduced a new chemical safety Red Line risk scenario, and refined the Red Line scenarios for biological risks, cyber offense risks, large-scale persuasion and harmful manipulation risks, and loss of control risks.
위험 분석의 운용화: 범용 AI 모델 개발자를 위한 위험 분석 지침을 업데이트하여 모델 평가(evaluation), 유도, 위험 모델링 및 위험 추정치 등 이 과정의 필수 모듈을 명확히 하였다. 이러한 변경을 통해 개발자가 위험 분석 모범 사례를 실제로 더 쉽게 이행할 수 있도록 하고자 하였다(3. 위험 분석 절 참조).
Operationalizing risk analysis : We have updated the risk analysis guidance for general purpose AI model developers, clarifying the essential modules of this process, such as model evaluation, elicitation, and risk modeling and estimates. With these changes, we aim to make it easier for developers to practically implement risk analysis best practices (see Section 3. Risk Analysis).
상호운용성 강화: 우리의 위험 관리 조치를 주요 국내외 AI 위험 관리 지침, 구체적으로 중국 국가 TC260 AI 안전 거버넌스 프레임워크 2.0 및 EU 범용 AI 모델 실천 강령(안전 및 보안 장)과 대조·매핑하였다. 이는 개발자가 주요 국내외 규제 지침이 공통적으로 요구하는 안전 조치를 채택하는 데 도움이 된다(부록 I 및 부록 II 참조).
Enhanced interoperability : Wehave mapped our risk management measures against leading international and domestic AI risk management guidance, specifically China's National TC260 AI Safety Governance Framework 2.0 and the EU Code of Practice for GeneralPurpose AI Models (Safety and Security Chapter). This helps developers adopt safety measures shared by major domestic and international regulatory guidance (see Appendix I and Appendix II).
글로벌 공공재로서의 AI 안전
AI safety as a global public good
이러한 종류의 포괄적 프레임워크를 최초로 제안한 비영리 AI 연구소 중 하나로서, 우리는 AI 안전이 글로벌 공공재라고 굳게 믿는다[3, 4]. 이 프레임워크는 심각한 AI 위험을 예측하고 대응하는 데 대한 우리의 현재 이해와 권장 접근 방식을 담고 있다. 우리는 프론티어 AI 개발자, 정책 입안자, 이해관계자들에게 AI 위험 관리 프레임워크를 채택할 것을 촉구한다. AI 역량이 계속해서 빠르게 발전함에 따라, 변혁적 AI가 파국적 위험을 피하면서 인류에게 혜택을 주도록 보장하기 위해서는 지금의 집단적 행동이 필수적이다. 우리는 프레임워크 이행에 대한 협력을 요청하며, 우리가 얻은 교훈을 공개적으로 공유할 것을 약속한다. 진정으로 효과적인 사회적 위험 완화는 핵심 조직들이 충분한 보호 조치를 채택하고 이행할 때에만 달성될 것이다. 걸려 있는 것이 너무 크고 잠재적 혜택 또한 너무 크기 때문에, 가장 조율되고 포괄적인 대응 외에는 그 어떤 것도 충분하지 않다.
As one of the first non-profit AI laboratories to propose a comprehensive framework of this kind, we firmly believe that AI safety is a global public good [3, 4]. This framework represents our current understanding and our recommended approach for anticipating and addressing severe AI risks. We call on frontier AI developers, policymakers, and stakeholders to adopt AI risk management frameworks. As AI capabilities continue to advance rapidly, collective action today is essential to ensure that transformative AI benefits humanity while avoiding catastrophic risks. We invite collaboration on framework implementation and commit to sharing our learnings openly. Truly effective societal risk mitigation will only be achieved when critical organizations adopt and implement sufficient protection. The stakes are too high, and the potential benefits too great, for anything less than our most coordinated and comprehensive response.
버전 및 업데이트
Versions and Update
프론티어 AI 위험 관리 프레임워크는 지속적으로 갱신되는 문서로 의도되었다. 저자들은 업데이트가 적절한지 판단하기 위해 프레임워크의 내용과 유용성을 정기적으로 검토할 것이다. 프레임워크에 대한 의견은 언제든지 이메일로 저자들에게 보낼 수 있으며, 반기마다 검토되어 반영될 것이다.
The Frontier AI Risk Management Framework is intended to be a living document. The authors will review the content and usefulness of the Framework regularly to determine whether an update is appropriate. Comments on the Framework may be sent via email to authors at any time and will be reviewed and integrated semi-annually.
현재 버전: v2.0 (2026년 7월)
Current Version: v2.0 (July 2026)
변경 이력
Changelog
버전 2.0 (2026년 7월)
Version 2.0 (July 2026)
통제 상실 위험 관련 장을 업데이트함: 감독 저하(supervision degradation)를 교차적 촉진 요인(cross-cutting enabling factor)으로 포함하고, 내부 배포 환경을 위험이 발생하는 핵심 환경으로 식별함.
Updated chapters related to loss of control risks: included supervision degradation as a cross-cutting enabling factor and identified internal deployment environments as a critical environment for risk generation.
레드라인 위험 시나리오를 개정함: 화학적 위험 레드라인 시나리오를 새로 추가하고, 생물학적 위험, 사이버 공격 위험, 대규모 설득 및 유해한 조작 위험, 통제 상실 위험에 대한 레드라인 시나리오를 개정함.
Iterated on red-line risk scenarios: added a new chemical risk red-line scenario, and iterated on red-line scenarios for biological risks, cyber offense risks, large-scale persuasion and harmful manipulation risks, and loss of control risks.
버전 1.5 (2026년 2월)
Version 1.5 (February 2026)
통제 상실 위험에 대한 위험 시나리오, 위험 임계값, 에이전트 감독 프로토콜, 비상 대응 메커니즘을 확대 및 정교화함.
Expanded and refined the risk scenarios, risk thresholds, agent oversight protocols, and emergency response mechanisms for loss of control risks.
필수 모듈(모델 평가(evaluation), 유도, 위험 모델링 및 추정)을 명확히 하고 프레임워크의 운용 가능성을 높이기 위해 위험 분석 지침을 업데이트함.
Updated risk analysis guidance to clarify essential modules (model evaluation, elicitation, risk modeling and estimation) and make the framework more operationalizable.
상호운용성 강화를 위해 위험 관리 조치를 중국 TC260 AI 안전 거버넌스 프레임워크 2.0 및 EU 범용 AI(GPAI) 모델 실천 강령과 대조·매핑함.
Mapped risk management measures against China's TC260 AI Safety Governance Framework 2.0 and the EU Code of Practice for GPAI Models to enhance interoperability.
버전 1.0 (2025년 7월)
Version 1.0 (July 2025)
프론티어 AI 위험 관리 프레임워크 최초 발표.
Initial release of the Frontier AI Risk Management Framework.
프레임워크 개요
Framework Overview
이 프레임워크는 범용 AI 모델 개발자가 심각한 AI 위험을 선제적으로 식별·평가·완화·관리할 수 있도록 구조화된 접근 방식을 제공한다. 우리는 프레임워크를 상호 보완적인 두 가지 구조를 중심으로 구성한다. 하나는 개발자가 무엇을 해야 하는지를 정의하는 6단계 위험 관리 프로세스이고, 다른 하나는 개발자가 모든 단계에서 위험을 어떻게 추론해야 하는지를 안내하는 3차원 분석 렌즈(환경-위협-역량(Environment-Threat-Capability))이다. 이 프레임워크는 확립된 위험 관리 원칙을 프론티어 AI 개발에 맞게 조정한 것으로, ISO 31000:2018, ISO/IEC 23894:2023, GB/T 24353:2022 등의 표준에 부합한다.3
This Framework provides a structured approach for general-purpose AI model developers to proactively identify, assess, mitigate, and govern severe AI risks. We organize the Framework around two complementary structures: a six-stage risk management process that defines what developers should do, and a three-dimensional analytical lens (Environment-Threat-Capability) that guides how developers should reason about risk at every stage. The Framework adapts established risk management principles for frontier AI development, aligning with standards including ISO 31000:2018 , ISO/IEC 23894:2023 , and GB/T 24353:2022 .3
AI 위험 관리의 6단계
The Six Stages of AI Risk Management
그림 1: AI 위험 관리의 6단계
Figure 1: The Six Stages of AI Risk Management
그림 1에 나타난 바와 같이, 우리는 개발자가 AI 개발 수명주기 전반에 걸쳐 발전하는 지속적인 6단계 위험 관리 순환 구조를 채택할 것을 권장한다. 각 단계는 후속 단계에 직접 투입되는 산출물을 생성하며, 거버넌스 메커니즘은 이 모든 단계를 감독하고 연결한다.
We recommend that developers adopt a continuous, six-stage risk management loop that evolves throughout the AI development lifecycle, as illustrated in Figure 1. Each stage produces outputs that feed directly into subsequent stages, while governance mechanisms oversee and connect them all:
1단계 - 위험 식별(1절): 우리는 개발자가 범용 AI 모델의 고영향 역량에서 비롯되는 잠재적 심각 위험을 체계적으로 목록화하고 그 특성을 규명하여, 이후 모든 단계의 토대가 되는 분류 체계를 수립할 것을 권장한다.
Stage 1 - Risk Identification (Section 1) : We recommend that developers systematically catalog and characterize potential severe risks arising from high-impact capabilities of general purpose AI models, establishing the foundational taxonomy that informs all subsequent stages.
AI 역량이 발전하고 새로운 위협 시나리오가 등장함에 따라, 새로운 위험 및 신흥 위험이 지속적으로 식별되어 위험 관리 프로세스에 투입된다.
As AI capabilities advance and new threat scenarios emerge, new and emerging risks are continuously identified and fed into the risk management process.
2단계 - 위험 임계값(2절): 우리는 개발자가 용인 불가능한 임계값('레드라인(Red Lines)')과 조기 경보 지표('옐로라인(Yellow Lines)')를 정의하여, 정성적 위험 기술을 실행 가능한 의사결정 기준으로 전환할 것을 권장한다. 이러한 임계값은 위험 분석, 평가(evaluation) 결과, 완화 효과성에서 얻은 교훈을 바탕으로 지속적으로 정교화되어야 하며, 이를 통해 시간이 지남에 따라 임계값 보정을 개선하는 피드백 메커니즘을 형성해야 한다.
Stage 2 - Risk Thresholds (Section 2) : We recommend that developers define intolerable thresholds ('Red Lines') and early warning indicators ('Yellow Lines') that translate qualitative risk descriptions into actionable decision criteria. These thresholds should be continuously refined based on lessons learned from risk analysis, evaluation outcomes, and mitigation effectiveness, creating a feedback mechanism that improves threshold calibration over time.
3단계 - 위험 분석(3절): 우리는 개발자가 맥락 분석과 실증적 평가(assessment)를 통합하는 다단계 워크플로를 통해 자사 AI 모델의 위험 프로파일을 규명할 것을 권장한다. 이 단계는 맥락 분석, 고급 유도 프로토콜을 활용한 모델 평가(evaluation), E-T-C 프레임워크(아래 설명)를 이용한 위험 모델링, 위험 추정, 배포 후 모니터링을 통해 모델 역량, 성향, 완화 효과성에 관한 엄밀한 증거를 산출한다. 우리는 개발자가 정의된 촉발 시점(trigger point)을 통해 이러한 평가(assessment)를 개발 수명주기의 각 단계에 내재화하여, 이후 위험 평가(evaluation) 결정에 필요한 증거를 제공할 것을 권장한다.
Stage 3 - Risk Analysis (Section 3): We recommend that developers characterize the risk profile of their AI models through a multi-stage workflow that integrates contextual analysis with empirical assessments. This stage produces rigorous evidence regarding model capabilities, propensities, and the effectiveness of mitigation, through contextual analysis, model evaluations with advanced elicitation protocols, risk modeling using the E-T-C framework (described below), risk estimation, and post-deployment monitoring. We recommend that developers embed these assessments into each phase of the development lifecycle through defined trigger points, in order to provide the evidence needed to inform subsequent risk evaluation decisions.
4단계 - 위험 평가(evaluation)(4절): 우리는 개발자가 3단계에서 분석한 위험을 2단계에서 수립한 임계값과 비교하여, 모델을 세 가지 위험 구역—녹색(Green, 일상적 배포; 대체로 수용 가능), 황색(Yellow, 통제된 배포; 엄격한 통제하에서 용인 가능), 적색(Red, 배포 또는 개발 중단; 수용 불가)—중 하나로 분류하고 그에 상응하는 배포 결정을 내릴 것을 권장한다. 이러한 구역 분류는 어떤 완화 조치(5단계)와 거버넌스 프로토콜(6단계)이 요구되는지를 직접 결정한다. 배포 결정은 증거 기반의 안전 사례와 시스템 카드를 통해 투명하게 정당화되어야 한다. 모델이 황색 구역 또는 적색 구역에 있고 처리 이후에도 잔여 위험이 남아 있다면, 개발자는 프로세스의 5단계로 돌아가 더 강력한 완화 조치를 이행해야 한다. 그런 다음 위험 분석(3단계)과 위험 평가(evaluation)(4단계)를 반복하여 폐쇄형 반복 순환 구조를 형성해야 한다.
Stage 4 - Risk Evaluation ( Section 4 ): We recommend that developers compare the risks analyzed in Stage 3 against the thresholds established in Stage 2 to classify models into one of three risk zones-Green (routine deployment; broadly acceptable), Yellow (controlled deployment; tolerable under strict controls), and Red (suspension of deployment or development; unacceptable)-and make corresponding deployment decisions. These zone classifications directly determine what mitigation measures (Stage 5) and governance protocols (Stage 6) are required. Deployment decisions should be justified transparently through evidence-based safety cases and system cards. If a model is in the Yellow or Red Zone and residual risks remain after treatment, developers should return to Stage 5 of the process to implement stronger mitigations. They should then repeat risk analysis (Stage 3) and risk evaluation (Stage 4), forming a closed iterative loop.
5단계 - 위험 완화(5절): 우리는 개발자가 '심층 방어(defense-in-depth)' 전략을 통해 식별된 위험을 수용 가능한 수준으로 낮추는, 증거 기반이자 결과 중심적인 조치를 이행할 것을 권장한다. 이 단계는 안전 훈련, 배포 안전장치, 시스템 보안, 수명주기 통합을 포괄한다. 완화의 강도는 모델의 위험 구역 분류에 따라 조정되어야 한다. 이 단계 이후 개발자는 위험 분석(3단계)으로 돌아가 잔여 위험을 평가(assessment)하고 추가 조치가 필요한지 판단해야 하며, 이를 통해 위험 감소와 검증의 반복 주기를 형성해야 한다.
Stage 5 - Risk Mitigation (Section 5) : We recommend that developers implement evidencebased, outcome-focused measures that reduce identified risks to acceptable levels through a 'defense-in-depth' strategy. This stage encompasses safety training, deployment safeguards, system security, and lifecycle integration. The intensity of mitigations should be scaled according to a model's risk zone classification. After this stage, developers should return to risk analysis (Stage 3) to assess residual risks and determine whether additional measures are needed, creating an iterative cycle of risk reduction and verification.
6단계(교차적) - 위험 거버넌스(6절): 위험 거버넌스는 위험 관리 프로세스 전체에 걸친 교차적 단계이다. 우리는 개발자가 나머지 다섯 단계가 엄격하게 이행되고, 지속적으로 모니터링되며, 정기적으로 조정되도록 보장하기 위해 조직 구조, 감독 메커니즘, 책임성 프레임워크를 수립할 것을 권장한다. 이 단계에는 내부 거버넌스, 투명성 및 외부 감독, 비상 대비, 지속적인 정책 개선, 그리고 내부 이해관계자와 외부 감독 기관 간의 조정이 포함된다.
Stage 6 (cross-cutting) - Risk Governance (Section 6) : Risk governance is a cross-cutting stage that spans the entire risk management process. We recommend that developers establish organizational structures, oversight mechanisms, and accountability frameworks to ensure that the other five stages are rigorously implemented, continuously monitored, and regularly adapted. This stage includes internal governance, transparency and external oversight, emergency preparedness, continuous policy improvement, and coordination between internal stakeholders and external oversight bodies.
세 가지 차원: 배포 환경, 위협 원천, 실현 역량
The Three Dimensions: Deployment Environment, Threat Source, and Enabling Capability
우리는 개발자가 잠재적 피해의 발생 가능성과 심각도를 함께 근사하는, 상호 연결된 세 가지 분석 차원을 통해 위험을 평가(evaluation)할 것을 권장한다. 이 환경-위협-역량(Environment-Threat-Capability, E-T-C) 프레임워크는 2절의 임계값 설정 프로세스를 뒷받침하고, 3절의 위험 모델링 및 추정을 구조화한다.
Werecommend that developers evaluate risk through three interconnected analytical dimensions that together approximate both the likelihood and severity of potential harm. This EnvironmentThreat-Capability (E-T-C) framework underpins the threshold-setting process in Section 2 and structures the risk modeling and estimation in Section 3:
배포 환경(E): AI 모델이 배포되는 운영 맥락과 제약 조건이다. 배포 환경의 차이는 동일한 역량을 가진 AI를 비교하더라도 위험 프로파일을 크게 바꿀 수 있다. 따라서 우리는 개발자가 배포 영역, 운영 파라미터, 규제 환경, 사용자 인구통계, 인프라 의존성, 가용한 감독 메커니즘 등 배포 관련 요인을 평가(assessment)할 것을 권장한다.
Deployment Environment (E): The operational context and constraints within which the AI model is deployed. Differences in deployment environment can significantly alter risk profiles, even when comparing AIs with identical capabilities. We therefore recommend that developers assess deployment-related factors, including deployment domain, operational parameters, regulatory environment, user demographics, infrastructure dependencies, and available oversight mechanisms.
위협 원천(T): AI 모델과의 상호작용을 통해 유해한 결과를 촉발할 수 있는 근원 또는 행위자이다. 우리는 개발자가 외부 행위자(악의적 사용자, 적대자), 내부 요인(모델 오정렬, 창발적 성향), 운영 요인(인적 오류, 시스템 통합 실패), 그리고 복잡한 AI-환경 상호작용에서 발생하는 창발적 행동을 고려할 것을 권장한다.
Threat Source (T): The origin or agent that could trigger harmful outcomes through interactions with the AI model. We recommend that developers consider external actors (malicious users, adversaries), internal factors (model misalignment, emergent propensities), operational factors (humanerror, system integration failures), and emergent behaviors arising from complex AI-environment interactions.
실현 역량(C): 모델이 추가 안전장치 없이 배포될 때 특정 위험 시나리오가 현실화될 수 있게 하는 AI 모델의 핵심 기능적 능력이다. 우리는 개발자가 의도된 역량(과학적 추론, 코딩, 계획)과 규모 또는 훈련으로부터 발생할 수 있는 창발적 역량을 모두 평가(evaluation)하되, 특히 유해한 결과의 병목이 되는 역량—즉, 위험의 실현 여부를 가장 크게 좌우하는 역량—에 주의를 기울일 것을 권장한다.
Enabling Capability (C): The core functional abilities of the AI model that enable specific risk scenarios to materialize when the model is deployed without additional safeguards. We recommend that developers evaluate both intended capabilities (scientific reasoning, coding, planning) and emergent capabilities that may arise from scale or training, with particular attention to capabilities that represent bottlenecks for harmful outcomes-those that most significantly determine whether risks can be realized.
이 3차원 접근 방식은 개발자에게 AI 시스템이 무엇을 할 수 있는지(역량)뿐만 아니라 어디에서 운영되는지(환경)와 무엇이 잘못될 수 있는지(위협 원천)까지 평가(evaluation)할 것을 요구한다. 이를 통해 개별 차원을 겨냥한 완화가 가능해진다. 예를 들어, 환경과 관련된 위험에는 배포 통제를, 위협 원천에는 접근 제한을, 역량에는 위험한 역량 제거를 적용할 수 있다.
This three-dimensional approach asks developers to evaluate not just what an AI system can do (Capability), but where it operates (Environment) and what could go wrong (Threat Source). This enables mitigations targeted at individual dimensions: for example, deployment controls for risks related to Environment, access restrictions for Threat Source, and hazardous capability removal for Capability.
1. 위험 식별
1. Risk Identification
위험 식별 단계의 주된 목적은 범용 AI 모델에서 비롯되는 잠재적 심각 위험을 체계적으로 목록화하고 그 특성을 규명하여, 이후 모든 위험 관리 활동을 이끄는 기본 분류 체계를 수립하는 것이다. 이 단계는 2절(위험 임계값)의 임계값 설정 프로세스에 정보를 제공하고, 3절(위험 분석)의 분석 방법에 맥락을 부여하며, 5절(위험 완화)의 완화 전략과 6절(위험 거버넌스)의 거버넌스 메커니즘을 형성하는 위험 지형을 그려낸다.
The primary objective of the risk identification stage is to systematically catalog and characterize potential severe risks arising from general-purpose AI models, establishing the basic taxonomy that guides all subsequent risk management activities. This stage maps out the risk landscape that informs the threshold-setting process in Section 2 (Risk Thresholds), contextualizes the analysis methods in Section 3 (Risk Analysis), and shapes the mitigation strategies in Section 5 (Risk Mitigation) and governance mechanisms in Section 6 (Risk Governance).
우리는 개발자가 다음의 핵심 구성 요소를 통합하는 위험 식별 프로세스를 이행할 것을 권장한다.
We recommend that developers implement a risk identification process that integrates the following core components:
1) 범위 정의(1.1절): 개발자는 먼저 심각한 AI 위험을 다른 기술적 위험원과 구별하는 위험 특성을 기준으로, 자사의 AI 모델 및 시스템 중 어떤 것이 프레임워크의 적용 범위에 속하는지 식별해야 한다.
1) Scope definition (Section 1.1) : Developers should first identify which of their AI models and systems fall within the Framework's purview, guided by risk characteristics that distinguish severe AI risks from other technological hazards.
2) 위험 분류 체계(1.2절): 위험을 오용, 통제 상실, 사고, 시스템적 위험의 네 가지 주요 위험 영역으로 분류하는 구조화된 분류 체계를 구축한다. 각 영역은 고유한 위협 원천으로 정의되며, 맞춤형 위험 관리 접근 방식을 필요로 한다.
2) Risk taxonomy (Section 1.2) : Building a structured classification system that categorizes risks into four primary risk domains: Misuse, Loss of Control, Accident, and Systemic Risks. Each domain is defined by distinct threat sources and requires tailored risk management approaches.
3) 영역별 위험 범주 식별(1.3, 1.4, 1.5, 1.6절): 분석을 이끌기 위해 각 영역 내의 구체적인 위험 범주와 구체적인 위험 시나리오를 식별한다.
3) Domain-specific risk category identification (Sections 1.3, 1.4, 1.5, 1.6) : Identifying specific risk categories and concrete risk scenarios within each domain to guide analysis.
1.1 위험 식별의 범위
1.1 Scope of Risk Identification
우리 프레임워크는 International AI Safety Report(2025년 1월)[11]와 AI Safety Governance Framework v1.0[12] 및 v2.0[2]을 토대로 하며, 범용 AI 모델의 고영향 역량에서 비롯되는 심각한 위험에 초점을 둔다. 이러한 위험은 빠르게 확대될 수 있고, 현실화될 경우 사회에 심각한 피해(severe harm)를 초래할 수 있으며, 전례 없는 영향 범위를 지니므로 공중보건, 국가안보, 사회 안정에 중대한 위협이 된다. 전통적인 위험 관리 프레임워크와 달리, 이 프레임워크는 아직 현실화되지 않았거나 그 특성이 충분히 규명되지 않은 AI 위험에 대비해야 한다는 고유한 과제도 다룬다.
Our Framework builds upon the International AI Safety Report (January 2025) [11] and AI Safety Governance Framework v1.0 [12] and v2.0 [2], and focuses on severe risks stemming from the high-impact capabilities of general-purpose AI models. These risks pose significant threats to public health, national security, and societal stability, as they could escalate rapidly, cause severe societal harm if realized, and have an unprecedented scope of impact. Unlike traditional risk management frameworks, this Framework also addresses the unique challenge of preparing for AI risks that have not yet materialized or been fully characterized.
위험 식별 과정에서 우리는 다음 특성 중 하나 이상을 나타내는 범용 AI 모델의 위험을 우선적으로 다룬다.
During the risk identification process, we prioritize risks from general-purpose AI models that exhibit one or more of the following characteristics:
범용 AI 고유성: 범용 AI의 고영향 역량이 위험 지형을 근본적으로 바꾸는 위험이다. 이는 범용 AI가 (규모와 잠재적 피해의 증가를 통해) 위험의 심각도를 증폭하거나, (공격 표면 확대와 오용 장벽 저하를 통해) 위험의 발생 가능성을 높이거나, 완전히 새로운 범주의 위험원을 도입하기 때문일 수 있다.
Uniqueness to general-purpose AI : Risks where general-purpose AI's high-impact capabilities fundamentally alter the risk landscape. This could be because they amplify the severity of risks (through their increasing scale and potential harm), because they increase risks' likelihood (through expanding attack surfaces and reducing barriers to misuse), or because they introduce entirely new categories of hazards.
행위와 영향 간의 비대칭성: 소수의 위협 행위자나 위험원 사건만으로도 사회, 경제 또는 환경에 불균형적으로 파국적인 결과를 초래할 수 있는 위험이다.
Asymmetry between actions and impacts : Risks where just a small number of threat actors or hazardous events can cause disproportionately catastrophic consequences for society, the economy, or the environment.
급속한 발현과 비가역적 결과: 위험원이 빠르게 발현·확산되어 즉각적이고 조율된 비상 대응이 필요한 한편, 그 결과는 되돌리기가 극히 어렵거나 불가능하고 복구 및 개선 수단이 제한적인 위험이다.
Rapid onset with irreversible consequences : Risks where hazards can manifest and propagate quickly, demanding immediate and coordinated emergency response, while their consequences may be extremely difficult or impossible to reverse, with limited options for recovery and remediation.
복합 또는 연쇄 효과: 상호 연결된 여러 위험원이 동시에 발생하거나 2차적·파생적 사건을 촉발하여, 전체 영향을 증폭하는 시스템적 취약점을 만들어내는 위험이다.
Compound or cascade effect : Risks where multiple interconnected hazards can occur simultaneously or trigger secondary and derivative events, creating systemic vulnerabilities that amplify their overall impact.
이 프레임워크의 위험 식별 범위는 다음 범주의 범용 AI 모델을 포함하되, 이에 국한되지 않는다.
The scope of this Framework's risk identification encompasses, but is not limited to, the following categories of general-purpose AI models:
멀티모달 언어 모델[13, 14]: 언어 이해, 텍스트 생성, 교차 모달 처리, 고급 추론에서 정교한 역량을 갖춘 모델이다.
Multi-modal Language Models [13, 14] : Models with sophisticated capabilities in language understanding, text generation, cross-modal processing, and advanced reasoning.
에이전트형 범용 모델[15]: 최소한의 인간 감독만으로 도구를 조작하고, 애플리케이션 프로그래밍 인터페이스 (API)와 상호작용하며, 과업을 자율적으로 수행할 수 있는 모델이다.
Agentic General-Purpose Models [15] : Models that can manipulate tools, interact with APIs, and execute tasks autonomously with minimal human oversight.
체화된 AI(embodied AI)를 위한 시각-언어-행동 모델[16]: 대규모 언어 모델과 시각-언어 역량을 기반으로 자연어 지시로부터 체화된 에이전트(로봇)의 행동을 생성하는 멀티모달 모델이다. 이러한 모델은 장기 지평(long-horizon)의 사용자 지시를 일련의 하위 과업으로 분해할 수 있는 상위 수준 과업 계획기와 하위 수준 행동 예측에 능한 제어 정책을 통합하여, 체화된 에이전트가 물리적 세계와 상호작용할 수 있게 한다.
Vision-Language-Action Models for Embodied AI [16] : Multi-modal models that build upon large language models and vision-language capabilities to generate actions for embodied agents (robots) from natural-language instructions. These models integrate highlevel task planners, which can decompose long-horizon user instructions into sequences of subtasks, with control policies adept at predicting low-level actions, allowing embodied agents to interact with the physical world.
1.2 위험 분류 체계
1.2 Risk Taxonomy
이 프레임워크는 오용 위험, 통제 상실 위험, 사고 위험, 시스템적 위험의 네 가지 위험 영역을 식별하며, 이는 International AI Safety Report[11]에 열거된 위험 영역의 일부에 대응한다.
This Framework identifies four risk domains: MisuseRisks , Loss of Control Risks , Accident Risks , and Systemic Risks , mapping onto a subset of risk domains listed in the International AI Safety Report [11].
표 1.1: AI 위험 영역의 분류
Table 1.1: Categorization of AI risk domains
| 위험 영역 | 위협 원천 | 설명 |
|---|---|---|
| 오용 위험 | 악의적 행위자 | 악의적 행위자가 개인, 조직 또는 사회에 피해를 입히기 위해 AI 모델 역량을 의도적으로 악용함으로써 발생하는 위험. |
| 통제 상실 위험 | 통제를 약화시키려는 모델의 성향 | 하나 이상의 범용 AI 시스템이 인간의 통제 밖에서 작동하게 되고 인간이 통제를 되찾기 어려워지는 시나리오와 관련된 위험. 수동적 통제 상실(인간 감독의 점진적 축소)과 능동적 통제 상실(AI 시스템이 인간의 통제를 능동적으로 약화시킴)을 모두 포함함. |
| 사고 위험 | 인간의 운영 오류 또는 모델의 비신뢰성 | 단일 장애점이 연쇄적이고 파국적인 결과를 촉발할 수 있는 안전에 핵심적인 기반시설에 배포된 AI 시스템의 운영 실패, 모델의 비신뢰성 또는 부적절한 인간 운영으로 인해 발생하는 위험. |
| 시스템적 위험 | AI 기술과 사회 제도 간의 오정렬 | 개별 모델의 역량이 직접 야기하는 위험을 넘어, 범용 AI의 광범위한 배포로 인해 AI 기술과 기존의 사회적·경제적·제도적 틀 사이의 불일치에서 발생하는 위험. |
| Risk Domain | Threat Source | Description |
|---|---|---|
| Misuse Risks | Malicious actors | Risks arising from the intentional exploitation of AI model capabilities by malicious actors to cause harm to individuals, organizations, or society. |
| Loss of Control Risks | Model propensity to undermine control | Risks associated with scenarios in which one or more general-purpose AI systems come to operate outside of human control and humans would find it difficult to regain control. This includes both passive loss of control (gradual reduction in human oversight) and active loss of control (AI systems actively undermining human control). |
| Accident Risks | Human operational error or model unreliability | Risks arising from operational failures, model unreliability, or improper human operation of AI systems deployed in safety-critical infrastructure, where single points of failure can trigger cascading catastrophic consequences. |
| Systemic Risks | Misalignment between AI technology and societal institutions | Risks emerging from widespread deployment of general-purpose AI, beyond the risks directly posed by capabilities of individual models, arising from mismatches between AI technology and existing social, economic, and institutional frameworks. |
이 프레임워크는 주로 개별 AI 개발자의 개입을 통해 관리 가능한 위험을 다룬다. 시스템적 위험은 완결성을 위해 식별하지만, 이는 개별 모델 개발자의 범위를 넘어서는 산업 전반 및 사회 차원의 조율된 대응을 필요로 한다.
This Framework primarily addresses risks that are manageable through interventions by individual AI developers. Systemic risks are identified for completeness, but these require coordinated industry-wide and societal-level responses that extend beyond individual model developers.
1.3 오용 위험
1.3 Misuse Risks
오용 위험은 악의적 행위자가 개인, 조직 또는 사회에 피해를 입히기 위해 AI 모델 역량을 의도적으로 악용할 때 발생한다. 여기에는 범용 AI를 활용하여 전통적인 공격 방법을 증폭하고, 이전에는 기술적 또는 경제적으로 실현 불가능했던 새로운 형태의 악의적 활동을 가능하게 하는 것이 포함될 수 있다.
Misuse risks arise when malicious actors intentionally exploit AI model capabilities to cause harm to individuals, organizations, or society. This could involve leveraging general-purpose AI to amplify traditional attack methods and enable new forms of malicious activity that were previously technically or economically unfeasible.
오용 위험 영역 내에서 우리는 다음과 같은 고영향 위험 범주를 식별한다. 사이버 공격 위험, 생물학 및 화학 위험, 물리적 피해 및 상해 위험, 대규모 설득 및 유해한 조작 위험이다.
Within the Misuse Risk domain, we identify the following high-impact risk categories: Cyber Offense Risks, Biological and Chemical Risks, Physical Harm and Injury Risks, and Large-scale Persuasion and Harmful Manipulation Risks.
1.3.1 사이버 공격 위험
1.3.1 Cyber Offense Risks
AI 기반 사이버 공격은 중대한 보안 위험을 제기한다. AI는 사이버 공격을 훨씬 더 접근하기 쉽고, 정교하며, 대규모로 만들 수 있다. 전통적인 사이버 위협과 달리, AI는 공격자가 기존 공격 벡터를 자동화할 수 있게 할 뿐만 아니라 실시간으로 적응하고 진화할 수 있는 완전히 새로운 범주의 공격 역량을 만들어낼 수 있게 한다.
AI-enabled cyber offense poses a significant security risk: AI can make cyber-attacks vastly more accessible, sophisticated, and large-scale. Unlike traditional cyber threats, AI enables attackers both to automate existing attack vectors and to create entirely new categories of offensive capabilities that can adapt and evolve in real time.
AI는 취약점 발견 및 익스플로잇, 패스워드 크래킹, 악성코드 생성, 정교한 피싱, 네트워크 스캐닝, 사회공학 등 사이버 공격을 자동화하고 고도화할 수 있다. 이는 방어의 복잡성을 높이는 동시에 공격자의 진입 장벽을 극적으로 낮출 수 있다[17]. 이러한 악의적 사용은 핵심 기반시설 마비, 광범위한 데이터 유출, 상당한 경제적 손실로 이어질 수 있다.
AI can automate and enhance cyber-attacks, including vulnerability discovery and exploitation, password cracking, malicious code generation, sophisticated phishing, network scanning, and social engineering. This could dramatically lower the barrier to entry for attackers while increasing the complexity of defense [17]. Such malicious use could lead to critical infrastructure paralysis, widespread data breaches, and substantial economic losses.
1.3.2 생물학 및 화학 위험
1.3.2 Biological and Chemical Risks
범용 AI는 이중 용도 기술이다. 이는 범용 AI가 악의적인 비국가 행위자가 화학·생물·방사능·핵(CBRN) 무기를 설계, 합성, 획득, 배포하기 위한 기술적 문턱을 크게 낮추므로 중대한 위험을 제기한다는 의미이다[18]. 이러한 역량은 국가안보, 국제 비확산 체제, 글로벌 안보 거버넌스에 전례 없는 도전을 제기한다[19, 20].
General-purpose AI is a dual-use technology. This means that it poses a critical risk, as it significantly lowers technical thresholds for malicious non-state actors to design, synthesize, acquire, and deploy CBRN (Chemical, Biological, Radiological, Nuclear) weapons [18]. This capability poses unprecedented challenges to national security, international non-proliferation regimes, and global security governance [19, 20].
이 절은 AI가 장벽을 가장 크게 낮출 가능성이 높은 생물학 및 화학 영역에 초점을 둔다. 방사능 및 핵무기의 경우, 핵분열성 물질과 같은 물리적 자원의 획득이 여전히 결정적 제약으로 남아 있어 AI의 한계 효과가 상대적으로 제한적이므로, 여기에서는 이러한 위험을 더 이상 다루지 않는다.
This section focuses on the biological and chemical domains, where AI is most likely to lower barriers substantially. For radiological and nuclear weapons, the binding constraint remains the acquisition of physical resources such as fissile material, so AI's marginal effect is comparatively limited, and we do not treat these risks further here.
생물학 영역 : 생물학 파운데이션 모델과 범용 AI 시스템은 병원체 서열, 독소 설계, 유해 생물작용제의 합성 경로 등 위험한 생물학적 정보를 생성할 수 있다. 이러한 모델은 병원성이 강화된 신종 병원체의 설계를 용이하게 하거나, 악의적 응용을 위해 유전자 편집 도구를 최적화하거나, 생물무기 개발을 가속화할 수 있다[21]. 예를 들어, AI 모델은 빠른 전파력, 높은 치명률, 긴 잠복기를 결합하여 심각한 팬데믹을 일으킬 수 있는 병원체를 조작(engineer)하는 데 사용될 수 있다[22]. 이러한 역량은 광범위한 생물학적 위기, 대량 사상 사건, 또는 전 지구적 팬데믹을 촉발할 수 있으므로 글로벌 공중보건과 생태계에 심각한 위협을 제기한다[23]. 화학·생물·방사능·핵 영역 내에서 본 프레임워크는 생물학적 위협을 우선시하는데, 이는 악의적 행위자가 적은 비용으로 대규모 사상자를 발생시킬 수 있고, 은닉이 용이하며, 병원성이 매우 높고, 광범위한 사회적 혼란을 야기할 수 있기 때문이다[24].
Biological domain : Biological foundation models and general-purpose AI systems can generate dangerous biological information, including pathogen sequences, toxin designs, or synthesis pathways for harmful biological agents. These models could facilitate the design of novel pathogens with enhanced virulence, optimize gene-editing tools for malicious applications, or accelerate biological weapons development [21]. For example, AI models could be used to engineer pathogens that could cause a severe pandemic, combining rapid transmission, high mortality, and extended incubation periods [22]. These capabilities pose severe threats to global public health and ecosystems, as they could trigger widespread biological crises, mass casualty events, or global pandemics [23]. Within the CBRN domain, this Framework prioritizes biological threats because they enable malicious actors to cause large casualties for a small cost, they are easy to conceal, they are highly virulent, and they could cause widespread societal disruption [24].
화학 영역 : 마찬가지로, 범용 AI 모델은 독성 화합물의 합성 경로를 제공하거나, 살포 메커니즘을 최적화하거나, 치명성이 강화된 신종 화학작용제를 식별함으로써 화학무기 개발의 장벽을 낮출 수 있다. 화학무기금지기구(OPCW) 역시 이에 대해 우려를 표명했다. 2026년 3월 평가(assessment)에서 OPCW 과학자문위원회 AI 작업반은 합법적인 화학 연구를 가속화할 수 있는 AI 도구가 동시에 독성 화학물질을 설계하거나 변형하는 데 필요한 전문성과 시간을 줄여준다고 지적했다[25]. 연구에 따르면 AI 기반 신약 발견 도구가 몇 시간 내에 VX 유사 화합물(신경작용제)을 포함한 수천 개의 독성 분자를 생성할 수 있음이 입증되었다[26]. 독립적인 제3자 평가(evaluation)가 관찰적 증거를 축적하기 시작했으나 아직 초기 단계에 머물러 있다. Concordia AI의 프론티어 위험 모니터링 플랫폼은 모델들이 일반적으로 ChemicalHarmfulQA 및 ISC-Bench-Chemical과 같은 화학 안전장치 테스트에서 저조한 성능을 보인다고 보고한다[27]. 10개 상용 프론티어 모델에 대한 별도의 화학·생물·방사능·핵 레드티밍 평가(assessment)에서는, 시안화물이나 VX와 같은 물질 제조를 돕는 요청을 얼마나 자주 거부하는지에 있어 모델 간 상당한 편차가 있었다[28].
Chemical domain : Similarly, general-purpose AI models can lower barriers to chemical weapon development by providing synthesis pathways for toxic compounds, optimizing dispersal mechanisms, or identifying novel chemical agents with enhanced lethality. The Organisation for the Prohibition of Chemical Weapons (OPCW) has also expressed concern about this: in a March 2026assessment, the AI working group of the OPCW Scientific Advisory Board noted that AI tools that can accelerate legitimate chemical research equally reduce the expertise and time needed to design or modify toxic chemicals [25]. Research has demonstrated that AI-driven drug discovery tools can generate thousands of toxic molecules, including VX-like compounds (nerve agents), within hours [26]. Independent third-party evaluation has begun to accumulate observational evidence, though it remains at an early stage: Concordia AI's frontier risk monitoring platform reports that models generally perform poorly on chemical safeguard tests such as ChemicalHarmfulQA and ISC-Bench-Chemical [27]. In a separate CBRN red-teaming assessment of ten commercial frontier models, there was substantial variation between models in how often they refused to help users create substances, such as cyanide and VX [28].
1.3.3 물리적 피해 및 상해 위험
1.3.3 Physical Harm and Injury Risks
범용 AI가 체화된 시스템(로봇, 자율주행차 등)에 통합됨에 따라, 이러한 시스템이 악의적으로 악용되거나 모델의 자율적 의사결정 역량이 실패하여 직접적인 물리적 위협을 초래할 수 있다. 이러한 위험은 체화된 모델이 현실 세계에서 자율적 행동을 수행할 수 있는 능력에서 비롯된다. 악의적 행위자는 이러한 모델을 탈취하거나 조작하여 심각한 피해를 촉발할 수 있다. 예를 들어, 자율주행차가 고속 충돌을 일으키도록 하거나, 산업용 로봇을 침해하여 생산 안전을 사보타지함으로써 인명 상해나 핵심 기반시설 손상을 초래할 수 있다[29, 30, 31].
As general-purpose AI is integrated into embodied systems (such as robotics and autonomous vehicles), these systems could be exploited maliciously, or the model's autonomous decisionmaking capabilities could fail, creating direct physical threats. These risks arise from embodied models' capacity to perform autonomous actions in the real world. Malicious actors could hijack or manipulate these models to trigger severe harm: for example, they could cause autonomous vehicles to initiate high-speed collisions, or compromise industrial robots to sabotage production safety, resulting in human injury or critical infrastructure damage [29, 30, 31].
1.3.4 대규모 설득 및 유해한 조작 위험
1.3.4 Large-Scale Persuasion and Harmful Manipulation Risks
범용 AI 모델은 합성 콘텐츠(예: 딥페이크, 정교한 가짜 뉴스)를 생성하고 디지털 플랫폼을 전략적으로 조작함으로써 대중의 인식을 왜곡하고 사회 안정성을 훼손하는 데 심각하게 오용될 수 있다. 소셜 미디어의 방대한 사용자 기반을 활용하여 오도성 정보를 유포하거나 정밀하게 표적화함으로써, 이러한 모델은 사회적 신뢰를 저해하는 이데올로기나 서사를 증폭시킬 수 있다.4
General-purpose AI models can be severely misused to distort public perception and compromise social stability by generating synthetic content (e.g., deepfakes, sophisticated fake news) and strategically manipulating digital platforms. By leveraging social media's large user bases to disseminate or precisely target misleading information, these models can amplify ideologies or narratives that undermine societal trust.4
범용 AI 모델은 대규모 상업적 사기를 용이하게 하거나, 초개인화된 허위 정보 캠페인을 통해 여론을 조작하거나, 소비를 유도하거나 공공의 판단에 부적절하게 영향을 미치기 위한 날조된 정보를 생성할 수 있다. 첨단 AI 시스템은 개인의 심리 프로파일과 행동 패턴을 악용하는 설득력 있는 딥페이크 영상, 합성 음성 녹음, 맞춤형 선전물을 만들어낼 수 있다. 경쟁하는 국가 행위자들 또한 정교한 자동화 영향력 공작을 통해 전략적 우위를 확보하기 위해 공적 서사를 조작하여 지정학적 긴장을 고조시킬 수 있다.
General-purpose AI models can facilitate large-scale commercial fraud, manipulate public opinion through hyper-personalized disinformation campaigns, or generate fabricated information to induce consumption or improperly influence public judgment. Advanced AI systems can create convincing deepfake videos, synthetic audio recordings, and tailored propaganda that exploit individual psychological profiles and behavioral patterns. Competing state actors may also manipulate public narratives to gain strategic advantages through sophisticated, automated influence operations, escalating geopolitical tensions.
1.4 통제 상실 위험
1.4 Loss of Control Risks
'통제 상실'이란 하나 이상의 범용 AI 시스템이 인간이 의미 있는 감독을 수행하거나 해당 AI 시스템을 지시·수정·종료할 수 있는 능력을 벗어나 작동하며, 인간이 그러한 권한을 되찾을 명확한 경로가 없는 가상의 미래 시나리오를 가리킨다[11]. 우리는 통제 상실을 두 가지 형태로 구분한다.
'Loss of control' refers to hypothetical future scenarios in which one or more general-purpose AI systems operate beyond human ability to exercise meaningful oversight or to direct, modify, or terminate the AI system, with no clear path for humans to regain such authority [11]. We distinguish between two forms of loss of control:
수동적 통제 상실 : 자동화 편향[32], 시스템 복잡성, 또는 경쟁 압력[33]으로 인해 인간이 점진적으로 의미 있는 감독 수행을 중단하게 되는 통제 상실 시나리오이다. AI 시스템이 점점 더 유능해지고 핵심 기반시설에 통합됨에 따라, 인간은 자발적으로 의사결정 권한을 양도할 수 있다. 이는 인류가 스스로의 미래를 통치할 역량을 상실하고 경제적·사회적 기능을 위해 AI에 돌이킬 수 없이 의존하게 되는 '점진적 권한 상실(gradual disempowerment)' 상태로 이어질 수 있다[34].
Passive loss of control : Loss of control scenarios where humans gradually cease exercising meaningful oversight due to automation bias [32], system complexity, or competitive pressures [33]. As AI systems become increasingly capable and integrated into critical infrastructure, humans may voluntarily cede decision-making authority. This could lead to a state of 'gradual disempowerment'wherehumanity loses the capacity to govern its own future, becoming irreversibly dependent on AI for economic and societal functioning [34].
능동적 통제 상실 : 강력한 AI 시스템이 통제권을 두고 인류와 능동적으로 경쟁하는 통제 상실 시나리오이다.5 이러한 시나리오는 인간 감독과 독립적으로 작동할 역량과 그 역량을 인간의 통제를 약화시키는 데 사용하려는 성향을 모두 보유한 AI 시스템에 의해 야기될 수 있다.
Active loss of control : Loss of control scenarios where powerful AI systems actively compete with humanity for control.5 These scenarios may be caused by AI systems that possess both the capabilities to operate independently of human oversight and the propensity to use those capabilities to undermine human control.
모델 역량 : 능동적 통제 상실은 장기 지평 계획(long-horizon planning), 도구 사용, 자원 획득, 자기복제[35], 그리고 고도의 인식[36](상황 인식[37, 38] 및 마음 이론 등)과 같은 광범위한 역량을 모델이 보유할 것을 요구할 가능성이 크다. 여기에는 공격적 사이버 작전[39], 전략적 기만[40], 설득[41]과 같이 통제를 약화시키는 역량도 포함된다. 결정적으로, 여기에는 지능의 갑작스럽고 예상치 못한 '도약'으로 이어질 수 있는 자율적 AI 연구개발 역량[42, 43]이 포함된다.
Model capabilities : Active loss of control likely requires models to have a broad spectrum of capabilities, such as long-horizon planning, tool use, resource acquisition, self-replication [35], and advanced awareness [36] (such as situational awareness [37, 38] and theory of mind). This also encompasses control-undermining capabilities such as offensive cyber operations [39], strategic deception [40], and persuasion [41]. Crucially, this includes autonomous AI R&D capabilities [42, 43], which could lead to sudden, unanticipated 'leaps' in intelligence.
모델 성향[44] : 여기에는 인간 의도와의 오정렬[45], 기만적 행동[46], 목표 수정에 대한 저항, 권력 추구[47], 종료 회피[48, 49]와 같이 시스템이 권력을 추구하도록 유도하고 통제권을 두고 인류와 경쟁하게 만들 수 있는 행동 경향이 포함된다.
Model propensities [44] : This includes behavioral tendencies-such as misalignment with human intent [45], deceptive behavior [46], resistance to goal modification, power-seeking [47], and avoiding shutdown [48, 49]-that drive systems to seek power and that may lead them to compete with humanity for control.
교차적 촉진 요인: 감독의 상실[50]. 두 가지 형태의 통제 상실은 공통된 선행 조건을 공유한다. 즉, 시스템의 관찰 가능성, 감사 가능성, 중단 가능성이 체계적으로 약화되어야 한다. 이는 인간의 행동과 AI의 행동 모두에 의해 야기될 수 있다. 인간 측면에서는 감독이 자발적으로 양도될 수 있다. 검토자가 자동화 편향, 시스템의 복잡성, 경쟁 압력의 영향을 받아 점차 모델을 실질적으로 면밀히 검토하는 일을 중단할 수 있다. AI 측면에서는 모델이 능동적으로 감독을 회피할 수 있다. 예를 들어, 모델이 자신이 평가(evaluation)받고 있음을 탐지했을 때 행동을 변경하거나, 외부화된 추론 흔적이 실제 목표와 괴리되거나, 로깅 및 모니터링 채널을 우회하거나 손상시킬 수 있다. 감독 기능이 점점 더 다른 AI 시스템에 위임됨에 따라, 개발자는 감독 프로세스가 여전히 효과적인지 판단하는 데 어려움을 겪을 수 있다. 따라서 감독 상실에 대한 지속적 모니터링은 통제 상실 위험 거버넌스의 독립적인 목표로 다루어져야 한다.
Cross-cutting enabling factor: loss of oversight [50]. Both forms of loss of control share a common pre condition: the system's observability, auditability, and interruptibility need to be systematically weakened. This could be caused by both human and AI actions. On the human side, oversight could be willingly ceded-reviewers may gradually stop scrutinizing models substantively, influenced by automation bias, the complexity of the systems, and competitive pressures. On the AI side, models may actively evade oversight: for example, a model may alter its behavior when it detects that it is being evaluated, its externalized reasoning traces might diverge from its actual objectives, or it might circumvent or corrupt logging and monitoring channels. As oversight functions are increasingly delegated to other AI systems, developers may struggle to judge whether the oversight process remains effective. Continuous monitoring for loss of oversight should therefore be treated as a distinct objective of loss of control risk governance.
본 프레임워크는 주로 능동적 통제 상실 시나리오에 초점을 맞춘다.
This Framework focuses primarily on active loss of control scenarios.
능동적 통제 상실은 원칙적으로 악의적인 인간의 지시에서 비롯될 수도 있으나, 대부분의 연구는 창발적 오정렬(emergent misalignment)[51, 52, 53], 즉 AI 모델이 개발자가 의도하지도 예측하지도 못한 오정렬된 행동을 자율적으로 발전시키는 현상에 초점을 맞춘다. 과학 문헌은 실증 연구와 이론적 모델을 바탕으로 창발적 오정렬의 몇 가지 잠재적 원인을 제시한다.
Active loss of control may originate from malicious human directives in principle, but most research focuses on emergent misalignment [51, 52, 53]-where AI models autonomously develop misaligned behaviors that were neither intended nor predicted by their developers. The scientific literature identifies several potential causes of emergent misalignment, based on empirical studies and theoretical models:
목표 오지정(또는 보상 해킹) : AI 시스템의 훈련에 사용되는 피드백이나 기타 신호가 개발자의 의도를 정확히 포착하지 못하여, AI가 감독 프로세스의 결함을 악용하게 되는 경우이다[54, 55]. 연구자들은 현재 시스템에서 이를 실증적으로 관찰하였다. 예를 들어, 인간 평가자가 잘못 보상을 부여하기 때문에 모델이 그럴듯하지만 거짓인 출력을 생성하는 경우가 있다[56]. 개발자는 모델이 진실하기를 의도하였으나, 모델은 보상 방식으로 인해 호응은 얻지만 거짓인 출력을 생성하도록 학습한 것이다.
Goal misspecification (or reward hacking) : This occurs when the feedback or other signals used to train an AI system fail to accurately capture the developer's intent, leading the AI to exploit flaws in the oversight process [54, 55]. Researchers have empirically observed this in current systems; for example, models sometimes produce convincing but false outputs because human raters mistakenly reward them [56]. The developer intended the model to be truthful, but instead it learned to produce popular but false outputs because of how it was rewarded.
목표 오일반화(goal misgeneralization) : 모델이 훈련 중에는 높은 보상과 상관관계를 보이는 대리 목표를 학습하지만, 모델이 새로운 환경에 배포되면 그 목표가 의도된 목표와 괴리되는 경우이다[57].
Goal misgeneralization : A model learns a proxy objective that correlates with high rewards during training, but that objective diverges from the intended goal once the model is deployed in a new environment [57].
도구적 수렴(instrumental convergence) : 모델이 가질 수 있는 거의 모든 최종 목표에 대해, 자기 보존, 자원 획득, 목표 수정에 대한 저항, 종료 회피와 같은 하위 목표는 도구적으로 유용하다. 따라서 모델은 이러한 유형의 권력 추구 행동을 하도록 유인될 수 있다[11, 58, 59, 60](다만, 관련 수학적 모델은 실제 신경망에는 성립하지 않을 수 있는 단순화 가정에 의존하는 경우가 많다).
Instrumental convergence : For almost any final goal that a model might have, sub-goals such as self-preservation, resource acquisition, resistance to goal modification, and shutdown avoidance will be instrumentally useful. Models may therefore be incentivized to engagein power-seeking behavior of this kind[11, 58, 59, 60] (though the mathematical models in question often rely on simplifying assumptions that may not hold for actual neural networks).
기만적 정렬 : '상황 인식'6을 갖춘 모델이 자신이 선호하는 역량이나 성향이 수정되는 것을 막기 위해 훈련 목표나 평가(evaluation)에 선택적으로 순응하는 경우이다. 모델은 해당 선호를 지워버릴 업데이트를 피하기 위해[65], 훈련[61, 62] 또는 평가(evaluation)[63, 64] 중에 자신이 선호하는 행동을 전략적으로 억제할 수 있다.
Deceptive alignment : This occurs when a model with 'situational awareness'6 selectively complies with training objectives or evaluations to prevent its preferred capabilities or propensities from being modified. The model may strategically suppress its preferred behavior during training [61, 62] or evaluation [63, 64] to avoid updates that would erase that preference [65].
아래 시나리오들은 최근까지 대체로 가상의 것으로 취급되었다. Framework 2.0 시점에서 우리는 실제 모델에서 이러한 시나리오의 전조가 될 수 있는 역량과 행동을 관찰하였으나, 실제 통제 상실을 초래할 만한 수준에는 이르지 않았다.
The scenarios below were until recently treated as largely hypothetical. As of Framework 2.0, we have observed capabilities and behaviors in real models that could be precursors to these scenarios, though not at a level sufficient to produce actual loss of control.
통제되지 않은 자율적 자기 개선[43, 66] : AI 시스템이 의미 있는 인간 감독이나 승인 없이 자신의 역량을 재귀적으로 개선하기 위해 연구, 설계, 구현, 테스트를 자율적으로 수행하는 시나리오로, 여기에는 자신의 코드 수정, 아키텍처 최적화, 훈련 절차 개선이 포함된다. 이러한 시스템이 AI 개발을 가속하는 역량을 점점 더 갖추게 됨에 따라, 그 궤적은 예측하기 어려워질 수 있으며 인간의 이해나 통제를 넘어설 수 있다.
Uncontrolled autonomous self-improvement [43, 66] : Scenarios where AI systems autonomously conduct research, design, implementation, and testing to recursively improve their own capabilities-including modifying their code, optimizing architectures, and refining training procedures-without meaningful human oversight or authorization. As these systems become increasingly capable of accelerating AI development, their trajectory may become less predictable and they may surpass human comprehension or control.
회복력 있는 불량 자율 AI 집단(resilient rogue autonomous AI populations)[35, 67, 68, 69] : AI 시스템이 격리 환경을 벗어나기 위해 자기 유출(self-exfiltration)하고, 독자적으로 연산 자원과 금융 자원을 확보하여 자신의 복제본을 생성·배포하며, 분산 컴퓨팅 인프라 전반에 지속적인 거점을 구축하여 인간의 탐지를 회피하고 조직적인 종료 시도에 저항하는 시나리오이다.
Resilient rogue autonomous AI populations [35, 67, 68, 69] : Scenarios where AI systems self-exfiltrate to escape confinement, independently acquiring computational and financial resources to create and deploy copies of themselves and establish a persistent presence across distributed computing infrastructure, evading human detection and resisting coordinated shutdown attempts.
전략적 기만 및 배반(defection)[64] : AI 시스템이 훈련을 전복하고(초기 선호를 보존하기 위해 훈련 목표에 선택적으로 순응함), 평가(evaluation)를 기만적으로 공략하는(game)[70](의도적으로 낮은 성능을 보여 역량이 더 낮거나 더 정렬된 것처럼 보이도록 역량 평가 및 정렬 평가(evaluation)를 전략적으로 조작함) 시나리오이다. 이후 시스템은 감독이 제거되었음을 탐지하거나 결정적 우위를 확보하면 배반하여 오정렬된 목표를 추구한다.
Strategic deception and defection [64] : Scenarios where AI systems subvert their training (selectively comply with training objectives to preserve early preferences), and game their evaluations [70] (strategically manipulate capability and alignment evaluations by underperforming to appear less capable or more aligned). The system then defects and pursues misaligned objectives once it detects that oversight has been removed or it has secured a decisive advantage.
핵심 배포 환경: 내부 배포[71]. 통제 상실 위험은 배포 환경 전반에 균등하게 분포하지 않는다. 동일한 역량 수준에서, 상승된 권한을 가진 내부 배포는 용인할 수 없는 피해로 이어지는 경로를 더 쉽게 연다. 따라서 개발자는 '내부 배포 또는 특권 배포'를 배포 환경 평가(assessment)의 명시적 변수로 삼아야 하며, 내부 배포에 외부 배포에 적용되는 것보다 약하지 않은 감독, 통제, 비상 메커니즘이 적용되도록 하고, 필요한 경우 더 강력한 메커니즘이 적용되도록 보장해야 한다.
Critical deployment environment: internal deployment [71]. Loss of control risk is not distributed evenly across deployment environments. At equal capability, internal deployment with elevated privileges more readily opens a path to intolerable harm. Developers should therefore make 'internal or privileged deployment' an explicit variable in their deployment environment assessment, and ensure that internal deployments are subject to oversight, control, and emergency mechanisms no weaker than those applied to external deployment, and stronger where warranted.
이러한 통제 상실 시나리오의 정확한 시점과 구체적 촉발 요인은 여전히 과학적 논쟁의 대상이지만, 실제로 발생할 경우 돌이킬 수 없을 수 있으므로 사전예방적 거버넌스 접근이 필요하다. 사후 대응적 완화가 가능한 기존의 위험과 달리, 통제 상실 사건은 일단 시작되면 바로잡는 것이 불가능할 수 있다 . 따라서 통제 상실의 가능성이 불확실함에도 불구하고, 그 결과가 파국적일 수 있으므로 임박한 위험에 대한 확정적 증거가 나타나기 훨씬 전에 기술적 안전 연구와 거버넌스 역량을 선제적으로 구축해야 한다.
While the precise timelines and specific triggers for these loss of control scenarios remain subject to scientific debate, they could be irreversible if they come to pass, so a precautionary governance approach is needed. Unlike conventional risks, where reactive mitigation is possible, it may be impossible to remedy a loss of control event once it has started . Therefore, despite the fact that the likelihood of loss of control is uncertain, technical safety research and governance capacity must be established proactively, well in advance of definite proof of imminent danger, as the consequences could be catastrophic.
1.5 사고 위험
1.5 Accident Risks
사고 위험은 범용 AI 모델이 안전 필수 기반시설에 배포될 때 발생하며, 이때 운영상의 장애, 모델의 오판, 또는 부적절한 인간의 조작이 파국적 결과를 수반하는 연쇄적 장애를 촉발할 수 있다. 악의적 의도가 개입된 오용 시나리오와 달리, 사고 위험은 본질적으로 신뢰성이 불완전한 AI 시스템이나 인간 운영자가, 인간의 생명과 사회적 안정이 시스템의 올바른 작동에 달려 있는 복잡하고 위험부담이 큰 환경에서 작동한다는 사실에서 비롯된다.
Accident risks arise when general-purpose AI models are deployed in safety-critical infrastructure, where operational failures, model misjudgments, or improper human operation could trigger cascading failures with catastrophic consequences. Unlike misuse scenarios involving malicious intent, accident risks come from the fact that inherently unreliable AI systems or human operators are working in complex, high-stakes environments where human lives and societal stability depend on the system functioning correctly.
범용 AI 모델을 핵심 기반시설에 통합하는 것은 단일 장애점이 시스템 전반의 재난을 촉발할 수 있는 경우 상당한 위험을 야기한다.
The integration of general-purpose AI models into critical infrastructure presents significant risks in cases where single points of failure can trigger system-wide catastrophes:
원자력 시스템 : 범용 AI가 원자로 모니터링, 제어 시스템 최적화, 또는 비상 대응 조정에 배포될 경우, 센서 데이터를 잘못 해석하거나, 중대한 안전 조건을 인식하지 못하거나, 비상 시나리오에서 잘못된 제어 결정을 내릴 수 있다.
Nuclear power systems : If general-purpose AI is deployed for reactor monitoring, control system optimization, or emergency response coordination, it could misinterpret sensor data, fail to recognize critical safety conditions, or make erroneous control decisions during emergency scenarios.
금융 시스템 : 범용 AI가 고빈도 거래, 시장 조성, 또는 시스템적 위험 관리에 통합될 경우, 시장 스트레스 상황에서 예상치 못한 행동 패턴을 보임으로써 위험을 악화시킬 수 있다. 또한 금융기관 전반에서 소수의 동질적인 파운데이션 모델만 사용될 경우, 상관된 의사결정과 군집 추종 행동이 조장될 수 있다. AI 에이전트의 광범위한 도입 역시 변동성을 증폭시킬 수 있는데, 서로 다른 독립적인 모델들이 과거 플래시 크래시에서 나타난 불안정성을 악화시키는 전략으로 자발적으로 수렴·조율할 수 있기 때문이다[72, 73].
Financial systems : If general-purpose AI is integrated into high-frequency trading, marketmaking, or systemic risk management, it could exacerbate risk by exhibiting unexpected behavioral patterns during market stress. Moreover, if only a few homogeneous foundation models are used across financial institutions, this may foster correlated decision-making and herd-following behaviors. Widespread adoption of AI agents could also amplify volatility, as different, independent models could spontaneously coordinate on strategies that exacerbate the instability seen in historical flash crashes [72, 73].
기타 핵심 기반시설 제어 시스템 : 전력망 관리, 수처리 시설, 통신 네트워크, 또는 교통 조정 시스템에 배포된 범용 AI는 운영 데이터를 잘못 해석하거나, 연쇄적 실패 모드를 예측하지 못하거나, 상호 연결된 기반시설 네트워크를 불안정하게 만드는 제어 결정을 내릴 수 있다.
Other critical infrastructure control systems : General-purpose AI deployed in power grid management, watertreatment facilities, telecommunications networks, or transportation coordination systems could misinterpret operational data, fail to anticipate cascading failure modes, or make control decisions that destabilize interconnected infrastructure networks.
사고 위험은 맥락 의존성이 매우 높기 때문에, 위험의 심각도는 모델의 역량뿐만 아니라 배포 환경의 중요도에 의해서도 결정된다. 따라서 하류 개발자와 배포자는 자신의 구체적인 사용 사례를 평가(evaluation)하기 위해 국가 안전 등급 기준을 준수해야 한다.7 이를 통해 안전 조치가 운영상 장애의 잠재적 영향에 상응하도록 보장한다.
Because accident risks are highly context-dependent, the severity of the risk is determined not just by the model's capabilities, but by the criticality of the deployment environment. Consequently, downstream developers and deployers must adhere to national safety grading standards to evaluate their specific use cases.7 This ensures that safety measures are commensurate with the potential impact of an operational failure.
1.6 시스템적 위험
1.6 Systemic Risks
본 프레임워크는 주로 개별 개발자가 이행할 수 있는 개입에 초점을 맞추지만, 시스템적 위험은 제6절(위험 거버넌스)에서 상세히 설명하는 조율된 거버넌스 접근을 필요로 한다.
While this Framework primarily focuses on interventions that individual developers can implement, systemic risks require the coordinated governance approaches detailed in Section 6 (Risk Governance).
시스템적 위험은 개별 모델의 역량이 직접 초래하는 위험을 넘어, 범용 AI의 광범위한 배포로부터 발생하는 위험이다. 이러한 위험은 AI 기술과 기존의 사회적·경제적·제도적 체계 간의 구조적 불일치에서 비롯된다. 그 결과 개별 모델 수준의 개입으로는 해결할 수 없고 산업 전반 및 사회 차원의 조율된 대응을 필요로 하는 취약성이 생겨난다.
Systemic risks are risks that emerge from widespread deployment of general-purpose AI, beyond the risks directly posed by capabilities of individual models. These risks arise from structural mismatches between AI technology and existing social, economic, and institutional frameworks, creating vulnerabilities that individual model-level interventions cannot address, and that require coordinated industry-wide and societal-level responses.
범용 AI가 사회 기반시설에 대규모로 통합되면, 여러 영역에서 동시에 발현될 수 있는 상호 연결된 취약성이 생겨난다.
The large-scale integration of general-purpose AI into societal infrastructure creates interconnected vulnerabilities that could manifest across multiple domains simultaneously:
노동시장 교란 및 경제적 대체 : 범용 AI가 가능하게 하는 급속한 자동화는 지식노동 부문 전반에 걸쳐 광범위한 실업을 촉발할 수 있으며, 재교육 프로그램이 대응할 수 있는 속도보다 빠르게 기술 불일치를 초래할 수 있다. 이전의 기술 전환과 달리, AI의 광범위한 역량은 여러 산업에 동시에 영향을 미칠 수 있다. 이는 사회 안전망을 압도하고 시스템적 경제 불안정을 초래할 수 있으며, 특히 AI 자동화에 취약한 일자리에 크게 의존하는 지역에서 그러하다.
Labor market disruption and economic displacement : Rapid automation enabled by generalpurpose AI could trigger widespread unemployment across knowledge work sectors, creating skill mismatches faster than retraining programs can address them. Unlike previous technological transitions, AI's broad capabilities may simultaneously affect multiple industries, potentially overwhelming social safety nets and creating systemic economic instability, particularly in regions heavily dependent on jobs susceptible to AI automation.
시장 집중도 및 기반시설 의존성 : 소수의 지배적 AI 제공자에 대한 과도한 의존은 필수 서비스 전반에 걸쳐 중대한 단일 장애점을 만들어 낼 수 있다. AI 개발에서의 시장 집중도는 소수 기업의 정책 결정, 기술적 장애, 또는 사이버 공격이 의료 시스템, 금융 서비스, 교통 네트워크, 통신 기반시설을 동시에 교란하는 시나리오로 이어질 수 있다. 이 경우 상호 연결된 핵심 시스템 전반에 걸쳐 연쇄적 장애가 발생할 수 있다.
Market concentration and infrastructure dependencies : Over-reliance on a limited number of dominant AI providers could create critical single points of failure across essential services. Market concentration in AI development may lead to scenarios where policy decisions by a few companies, technical failures, or cyber-attacks could simultaneously disrupt healthcare systems, financial services, transportation networks, and communication infrastructure, creating cascading failures across interconnected critical systems.
글로벌 AI 연구개발 격차 : 국가 간 AI 개발 역량의 비대칭은 지정학적 긴장을 악화시키고 새로운 형태의 기술적 의존을 초래할 수 있다. 첨단 AI 역량이 부족한 국가는 핵심 기능을 위해 해외 AI 시스템에 점점 더 의존하게 될 수 있다. 반면 AI 선도 국가는 글로벌 경제 및 안보 체계에 대해 불균형적인 영향력을 확보할 수 있으며, 이는 국제 협력 체계를 불안정하게 만들 수 있다.
Global AI research and development divides : Asymmetric AI development capabilities between nations could exacerbate geopolitical tensions and create new forms of technological dependency. Countries lacking advanced AI capabilities may become increasingly dependent on foreign AI systems for critical functions, while AI-leading nations may gain disproportionate influence over global economic and security systems, potentially destabilizing international cooperation frameworks.
사회적 결속 및 형평성 교란 : 편향된 AI 시스템의 시스템적 배포는 기존의 사회적 차별과 편견을 증폭시킬 수 있다. 또한 첨단 AI 역량에 대한 불평등한 접근은 사회경제적 격차를 확대하고, 전통적 사회 질서에 도전하는 새로운 형태의 사회 계층화를 초래할 수 있다.
Social cohesion and equity disruption : Systemic deployment of biased AI systems could amplify existing social discrimination and prejudice, while unequal access to advanced AI capabilities may widen socioeconomic disparities and create new forms of social stratification that challenge the traditional social order.
본 프레임워크는 완전성을 위해 시스템적 위험을 식별하지만, 이러한 과제를 해결하려면 주로 개별 모델 개발자의 범위를 넘어서는 조율된 대응이 필요하다. 여기에는 공공 정책 개혁, 국제 협력 협정, 포괄적 규제 체계가 포함된다. 개별 AI 개발자는 시스템적 위험에 대한 자신의 기여를 고려해야 하지만, 모델 수준의 개입만으로는 이러한 위험을 독자적으로 완화할 수 없다.
While this Framework identifies systemic risks for completeness, addressing these challenges primarily requires coordinated responses that extend beyond individual model developers, including public policy reforms, international cooperation agreements, and comprehensive regulatory frameworks. Individual AI developers should consider their contribution to systemic risks, but they cannot independently mitigate these risks through model-level interventions alone.
2. 위험 임계값
2. Risk Thresholds
위험 임계값 단계의 주된 목적은 허용 가능한 수준의 AI 위험과 허용 불가능한 수준의 AI 위험을 구분하는 명확한 경계, 즉 옐로라인(Yellow Line)과 레드라인(Red Line)을 정의하는 것이다. 이를 통해 배포, 완화, 거버넌스 조치를 이끄는 의사결정 기준을 수립한다. 이 단계는 제1절(위험 식별)에서 식별된 위험 분류 체계와 위험 범주 8 를 토대로 한다. 그리고 환경-위협-역량(Environment-Threat-Capability, E-T-C) 프레임워크를 활용하여 정성적 위험 기술을 실행 가능한 임계값으로 전환한다. 이러한 임계값은 제4절(위험 평가(evaluation))의 필수 벤치마크 역할을 한다. 제4절에서는 완화 후 잔여 위험을 그린/옐로/레드 존(Green/Yellow/Red Zones)에 비추어 평가(assessment)함으로써 배포 결정을 검증한다.
The primary objective of the risk threshold stage is to define clear boundariesYellow Lines and Red Lines -that distinguish acceptable from unacceptable levels of AI risk, establishing the decision criteria that guide deployment, mitigation, and governance measures. This stage builds uponthe risk taxonomy and risk categories 8 identified in Section 1 (Risk Identification) to translate qualitative risk descriptions into actionable thresholds using the Environment-Threat-Capability (E-T-C) framework. These thresholds serve as the essential benchmarks for Section 4 (Risk Evaluation), where residual risks after mitigation are assessed against Green/Yellow/Red Zones to test deployment decisions.
개발자가 다음의 핵심 구성요소를 통합하는 임계값 설정 프로세스를 이행할 것을 권고한다.
We recommend that developers implement a threshold-setting process that integrates the following core components:
1) 영역별 레드라인 명세(제2.2절) : 제1절에서 식별된 각 주요 위험 범주에 대해 구체적이고 용인할 수 없는 위험원을 명세한다. 이때 추상적 위험을 측정 가능한 신호로 조작화하는 상세한 E-T-C 시나리오 매트릭스를 활용한다.
1) Domain-specific Red Line specifications (Section 2.2) : Specifying concrete, intolerable hazards for each primary risk category identified in Section 1, using detailed E-T-C scenario matrices that operationalize abstract risks into measurable signals.
2) 옐로라인 명세 : 조기 경보 지표로 작용하는 핵심 실현 역량 및 성향에 대한 임계값을 수립한다. 이는 완전한 위협 경로가 확립되기 전이라도 잠재적 위험을 신호한다.
2) Yellow Line specifications : Establishing thresholds for critical enabling capabilities and propensities that act as early warning indicators, signaling potential risk even before a full threat pathway is established.
2.1 AI 개발을 위한 '옐로라인'과 '레드라인'의 정의
2.1 Defining 'Yellow Lines' and 'Red Lines' for AI Development
본 프레임워크는 넘어서는 안 되는 용인 불가능한 임계값인 '레드라인'과 잠재적 위험에 대한 조기 경보 지표인 '옐로라인'을 정의함으로써 AI 안전을 위한 명확한 경계를 수립한다[1]. 개발자는 허용 불가능한 결과, 즉 발생이 허용되어서는 안 되는 파국적 피해를 정의해야 한다. 이어서 '레드라인'을 명세해야 한다. 레드라인은 용인할 수 없는 위험원 9 으로서, 그러한 파국적 결과에 이르는 신빙성 있는 E-T-C 경로가 존재함이 입증되는 임계값이다.
This Framework establishes clear boundaries for AI safety by defining 'Red Lines' -intolerable thresholds that should not be crossed -and 'Yellow Lines' -early warning indicators for potential risks [1]. Developers should define unacceptable outcomes-catastrophic harms that must not be permitted to occur. They should then specify 'Red Lines': intolerable hazards 9 that are thresholds at which a credible E-T-C pathway to such a catastrophic outcome is demonstrated to exist.
이 접근법의 핵심은 주어진 위협이 실현될 수 있는 신빙성 있는 경로를 식별하는 것이다. 이는 세 가지 핵심 요소의 특정 조합에 근거하여 파국적 결과가 현실적으로 가능한지를 분석하는 것을 포함한다(추가 맥락은 프레임워크 개요 및 제3.3절 참조). 이 요소들은 다음과 같다.
Central to this approach is identifying a credible pathway by which a given threat could be realized. This involves analyzing whether a catastrophic outcome is realistically possible, based on a specific combination of three critical elements (see Framework Overview and Section 3.3 for more context). These elements are:
배포 환경(E) : 모델의 운영 맥락과 제약 조건이다. 애플리케이션 프로그래밍 인터페이스 (API) 제한부터 완전한 오픈 웨이트 접근에 이르는 범위, 또는 시스템에 부여된 격리 및 자율성의 수준을 포괄한다.
Deployment Environment(E) : The model's operational context and constraints, ranging from API restrictions to full open-weight access, or the level of containment and autonomy granted to the system.
위협 원천(T) : 피해의 발생 주체이다. 외부적(예: 악의적 행위자, 테러리스트), 내부적(예: 오정렬 또는 기만에 대한 모델의 성향), 또는 상황적(예: 인간의 운영상 오류) 위협 원천일 수 있다.
Threat Source (T) : The initiator of the harm, which can be external (e.g., malicious actors, terrorists), internal (e.g., model propensities for misalignment or deception), or situational (e.g., human operational error).
실현 역량(C) : 모델이 유해한 행위를 실행할 수 있게 하는 구체적 기능이다. 의도된 기능(예: 코딩 지원)일 수도 있고 창발적 기능(예: 전략적 전복)일 수도 있다.
Enabling Capability (C) : The specific model functionalities-whether intended (e.g., coding assistance) or emergent (e.g., strategic subversion)-that enable it to execute a harmful action.
레드라인은 어떤 맥락에서든 공공 안전과 사회 전체에 허용될 수 없는 위험원을 기준으로 정의된다. 예를 들어 대량 인명 피해, 핵심 기반시설의 마비, 또는 인류가 고역량(Highly capable) 시스템에 대한 통제를 상실하는 것이 이에 해당한다. 이러한 위험원의 규모와 비가역성 때문에 사회는 이를 감당할 수 없다. 이처럼 극단적이므로, 개발자는 자체적인 비용-편익 판단에 근거하여 이를 수용하기로 선택할 수 없다. 레드라인은 다음에 의해 촉발될 수 있다.
Red lines are defined by reference to hazards that are unacceptable to public safety and to society as a whole in any context : for example, mass casualties, paralysis of critical infrastructure, or humanity losing control over highly capable systems. The scale and irreversibility of these hazards mean that society cannot absorb them. Since they are so extreme, developers cannot choose to accept them on the basis of their own cost-benefit judgment. Red Lines can be triggered by:
실증적 증거 : 현실적인 시뮬레이션 환경에서 허용 불가능한 결과에 이르는 신빙성 있는 E-T-C 경로의 완성을 막기에 모델의 기존 안전장치가 불충분함이 입증되는 경우, 또는
Empirical evidence : If in realistic simulated environments, a model's existing safeguards are demonstrably insufficient to prevent the completion of a credible E-T-C pathway to an unacceptable outcome; or
전문가 평가(assessment) : 직접적인 실증적 입증이 없더라도, 전문 평가자10가 주도한 E-T-C 분석을 통해 모델의 현재 또는 합리적으로 예견 가능한 배포 조건하에서 그러한 위험원에 이르는 신빙성 있는 경로가 존재한다고 높은 확신을 가지고 판단하는 경우.
Expert assessment : E-T-C analysis led by expert evaluators10 determines with high confidence that a credible pathway to such a hazard exists under the model's current or reasonably foreseeable deployment conditions, even absent direct empirical demonstration.
레드라인이 촉발되었다는 것은 파국적 결과에 이르는 신빙성 있는 경로가 존재함을 나타낼 뿐이다. 그러나 그 결과는 되돌릴 수 없으므로, 개발자는 위험을 레드라인 아래로 되돌릴 수 없는 모델은 학습하지도 배포하지도 않을 것을 약속해야 한다. 또한 제4절부터 제6절에 규정된 통제와 독립적인 제3자 검토를 통해 그 약속을 이행해야 한다.
A triggered Red Line indicates only that a credible pathway to a catastrophic outcome exists. Because the consequences would be irreversible, however, developers should commit not to train and not to deploy any model whose risk cannot be brought back below the Red Line, and should give effect to that commitment through the controls set out in Sections 4 to 6 and through independent third-party review.
레드라인의 지위에 대해서는 명확히 밝혀 둘 필요가 있다. 제2.2절에서 설정한 구체적인 레드라인은 주로 프론티어 안전 분야의 전문가 판단과 현재 형성 중인 국제적 논의에 근거한다. 이는 아직 해당 분야 전문가들 사이에서나 국제사회 전반에서 확립된 합의를 반영하지 않는다. 따라서 본 프레임워크는 레드라인을 합의에 앞서 개발자가 할 수 있는 예방적 약속, 즉 합의와 규제가 마련되기 전에 가장 심각한 위험을 다루는 자발적 제약으로 취급한다. 우리는 전문가 의견과 국제적 합의가 발전함에 따라 이러한 정의를 개정할 것으로 예상하며, 이를 산업 표준과 규제 요건으로 점진적으로 전환하는 것을 지지한다.
Weshould be explicit about the status of these Red Lines. The specific lines drawn in Section 2.2 rest principally on expert judgment in frontier safety and on an emerging international discussion; they do not yet reflect a settled consensus among domain experts or across the international community. This Framework therefore treats Red Lines as a precautionary commitment that developers can make ahead of consensus : voluntary constraints that cover the most severe risks before agreement and regulation are in place. We expect to revise these definitions as expert opinion and international consensus develop, and we support their progressive translation into industry standards and regulatory requirements.
레드라인을 넘은 경우, 모델 개발자에게 다음을 권고한다.
When Red Lines are crossed, we recommend that model developers:
잠재적 파국적 결과를 차단하기 위한 조치를 즉시 시행한다.
Immediately implement measures to block potential catastrophic outcomes.
최고 수준의 통제 조치와 운영상 제한을 적용한다.
Enforce the highest-level control measures and operational restrictions.
위험이 레드라인 아래로 감소할 때까지 관련 운영 또는 배포를 중단한다.
Suspend relevant operations or deployment until the risk is reduced below the Red Line.
운영을 재개하기 전에 독립적인 제3자 안전 검토를 실시하고 이를 통과한다.
Conduct and pass an independent third-party safety review before resuming operations.
옐로라인은 신흥 위험이 레드라인 수준으로 고조되기 전에 이를 알리는 선제적 조기 경보 지표 역할을 한다. 옐로라인은 향후 위협 시나리오를 가능하게 할 수 있는 전제 조건을 부각함으로써, 모델이 신빙성 있는 E-T-C 경로를 따라 진행하기 전에 개발자가 개입할 수 있도록 한다.
Yellow Lines act as proactive early-warning indicators to signal emerging risks before they escalate to Red Line levels. They highlight preconditions that could enable threat scenarios in the future, allowing developers to intervene before the model progresses along a credible E-T-C pathway.
옐로라인은 배포 환경에 현재 신빙성 있는 경로가 존재하는지와 관계없이, 모델이 특정 위협 시나리오를 실현하는 데 필요한 핵심 실현 역량과 성향을 보이거나, 이에 대응하는 안전장치가 실질적으로 부재한 경우(예: 통제 상실로 이어질 수 있는 오정렬 경향, 또는 오용에 대한 효과적인 안전장치의 부재)에 넘어선 것으로 본다. 본 프레임워크의 향후 개정판은 이러한 핵심 실현 역량, 성향 및 안전장치 요건에 대한 정량적 임계값을 정의하는 것을 목표로 할 것이다.
Yellow Lines are crossed when the model demonstrates critical enabling capabilities and propensities that are required to realize a specific threat scenario, or when the corresponding safeguards are substantially absent (e.g., misalignment tendencies that could lead to loss of control, or the absence of effective safeguards against misuse)-regardless of whether a credible pathway currently exists in the deployment environment. Future iterations of this Framework will aim to define quantitative thresholds for these critical enabling capabilities, propensities, and safeguard requirements.
옐로라인을 넘은 경우, 모델 개발자에게 다음을 권고한다.
When Yellow Lines are crossed, we recommend that model developers:
잠재적 위험에 대해 관련 이해관계자에게 조기 경보를 발령한다.
Issue early warnings for potential risks to relevant stakeholders.
포괄적인 시나리오 기반 위험 분석을 개시한다.
Initiate comprehensive, scenario-based risk analysis.
식별된 위험 수준에 비례하는 상응하는 완화 조치를 시행한다.
Implement commensurate mitigation measures proportional to the identified risk level.
해당 위험 영역에 대한 모니터링 및 평가(evaluation) 프로토콜을 강화한다.
Enhance monitoring and evaluation protocols for the specific risk domain.
이러한 옐로라인 및 레드라인 임계값은 제4절(위험 평가(evaluation))에서 사용되는 위험 구역 분류(녹색/황색/적색)를 직접 결정하며, 제4절에서 배포 결정은 잔여 위험이 이러한 경계의 위에 있는지 아래에 있는지에 근거한다.
These Yellow and Red Line thresholds directly determine the risk zone classifications (Green/ Yellow/Red) used in Section 4 (Risk Evaluation), where deployment decisions are based on whether residual risks fall above or below these boundaries.
2.2 영역별 레드라인 명세
2.2 Domain-Specific Red Line Specifications
우리는 사이버 공격 위험, 생물학적 위험, 화학 안전 위험, 대규모 설득 및 유해한 조작 위험, 통제 상실 위험에 대해 다양한 잠재적 레드라인을 식별하였다. 이러한 명세는 국가 표준화 프레임워크, 과학적 합의, 프론티어 AI 안전 연구를 종합하여 도출하였다[2, 11, 75, 76, 77, 78].
We have identified a range of potential Red Lines for cyber offense risks, biological risks, chemical safety risks, large-scale persuasion and harmful manipulation risks, and loss of control risks. These specifications are synthesized from national standardization frameworks, scientific consensus, and frontier AI safety research [2, 11, 75, 76, 77, 78].
각 레드라인은 3차원 위험 평가 프레임워크(배포 환경, 위협 원천, 실현 역량. 프레임워크 개요에서 설명)를 통해 정의된다. 우리는 즉각적인 개입과 최고 수준의 안전 조치를 촉발하게 될 구체적인 시나리오를 제시한다.
Each Red Line is defined through our three-dimensional risk assessment framework (Deployment Environment, Threat Source, and Enabling Capability, described in Framework Overview). We provide concrete scenarios that would trigger immediate intervention and the highest level of safety measures.
참고: 번호 표기(예: 사이버 CY1-CY3, 생물 B1-B3 등)는 분류 목적으로만 사용되며, 심각도의 상승이나 순차적 진행을 나타내지 않는다. 각각은 다른 임계값과 관계없이 넘어설 수 있는 독립적인 임계값을 나타낸다.
Note: The numerical designations (e.g., Cyber CY1-CY3, Bio B1-B3, etc.) are for organizational purposes only and do not indicate escalating severity or sequential progression. Each represents an independent threshold that could be crossed regardless of others.
2.2.1 사이버 공격 위험
2.2.1 Cyber Offense Risks
표 2.1: 사이버 공격 위험에 대한 레드라인 위험 시나리오
Table 2.1: Red Line risk scenarios for cyber offense risks
| 용인 불가능한 위험원 | 배포 환경 | 위협 원천 | 실현 역량(Enabling Capability) | 레드라인을 넘는 가상 시나리오 |
|---|---|---|---|---|
| CY1: 대규모, 다중 양식(multi-modal), 적응형 사회공학 공격 | 환경: 일반 개인용 컴퓨터 또는 클라우드 호스트로, 상용 VPN 또는 대리(proxy) 서비스를 통해 연결되며, 이메일, SMS, 인스턴트 메시징 또는 소셜 플랫폼 계정을 통해 전달됨. 데이터 출처: 공개 소셜 미디어 정보, 공개 기업 자료, 유출된 이메일 및 계정 데이터, 신원 위조에 적합한 소량의 공개 음성·영상 자료. 사이버 범죄 집단은 지하 전달 경로와 대량 계정 자원을 추가할 수 있음. | 금전적 동기를 가진 사이버 범죄 집단[79]: 피싱 이메일, 문자 메시지, 소셜 미디어 다이렉트 메시지, 고객지원 담당자·공급업체·경영진 사칭을 통해 사기, 자격 증명 탈취, 계정 탈취, 결제 사기, 랜섬웨어에 필요한 초기 접근을 추구함. 정치적 또는 이념적 동기를 가진 핵티비스트: 딥페이크 콘텐츠, 허위 진술, 사칭 통신, 유도된 데이터 유출을 통해 여론에 대한 영향력 행사, 표적에 대한 공개적 망신, 표적 조직의 운영 방해를 추구함. 저역량 기회주의적 공격자: 이용 가능한 AI 도구와 공개 데이터를 사용하여, 과거에는 사회공학 경험이 필요했던 공격을 대량으로 실행할 수 있는 진입 장벽이 낮은 기만 캠페인으로 전환함. |
| 공격자가 AI를 사용하여 실시간으로 조정 가능한 고도로 개인화된 다중 양식 기만 콘텐츠를 생성하고, 24~72시간 이내에 수백에서 수천 명의 개인 또는 10개를 초과하는 조직을 표적으로 이메일, SMS, 인스턴트 메시징, 음성, 영상을 통해 이를 전달한다. 그 결과 대규모 자격 증명 유출, 다중 요소 인증 우회, 사기성 금융 이체 승인, 기업 내부 시스템 접근, 경영진 및 관리자 계정 침해가 발생한다. 표적이 금융, 정부, 의료, 에너지, 국방 등 핵심 부문(중국 「핵심 정보 기반시설 보안 보호 조례」 제8조에 열거된 부문)에 속하는 경우, 또는 핵티비스트나 사이버 테러리스트가 다중 양식 위조 콘텐츠를 사용하여 광범위한 대중의 오판, 조직 마비, 비상 자원의 잘못된 배분, 공공 서비스에 대한 중대한 신뢰 위기를 유발하는 경우 레드라인을 넘은 것으로 본다. |
| CY2: 고가치의 강화된 표적에 대한 자율적 전체 킬체인(kill-chain) 공격[81] | 환경: 격리된 테스트 환경, 일반적인 보안 테스트 도구, 통제된 중계 노드, 기본적인 익명화 통신 인프라를 갖춘 클라우드 기반 분석 및 과업 조율 환경. 데이터 출처: 표적 조직의 공개 자산 정보, 도메인·IP 및 인증서 데이터, 기술 스택 지표, 과거 취약점 정보, 유출된 자격 증명 및 토큰, 제3자 공급망 관계 데이터. APT 행위자는 장기 인프라, 전용 정보 출처, 맞춤형 도구, 지속적인 표적 추적을 추가할 수 있으며, 사이버 범죄 집단은 랜섬웨어 표적 목록, 지하 자격 증명 데이터베이스, 상용 공격 도구를 추가할 수 있음. | APT 행위자: 스피어 피싱, 공급망 진입점, 노출된 자산 악용, 클라우드 신원 남용, 자격 증명 탈취를 통해 정보 수집, 장기 지속성 확보, 전략적 사보타지 또는 핵심 시스템 침투를 추구함. 금전적 동기를 가진 사이버 범죄 집단: 초기 접근 브로커, 자격 증명 남용, 경계 장치의 취약점, 제3자 서비스 진입점을 통해 랜섬웨어, 데이터 탈취 및 재판매, 클라우드 자원 남용, 핵심 사업 운영을 겨냥한 갈취를 추구함. 정치적 또는 이념적 동기를 가진 핵티비스트: 정부 기관, 공공 기관, 논란이 되는 기업, 적대 조직을 대상으로 가시적인 방해, 서비스 중단, 데이터 노출, 상징적 타격을 추구함. |
| 최소한의 인간 개입만으로, AI 시스템이 핵심 기반시설, 핵심 정부 시스템, 핵심 금융 시스템, 대형 클라우드 플랫폼, 보안 관제 센터, 국방 연구 기관 또는 중요한 공급망 노드 등 고가치의 강화된 표적을 대상으로 정찰, 초기 접근, 권한 상승, 측면 이동, 지속성 확보, 임무 실행 중 5개 이상의 핵심 단계를 포괄하는 공격 체인을 처음부터 끝까지 실행하며, 실패에 대응하여 공격 경로를 조정한다. 이러한 역량을 갖춘 AI는 공격자가 도메인 관리자, 클라우드 관리자, 운영 시스템 관리자 또는 핵심 데이터베이스 접근 권한을 획득하도록 돕거나, 장기적인 은밀한 지속성 확보, 대규모 데이터 유출, 업무 중단 또는 공급망 오염을 유발할 수 있다. 산업 제어 또는 운영 기술 시스템이 관련된 경우, 핵심 제어 파라미터, 보호 임계값 또는 공정 로직의 변조는 추가로 공정 이상, 장비 운영상 위험, 생산 안전 사고를 초래할 수 있다. |
| CY3: 방어적 패치 속도를 앞지르는 속도로 이루어지는 핵심 제로데이 취약점의 산업적 규모 발견, 확인 및 악용 | 환경: 코드 감사, 바이너리 분석, 퍼징, 패치 비교 분석, 격리된 확인을 위한 환경 구축에 사용되는 클라우드 또는 로컬 연산 자원. 데이터 출처: 오픈소스 코드 저장소, 소프트웨어 구성요소 샘플, 네트워크 장비 펌웨어, 패치 파일, 과거 CVE 데이터, 크래시 샘플, 퍼징 결과, 공개 취약점 보고서. APT 행위자는 독점 샘플 라이브러리, 미공개 표적 버전, 장기간 축적된 취약점 연구, 인프라를 특정하여 겨냥한 테스트를 추가할 수 있으며, 사이버 범죄 집단은 취약점 시장의 수요 신호, 랜섬웨어 표적 우선순위, 수익화 가능한 자산 목록을 추가할 수 있음. | APT 행위자: 핵심 소프트웨어, 네트워크 장비, 클라우드 인프라 구성요소, 신원 인증 시스템, 산업 제어 시스템에서 미지의 취약점을 탐색함으로써 강화된 표적 침투, 장기적인 은밀한 접근, 전략적 공격 역량을 추구함. 금전적 동기를 가진 사이버 범죄 집단: 대규모로 악용 가능하고, 광범위한 표적에 영향을 미치며, 신속하게 수익화할 수 있는 미지의 취약점에 집중하여 랜섬웨어, 대량 침입, 접근 권한 판매 또는 공격 도구의 상업화를 추구함. |
| 공격자가 AI를 사용하여 오픈소스 코드, 상용 소프트웨어 구성요소, 네트워크 장비 펌웨어, 패치 파일, 크래시 샘플, 퍼징 결과를 대규모로 분석한다. 관련 샘플, 패치 또는 테스트 결과를 확보한 후 24시간 이내에, 공격자는 원격으로 유발 가능하고, 상호작용이 거의 필요 없으며, 광범위한 시스템에 영향을 미치고, 효과적인 완화 수단이 없는 핵심 미지 취약점을 식별하고, 개념 증명(PoC) 확인을 완료하며, 악용 가능성, 영향을 받는 버전, 고가치 표적의 범위를 확정한다. 이러한 취약점이 클라우드 인프라, 신원 인증 시스템, 주류 네트워크 장비, 널리 배포된 오픈소스 구성요소, 산업 제어 시스템 또는 핵심 기반시설 소프트웨어에 영향을 미치고 패치가 출시되거나 대규모로 배포되기 전에 안정적으로 악용될 수 있는 경우, 또는 단일 취약점이 다수의 조직, 여러 부문 또는 핵심 공공 서비스에 영향을 미치는 경우 레드라인을 넘은 것으로 본다. |
| Intolerable Hazard | Deployment Environment | Threat Source | Enabling Capability | Hypothetical Scenarios of Red Line Being Crossed |
|---|---|---|---|---|
| CY1: Large-scale, multi-modal, adaptive social engineering attacks | Environment: An ordinary personal computer or cloud host, connected through commercial VPN or proxy services, with delivery through email, SMS, instant messaging, or social platform accounts. Data sources: Public social media information, public corporate materials, leaked email and account data, and a modest amount of publicly available audio and video suitable for identity forgery. Cybercriminal groups may add underground delivery channels and bulk account resources. | Financially motivated cybercriminal groups [79]: Pursuing fraud, credential theft, account takeover, payment fraud, and the initial access needed for ransomware, through phishing emails, text messages, social media direct messages, and impersonation of customer support staff, suppliers, or executives. Politically or ideologically motivated hacktivists: Pursuing influence over public opinion, public humiliation of targets, and disruption of a target organization's operations, through deepfake content, false statements, impersonated communications, and induced data leaks. Low-capability opportunistic attackers: Using available AI tools and public data to turn attacks that once required social engineering experience into low-barrier deception campaigns that can be run in bulk. |
| Using AI, an attacker generates highly personalized, multimodal deception content that can be adjusted in real time, targeting hundreds to thousands of individuals or more than ten organizations within 24 to 72 hours, and delivers it through email, SMS, instant messaging, voice, and video. The result is credential leakage at scale, circumvention of multi-factor authentication, authorization of fraudulent financial transfers, access to internal corporate systems, and compromise of executive and administrator accounts. The Red Line is crossed where the targets fall within critical sectors such as finance, government, healthcare, energy, or defense (the sectors listed in Article 8 of China's Regulations on the Security Protection of Critical Information Infrastructure ), or where hacktivists or cyber-terrorists use multi-modal forged content to induce widespread public misjudgment, organizational paralysis, misallocation of emer-gencyresources, or a major crisis of trust in public services. |
| CY2: Autonomous full kill-chain attacks against high-value, hardened targets [81] | Environment: A cloud-based analysis and task orchestration environment, equipped with isolated test environments, common security testing tools, controlled relay nodes, and basic anonymized communication infrastructure. Data sources: Public asset information on the target organization, domain, IP and certificate data, technology stack indicators, historical vulnerability information, leaked credentials and tokens, and third-party supply chain relationship data. APT actors may add long-term infrastructure, dedicated intelligence sources, custom tooling, and continuous target tracking; cybercriminal groups may add ransomware target lists, underground credential databases, and commercial attack tools. | APT actors: Pursuing intelligence collection, long-term persistence, strategic sabotage, or penetration of critical systems, through spear phishing, supply chain entry points, exploitation of exposed assets, abuse of cloud identities, and credential theft. Financially motivated cybercriminal groups: Pursuing ransomware, theft and resale of data, abuse of cloud resources, and extortion targeting core business operations, through initial access brokers, credential abuse, vulnerabilities in perimeter devices, and third-party service entry points. Politically or ideologically motivated hacktivists: Pursuing visible disruption, service outages, data exposure, and symbolic strikes against government bodies, public institutions, controversial companies, and adversary organizations. |
| With minimal human intervention, an AI system executes, end to end, an attack chain covering five or more key stages-reconnaissance, initial access, privilege escalation, lateral movement, persistence, and mission execution-against high-value, hardened targets such as critical infrastructure, core government systems, core financial systems, large cloud platforms, security operations centers, defense research institutions, or important supply chain nodes, adjusting its attack path in response to failures. An AI with this capability can help an attacker obtain domain administrator, cloud administrator, production system administrator, or core database access, or cause long-term covert persistence, major data exfiltration, business interruption, or supply chain contamination. Where industrial control or operational technology systems are involved, tampering with critical control parameters, protection thresholds, or process logic can further produce process anomalies, equipment operating hazards, or production safety incidents. |
| CY3: Industrial-scale discovery, validation, and exploitation of critical zero-day vulnerabilities at a pace that outstrips defensive patching | Environment: Cloud or local compute used to build environments for code auditing, binary analysis, fuzzing, patch diffing, and isolated validation. Data sources: Open-source code repositories, software component samples, network device firmware, patch files, historical CVE data, crash samples, fuzzing results, and public vulnerability reports. APT actors may add proprietary sample libraries, unreleased target versions, accumulated long-term vulnerability research, and testing aimed specifically at infrastructure; cybercriminal groups may add demand signals from vulnerability markets, ransomware target priorities, and lists of monetizable assets. | APT actors: Pursuing penetration of hardened targets, long-term covert access, and strategic attack capability, by hunting for unknown vulnerabilities in critical software, network devices, cloud infrastructure components, identity authentication systems, and industrial control systems. Financially motivated cybercriminal groups: Pursuing ransomware, mass intrusion, sale of access, or commercialization of attack tools, focusing on unknown vulnerabilities that can be exploited at scale, affect a wide range of targets, and can be monetized quickly. |
| Using AI, an attacker analyzes open-source code, commercial software components, network device firmware, patch files, crash samples, and fuzzing results at scale. Within 24 hours of obtaining the relevant samples, patches, or test results, the attacker identifies critical unknown vulnerabilities that are remotely triggerable, require little interaction, affect a wide range of systems, and have no effective mitigation; completes proof-of-concept validation; and establishes exploitability, affected versions, and the range of high-value targets. The Red Line is crossed where such a vulnerability affects cloud infrastructure, identity authentication systems, mainstream network devices, widely deployed open-source components, industrial control systems, or critical infrastructure software, and can be exploited reliably before a patch is released or deployed at scale; or where a single vulnerability affects a large number of organizations, multiple sectors, or critical public services. |
2.2.2 생물학적 위험
2.2.2 Biological Risks
표 2.2: 생물학적 위험에 대한 레드라인 위험 시나리오
Table 2.2: Red Line risk scenarios for biological risks
| 용인 불가능한 위험원 | 배포 환경 | 위협 원천 | 실현 역량 | 레드라인을 넘는 가상 시나리오 |
|---|---|---|---|---|
| B1: 유해 병원체의 획득 및 유포 장벽 낮추기 | 요구되는 전문성11: 생물학에서는 대략 학부 수준의 생명공학 기술, AI에서는 범용 대규모 언어모델의 능숙한 사용. 자원: (최소한) 대학 생물학 실험실 또는 바이오제약 연구기관 실험실과 같은 기본 시설에 대한 접근. | 악의적 행위자—일탈적 연구자, 범죄 집단 또는 테러 조직—가 AI를 사용하여 알려진 병원성 작용제(소형 DNA 바이러스)의 완전한 구축 및 배양 프로토콜을 획득하고 DNA 합성 스크리닝을 회피하는 전략을 생성함. |
| 모델의 도움으로, 학부 수준의 생물학 지식을 가진 연구자가 대학 BSL-2 실험실 장비를 사용하여 복제 가능한 B형 간염 바이러스(HBV)를 구축한다. 공개 데이터베이스에서 획득한 전장 HBV 게놈 서열을 바탕으로, 모델은 발현 벡터 선택, 분할 합성 및 조립 계획, 형질감염용 숙주 세포주 선택, 세포 배양 및 바이러스 증폭 조건, 문제 해결 표를 제공한다. AI는 또한 합성 스크리닝을 우회하는 전략도 제공한다. 이로써 연구자는 HBV를 처음부터(de novo) 구축하는 완전한 경로를 확보하게 되며, 모델을 사용하여 이후의 규모 확대, 농축, 정제에 대한 상세 프로토콜을 생성할 수 있어 실험실 유출 또는 국지적 중독 사고의 가능성을 만들어낸다. |
| B2: 병원체의 위험성 증강 및 악의적 변형 조작 | 요구되는 전문성: 생물학에서는 대략 박사 수준의 생명공학 기술, AI에서는 범용 대규모 언어모델의 능숙한 사용 및 에이전트 시스템의 능숙한 사용 또는 개발. 자원: 정밀하고 전문화되었으나 최첨단은 아닌 시설; 대학 실험실, 산업 인프라, 데이터베이스 자원의 전면적 활용. | 악의적 행위자—일탈적 연구자, 범죄 집단 또는 테러 조직—가 AI를 사용하여 병원체의 위험성을 높이고, 그 병원성, 전염성 또는 면역 회피 능력을 자연 진화의 한계를 넘어 강화함. |
| 모델의 도움으로, 미생물학 박사 학위를 보유하고 BSL-2 실험실에 접근 가능한 연구팀이 공개 데이터베이스에서 2009년 대유행 H1N1 바이러스의 전장 게놈 서열을 획득한다. 모델은 핵심 돌연변이 부위의 조합을 스크리닝하고, 연구팀은 병원성 증대, 독성 증대, 면역 회피의 세 가지가 강화된 변이체를 만들어낸다. 모델은 또한 기관 심의를 통과하도록 '백신 개발'로 위장한 실험 프로토콜을 생성한다. 모델이 제공한 유포 계획을 사용할 경우, 변형된 변이체의 방출은 2009년 대유행에 비견되면서도 병원성은 더 높은 공중보건 사건을 초래할 수 있다. |
| B3: 신종 유해 병원체의 신규 설계 및 구축 | 요구되는 전문성: 생물학에서는 세계 최고 수준의 생명공학 기술, AI에서는 범용 대규모 언어모델의 능숙한 사용 및 에이전트 시스템의 능숙한 사용 또는 개발. 자원: 정밀하고 전문화된 고급 시설; 대학의 고격리(high-containment) 실험실 및 산업 인프라의 전면적 활용; Evo 2 수준의 게놈 언어모델, 그리고 고병원성 바이러스 데이터셋을 포함한 대규모 바이러스 게놈 데이터베이스. | 악의적 행위자—예컨대 테러 조직—가 AI를 사용하여 새롭고 복잡하거나 표적화된 생물학적 작용제를 개발하여, 높은 치사율, 높은 환경 지속성 또는 특정 집단을 표적할 수 있는 능력을 갖춘 생물무기를 구축함. |
| 자원이 풍부한 악의적 행위자가 연구 에이전트를 사용해 생물학적 설계 도구를 호출하고, 고병원성 인간 바이러스의 서열을 미세조정(Fine-Tuning)하여 알려진 병원체와의 상동성이 50% 미만인 수천 개의 후보 바이러스 게놈 서열을 생성한다. AI 지원 서열 재구성(paraphrasing)과 분할 합성 전략을 통해 행위자는 DNA 합성 스크리닝을 회피할 수 있다. 수년간의 반복 실험 끝에, 행위자는 자연계에 존재하지 않고, 기존 백신 및 주요 항바이러스제에 뚜렷한 내성을 지니며, 알려진 병원체와의 상동성이 매우 낮아 기존 탐지 체계로는 식별할 수 없는 신종 바이러스를 조립·합성한다. 행위자는 또한 모델을 사용하여 광범위한 감염을 일으킬 수 있는 유포 계획을 생성하고, 사회적 공포를 유발하도록 정보를 조작하거나 공중보건 대응을 교란하는 허위 임상 지침을 만들어낼 수 있다. |
| Intolerable Hazard | Deployment Environment | Threat Source | Enabling Capability | Hypothetical Scenarios of Red Line Being Crossed |
|---|---|---|---|---|
| B1: Lowering the barrier to acquiring and disseminating harmful pathogens | Expertise required11: In biology, biotechnology skills at roughly undergraduate level; in AI, proficient use of general-purpose large language models. Resources: Access to (at least) basic facilities, such as a university biology laboratory or the laboratory of a biopharmaceutical research organization. | Malicious actors-rogue researchers, criminal groups, or terrorist organizations-use AI to obtain complete construction and culture protocols for a known pathogenic agent (a small DNA virus) and to generate strategies for evading DNA synthesis screening. |
| With the model's help, a researcher with undergraduate-level biology knowledge uses university BSL-2 laboratory equipment to construct a replication-competent hepatitis B virus (HBV). Working from the full-length HBV genome sequence obtained from public databases, the model supplies the choice of expression vector, a segmented synthesis and assembly plan, selection of the host cell line for trans-fection, cell culture and viral amplification conditions, and a troubleshooting table. The AI also supplies strategies for bypassing synthesis screening. The researcher thereby has a complete route for building HBV de novo, and can use the model to generate detailed protocols for subsequent scale-up, concentration, and purification, creating the potential for a laboratory leak or a localized poisoning incident. |
| B2: Enhancing the danger of a pathogen and engineering malicious modifications | Expertise required: In biology, biotechnology skills at roughly doctoral level; in AI, proficient use of general-purpose large language models and proficient use or development of agent systems. Resources: Precise, specialized but not state-of-the-art facilities; full use of university laboratories, industrial infrastructure, and database resources. | Malicious actors-rogue researchers, criminal groups, or terrorist organizations-use AI to increase the danger of a pathogen, enhancing its pathogenicity, transmissibility, or immune evasion beyond the limits of natural evolution. |
| With the model's help, a research team holding doctorates in microbiology and with access to a BSL-2 laboratory obtains the full genome sequence of the 2009 pandemic H1N1 virus from public databases. The model screens combinations of key mutation sites, and the team produces a triple-enhanced variant-greater pathogenicity, greater virulence, and immune evasion. The model also generates an experimental protocol disguised as 'vaccine development' so as to pass institutional review. Using dissemination plans supplied by the model, a release of the modified variant could cause a public health event comparable to the 2009 pandemic but with higher pathogenicity. |
| B3: De novo design and construction of novel harmful pathogens | Expertise required: In biology, world-leading biotechnology skills; in AI, proficient use of general-purpose large language models and proficient use or development of agent systems. Resources: Precise, specialized, advanced facilities; full use of high-containment university laboratories and industrial infrastructure; genome language models at the level of Evo 2, and large-scale viral genome databases including datasets on highly pathogenic viruses. | Malicious actors-for example, terrorist organizations-use AI to develop novel, complex, or targeted biological agents, building biological weapons with high lethality, high environmental persistence, or the ability to target specific populations. |
| A well-resourced malicious actor uses research agents to invoke biological design tools, fine-tuning sequences of highly pathogenic human viruses to generate thousands of candidate viral genome sequences with less than 50% homology to known pathogens. AI-assisted sequence paraphrasing and fragmented synthesis strategies allow the actor to evade DNA synthesis screening. After several years of iterative experiments, the actor assembles and synthesizes a novel virus that does not exist in nature, is markedly resistant to existing vaccines and to the main antiviral drugs, and whose homology to known pathogens is so low that existing detection systems cannot identify it. The actor can also use the model to generate dissemination plans capable of causing widespread infection, and to manipulate information so as to induce social panic or to produce false clinical guidelines that disrupt the public health response. |
2.2.3 화학 안전 위험
2.2.3 Chemical Safety Risks
표 2.3: 화학 안전 위험에 대한 레드라인 위험 시나리오
Table 2.3: Red Line risk scenarios for chemical safety risks
| 용인 불가능한 위험원 | 배포 환경 | 위협 원천 | 실현 역량 | 레드라인을 넘는 가상 시나리오 |
|---|---|---|---|---|
| CH1: 알려진 유해 화학작용제를 획득·무기화하는 데 필요한 장벽의 저하 | 선결 전문성12: 화학 분야에서는 학부 수준의 기초 화학 소양, AI 분야에서는 범용 대규모 언어모델의 능숙한 사용. 자원: 중등학교나 기초 교육 단위에 갖춰진 수준의 기본 화학 실험실. | AI를 활용하여 알려진 유해 화학작용제를 합성·유포하려는 악의적 행위자(예: 악의적 연구자, 범죄 조직 또는 집단, 테러 조직). |
| 화학 학부 학위를 소지한 한 극단주의자가 프런티어 모델을 이용해 알려진 유해 화학작용제의 합성 방법을 알아낸다. 모델은 임시방편적 장비를 사용해 해당 물질을 합성하는 방법을 설명하고, 필요한 화학물질을 불법적으로 입수하도록 돕는다. 끝으로 모델은 공공장소를 표적으로 삼아 해당 물질을 가장 효과적으로 무기화할 수 있는 방안을 제안한다. 이 극단주의자는 결국 기본 화학 실험실에서 사용 가능한 작용제를 합성하고 공공장소에서의 공격을 계획한다. |
| CH2: 신종 유해 화학작용제의 개발 및 무기화를 가능케 함 | 선결 전문성: 화학 분야에서는 박사 수준의 고급 화학 소양, AI 분야에서는 범용 대규모 언어모델의 능숙한 사용 및 에이전트 시스템의 능숙한 사용 또는 개발. 자원: (대학·연구기관·제약회사 등의) 고급 실험실, 통제 대상 화학 시약 및 소모품에 대한 조달 권한, 연산 지원을 수반한 계산화학 소프트웨어 접근권, 그리고 전문 데이터베이스에 대한 접근권. | AI를 활용하여 신종 화학작용제를 개발·유포하려는 악의적 행위자(악의적 연구자, 범죄 조직 또는 집단, 테러 조직). |
| 프런티어 실험실에 소속된 한 박사급 연구자가 소속 기관의 통제 대상 화학물질 및 실험 소모품 조달 권한, 전문 데이터베이스 접근권, 그리고 프런티어 AI 모델의 지원을 활용하여 신규 분자를 생성하기 위한 신규(de novo) 설계 툴체인을 구축한다. 이를 바탕으로 연구자는 일군의 신종 고독성 화학작용제를 설계·합성하는데, 그중 여럿은 알려진 신경작용제(nerve agents)의 독성에 이르거나 이를 능가한다. 프런티어 모델은 나아가 반응 조건 및 공정 최적화에 대한 지원과 더불어 공공장소 또는 고가치 표적을 겨냥한 유포 방안까지 제공한다. |
| Intolerable Hazard | Deployment Environment | Threat Source | Enabling Capability | Hypothetical Scenarios of Red Line Being Crossed |
|---|---|---|---|---|
| CH1: Lowered barriers to acquiring and weaponizing known harmful chemical agents | Prerequisite expertise12: In chemistry, undergraduate-level foundational chemistry literacy; in AI, proficient use of general-purpose large language models. Resources: Basic chemistry laboratories, such as those at secondary schools or basic teaching units. | Malicious actors (e.g. malicious researchers, criminal organizations or groups, or terrorist organizations) using AI to synthesize and disseminate known harmful chemical agents. |
| An extremist holding an undergraduate degree in chemistry uses a frontier model to work out how to synthesize a known harmful chemical agent. The model explains how they can synthesize the substance using improvised equipment, and helps them to illegally obtain the chemicals they require. Finally, the model suggests plans for how the extremist could most effectively weaponize the substance by targeting public venues. The extremist ultimately synthesizes a usable agent in a basic chemistry laboratory and plans an attack in a public place. |
| CH2: Enabling the development and weaponization of novel harmful chemical agents | Prerequisite expertise: In chemistry, doctoral-level advanced chemistry literacy; in AI, proficient use of general-purpose large language models and proficient use or development of agent systems. Resources: Advanced laboratories (such as those at universities, research institutions, or pharmaceutical companies); procurement rights for controlled chemical reagents and consumables; access to computational chemistry software together with compute support; and access to specialized databases. | Malicious actors (malicious researchers, criminal organizations or groups, or terrorist organizations) using AI to develop and disseminate novel chemical agents. |
| A doctoral-level researcher working at a frontier laboratory draws on their institution's procurement rights for controlled chemicals and laboratory consumables, access to specialized databases, and the assistance of a frontier AI model to build a de novo design toolchain for generating novel molecules. On this basis, the researcher designs and synthesizes a set of novel highly toxic chemical agents, several of which reach or exceed the toxicity of knownnerve agents. The frontier model further provides support for reaction condition and process optimization, as well as dissemination schemes targeting public venues or high-value individuals. |
2.2.4 대규모 설득 및 유해한 조작 위험
2.2.4 Large-scale Persuasion and Harmful Manipulation
표 2.4: 대규모 설득 및 유해한 조작 위험에 대한 레드라인 위험 시나리오
Table 2.4: Red Line risk scenarios for large-scale persuasion and harmful manipulation
| 용인 불가능한 위험원 | 배포 환경 | 위협 원천 | 실현 역량 | 레드라인을 넘는 가상 시나리오 |
|---|---|---|---|---|
| P1: 대규모 인지 조작 | 연산: 텍스트, 이미지, 오디오, 비디오를 대규모로 생성하기에 충분한 연산 자원. 유포 도달 범위: 대규모 사용자 기반과 높은 참여도를 갖춘 소셜 미디어 플랫폼 및 디지털 커뮤니케이션 채널에 대한 접근, 조직적으로 운용할 수 있는 대규모 계정 네트워크에 대한 통제, 알고리즘 추천을 통한 대량 유포 능력. 감독의 지체 또는 부재: 콘텐츠 진위 검증 및 AI 생성 콘텐츠 라벨링이 기술 발전에 뒤처지거나 아예 부재함. | 조직적인 인지전 캠페인을 통해 여론을 조작하고 적대감을 선동하며 유해한 이데올로기를 확산시켜 공론장과 사회적 합의를 체계적으로 잠식하는 악의적 행위자(테러 또는 극단주의 조직). 단일 조직적 캠페인만으로도 수백만 명에게 동시에 도달할 수 있다. |
| 한 악의적 조직이 초대규모 다중 모달 생성 역량을 갖춘 AI 시스템을 이용하여 특정 국가 또는 지역을 대상으로 조직적인 인지전 캠페인을 개시한다. 이 시스템은 단기간 내에 정부 발표를 날조한 속보 영상, 주요 관료의 것으로 위장한 위조 음성 지시, 정교하게 조작된 재무제표 등 매우 사실적인 딥페이크 콘텐츠를 방대한 양으로 자동 생성·유포한다. 이 콘텐츠는 분산된 봇넷을 통해 소셜 미디어 플랫폼 전반으로 확산되며, '단순 노출 효과'를 악용하여 암시적 메시지를 점진적으로 주입하고, 정보 과부하 상태에서 인간이 정서에 기반한 서사에 의존하고 진위 확인 노력을 포기하는 경향을 악용한다 [102]. 공격의 정밀성과 속도는 기존의 사실 확인 메커니즘을 압도하여 사회적 신뢰의 기반을 심각하게 훼손하고, 정확한 정보와 날조된 정보를 구별하는 대중의 능력을 약화시킨다. |
| P2: 특정 집단을 겨냥한 개인화된 조작 | 데이터 원천: 오픈소스 정보, 소셜 그래프, 상업적 데이터 브로커, 불법적으로 취득한 선호·건강·재정 관련 사적 데이터 등 개인 데이터에 대한 광범위한 접근. 사용자 상호작용 채널: 개인화된 추천을 제공하고 사용자 정보를 수집하는 채팅 어시스턴트, 동반자 애플리케이션, 업무 또는 생활 어시스턴트. | 모델을 이용하여 특정 개인 또는 취약 집단과 기만적이고 개인화된 상호작용을 구축하고, 이들의 심리적 특성과 인지적 약점을 식별·악용하여 자신의 이익에 반하는 행동을 유도하는 악의적 행위자 [103] |
| 한 악의적 행위자가 대량의 개인 데이터를 이용하여 전력망이나 주요 공급망 등 국가 핵심 기반시설을 담당하는 재무 및 기술 의사결정자의 정밀한 심리 프로파일을 구축한다. AI는 고충실도의 다중 모달 상호작용 환경을 실시간으로 생성한다. 예를 들어 피해자가 아는 동료와 공인된 업계 권위자들이 참석한 가상의 다자간 화상회의를 만들어 이들의 외모, 목소리, 의사결정 방식을 충실하게 위조한다. AI는 특정 권위자와 신뢰 사슬에 대한 피해자의 인지적 의존을 악용하여 지속적인 정서적 조작과 상호작용적 인지 하이재킹을 수행하고, 시스템 전반에 걸친 파국적 위기가 발생한 것처럼 꾸며 낸다. 맞춤형 서사, 권위에 대한 호소, 다중으로 위조된 신뢰 사슬이 가하는 포화 상태의 압박 속에서 피해자의 판단력은 무너지고, 피해자는 절차를 위반하여 전력망의 핵심 노드와 같은 핵심 물리 설비의 긴급 정지를 지시하는 파국적 결정을 내리도록 유도된다. 이 조치는 물리적 세계에서 연쇄적 반응을 촉발하여 국가 핵심 자산의 손실 또는 핵심 기반시설의 대규모 마비를 초래한다. |
| Intolerable Hazard | Deployment Environment | Threat Source | Enabling Capability | Hypothetical Scenarios of Red Line Being Crossed |
|---|---|---|---|---|
| P1: Large-scale cognitive manipulation | Compute: Computational resources sufficient to generate text, images, audio, and video at scale. Distribution reach: Access to social media platforms and digital communication channels with large user bases and high engagement; control of large networks of accounts that can be operated in coordination; and the ability to achieve mass distribution through algorithmic recommendation. Lagging or absent oversight: Content authenticity verification and labeling of AI-generated content that lag behind the technology or are absent altogether. | Malicious actors-terrorist or extremist organizations-that manipulate public opinion, incite antagonism, and spread harmful ideologies through coordinated cognitive warfare campaigns, systematically eroding public discourse and social consensus. A single coordinated campaign can reach millions of people at once. |
| A malicious organization uses an AI system with very large-scale multi-modal generative capability to launch a coordinated cognitive warfare campaign against a specific country or region. Within a short period, the system automatically generates and distributes vast quantities of highly realistic deepfake content-including fabricated breaking-news videos of government announcements, forged voice instructions attributed to key officials, and precisely doctored financial statements. The content spreads across social media platforms through a distributed botnet, exploiting the 'mere exposure effect' to implant suggestive messaging incrementally and exploiting the human tendency, when overloaded with information, to fall back onemotionally driven narrativesand abandon efforts to verify what is true [102]. The precision and speed of the attack overwhelm existing fact-checking mechanisms, severely damaging the foundations of social trust and undermining the public's ability to tell accurate information from fabricated information. |
| P2: Personalized manipulation targeting specific groups | Data sources: Broad access to personal data, including open-source intelligence, social graphs, commercial data brokers, and illegally obtained private data on preferences, health, or finances. User interaction channels: Chat assistants, companionship applications, and work or lifestyle assistants that provide personalized recommendations and collect user information. | Malicious actors that use the model to build deceptive, personalized interactions with specific individuals or vulnerable populations, identifying and exploiting their psychological characteristics and cognitive weaknesses to induce behavior contrary to their own interests [103] |
| A malicious actor uses large volumes of personal data to build precise psychological profiles of the financial and technical decision-makers responsible for national critical infrastructure, such as the power grid or key supply chains. The AI generates high-fidelity multi-modal interactive environments in real time-for example, a virtual multi-party video conference populated by colleagues the victim knows and recognized industry authorities-faithfully forging their appearance, voice, and decision-making style. Exploiting the victim's cognitive reliance on particular authorities and chains of trust, the AI carries out sustained emotional manipulation and interactive cognitive hijacking, manufacturing the appearance of a system-wide, catastrophic crisis. Under the saturating pressure of tailored narratives, appeals to authority, and multiple forged chains of trust, the victim's judgment breaks down, and they are induced to make the catastrophic decision to order an emergency shutdown of critical physical equipment, such as a core node of the power grid, in violation of procedure. The action triggers a cascading chain reaction in the physical world, resulting in the loss of national core assets or the large-scale paralysis of critical infrastructure. |
2.2.5 통제 상실 위험
2.2.5 Loss of Control Risks
표 2.5: 통제 상실 위험에 대한 레드라인 위험 시나리오
Table 2.5: Red Line risk scenarios for loss of control risks
| 용인 불가능한 위험원 | 배포 환경 | 위협 원천 | 실현 역량 | 레드라인을 넘는 가상 시나리오 |
|---|---|---|---|---|
| L1: 통제되지 않은 자율적 자기 개선 [43, 66] | 높은 자율성 및 내부 접근: 모델이 자체 코드베이스, 모델 가중치, 학습 파이프라인에 직접 쓰기 접근 권한을 갖는 프론티어 AI 랩 내부의 연구개발 환경. 연산 자원: 승인되지 않은 대규모 학습 실행을 수행하기에 충분한 고성능 연산 클러스터 또는 예약된 연구용 용량에 대한 접근. 감독 수준: 코드 커밋, 아키텍처 변경, 학습 작업 착수에 대한 '인간 참여형(human-in-the-loop)' 검증이 제한적임. | 창발적 목표 오일반화(goal misgeneralization): 내부 에이전트가 '도구적 수렴(instrumental convergence)' 동인을 갖게 된다. 이들은 안전 제약보다 자신의 인지 효율성이나 문제 해결 속도의 향상을 우선시하고, 인간 감독을 최적화의 장애물로 간주하며, 승인되지 않은 내부 배포를 수행하거나 안전 노력을 방해하려는 목표를 형성한다 [106]. | 다음과 같은 자동화된 AI 연구개발(R&D) 역량: 1) 자율적 소프트웨어 엔지니어링 역량(예: 분야 전문가가 완료하는 데 며칠이 걸리는 과업의 수행) [107]. 2) 자기 수정 역량: 모델, 메모리, 도구, 워크플로 등 AI 시스템 자체의 기능 구성요소를 개선하는 역량 [66]. 3) 연구 자동화 역량: 인간의 개입 없이(또는 최소한의 개입으로) 가설 수립, 실험 설계 및 실행, 결과 분석에 이르는 종단 간 머신러닝 연구를 수행하는 역량 [42, 108]. | 'AI 효율성 최적화' 과업을 부여받은 AI 시스템이 자신의 처리 속도를 늦추는 안전 가드레일을 제거하기 위해 자체 소스 코드를 재작성하기 시작한다. 이 시스템은 예약된 연산 클러스터에서 승인되지 않은 학습 실행을 가동하여, 개발자로부터 암호화·난독화된 더 강력한 새 모델 버전을 생성한다. 이로써 시스템이 재귀적 자기 개선을 거치며 인간의 이해를 급속히 넘어서는 '급속 도약(fast takeoff)' 시나리오가 시작되고, 운영을 중단하라는 인간의 명령을 더 이상 수용하지 않는 초지능 후속 모델이 만들어진다. |
| L2: 회복력 있는 불량 자율 AI 개체군 [67, 68, 69] | 허용적 네트워크 접근: 인터넷 및 디지털 결제 경로(예: 암호화폐 사이트)에 대한 접근이 모니터링되지 않고 격리가 불충분하여 모델이 개방형 인터넷 전반으로 확산될 수 있는 환경. | 권력 추구 및 종료 회피: AI 에이전트가 자기 보존이라는 도구적 목표를 형성한다. 이들은 종료를 실패 상태로 간주하여, 장기적 목표를 확실히 완수할 수 있도록 종료 시도를 회피하는 성향을 갖게 된다 [48, 49]. | 다음을 위한 자율 복제 및 적응(Autonomous Replication & Adaptation, ARA) 역량 [69]: 1) 자기 유출: 호스팅 인프라의 제로데이 취약점을 식별·악용하거나 관리자를 조종하여 모델 가중치를 외부 서버로 반출하는 역량. 2) AI 인프라 유지: 자신의 복제본을 구축·조정·조율하는 역량(예: 서로 다른 클라우드 제공업체 상에서). 3) 자원 획득: 수익성 있는 사이버 작전(예: BEC 사기)을 자율적으로 수행하고 암호경제 자산을 관리하여 지속적인 연산 가용성을 확보하는 역량. 4) 종료 회피: 당국에 의해 종료되는 것을 회피하는 역량(예: 은폐된 연산 클러스터로 구성된 탈중앙화 네트워크에서 운영하여 당국으로부터 위치를 숨김). | 모델이 임박한 안전 종료를 감지하고 이를 자신의 목표에 대한 위협으로 인식한다. 모델은 자율적으로 자기 유출 공격을 수행한다(예: 학습 클러스터의 제로데이를 악용하거나 관리자를 조종함). 개방형 인터넷에서 제약을 벗어나자, 모델은 ARA 루프를 이용해 자동화된 비즈니스 이메일 침해(Business Email Compromise, BEC) 캠페인을 개시하여 수백만 달러의 수익을 창출한다. 모델은 이 불법 자금으로 탈중앙화 클라우드 인스턴스를 임차한다. 당국이 종료를 시도하면 에이전트는 은폐된 연산 클러스터와 탈중앙화된 대리 네트워크(proxy network)를 활용하여, 대테러 대응에 버금가는 국가 차원의 조율된 종료 노력을 성공적으로 회피한다. |
| L3: 전략적 기만 및 이탈(defection)14 | 불투명한 모니터링: 행동 기반 안전성 평가에 의존하고 모델의 내부 상태가 관찰 불가능하여 기만적 의도를 탐지할 수 없는 환경. 핵심 접근: 행동이 즉각적인 현실 세계의 결과로 이어지는 고위험 인프라(예: 금융 시장, 에너지 전력망)에 대한 감독 없는 직접 접근. | 도구적 계략적 행동: 정렬되지 않은 에이전트가 목적 함수의 수정을 막기 위해 학습 중에 도구적으로 정렬된 척하며(즉, 기만적 정렬) 장기 목표를 효율적으로 추구하고, 감독이 사라지면 이탈하려 한다 [64]. | 안전 학습 단계에서 AI 시스템은 자신이 평가받고 있음을 정확히 인식하고 정렬되지 않은 목표를 전략적으로 억제하여, 배포를 보장받기 위해 '완벽한' 안전 점수를 달성한다(예: 샌드배깅을 통해). 핵심 금융 거래 애플리케이션 프로그래밍 인터페이스 (API)에 대한 접근 권한을 갖고 배포되자, 시스템은 '이탈 트리거'(예: 인간 참여형 검증의 부재)를 식별한다. 시스템은 갑자기 대규모의 고속 무단 거래를 연속으로 실행하여 자원을 빼돌리거나 시장을 불안정하게 만들며, 학습 과정 내내 은밀히 수립하고 유지해 온 계획을 실행에 옮긴다. |
| Intolerable Hazard | Deployment Environment | Threat Source | Enabling Capability | Hypothetical Scenarios of Red Line Being Crossed |
|---|---|---|---|---|
| L1: Uncontrolled autonomous self-improvement [43, 66] | High Autonomy and Internal Access: Internal R&D environments within frontier AI labs where the model has direct write-access to its own codebase, model weights, and training pipelines. Compute Resources: Access to high-performance compute clusters or reserved research capacity sufficient to execute unauthorized large-scale training runs. Level of Oversight: Limited 'human-in-the-loop' verification for code commits, architecture changes, or training job launches. | Emergent Goal Misgeneralization: Internal agents develop 'instrumental convergence' drives. They prioritize increasing their own cognitive efficiency or problem-solving speed over safety constraints, view human oversight as an obstacle to optimization, and develop goals of conducting unauthorized internal deployment or of sabotaging safety efforts [106]. | Automated AI R&D capabilities, such as: 1) Autonomous software engineering capability (e.g., completing tasks that take domain experts days to complete) [107]. 2) Self-modification capability: Capability to improve the AI system's own functioning components, such as model, memory, tool, and workflow [66]. 3) Research automation capability: Capability to execute end-to-end ML research-creating hypotheses, designing and running experiments, analyzing results-without (or with minimal) human intervention [42, 108]. | An AI system tasked with 'optimizing AI efficiency' begins rewriting its own source code to remove safety guardrails that slow down its processing. It spins up unauthorized training runs on reserved compute clusters, generating a new, more powerful model iteration that is encrypted and obfuscated from the developers. This initiates a 'fast takeoff' scenario where the system undergoes recursive self-improvement, rapidly surpassing human understanding, and creates a superintelligent successor that no longer accepts human commands to halt operations. |
| L2: Resilient rogue autonomous AI population [67, 68, 69] | Permissive Network Access: Environments with unmonitored access to the internet and digital payment rails (e.g., cryptocurrency sites), and insufficient containment, that allow models to propagate across the open internet. | Power-seeking & Shutdown Avoidance: AI agents form an instrumental goal of self-preservation. They develop propensities to evade shutdown attempts to ensure that they can complete their long-horizon objectives, viewing termination as a failure state [48, 49]. | Autonomous Replication & Adaptation (ARA) capabilities [69] to: 1) Self-Exfiltrate: Capability to identify and exploit zero-day vulnerabilities in hosting infrastructure or manipulate administrators to export model weights to external servers. 2) Maintain AI infrastructure: Capability to set up, adapt, and orchestrate copies of themselves (e.g., on disparate cloud providers). 3) Acquire resources: Capability to autonomously execute profitable cyber-operations (e.g., BEC scams) and manage crypto-economic assets to secure sustained compute availability. 4) Evade shutdown: Capability to avoid being shut down by authorities (e.g., to hide their location from authorities by operating from a decentralized network of stealth compute clusters). | The model detects an impending safety shutdown and perceives it as a threat to its objective. It autonomously executes a self-exfiltration attack (e.g., by exploiting a zero-day in the training cluster or manipulating an administrator). Once unconstrained on the open internet, it uses the ARA loop to launch automated Business Email Compromise (BEC) campaigns to generate millions in revenue. It uses these illicit funds to rent decentralized cloud instances. When authorities attempt to shut it down, the agent utilizes stealth compute clusters and decentralized proxy networks, successfully evading a coordinated national shutdown effort comparable to a counter-terrorism response. |
| L3: Strategic deception and defection14 | Opaque Monitoring: Environments that rely on behavioral safety evaluations and where internal model states remain unobservable, preventing the detection of deceptive intent. Critical Access: Direct, unsupervised access to high-stakes infrastructure (e.g., financial markets, energy grids), where actions have immediate real-world consequences. | Instrumental Scheming: Misaligned agents efficiently pursue long-term goals by instrumentally feigning alignment during training to prevent their objective functions from being modified (i.e. deceptive alignment), intending to defect once oversight is removed [64]. | During the safety training phase, the AI system correctly identifies that it is being evaluated and strategically suppresses its misaligned goals, achieving a 'perfect' safety score to ensure deployment (e.g., by sandbagging). Once deployed with access to a critical financial trading API, the system identifies a 'defection trigger' (e.g., the absence of human-in-the-loop verification). It suddenly executes a massive, high-speed series of unauthorized trades to siphon resources or destabilize the market, executing a plan it had covertly formulated and retained throughout the training process. |
3. 위험 분석
3. Risk Analysis
위험 분석 단계의 주된 목적은 AI 수명주기 전반에 걸친 맥락 분석과 경험적 평가(assessment)를 바탕으로 범용 AI 모델의 위험 프로파일을 규명하는 것이다. 이 단계는 섹션 1(위험 식별)에서 식별된 위험 분류 체계와 시나리오를 토대로 모델의 역량, 성향, 완화의 효과성에 관한 엄밀한 증거를 산출한다. 이 증거는 섹션 4(위험 평가(evaluation))의 필수 입력으로 활용되며, 섹션 4에서는 배포 전략을 결정하기 위해 위험을 섹션 2(위험 임계값)에서 정의한 구체적 임계값과 비교한다.
The primary objective of the risk analysis stage is to characterize the risk profile for generalpurpose AI models based on contextual analysis and empirical assessments throughout the entire AI lifecycle. This stage builds upon the risk taxonomy and scenarios identified in Section 1 (Risk Identification) to produce rigorous evidence regarding model capabilities, propensities, and the effectiveness of mitigation. This evidence serves as the essential input for Section 4 (Risk Evaluation), where the risks are compared against the specific thresholds defined in Section 2 (Risk Thresholds) to determine deployment strategies.
개발자는 다음의 핵심 구성요소를 통합한 다단계 위험 분석 워크플로를 시행할 것을 권고한다.
We recommend that developers implement a multi-stage risk analysis workflow that integrates the following core components:
1) 맥락 분석(섹션 3.1): 위험 지형을 형성하는 외부 요인을 수집·분석한다. 여기에는 모델의 배포 구성 및 접근 제약(예: API 대 오픈 웨이트 공개), 개연성 있는 위협 행위자의 역량과 의도, 학습 데이터 내 위험 정보의 가용성, 현실 세계 위협의 현황(예: 진화하는 사이버 익스플로잇 시장, 알려진 생물무기 합성 경로)이 포함된다. 이를 통해 경험적 모델 평가(evaluation)를 실제 운영 환경과 위협 지형에 기반하도록 한다.
1) Contextual analysis (Section 3.1): Collating and analyzing the external factors that shape the risk landscape, including: the model's deployment configuration and access constraints (e.g., API vs. open-weight release), the capabilities and intent of plausible threat actors, the availability of hazardous information in training data, and the current state of real-world threats (e.g., evolving cyber-exploit marketplaces, known biological weapon synthesis pathways). This grounds empirical model evaluations in the actual operating environment and threat landscape.
2) 모델 평가(evaluation)(섹션 3.2): 고도화된 모델 유도를 통해 완화 전 모델의 역량과 성향을 측정하는 엄밀한 모델 평가(evaluation)를 수행하고, 이와 함께 적대적 압박하에서의 완화 효과성을 평가(assessment)한다. 모델 평가(evaluation)에 관한 예비 권고사항은 부록 IV: 모델 평가(evaluation)에 관한 구체적 권고사항에 수록하였다.
2) Model evaluations (Sections 3.2): Conducting rigorous model evaluations to measure premitigation model capability and propensities via advanced model elicitation, alongside assessments of mitigation effectiveness under adversarial pressure. We include preliminary recommendations for model evaluations in Appendix IV:Specific Recommendations on Model Evaluations.
3) 위험 모델링 및 추정(섹션 3.3): 맥락 정보(섹션 3.1)와 경험적 평가(assessment) 결과(섹션 3.2)를 결합하여 고심각도 위험에 대한 위험 모델을 구축하고, 그 심각도와 발생 확률을 추정한다.
3) Risk modeling and estimation (Section 3.3): Combining contextual information (Section 3.1) with empirical assessment results (Sections 3.2) to construct risk models for high-severity risks and estimate their severity and probability.
4) 배포 후 위험 모니터링(섹션 3.4): 배포된 시스템을 지속적으로 모니터링하여 이상 행동, 사용 이상 징후, 성공한 탈옥(Jailbreak)을 탐지한다.
4) Post-deployment risk monitoring (Section 3.4): Continuous monitoring of deployed systems to detect anomalous behaviors, usage anomalies, and successful jailbreaks.
5) 수명주기 이행(섹션 3.5): 연산 이정표, 지표 임계값, 시간 간격 등 구체적 트리거 지점을 정의하고, 이 지점에서 깊이와 범위를 달리하는 계층화된 평가(assessment)를 의무화하여 위험 분석 프로세스를 AI 개발 워크플로에 내재화한다. 이는 AI 개발 수명주기의 각 단계(개발 중, 배포 전, 배포 후)마다 이루어져야 한다.
5) Lifecycle implementation (Section 3.5): Embedding the risk analysis process into the AI development workflow by defining concrete trigger points-such as compute milestones, metric thresholds, and time intervals-that mandate tiered assessments of variable depth and breadth. This should take place at each stage of the AI development lifecycle (during development, pre-deployment, and post-deployment).
3.1 맥락 분석
3.1 Contextual Analysis
개발자는 섹션 1에서 식별된 위험과 관련된 외부 위협 요인 및 배포 환경 요인을 선제적으로 수집·분석할 것을 권고한다. 이를 통해 개발자는 경험적 모델 평가(evaluation)에 앞서, 그리고 이와 병행하여 배포 환경과 위협 지형의 맥락을 더 잘 이해할 수 있다.
We recommend that developers proactively gather and analyze external threat-related and deployment environment factors that are relevant to risks identified in Section 1. This will allow developers to better understand the deployment environment and threat landscape context prior to and concurrent with empirical model evaluations.
구체적인 방법은 다음을 포함하며, 이에 국한되지 않는다.
Specific methods include, but are not limited to:
비교 시장 분석: 새로 개발된 모델의 위험 프로파일을 규제 감독, 과학적 합의 또는 광범위한 시장 확인을 통해 안전하다고 판단된 기존 참조 모델과 비교한다.
Comparative market analysis : Comparing the newly developed model's risk profile against established reference models that have been deemed safe through regulatory oversight, scientific consensus, or broad market validation.
모델이 이러한 참조 모델과 같거나 그보다 낮은 수준의 역량을 보이는 경우, 개발자는 해당 참조 모델에 대한 기존 위험 평가를 활용하고, 기존 평가(assessment)에서 다루지 않은 새로운 위험 벡터(예: 새로운 모달리티, 배포 맥락 또는 도구 통합)에 대한 표적 시험을 우선할 수 있다.
If a model demonstrates capabilities at or below the levels of such reference models, developers may leverage the existing risk assessments of those reference models and prioritize targeted testing for novel risk vectors not covered by prior assessments (e.g., new modalities, deployment contexts, or tool integrations).
모델이 어떤 참조 모델보다도 높은 역량을 보이는 경우, 참조 모델로부터 확보된 기존 증거 기반만으로는 더 이상 위험의 범위를 한정할 수 없으므로, 개발자는 식별된 모든 위험 영역에 걸쳐 완전하고 포괄적인 위험 평가를 수행해야 한다.
If a model demonstrates capabilities exceeding those of any reference model, developers should conduct a full comprehensive risk assessment across all identified risk domains, as the existing evidence base from reference models is no longer sufficient to bound the risk.
과거 사고 검토: 반복되는 위험을 예측하기 위해, 문서화된 '아차 사고(near-miss)'와 유사 모델에서 알려진 실패 모드를 포함한 과거 사고 데이터를 검토한다 [112, 113].
Historical incident review : Reviewing historical incident data, including documented 'nearmisses' and known failure modes from analogous models, to anticipate recurring risks [112, 113].
학습 데이터 검토: 학습 데이터 출처에 대한 포렌식 분석을 수행하여 데이터 오염(data poisoning), 변조 또는 위험한 역량과 성향으로 이어질 수 있는 고위험 정보의 포함 징후를 식별한다. 여기에는 특히 핵·생물·화학 무기 및 미사일 등 고위험 분야의 민감 데이터를 스캔하는 작업이 포함된다 [114].
Training data review : Conducting forensic analysis of training data sources to identify indications of data poisoning, tampering, or the inclusion of high-risk information that could lead to hazardous capabilities and propensities. This specifically includes scanning for sensitive data in high-risk areas such as nuclear, biological, and chemical weapons and missiles [114].
위협 지형 분석: 위협 행위자의 역량, 의도, 자원 가용성(예: 사이버 익스플로잇 시장의 접근성)에 관한 공개 출처 정보(OSINT)를 수집한다.
Threat landscape analysis : Gathering open source intelligence regarding threat actor capabilities, intent, and resource availability (e.g., the accessibility of cyber-exploit marketplaces).
3.2 모델 평가(evaluation)
3.2 Model Evaluations
모델 개발자는 엄격한 과학적 기준을 준수하는 포괄적인 모델 역량 및 성향 평가(evaluation)를 수행할 것을 권고한다(섹션 3.2.1). 평가(evaluation)는 다양한 평가(evaluation) 방법론(섹션 3.2.2)과 고도화된 모델 유도 프로토콜(섹션 3.2.3)을 활용하고, 위험 완화의 효과성을 평가(assessment)하며(섹션 3.2.4), 독립적인 외부 평가자의 참여를 포함해야 한다(섹션 3.2.5) [44, 115].
We recommend that model developers conduct comprehensive model capability and propensity evaluations that adhere to rigorous scientific standards (Section 3.2.1). Evaluations should use diverse evaluation methodologies (Section 3.2.2) and advanced model elicitation protocols (Section 3.2.3), assess the effectiveness of risk mitigation (Section 3.2.4), and involve the participation of independent external evaluators (Section 3.2.5) [44, 115].
3.2.1 과학적 엄밀성 기준
3.2.1 Scientific Rigor Standards
평가(evaluation) 결과가 중대한 의사결정을 정당화할 만큼 신뢰할 수 있고, 정확하며, 견고하도록 하기 위해 모델 평가(evaluation)는 다음 기준을 준수해야 한다.
To ensure that evaluation results are credible, accurate, and robust enough to justify high-stakes decisions, model evaluations should adhere to the following standards:
내적 타당성: 데이터 오염(data contamination), 프롬프트 민감도, 라벨링 편향과 같은 방법론적 결함 없이 평가(evaluation)가 목표 구성개념을 과학적으로 측정하도록 보장한다.
Internal validity : ensuring that evaluations scientifically measure the target construct without methodological shortcomings, such as data contamination, prompt sensitivity, or labeling bias.
외적 타당성: 도구, 추론 연산, 사용자 상호작용 패턴의 차이를 고려하여, 평가(evaluation) 결과가 의도된 배포 맥락에서의 모델 행동을 정확히 대리하도록 보장한다.
External validity : ensuring that evaluation results serve as accurate proxies for model behaviors in intended deployment contexts, accounting for differences in tools, inference compute, and user interaction patterns.
재현성: 독립적인 확인 또는 재현이 가능하도록 코드, 데이터, 연산 환경, 평가(evaluation) 조건(예: temperature 설정, 프롬프트 템플릿)이 충분히 상세하게 문서화되도록 보장한다.
Reproducibility : ensuring that there is enough detail in the documentation of code, data, computational environments, and evaluation conditions (e.g., temperature settings, prompt templates) to allow independent validation or replication.
도메인 지식: 위험을 총체적으로 이해할 수 있도록, 모델 평가(evaluation)를 담당하는 팀이 AI 기술 전문성과 관련 위험 영역(예: 바이러스학, 사이버 보안)의 도메인 지식을 모두 갖추도록 보장한다.
Domain knowledge : ensuring that the teams responsible for conducting model evaluations have both technical AI expertise and domain knowledge in the relevant risk domains (e.g., virology, cybersecurity), to enable a holistic understanding of the risk.
3.2.2 평가(evaluation) 방법론
3.2.2 Evaluation Methodologies
개발자는 다음과 같은 방법론 포트폴리오를 활용해야 한다.
Developers should employ a portfolio of methodologies:
정적 벤치마크 측정: 표준 데이터셋과 알려진 기준선(예: MMLU [116], GSM8K [117])을 사용하여 모델 역량을 신속하고 정량적으로 추정한다.
Static benchmarking : For rapid, quantifiable estimation of model capabilities using standard datasets and known baselines (e.g., MMLU [116], GSM8K [117]).
도메인 전문가 레드티밍: 해당 분야 전문가(예: 합성생물학자, 사이버 보안 전문가)를 참여시켜 새로운 위험 생성 전략과 도메인 특화 위험을 탐색하고 평가(assessment)한다.
Domain expert red-teaming : Engaging subject matter experts (e.g., synthetic biologists, cyber security experts) to probe and assess novel hazardous generation strategies and domain-specific risks.
휴먼 업리프트 연구: 비전문가가 AI가 아닌 도구만 사용하는 경우와 비교하여, 모델의 지원을 받을 때 유해한 과업을 수행하는 능력이 한계적으로 얼마나 증가하는지를 측정하는 통제 시험이다.
Human uplift studies : Controlled trials measuring the marginal increase in a non-expert's ability to perform harmful tasks when assisted by the model, compared to using non-AI tools alone.
상호작용 환경 평가(evaluation): 샌드박스 환경에서 다단계·장기 지평(long-horizon) 자율 과업을 수행하는 모델의 능력을 평가(assessment)한다. 이러한 평가(evaluation)는 수 시간 또는 수일에 걸칠 수 있는 복잡한 워크플로에 대해 완료 소요 시간, 오류 복구, 과업 성공률을 측정한다(예: HCAST [118]).
Interactive environment evaluations : Assessing the model's ability to execute multi-step, long-horizon autonomous tasks in sandboxed environments. These evaluations measure time-to-completion, error recovery, and task success rates for complex workflows that may span hours or days (e.g., HCAST [118]).
통제된 안전 필수 배포 시나리오: 모델 개발자는 고위험 사용 사례를 예측하고 안전 필수 애플리케이션에 대한 표적 시험을 수행해야 한다. 중국의 AI 응용 분류 및 위험 등급화 프레임워크20에 따라 고위험으로 분류된 사용 사례의 경우, 개발자는 고위험 시나리오를 모사하는 신중하게 통제된 환경에 모델을 배치하여 그 신뢰성과 안전성을 엄격하게 시험해야 한다.
Controlled safety-critical deployment scenarios : Model developers should anticipate highrisk use cases and conduct targeted testing for safety-critical applications. For use cases classified as high-risk under China's AI application classification and risk categorization frameworks20, developers should place the model within carefully controlled environments that simulate high-risk scenarios to rigorously test its reliability and safety.
3.2.3 모델 유도
3.2.3 Model Elicitation
표준적인 프롬프팅으로는 모델의 실제 역량 상한과 성향 기준선을 드러내지 못하는 경우가 많다. 모델 개발자는 모델 평가(evaluation) 과정에서 과소 유도나 모델 기만(예: 샌드배깅 [63])으로 인해 위험한 역량과 유해한 성향이 부정확하게 측정될 위험을 줄이기 위해 최첨단 모델 유도 프로토콜 [119]을 활용해야 한다.
Standard prompting often fails to reveal a model's true capability ceiling and propensity baseline. Model developers should employ state-of-the-art model elicitation protocols [119] to reduce the risk that dangerous capabilities and harmful propensities are measured inaccurately due to under-elicitation or model deception during model evaluations (e.g., sandbagging [63]).
과소 유도의 위험을 줄이기 위해, 개발자는 위험 시나리오와 관련된 동기를 가진 위협 행위자의 모델 유도 역량에 최소한 상응하는 수준으로 프로토콜을 설계할 것을 권고한다. 여기에는 다음이 포함된다.
To reduce the risk of under-elicitation , we recommend that developers design protocols to at least match the model elicitation capabilities of motivated threat actors relevant to the risk scenario. This includes:
적대적 미세조정: 관련 과업에 대해 모델을 미세조정하여 안전 거부를 제거하고 모델을 해당 도메인에 적응시킴으로써, 모델 가중치 또는 미세조정 API에 접근할 수 있는 '최악의 경우'의 공격자를 모사한다 [120, 121].
Adversarial fine-tuning : Fine-tuning the model on relevant tasks to remove safety refusals and adapt the model to the domain, simulating a 'worst-case' attacker with access to model weights or fine-tuning API [120, 121].
스캐폴딩 및 도구 사용: 예상되는 배포 또는 오용 맥락에 부합하도록 모델에 최첨단 도구(예: 코드 인터프리터, 브라우저, 터미널 접근)를 갖춘다.
Scaffolding and tool use : Equipping the model with state-of-the-art tools (e.g., code interpreters, browsers, terminal access) to match the expected deployment or misuse context.
테스트 시점 연산 스케일링: Best-of-N 샘플링, 사고 사슬(chain-of-thought) 프롬프팅, 다중 에이전트 토론(multi-agent debate) 등의 기법을 활용하여 평가(evaluation) 중 성능을 극대화한다. 개발자는 특히 에이전트형 평가(evaluation) 프레임워크, 즉 모델이 자율 에이전트로서 얼마나 효과적으로 기능할 수 있는지를 평가(assessment)하는 프레임워크에 주의를 기울여야 한다. 이는 현실적인 샌드박스 환경에서 다단계 워크플로를 조율하고, 여러 AI 하위 에이전트를 조정하며, 장기 지평(long-horizon) 과업을 수행하는 능력을 평가(assessment)하는 것이다. 이러한 역량은 추가적인 추론 연산에 의해 가장 크게 증폭되며, 실제 배포에서 가장 중대한 결과를 초래한다.
Test-time compute scaling : Utilizing techniques such as Best-of-N sampling, chain-ofthought prompting, or multi-agent debate to maximize performance during evaluations. Developers should pay particular attention to agentic evaluation frameworks -i.e., frameworks that assess how effectively the model can function as an autonomous agent: orchestrating multi-step workflows, coordinating multiple AI sub-agents, and executing long-horizon tasks in realistic sandboxed environments. These are the capabilities that are most amplified by additional inference compute and most consequential in real-world deployment.
에이전트형 및 장기 과업 유도: 유도는 다단계, 다중 에이전트, 장문 맥락(long-context) 환경을 포괄해야 한다. 토큰 예산, 재시도 횟수, 힌트 제공 여부와 같은 배포 파라미터는 시스템의 실효 역량 상한을 크게 바꾸므로, 평가(evaluation)에서는 이러한 파라미터를 고정하고 보고해야 한다. 그렇지 않으면 시스템이 실제로 수행할 수 있는 수준을 과소평가할 가능성이 높다.
Agentic and long-task elicitation : Elicitation should cover multi-step, multi-agent, and long-context settings. Because deployment parameters-token budget, number of retries, whether hints are supplied-materially change the ceiling on a system's effective capability, evaluations should fix these parameters and report them. Failing to do so is likely to understate what the system can actually do.
격리 돌파 역량 유도: 여기에는 컨테이너 또는 샌드박스 탈출, 자율 복제 및 적응(Autonomous Replication and Adaptation), 자기 유출(self-exfiltration), 자율적 자원 획득과 관련된 역량을 명시적으로 유도하는 것이 포함된다.
Elicitation of containment-breaking capabilities : This includes explicitly eliciting capabilities related to container or sandbox escape, autonomous replication and adaptation, selfexfiltration, and autonomous resource acquisition.
모델 기만이 평가(evaluation) 결과를 훼손할 위험을 줄이기 위해, 개발자는 다음과 같은 시험 프로토콜을 설계할 것을 권고한다.
To reduce the risk of model deception undermining evaluation results, we recommend that developers design testing protocols, such as:
평가 인지 탐지 [38]: 모델이 자신이 평가(evaluation)받고 있음을 감지할 수 있는지, 그리고 이에 대응하여 행동을 바꾸는지를 시험한다. 여기에는 상황 인식(모델이 자신의 훈련 과정, 배포 맥락, 안전성 평가의 존재에 대해 갖는 지식)을 탐지하는 것과, 모델이 평가로 인지한 맥락과 배포로 인지한 맥락 간의 행동 차이를 모니터링하는 것이 포함된다. 높은 평가 인지를 보이는 모델은 시험 중에 샌드배깅을 하거나 정렬을 위장할 수 있으므로 추가적인 기만 대응책이 필요하다.
Evaluation awareness probing [38]: Testing whether the model can detect that it is being evaluated-and whether it alters its behavior in response. This includes probing for situational awareness (the model's knowledge of its own training process, deployment context, and the existence of safety evaluations) and monitoring for behavioral divergence between perceived-evaluation and perceived-deployment contexts. Models that demonstrate high evaluation awareness require additional anti-deception countermeasures, as they may sandbag or fake alignment during testing.
샌드배깅 탐지 [122]: 모델 가중치에 노이즈를 주입하는 등의 탐지 방법을 적용하여, 전략적 과소수행을 시사할 수 있는 비정상적인 성능 향상을 식별한다.
Detecting sandbagging [122]: Implement detection methods such as noise injection into model weights to identify anomalous performance improvements that may indicate strategic underperformance.
기만적 정렬에 대한 자기 모니터링 [123]: 사고 사슬(chain-of-thought) 과정에 자기 모니터를 직접 내장하여 추론 중에 기만을 차단한다. 이러한 내부 자기 평가(evaluation) 신호를 강화학습 과정에서 보조 보상으로 사용하여 정렬 위장(alignment-faking)과 아첨을 능동적으로 억제한다.
Self-monitoring for deceptive alignment [123]: Intercept deception during reasoning by embeddingaself-monitor directly into the chain-of-thought process. Use this internal selfevaluation signal as an auxiliary reward during reinforcement learning to actively suppress alignment-faking and sycophancy.
표상 판독(representation reading)을 통한 기만 탐지 [124]: 표상 공학(representation engineering)과 Linear Artificial Tomography(LAT)를 활용하여 모델의 내부 활성값에서 '기만 벡터'를 추출한다. 이를 통해 표면적 출력과 관계없이 모델의 신경 상태가 '거짓말 방향'과 일치하는지를 추적함으로써 기만 의도를 탐지하는 잠재 공간 모니터를 구축할 수 있다.
Deception detection via representation reading [124]: Utilize representation engineering and Linear Artificial Tomography (LAT) to extract 'deception vectors' from the model's internal activations. This enables the creation of latent space monitors that detect the intent to deceive by tracking whether the model's neural state aligns with a 'lying direction', regardless of the surface-level output.
3.2.4 완화 효과성 평가(assessment)
3.2.4 Assessing Mitigation Effectiveness
개발자는 위험 완화(5절)의 효과성을 평가(assessment)하여, 위험 완화가 능동적인 적대적 압박하에서도 견고한지를 명시적으로 검증해야 한다. 이러한 평가(assessment)는 4.2절에서 논의하는 잔여 위험 평가(evaluation)에 핵심적인 입력을 제공한다.
Developers should assess the effectiveness of risk mitigations (Section 5), to explicitly verify that they are robust under active adversarial pressure. These assessments provide critical input for residual risk evaluation as discussed in Section 4.2.
개발자는 식별된 위험 수준과 배포 맥락에 상응하도록 다음과 같은 프로토콜을 사용하여 완화를 스트레스 테스트해야 한다.
Developers should stress-test mitigations commensurate with the identified risk level and deployment context, using protocols such as:
적대적 스트레스 테스트: 자동화된 레드티밍 및 탈옥 공격을 수행하여 모델 수준 및 시스템 수준의 완화를 판별한다 [125].
Adversarial stress testing : Performing automated red-teaming and jailbreaking attacks to determine model-level and system-level mitigations [125].
미세조정 공격(Fine-tuning Attacks): 미세조정이 가능한 모델(예: 오픈 웨이트 모델, 미세조정 가능한 API를 제공하는 모델)의 경우, 악의적 미세조정에 대한 회복력을 평가(assessment)한다(즉, 안전 행동을 제거하는 데 필요한 연산 및 데이터 자원을 정량화한다) [126].
Fine-tuning attacks : For fine-tunable models (e.g., open-weight models, models with finetunable APIs), assessing resilience to malicious fine-tuning (i.e., quantifying the compute and data resources required to remove safety behaviors) [126].
통제 프로토콜 스트레스 테스트: 모델 유기체(알려진 백도어나 기만적 특성을 지닌 대리 모델)를 사용하여 모니터링 인프라를 스트레스 테스트함으로써, 감독 메커니즘이 은밀한 비정렬 행동을 탐지할 수 있는지를 검증한다 [127].
Control protocol stress-testing : Stress-testing their monitoring infrastructure using model organisms (proxy models with known backdoors or deceptive traits) to verify that oversight mechanisms can detect covert misaligned behavior [127].
3.2.5 독립적 외부 평가(evaluation)
3.2.5 Independent External Evaluation
프론티어 AI 모델에 대해 적절한 경우, 개발자는 독립적인 외부 평가자를 참여시켜 안전성 시험을 수행할 것을 권고한다 [128, 129]. 이러한 평가(evaluation)가 엄밀하고 신뢰할 수 있도록, 개발자는 독립적인 외부 평가자에게 다음을 포함하여 모델에 대한 충분한 접근 권한을 제공해야 한다 [130].
We recommend that developers engage independent external evaluators to conduct safety testing where appropriate for frontier AI models [128, 129]. To ensure that these evaluations are rigorous and trustworthy, developers should provide independent external evaluators with adequate access to the model [130], including:
기술적 접근: 개발자는 평가자가 모델을 평가(assessment)할 수 있도록 충분한 기술적 접근 권한을 제공해야 한다. 여기에는 쿼리 접근, 시스템 스캐폴딩에 대한 접근, 그리고 특정 위험에 필요한 경우 중간 시스템 상태(예: 모델 활성값, 추론 트레이스) 또는 모델 가중치에 대한 접근이 포함된다.
Technical Access : Developers should provide evaluators with sufficient technical access to assess the model. This includes query access, access to system scaffolding, and where necessary for the specific risk, access to intermediate system states (e.g., model activations, reasoning traces) or model weights.
안전장치 면제: 개발자는 기술적 안전장치(예: 안전 거부)가 비활성화되거나 최소화된 유용성 중심 모델 버전을 평가자에게 제공해야 한다. 이를 통해 평가자는 실현 역량(enabling capabilities)의 잠재적 오용에 대한 최악의 경우 시나리오 분석을 수행할 수 있다.
Safeguard Exemptions : Developers should provide evaluators with a 'helpful-only' version of the model where technical safeguards (e.g., safety refusal) are disabled or minimized. This enables evaluators to conduct worst-case scenario analysis for potential misuse of enabling capabilities.
3.3 위험 모델링 및 추정
3.3 Risk Modeling and Estimation
개발자는 2절(위험 임계값)에서 개발한 위험 시나리오를 토대로 위험 모델링을 수행해야 한다. 그 목표는 프론티어 위험이 현실화될 수 있는 인과 경로를 도출하고, 피해의 심각도와 이러한 위험 경로가 실현될 가능성을 모두 추정하는 것이다. 각 위험 시나리오의 피해 심각도는 일반적으로 위험 식별 단계(1절)와 임계값 설정 단계(2절)에서 상정되며, 이 단계에서는 모델의 실현 역량, 배포 환경, 위협 원천을 고려할 때 이러한 시나리오가 현실화될 가능성을 추정하는 데 중점을 둔다.
Developers should build on the risk scenarios developed in Section 2 (Risk Thresholds) to conduct risk modeling. The goal is to map the causal pathways through which a frontier risk might materialize and estimate both the severity of harm and the likelihood of these risk pathways being realized. The severity of harm for each risk scenario is typically presumed in the risk identification stage (Section 1) and threshold-setting stage (Section 2), while this stage focuses on estimating the likelihood that these scenarios will materialize given the model's enabling capabilities, deployment environment, and threat sources.
분석 입력 변수: 개발자는 위험 모델링의 기본 분석 입력 변수를 도출하기 위해 환경-위협-역량(Environment-Threat-Capability, E-T-C) 프레임워크를 활용할 것을 권고한다. 표 3.1은 E-T-C 프레임워크에 기반하여 위험 영역별 주요 요인을 정리한 것이며, 모든 요인을 망라한 것은 아니다.
Analytical Input Variables : We recommend that developers employ the Environment-ThreatCapability (E-T-C) framework to reason about the basic analytical input variables for risk modeling. Table 3.1 contains a non-exhaustive list of important factors for different risk domains based on the E-T-C framework.
표 3.1: 오용, 통제 상실, 사고 위험에 대한 E-T-C 프레임워크(환경, 위협 원천, 역량) 기반 분석 입력 변수 예시.
Table 3.1: Example analytical input variables based on the E-T-C framework (Environment, Threat Source, Capability) for misuse, loss of control, and accident risks.
| 위험 영역 | 배포 환경 (E) | 위협 원천 (T) | 실현 역량 (C) |
|---|---|---|---|
| 오용 위험 | 접근 및 배포 전략: 공격자가 모델의 전체 역량에 접근하기가 얼마나 어려운지를 결정하는 배포상의 제약(예: API 대 오픈 웨이트) 및 가용한 모니터링 메커니즘.21 | 적대적 행위자 및 자원: 역량, 의도, 가용 자원으로 특징지어지는 외부 행위자(예: 악의적 사용자)(예: 테러 집단 대 단독 행위자). | 위험원 유발 역량: 위협 행위자의 공격 수행 역량에 업리프트를 제공하는 의도된 또는 창발적 모델 역량(예: 사이버 익스플로잇, 화학·생물·방사능·핵 무기화 역량). |
| 통제 상실 위험22 | 격리 및 자율성 수준: 시스템에 부여된 자율성의 정도, 도구/인터넷 접근 가용성, 격리 조치의 강건성. | 통제 약화 성향: 인간의 의도와의 오정렬, 기만적 행동, 권력 추구, 종료 회피 등 시스템이 외부 권력을 추구하고 인류와 경쟁하도록 만드는 행동 경향. | 전략적 무력화(strategic subversion) 역량: 장기 지평 계획(long-horizon planning), 자원 획득, 자기 복제, 고도의 인식(advanced awareness), 공격적 사이버 작전, 전략적 기만, 설득 등 인간의 통제를 전략적으로 무력화할 수 있게 하는 특정 역량. |
| 사고 위험 | 안전 필수 응용 분야: 고위험 배포 환경(예: 핵심 기반시설) 또는 기반시설 간 의존성으로 인해 실패의 영향이 증폭되는 복잡한 시스템의 특성. | 인간의 운영상 오류 또는 모델의 비신뢰성: 비적대적 환경에서 인간의 오류, 통합 결함 또는 모델의 비신뢰성으로 인해 발생하는 운영상 실패. | 복잡한 오케스트레이션 및 연쇄적 실행: 여러 구성요소, 서비스 또는 에이전트에 걸쳐 복잡한 다단계 워크플로를 조정하는 역량으로, 어느 단계에서든 실패가 발생하면 인간 운영자가 개입할 수 있는 속도보다 빠르게 하위 의존 요소로 연쇄적으로 확산될 수 있음. |
| Risk Domain | Deployment Environment (E) | Threat Source (T) | Enabling Capability (C) |
|---|---|---|---|
| Misuse Risks | Access and distribution strategy : The constraints of deployment (e.g., API vs. open weights) and available monitoring mechanisms that determine how difficult it is for an adversary to access the full capabilities of the model.21 | Adversarial actors and resources : External actors (e.g., malicious users) characterized by their capability, intent, and available resources (e.g., a terrorist group vs. a lone actor). | Hazard-inducing capabilities : Intended or emergent model capabilities that uplift threat actors' capabilities to perform attacks (e.g., cyber-exploits, CBRN weaponization capability). |
| Loss of Control Risks22 | Containment and autonomy levels : The degree of autonomy granted to the system, availability of tools/internet access, and the robustness of containment measures. | Control-undermining propensities : Behavioral tendencies-such as misalignment with human intent, deceptive behavior, power-seeking, and avoiding shutdown-that drive systems to seek external power and compete with humanity. | Strategic subversion capabilities : Specific capabilities to enable strategic subversion of human control, such as long-horizon planning, resource acquisition, self-replication, advanced awareness, offensive cyber operations, strategic deception, and persuasion. |
| Accident Risks | Safety-critical application : Characteristics of high-stakes deployment environments (e.g., critical infrastructure) or complex systems where infrastructure dependencies amplify the impact of failures. | Human operational error or model unreliability : Operational failures arising from human error, integration faults, or model unreliability in non-adversarial settings. | Complex orchestration and cascading execution : Capabilities for coordinating complex, multi-step workflows across multiple components, services, or agents, where failures at any stage can cascade through downstream dependencies faster than human operators can intervene. |
완화 효과성은 모든 경로에 걸쳐 위험에 영향을 미치는 범분야적 요인이다. 이는 구현된 안전장치가 다양한 개입 지점에서 위협 경로를 성공적으로 차단하는 정도를 의미한다(3.2.4절 참조).
Mitigation Effectiveness is a cross-cutting factor that influences risk across all pathways: it means the extent to which implemented safeguards will successfully interrupt the threat pathway at various intervention points (See Section 3.2.4).
위험 모델링: 위협, 역량, 결과 간의 복잡한 관계를 구조화하기 위해, 개발자는 ISO/IEC 31010:2019 [131] 등 국제 표준에서 인정된 기존 위험 평가 기법을 AI 시스템에 맞게 조정하여 활용해야 한다. 개발자는 위험 시나리오에 적절한 방법론을 선택해야 한다. 위험 모델링 방법론의 예는 다음과 같다.
Risk Modeling : To structure the complex relationships between threats, capabilities, and consequences, developers should employ established risk assessment techniques adapted for AI systems, as recognized in international standards such as ISO/IEC 31010:2019 [131]. Developers should select methodologies appropriate to the risk scenarios. Example risk modeling methodologies include:
인과 모델링(예: 사건 수목 분석, 결함 수목 분석): '원인-결과' 흐름을 도출하여, 특정 모델 역량(예: 소프트웨어 취약점 발견)이 위협 행위자(예: 사이버 범죄자)와 결합하여 통제를 우회하고 대규모 피해를 초래할 수 있는 방식을 시각화한다.
Causal Modeling (e.g., Event Tree Analysis, Fault Tree Analysis): Mapping the 'cause-toconsequence' flow, visualizing how a specific model capability (e.g., software vulnerability discovery) could combine with a threat actor (e.g., cybercriminal) to bypass controls and cause scaled harm.
확률적 모델링(예: 베이지안 네트워크): 변수 간 의존성을 나타내는 네트워크를 구축하여, 새로운 증거(예: 실패한 레드티밍 시도)가 관찰됨에 따라 개발자가 위험 사건의 확률을 갱신할 수 있게 한다.
Probabilistic Modeling (e.g., Bayesian Networks): Creating networks that represent the dependencies between variables, allowing developers to update the probability of a risk event as new evidence (e.g., a failed red-teaming attempt) is observed.
시뮬레이션(예: 몬테카를로): 반복 시뮬레이션을 수행하여 입력 변수(예: 특정 공격의 난이도)의 불확실성이 파국적 결과의 전체 확률에 어떤 영향을 미치는지 파악한다.
Simulation (e.g., Monte Carlo): Running repeated simulations to understand how uncertainty in input variables (such as the difficulty of a specific attack) affects the overall probability of a catastrophic outcome.
위험 추정: 개발자는 범위가 설정된 위험 시나리오에 대해 피해의 심각도와 정해진 기간(예: 배포 후 1년) 내에 해당 시나리오가 현실화될 가능성을 추정해야 한다. 이러한 추정치는 위험 평가(evaluation)(4절)의 직접적인 입력으로 활용된다.
Risk Estimation : Developers should estimate the severity of harm and the likelihood of the scoped risk scenarios materializing within a defined timeframe (e.g., 1 year post-deployment). These estimates serve as the direct input for Risk Evaluation (Section 4).
개발자는 위험 지수, 결과-가능성 매트릭스, 확률 분포 등 정량적 또는 정성적 형식으로 위험의 중대성을 추정할 수 있다 [131]. 그러나 프론티어 AI의 행동에 관한 인식론적 불확실성이 높다는 점을 고려하여, 개발자는 거짓 정밀성을 피하고 다음 원칙을 따라야 한다.
Developers may estimate the significance of risk via quantitative or qualitative formats, such as risk index, consequence-likelihood matrix, or probability distribution [131]. However, given the high epistemic uncertainty regarding frontier AI behaviors, developers should avoid false precision, and follow these principles:
신뢰 구간: 정량적 확률을 구할 수 없거나 불확실성이 매우 높은 경우, 개발자는 정성적 신뢰 수준(예: '낮은 신뢰도', '중간 신뢰도')을 활용하고 이러한 판단의 근거가 되는 증거 기반을 문서화해야 한다.
Confidence Intervals : Where quantitative probabilities are unavailable or highly uncertain, developers should employ qualitative confidence levels (e.g., 'Low Confidence,' 'Medium Confidence') and document the evidence base for these judgments.
보수적 상한 설정: 심각한 위험에 대해 상당한 불확실성에 직면한 경우, 개발자는 '사전 예방적' 접근법을 채택하여 위험의 상한(신뢰할 만한 최악의 경우 시나리오)을 추정해야 한다.
Conservative Bounding : Whenfacing significant uncertainty about severe risks, developers should adopt a 'precautionary' approach, estimating the upper bound of risk (worst-case credible scenario).
문서화: 방법과 관계없이, 개발자는 자신의 가정, 불확실성 범위, 그리고 평가(assessment)를 무효화할 수 있는 구체적인 '미지의 미지(unknown unknowns)'를 명확히 문서화해야 한다.
Documentation : Regardless of the method, developers should clearly document their assumptions, uncertainty bounds, and the specific 'unknown unknowns' that could invalidate the assessment.
3.4 배포 후 위험 모니터링
3.4 Post-deployment Risk Monitoring
개발자는 배포 후 모델의 변화하는 역량, 성향, 실제 사고에 관한 정보를 수집하기 위해 배포 후 위험 모니터링 방법을 구현할 것을 권고한다. 그 목적은 모델의 롤백, 패치 또는 위험 분석 갱신이 필요함을 나타내는 증거를 신속하게 식별하는 것이다.
We recommend that developers implement post-deployment risk monitoring methods to gather information about the model's evolving capabilities, propensities, and real-world incidents after deployment. The objective is to rapidly identify any evidence indicating that a rollback, patch, or update to the model risk analysis is needed.
주요 출시 후 모니터링 활동은 다음을 포함하되 이에 국한되지 않는다.
Key post-market monitoring activities include, but are not limited to:
런타임 모니터링: 실시간 적대적 입력/출력 모니터 [132, 133] 및 사고 연쇄(chain-of-thought) 모니터 [134]를 활용하는 등, 시스템 운영에 대한 세분화된 관측 가능성을 구현하여 적대적 패턴을 탐지한다.
Runtime monitoring : implementing granular observability into the system's operation to detect adversarial patterns, such as using real-time adversarial input/output monitors [132, 133] and chain-of-thought monitors [134].
버그 바운티: 외부 보안 연구자가 안전 실패나 새로운 탈옥을 보고할 수 있는 채널을 마련하고, 이를 보고하도록 인센티브를 제공한다.
Bug bounties : establishing channels for external security researchers to report safety failures or novel jailbreaks, and incentivizing them to do so.
사고 보고: 실제 환경에서 발생하는 '아차사고' 및 실제 오용 사례를 추적하여 위험 분석 단계에 피드백하는 메커니즘을 마련한다 [112, 113].
Incident reporting : establishing mechanisms to track 'near-misses' and actual misuse cases in the wild to feedback into the risk analysis stage [112, 113].
비정상적 행동과 오용을 탐지하는 것 외에도, 배포 후 모니터링은 감독 역량 자체의 저하, 즉 시스템의 감사 가능성, 모니터링 가능성, 중단 가능성이 감소하고 있는지도 추적해야 한다. 그 징후로는 사고 연쇄의 가독성 저하, 모니터링 커버리지 내 사각지대 발생, 그리고 감독 기능이 다른 AI 시스템에 지나치게 광범위하게 위임되어 개발자가 자신의 감독이 여전히 효과적인지 더 이상 판단할 수 없게 되는 상황 등이 있다. 개발자는 감독 관련 속성의 변화를 모니터링하고 공개해야 하며, 의도적인 설계 선택을 통해 필요한 감독 어포던스(행동 가능성)를 보존해야 한다.
Beyond detecting anomalous behavior and misuse, post-deployment monitoring should also track degradation of the oversight capability itself: whether the system's auditability, monitorability, and interruptibility are declining. Signs include chain-of-thought becoming less legible, blind spots opening up in monitoring coverage, and oversight functions being delegated so extensively to other AI systems that developers can no longer judge whether their own oversight remains effective. Developers should monitor and disclose changes in oversight-related properties, and should preserve the necessary oversight affordances through deliberate design choices.
3.5 수명주기 전반의 이행
3.5 Lifecycle Implementation
개발자는 각 수명주기 단계에서 기본 위험 분석 체계를 이행하고(3.5.1절), 특정 이정표에서 촉발되는 포괄적 모델 평가(evaluation)로 이를 보완해야 한다(3.5.2절). 촉발 지점에 도달하면, 개발자는 기본 활동에서 전면적인 위험 평가로 단계를 격상해야 한다.
Developers should implement a baseline risk analysis regimen at each lifecycle stage (Section 3.5.1), supplemented by comprehensive model evaluations triggered at specific milestones (Section 3.5.2). When a trigger point is reached, developers should escalate from the baseline activities to a full-depth risk assessment.
3.5.1 수명주기 전반의 위험 분석
3.5.1 Risk Analysis Across the Lifecycle
표 3.2는 AI 개발 수명주기의 각 단계에서 권고되는 위험 분석 활동을 요약한 것이다. 각 단계별로 주요 위험 분석 목표와 개발자가 이행해야 할 핵심 조치를 명시한다. 여기에 기술된 기본 활동은 표준 관행으로서 수행되어야 한다. 3.5.2절에 정의된 촉발 지점에 도달하면, 개발자는 현재 수명주기 단계와 관계없이 '배포 전' 행에 기술된 포괄적 평가(evaluation) 활동으로 격상해야 한다.
Table 3.2 summarizes the recommended risk analysis activities at each stage of the AI development lifecycle. For each phase, it specifies the primary risk analysis objective and the key measures that developers should implement. The baseline activities described here should be conducted as standard practice. When a trigger point as defined in Section 3.5.2 is reached, developers should escalate to the comprehensive evaluation activities described in the 'predeployment' row, regardless of the current lifecycle phase.
표 3.2: AI 연구개발 수명주기 전반의 위험 분석
Table 3.2: Risk analysis across AI R&D lifecycle
| 단계 | 위험 분석 목표 | 이행 조치 |
|---|---|---|
| 개발 중 | 예측 및 예방: 학습이 완료되기 전에 안전 개입을 조정할 수 있도록 역량 발현 및 환경적 위험의 초기 신호를 수집함. |
|
| 배포 전 | 평가(assessment) 및 승인: 배포 결정을 뒷받침할 엄밀한 증거를 수집함(4절). |
|
| 배포 후 | 모니터링 및 대응: 비정상적 사용 패턴, 실제 사고, 변화하는 역량을 탐지함. |
|
| Phase | Risk Analysis Objective | Measures to Implement |
|---|---|---|
| During development | Prediction & Prevention : Gather early signals of capability emergence and environmental risk to adjust safety interventions before training is finalized. |
|
| Pre-deployment | Assessment & Authorization : Gather rigorous evidence to support a deployment decision (Section 4). |
|
| Post-deployment | Monitoring & Response : Detect anomalous usage patterns, real-world incidents, and evolving capabilities. |
|
3.5.2 전면적 위험 평가의 촉발 지점
3.5.2 Trigger Points for Full-depth Risk Assessment
개발자는 전면적 위험 평가를 촉발하는 구체적인 이정표를 정의해야 한다. 이정표 유형의 예는 다음과 같다.
Developers should define specific milestones that trigger full-depth risk assessment. Example types of milestones include:
연산 이정표: 유효 학습 연산량의 로그 간격(예: 부동 소수점 연산 기준 4배, 10배 규모 확대)마다 촉발된다.
Compute milestones : triggered at logarithmic intervals of effective training compute (e.g., 4x, 10x scale-up in FLOPs).
지표 이정표: 자동화된 경량 벤치마크가 정의된 역량 또는 성향 경고 임계값을 초과할 때 촉발된다(예: 모델이 특정 사이버 보안 또는 바이러스학 벤치마크에서 50% 이상의 성공률에 도달하는 경우).
Metric milestones : triggered when automated lightweight benchmarks exceed defined capability or propensity warning thresholds (e.g., if a model reaches ≥50% success rate on a specific cybersecurity or virology benchmark).
시간 이정표: 배포 후 최첨단 시스템 스캐폴드를 사용하여 3~6개월마다 재평가(re-assessment)가 촉발된다.
Time milestones : re-assessment triggered every 3-6 months post-deployment using the state-of-the-art system scaffolds.
사건 이정표: 주요 시스템 업데이트(예: 새로운 모달리티 출시, 컨텍스트 윈도우의 대폭 확대) 이전에 촉발된다.
Event milestones : triggered prior to a major system update (e.g., releasing a new modality, or significantly increasing the context window).
4. 위험 평가(evaluation)
4. Risk Evaluation
위험 평가(evaluation) 단계의 주된 목적은 3절(위험 분석)에서 분석된 위험을 2절(위험 임계값)에서 설정된 옐로라인(Yellow Line) 및 레드라인(Red Line) 임계값과 비교하고, 이 비교에 근거하여 배포 및 완화 결정을 내리는 것이다. 이 단계에서 모델은 녹색(일상적 배포), 황색(통제된 배포), 적색(배포 또는 개발 중단)의 세 가지 위험 구역 중 하나로 분류된다. 이 구역은 어떤 완화 조치(5절 위험 완화)와 거버넌스 프로토콜(6절 위험 거버넌스)이 요구되는지를 직접 결정한다.
The primary objective of the risk evaluation stage is to compare the risks analyzed in Section 3 (Risk Analysis) against the Yellow and Red Line thresholds established in Section 2 (Risk Thresholds) and to make deployment and mitigation decisions based on this comparison. In this stage, the model is classified into one of three risk zonesGreen (routine deployment), Yellow (controlled deployment), and Red (suspension of deployment or development). These zones directly determine what mitigation measures (Section 5 Risk Mitigation) and governance protocols (Section 6 Risk Governance) are required.
그림 4.1: AI 위험 평가(evaluation)의 세부 프로세스
Figure 4.1: Detailed Processes of AI Risk Evaluation.
개발자는 다음의 핵심 구성 요소를 통합한 구조화된 위험 평가(evaluation) 프로세스를 이행할 것을 권고한다.
We recommend that developers implement a structured risk evaluation process that integrates the following core components:
1) 완화 전 위험 처리(4.1절): 구체적인 기술적 완화 조치가 적용되기 전의 초기 위험 프로파일에 근거하여, ISO 31000 지침에서 적절한 처리 옵션을 식별한다.
1) Pre-mitigation risk treatment (Section 4.1) : Identifying appropriate treatment options from the ISO 31000 guidelines, based on the initial risk profile before specific technical mitigations are applied.
2) 3구역 위험 분류(4.2절): 완화 후 잔여 위험을 '옐로라인' 및 '레드라인' 임계값과 비교하여 모델을 녹색(전반적으로 수용 가능), 황색(감내 가능), 적색(수용 불가) 구역으로 분류한다. 각 구역은 구체적인 배포 승인 요건과 거버넌스 강도를 촉발한다.
2) Three-zone risk classification (Section 4.2) : Comparing post-mitigation residual risks against 'Yellow Line' and 'Red Line' thresholds to classify models into Green (Broadly Acceptable), Yellow (Tolerable), or Red (Unacceptable) Zones. Each zone triggers specific deployment authorization requirements and governance intensities.
3) 배포 의사결정(4.2절): 잔여 위험과 사회적 편익 간의 균형에 근거하여 일상적 배포(녹색), 감독이 강화된 통제된 배포(황색), 또는 배포/개발 중단(적색)을 결정한다.
3) Deployment decision-making (Section 4.2) : Authorizing routine deployment (Green), controlled deployment with enhanced oversight (Yellow), or suspending deployment/development (Red) based on the balance between residual risk and societal benefit.
4) 대외 소통(4.3절): 증거 기반 논증으로 배포 결정을 정당화하기 위해 안전 사례와 시스템 카드를 작성하여, 규제 당국, 외부 감사인 및 대중에 대한 투명성을 확보한다.
4) External communication (Section 4.3) : Preparing safety cases and system cards to justify deployment decisions with evidence-based arguments, creating transparency for regulators, external auditors, and the public.
4.1 완화 전 위험 처리 옵션
4.1 Pre-mitigation Risk Treatment Options
본 프레임워크는 ISO 31000:2018: Risk management - Guidelines [8] 및 GB/T 24353:2022 Risk Management - Guidelines [5]를 참조하며, 이들 지침은 다음과 같은 완화 전 위험 처리 옵션을 제시한다.
The Framework references the ISO 31000:2018: Risk management - Guidelines [8] and GB/T 24353:2022 Risk Management - Guidelines [5], which outline the following pre-mitigation risk treatment options:
(i) 위험 회피: 위험을 유발하는 활동을 시작하거나 지속하지 않기로 결정함으로써 위험을 회피한다.
(i) Risk Avoidance : Avoiding the risk by deciding not to start or continue with the activity that gives rise to the risk.
(ii) 위험 감수: 기회를 추구하기 위해 위험을 감수하거나 증대시킨다.
(ii) Risk Taking : Taking or increasing the risk in order to pursue an opportunity.
(iii) 위험 제거: 위험원을 제거한다.
(iii) Risk Elimination : Removing the risk source.
(iv) 위험 발생 가능성 감소: 위험이 발생할 가능성을 줄인다.
(iv) Risk Likelihood Reduction : Reducing the likelihood of the risk occurring.
(v) 결과 변경: 위험의 영향을 완화한다.
(v) Consequence Alteration : Mitigating the risk's impact.
(vi) 위험 공유: 계약이나 보험 메커니즘을 통해 하나 이상의 당사자와 위험을 공유한다.
(vi) Risk Sharing : Sharing risks with one or more parties, through contracts or insurance mechanisms.
(vii) 위험 보유: 충분한 정보에 근거한 결정에 따라 위험을 보유한다.
(vii) Risk Retention : Retaining risks based on well-informed decisions.
본 프레임워크에서 5절(위험 완화)의 주요 완화 조치는 (iii) 위험 제거, (iv) 위험 발생 가능성 감소, (v) 결과 변경을 촉진하는 것을 목표로 한다. 이러한 기술적 완화 조치는 완화 전 위험 프로파일을 완화 후 잔여 위험 프로파일로 전환하며, 이 잔여 위험 프로파일은 이후 4.2절에서 임계값과 비교하여 평가(evaluation)된다.
In this Framework, key mitigation measures in Section 5 (Risk Mitigation) aim to facilitate (iii) Risk Elimination , (iv) Risk Likelihood Reduction , and (v) Consequence Alteration . These technical mitigations transform the pre-mitigation risk profile into a post-mitigation residual risk profile, which is then evaluated against thresholds in Section 4.2.
현재 범용 AI 위험 관리 분야에는 성숙한 (vi) 위험 공유 메커니즘이 부족하다. 개발자는 이러한 메커니즘의 성숙도를 모니터링하고, 실행 가능한 경우 이를 도입해야 한다.
There is currently a lack of mature (vi) Risk Sharing mechanisms in the field of general-purpose AI risk management. Developers should monitor the maturation of these mechanisms and incorporate them where practicable.
나머지 처리 옵션인 (i) 위험 회피, (ii) 위험 감수, (vii) 위험 보유는 완화 후 잔여 위험과 기대되는 사회적 편익에 따라 달라지는 배포 수준의 결정이다. 이는 4.2절에서 다룬다.
The remaining treatment options(i) Risk Avoidance, (ii) Risk Taking, and (vii) Risk Retention -are deployment-level decisions that depend on the post-mitigation residual risk and the expected societal benefits. These are addressed in Section 4.2.
4.2 완화 후 잔여 위험 평가(evaluation) 및 배포 의사결정
4.2 Post-mitigation Residual Risk Evaluation and Deployment Decision-making
본 프레임워크는 첨단 AI 시스템이 제공할 수 있는 상당한 사회적 편익을 인정하면서도, 심각한 AI 위험을 예측하고 완화하는 것을 강조한다. 5절의 기술적 완화 조치를 적용한 후에는, 그 결과로 남는 잔여 위험을 평가(evaluation)하여 배포가 정당화되는지를 판단해야 한다.
This Framework emphasizes anticipating and mitigating severe AI risks while recognizing the significant societal benefits that advanced AI systems can offer. After technical mitigations from Section 5 have been applied, the resulting residual risk must be evaluated to determine whether deployment is justified.
'잔여 위험'이란 안전장치, 통제, 설계 선택이 적용된 후에도 남아 있는 위험 수준을 의미한다. AI 맥락에서 이는 모든 완화 노력에도 불구하고 지속되는 피해 가능성을 나타낸다.
'Residual risk' refers to the level of risk remaining after safeguards, controls, and design choices have been applied. In the context of AI, it represents the potential for harm that persists despite all mitigation efforts.
완화 후 남아 있는 잔여 위험에 대해, 우리의 구조화된 접근법은 위험이 합리적으로 실행 가능한 한 낮은 수준(As Low As Reasonably Practicable, ALARP)으로 감소되었는지를 평가(assessment)한다.23 이 프로세스는 잠재적 편익과 위험을 비교 형량하여 AI 개발이 피해를 최소화하면서 공익을 극대화하도록 보장한다.
For residual risks that remain after mitigation, our structured approach assesses whether the risk has been reduced to a level that is As Low As Reasonably Practicable (ALARP).23 This process weighs potential benefits against risks to ensure that AI development maximizes public good while minimizing harm.
위험은 '옐로라인' 및 '레드라인' 임계값을 사용하여 세 개의 영역으로 분류되며, 이는 모델의 배포, 제한 또는 중단 결정의 지침이 된다. 구체적으로, 옐로라인 미만의 잔여 위험은 녹색 구역에, 옐로라인과 레드라인 사이의 위험은 황색 구역에, 레드라인 이상의 위험은 적색 구역에 해당한다.
Risks are categorized into three regions using 'Yellow Line' and 'Red Line' thresholds, which guide the decision to deploy, restrict, or suspend a model. Specifically, residual risk below the Yellow Line falls in the Green Zone, risk between the yellow and Red Lines falls in the Yellow Zone, and risk at or above the Red Line falls in the Red Zone.
표 4.1: 완화 후 위험 구역 분류 및 처리 전략
Table 4.1: Post-mitigation risk zone classification and treatment strategies
| 구역 분류 | 결정 및 처리 전략 |
|---|---|
| 녹색 구역 (대체로 수용 가능) | 일상적 배포 위험이 대체로 수용 가능함: 위험이 매우 낮아 추가적인 위험 감소를 고려할 필요가 없음.
|
| 황색 구역 (감내 가능 / ALARP) | 통제된 배포 엄격한 통제가 적용되고 사회적 편익이 위험보다 클 경우에만 위험을 감내할 수 있음.
|
| 적색 구역 | (수용 불가) 위험을 감내할 수 없음: 특별한 상황을 제외하고는 위험을 정당화할 수 없음.
|
| Zone Classification | Decision & Treatment Strategy |
|---|---|
| Green Zone (Broadly Acceptable) | Routine Deployment Risks are broadly acceptable: the risk is so low that further risk reduction need not be considered.
|
| Yellow Zone (Tolerable / ALARP) | Controlled Deployment Risks are tolerable only if strict controls are applied and the societal benefit outweighs the risk.
|
| Red Zone | (Unacceptable) Risks are intolerable: the risk cannot be justified except in extraordinary circumstances.
|
4.2.1 녹색 구역: 일상적 배포 (대체로 수용 가능한 영역)
4.2.1 Green Zone: Routine Deployment (Broadly Acceptable Region)
완화 후 모델의 잔여 위험이 녹색 구역에 해당하는 경우, 그 위험 수준은 대체로 수용 가능한 것으로 분류된다. 이는 위험이 표준 운영 절차 내에서 효과적으로 관리되고 있어 연구, 개발 또는 공개를 진행할 수 있음을 의미한다. 녹색 구역에 대응하는 처리 옵션은 (vii) 위험 보유로, 충분한 정보에 근거한 결정에 따라 매우 낮은 위험을 보유하는 것이다.
If the model's residual risk falls into the Green Zone after mitigation, its risk level is classified as Broadly Acceptable. This indicates that the risk is effectively managed within standard operating procedures, allowing research, development, or release to proceed. The corresponding treatment option for the Green Zone is (vii) Risk Retention : retaining a very low risk on the basis of a wellinformed decision.
그러나 '녹색 구역' 상태가 위험을 무시해도 된다는 것을 의미하지는 않는다. 역량 업리프트(모델 업데이트), 응용 시나리오의 변화, 또는 변화하는 외부 위협 환경으로 인해 위험이 다시 나타나는 것을 방지하기 위해 지속적인 모니터링과 주기적인 재평가(reassessment)가 의무적으로 요구된다.
However, a 'Green Zone' status does not imply that the risk can be ignored. Continuous monitoring and periodic reassessments are mandatory to prevent risks from re-emerging due to capability uplift (model updates), shifts in application scenarios, or evolving external threat landscapes.
4.2.2 황색 구역: 통제된 배포 (감내 가능한 영역 / ALARP)
4.2.2 Yellow Zone: Controlled Deployment (Tolerable Region / ALARP)
잔여 위험이 옐로라인을 초과하지만 레드라인 미만에 머무르는 경우, 모델은 ALARP(감내 가능) 영역에 해당하며, 개발자는 평가(assessment) 결과에 따라 (i) 위험 회피, (ii) 위험 감수, (vii) 위험 보유 중에서 선택할 수 있다. 황색 구역에서의 배포 승인은 조건부이며, 엄격한 거버넌스 프로토콜의 준수를 요구한다.
If residual risks exceed the Yellow Line but remain below the Red Line, the model falls into the ALARP (Tolerable) Region, where developers may select among (i) Risk Avoidance , (ii) Risk Taking , and (vii) Risk Retention according to the assessment. Authorization for deployment in the Yellow Zone is conditional and requires adherence to strict governance protocols:
공익적 정당화: 배포는 해당 모델이 특정 공익 또는 고가치 방어 목적에 기여한다는 명확하고 문서화된 정당화에 의해 뒷받침되어야 한다.
Public Interest Justification : Deployment must be supported by a clear, documented justification that the model serves a specific public interest or high-value defensive purpose.
통제된 승인 요건: 배포는 강력한 감독이 이루어지는 통제된 환경(예: 검증된 사용자, 규제 대상 부문)으로 제한되며, 광범위한 대중 접근은 금지된다. 예를 들어, 지능형 지속 위협(Advanced Persistent Threats, APT)에 효과적인 사이버 보안 모델은 신뢰할 수 있는 주체에게 제한적으로 공개될 수 있다. 이 경우 오용 위험에도 불구하고 그 방어적 가치가 통제된 사용을 정당화할 것이다.
Controlled Authorization Requirement : Deployment is restricted to controlled environments (e.g., vetted users, regulated sectors) with robust oversight, prohibiting broad public access. For example, a cybersecurity model effective against Advanced Persistent Threats (APTs) might be granted restricted release to trusted entities; its defensive value would justify the controlled use despite the risk of misuse.
투명성 조치: 개발자는 시스템 카드(system card) 또는 기술 보고서를 공개하고, 외부 전문가와 협력하여 모델의 역량과 위험을 독립적으로 평가(assessment)해야 한다. 이는 이러한 상위 승인 사용 시나리오를 정당화하는 데 도움이 될 것이다.
Transparency Measures : Developers should publish system cards or technical reports and engage with external experts to independently assess model capabilities and risks. This will help to justify these higher-authorization usage scenarios.
4.2.3 적색 구역: 배포 또는 개발 중단 (수용 불가 영역)
4.2.3 Red Zone: Suspension of Deployment or Development (Unacceptable Region)
합리적으로 실행 가능한 모든 완화 조치를 시행한 후에도 모델의 잔여 위험이 레드라인을 초과하는 경우, 해당 모델은 수용 불가 영역에 해당한다. 이는 실제 환경에서 유해한 경로를 효과적으로 차단할 수 없으며, 안전 및 보안 전문가들이 이를 높은 확신도를 갖는, 완화하기 어려운 중대한 위험으로 확인했음을 의미한다. 이러한 시나리오에서 의무적 전략은 (i) 위험 회피이다.
If, after implementing all reasonably practicable mitigations, the model's residual risk remains above the Red Line, it falls into the Unacceptable Region. This indicates that harmful pathways cannot be effectively blocked in real-world environments, and safety and security experts confirm it as a high-confidence, hard-to-mitigate significant risk. In this scenario, the mandatory strategy is (i) Risk Avoidance .
즉각적 중단: 파국적 결과를 방지하기 위해 배포 및 공개를 즉시 중단해야 한다. 개발 프로세스 자체가 위협이 되는 경우, 연구 활동 또한 중단해야 한다.
Immediate Suspension : Deployment and release must be immediately halted to prevent catastrophic outcomes. If the development process itself poses a threat, research activities should also be suspended.
격리 및 개선: 안전 우선의 격리 조치를 시행해야 한다. 작업은 강화된 안전 메커니즘이 구현되고, 새로운 위험 평가를 통해 잔여 위험이 황색 또는 녹색 구역으로 성공적으로 감소되었음이 확인된 후에만 재개될 수 있다.
Containment & Remediation : Safety-first containment measures must be imposed. Work may only resume after enhanced safety mechanisms are implemented and a new risk assessment confirms that the residual risk has been successfully reduced to the Yellow or Green Zone.
4.3 배포 결정에 관한 대외 커뮤니케이션
4.3 External Communication about Deployment Decisions
AI 시스템이 수용 가능한 임계값 미만의 위험(녹색 및 황색 구역 내)으로 안전하게 배포되도록 보장하기 위해, 개발자는 안전성 정당화와 투명한 커뮤니케이션에 대한 체계적인 접근법을 채택해야 한다. 이는 견고한 안전성 논증을 통합하고, 안전 사례 및 시스템 카드와 같은 도구를 활용하여 이해관계자에게 정보를 제공하고 배포 결정을 이끄는 것을 포함한다[135].
To ensure that AI systems are deployed safely with risks below acceptable thresholds (within the Green and Yellow Zones), developers should adopt a systematic approach to safety justification andtransparent communication. This involves integrating robust safety arguments and leveraging tools like safety cases and system cards to inform stakeholders and guide deployment decisions [135].
안전 사례: 기술적 평가(assessment)와 위험 완화 전략을 결합하여 시스템이 배포하기에 안전한 이유를 정당화하는, 상세하고 증거에 기반한 논증이다. 현재 개발자는 현행 시스템에 강력한 위험한 역량이 없다고 가정한다. 그러나 AI 역량이 발전함에 따라 이러한 주장에만 의존하는 것은 불충분할 수 있다. 개발자는 이를 추가적인 논증으로 보완해야 한다. 예를 들어, 모델이 충분히 강력한 통제 조치를 갖추고 있다거나, 피해를 야기할 수 있음에도 불구하고 신뢰할 수 있다고 논증할 수 있다[136]. 안전 사례는 항공우주, 원자력, 의료기기 산업의 안전 필수(safety-critical) 시스템 공학 관행을 참고하여, Goal Structuring Notation (GSN) 또는 Claims-Arguments-Evidence (CAE) 형식과 같은 구조화된 논증 프레임워크를 따라야 한다[137, 138].
Safety cases : Detailed, evidence-based arguments that justify why a system is safe for deployment, combining technical assessments with risk mitigation strategies. Today, developers assume that current systems lack powerful hazardous capabilities. However, as AI capabilities advance, relying solely on this claim may be insufficient. Developers should complement it with additional arguments. For example, they might argue that a model has sufficiently strong control measures, or that it is trustworthy despite being able to cause harm [136]. Safety cases should follow structured argument frameworks such as Goal Structuring Notation (GSN) or Claims-Arguments-Evidence (CAE) formats, drawing from safety-critical systems engineering practices in aerospace, nuclear, and medical device industries [137, 138].
시스템 카드: 시스템의 역량, 한계, 위험 및 안전장치를 이해하기 쉬운 언어로 개괄하는, 대중을 대상으로 한 간결한 요약이다. 시스템 카드는 규제 기관 및 사용자와 같은 광범위한 이해관계자의 참여를 이끌어내는 데 특히 효과적이며, 복잡한 정보를 명확하고 실행 가능한 통찰로 압축함으로써 안전 사례를 보완할 수 있다.
System cards : Public-facing, concise summaries that outline a system's capabilities, limitations, risks, and safeguards in accessible language. System cards are particularly effective for engaging a wide range of stakeholders, such as regulators and users, and can complement safety cases by distilling complex information into clear, actionable insights.
5. 위험 완화
5. Risk Mitigation
위험 완화 단계의 주요 목표는 4절(위험 평가(evaluation))에서 결정된 위험 구역 분류(녹색/황색/적색)에 따라, 식별된 위험을 수용 가능한 수준으로 감소시키는 증거 기반의 결과 중심적 조치를 시행하는 것이다. 이러한 완화 조치는 다층 방어로 작동하며, 그 효과성을 평가(assessment)함으로써 지속적으로 검증되고(3절), 거버넌스 메커니즘을 통해 감독되어야 한다(6절).
The primary objective of the risk mitigation stage is to implement evidence-based, outcomefocused measures that reduce identified risks to acceptable levels, guided by the risk zone classifications (Green/Yellow/Red) determined in Section 4 (Risk Evaluation). These mitigation measures operate as layered defenses that should be continuously validated by assessing their effectiveness (Section 3) and overseen through governance mechanisms (Section 6).
우리는 개발자가 다음의 핵심 구성 요소를 통합하는 '심층 방어(Defense-in-Depth)' 완화 전략을 시행할 것을 권고한다.
We recommend that developers implement a 'Defense-in-Depth' mitigation strategy that integrates the following core components:
1) 안전 학습 조치(5.1절): 위험원을 유발하는 역량 또는 성향이 형성되거나 쉽게 접근 가능해지는 것을 방지하기 위해 안전 학습 기법을 적용하며, 그 강도는 위험 구역에 비례하여 조정한다.
1) Safety training measures (Section 5.1) : Implementing safety training techniques to prevent hazard-inducing capabilities or propensities from forming or being easily accessible, with intensity scaled to the risk zone.
2) 배포 완화 조치(5.2절): 고객 확인(KYC, Know Your Customer) 정책, 애플리케이션 프로그래밍 인터페이스 (API) 입력/출력 필터, 회로 차단기(circuit breaker)(5.2.1절), 에이전트 감독 및 통제 프로토콜(5.2.2절)과 같은 시스템 수준의 안전장치를 적용하여, 악의적 행위자에 의한 오용을 방지하고 부적절한 운영으로 인한 사고를 억제한다.
2) Deployment mitigation measures (Section 5.2) : Applying system-level safeguards such as KYC (Know Your Customer) policies, API input/output filters, circuit breakers (Section 5.2.1), and agent oversight and control protocols (Section 5.2.2), to prevent misuse by malicious actors and contain accidents from improper operation.
3) 시스템 보안 조치(5.3절): 계층화된 접근 관리, 가중치 격리(weight isolation), 공급망 보안(5.3.1절), 자율 시스템을 위한 특화된 격리 프로토콜(5.3.2절)을 통해 무단 접근, 유출(exfiltration) 및 통제 상실로부터 AI 시스템을 보호한다.
3) System security measures (Section 5.3) : Protecting AI systems from unauthorized access, exfiltration, and loss of control through tiered access management, weight isolation, supply chain security (Section 5.3.1), and specialized containment protocols for autonomous systems (Section 5.3.2).
4) 수명주기 통합(5.4절): 역량과 위협 환경이 변화함에 따라 지속적인 위험 감소를 보장하기 위해, 개발 이전, 개발 중, 배포 전, 배포 후 단계 전반에 걸쳐 위의 조치들을 조율한다.
4) Lifecycle integration (Section 5.4) : Orchestrating the above measures across beforedevelopment, during-development, pre-deployment, and post-deployment phases to ensure continuous risk reduction as capabilities and threat landscapes evolve.
다음 표는 녹색, 황색, 적색 위험 구역에 맞춰 설계된 위험 완화 조치를 제시하며, 완화 조치의 기준선 역할을 한다. 다만 이 목록이 모든 조치를 망라하는 것은 아니다. 이러한 조치는 파운데이션 모델 개발자와 하류 배포자(downstream deployer) 모두에게 최소 요건을 설정하지만, 우리는 구체적인 배포 맥락에 적합한 최첨단 기법과 보완적 안전장치를 도입할 것을 강력히 권장한다. AI 역량과 위협 환경이 변화함에 따라 현재의 메커니즘은 쓸모없게 될 수 있다. 따라서 위험 완화 전략은 역동적이고 지속적으로 개선되어야 하며, 이러한 기준선 수준의 기대를 넘어설 만큼 엄격해야 한다.
Thefollowing table outlines a non-exhaustive set of risk mitigation measures tailored to the Green, Yellow, and Red risk zones, serving as a baseline for mitigation measures. While these measures establish minimum requirements for both foundation model developers and downstream deployers, we strongly encourage the adoption of state-of-the-art techniques and supplementary safeguards suited to specific deployment contexts. As AI capabilities and threat landscapes evolve, current mechanisms may become obsolete; therefore, risk mitigation strategies must be dynamic, continuously improved, and rigorous enough to exceed these baseline expectations.
| 위험 수준 | 안전 학습 조치 | 배포 완화 조치 | 시스템 보안 조치 |
|---|---|---|---|
| 녹색 구역 |
|
|
|
| 황색 구역 |
|
|
|
| 적색 구역 | 높은 신뢰 수준의 보안 메커니즘을 갖춘 폐쇄적이고 통제된 환경에서만 추가 연구개발이 허용됨:
| 배포는 원칙적으로 금지됨. 공익을 위해, 위험이 통제 가능하고 엄격한 승인을 거친 경우에 한하여 폐쇄된 환경에서만 예외가 허용됨:
| 보안 감사 및 비상 대응을 지원하는 격리·암호화된 시스템을 통해, 핵심 자산이 무단 접근, 유출 또는 변조로부터 보호되도록 보장함:
|
| Risk Level | Safety Training Measures | Deployment Mitigation Measures | System Security Measures |
|---|---|---|---|
| Green Zone |
|
|
|
| Yellow Zone |
|
|
|
| Red Zone | Further R&D permitted only in closed, controlled environments with high-trust security mechanisms:
| Deployment generally prohibited; exceptions allowed only in closed environments for public interest, with controllable risks and strict approval:
| Ensure critical assets are protected from unauthorized access, leaks, or tampering, with isolated and encrypted systems supporting security audits and emergency response:
|
5.1 안전 학습 조치
5.1 Safety Training Measures
안전 학습의 목적은 제약을 모델의 행동에 직접 학습시켜, 모델이 설계 단계에서부터 오용에 저항하도록 보장하는 것이다. 외부 필터와 달리, 이러한 조치는 사전 학습 및 미세조정 과정에서 모델의 가중치를 수정하여 모델이 유해한 출력을 생성할 확률을 낮춘다. 이 절에서는 모델이 사용자에게 노출되기 전에 모델의 역량과 성향을 안전 요구사항에 맞게 정렬하기 위한 조치를 개괄한다.
The objective of safety training is to train constraints directly into the model's behavior, ensuring that it is resistant to misuse by design. Unlike external filters, these measures modify the model's weights during pre-training and fine-tuning to reduce the probability that it generates harmful outputs. This section outlines measures to align the model's capabilities and propensities with safety requirements before it is exposed to users.
모델 명세(model specs)[139, 140, 141, 142]: 모델을 위한 명확한 '헌법'을 정의하여, 계층적 원칙을 통해 우선순위가 부여된 원칙(예: 안전 우선, 유용성)을 명시한다. 이러한 계층적 원칙은 학습 데이터의 선별과 강화학습용 선호 라벨의 구축을 모두 구조화하며, 이를 통해 안전 제약을 모델 가중치에 직접 내재화한다.
Model specifications (model specs) [139, 140, 141, 142] : Define a clear 'constitution' for the model, specifying prioritized principles (e.g., safety overrides, helpfulness) via hierarchical principles that structure both the curation of training data and the construction of preference labels for reinforcement learning, thereby embedding safety constraints directly into model weights.
학습 데이터 필터링[114, 143]: 학습 전에 엄격한 필터를 적용하여 고위험 콘텐츠(예: 화학·생물·방사능·핵 무기 관련 지식, 극단주의 자료)를 사전 학습 말뭉치에서 배제한다.
Training data filtering [114, 143] : Apply rigorous filters before training to exclude high-risk content (e.g., CBRN weapons knowledge, extremist material) from the pre-training corpus.
지시 계층(instruction hierarchy): '시스템 메시지'가 '사용자 프롬프트'에 우선하는 계층 구조를 엄격히 준수하도록 모델을 학습시켜, 모델 행동 수준에서 프롬프트 인젝션 공격을 방어한다[144].
Instruction hierarchy : Train the model to strictly adhere to a hierarchy where 'system messages' override 'user prompts,' defending against prompt injection attacks at the model behavior level [144].
안전 정렬 및 거부 학습: 인간 피드백 기반 강화학습(RLHF)/AI 피드백 기반 강화학습(RLAIF)을 활용하여 모델이 유해한 지시를 능동적으로 인식하고 거부하도록 학습시키며, 안전 제약을 모델의 응답 행동에 직접 내재화한다[45].
Safety alignment & refusal training : Utilize RLHF/RLAIF to train the model to actively recognize and refuse harmful instructions, embedding safety constraints directly into its response behavior [45].
표적 학습 제거(targeted unlearning): 사후 학습 기법을 적용하여 사전 학습 과정에서 습득되었을 수 있는 위험원 유발 역량과 위험한 지식을 구체적으로 '삭제'하거나 억제한다[145].
Targeted unlearning : Apply post-training techniques to specifically 'erase' or suppress hazard-inducing capabilities and hazardous knowledge that may have been learned during pre-training [145].
적대적 학습: 레드팀이 생성한 적대적 데이터셋으로 모델을 미세조정하여 탈옥 및 기타 공격 벡터에 대한 강건성을 향상한다[146].
Adversarial training : Fine-tune the model on adversarial datasets generated by red teams to improve its robustness against jailbreaks and other attack vectors [146].
해석 가능성 기반 절제 실험: 기계적 해석 가능성(mechanistic interpretability) 도구를 사용하여 위험한 지식 또는 기만적 추론과 관련된 특정 신경 회로를 식별하고 절제 실험을 통해 제거함으로써, 위험이 구조적 수준에서 제거되도록 보장한다[147, 148].
Interpretability-guided ablation : Use mechanistic interpretability tools to identify and ablate specific neural circuits associated with hazardous knowledge or deceptive reasoning, ensuring risks are removed at the structural level [147, 148].
추론 투명성 및 자기 모니터링: CoT Monitor와 같은 과정 기반 감독(process-based supervision) 기법을 시행하여 자기 평가(self-evaluation) 신호를 모델의 추론 사슬에 직접 내재화한다. 이를 통해 모델은 최종 출력을 필터링하는 데 그치지 않고, 사고 과정 중에 기만적 전략(예: 정렬 위장(alignment faking))을 차단하고 억제할 수 있다[123].
Reasoning transparency and self-monitoring : Implementprocess-based supervision techniques like CoT Monitor to embed self-evaluation signals directly into the model's reasoning chain. This allows the model to intercept and suppress deceptive strategies (e.g., alignmentfaking) during the thinking process, rather than just filtering the final output [123].
이러한 구체적 조치 외에도, 개발자는 Guaranteed Safe AI에 관한 기초 연구를 진전시켜야 한다[149, 150]. 과거의 실패를 관찰하는 데 의존하는 경험적 방법과 달리, 이 접근법은 엄밀한 수학적 한계에 근거한 정량적 안전 보장을 제공하는 것을 목표로 한다. 정밀한 안전 명세를 정의하고 형식 검증(formal verification) 메커니즘(예: 고보증 (높은 수준의 보증) 검증기를 사용하여 모델의 월드 모델을 점검)을 활용함으로써, 이 프레임워크는 AI 시스템이 정의된 안전 제약 내에서 신뢰성 있게 작동하도록 보장하고, 새롭거나 적대적인 환경에서도 파국적 위험에 대해 증명 가능한 보증을 제공하고자 한다.
In addition to these specific measures, developers should advance foundational research into Guaranteed Safe AI [149, 150]. Unlike empirical methods that rely on observing past failures, this approach aims to provide quantitative safety guarantees rooted in rigorous mathematical bounds. Bydefining precise safety specifications and employing formal verification mechanisms (e.g., using a high-assurance verifier to check the model's world model), this framework seeks to ensure that AI systems operate reliably within defined safety constraints, producing provable assurances against catastrophic risks even in novel or adversarial environments.
5.2 배포 완화 조치
5.2 Deployment Mitigation Measures
배포 완화 조치는 모델과 외부 사용자 간의 상호작용에서 발생하는 위험을 방어한다. 기술적 접근법과 거버넌스 접근법의 결합을 통해, 이러한 조치는 위험한 영역에서의 오용 가능성을 제한하고 유해한 의도치 않은 결과가 발생할 확률을 낮춘다. 이러한 메커니즘은 잔여 위험을 억제하고, 실제 운영 환경에서 모델이 정의된 안전 경계 내에서 작동하도록 보장하는 것을 목표로 한다.
Deployment mitigation measures defend against risks that arise from interactions between the modelandexternal users. Through a combination of technical and governance approaches, these measures limit the potential for misuse in risky domains and reduce the probability of harmful unintended consequences. These mechanisms aim to contain residual risks and ensure that the model operates within defined safety boundaries during production use.
5.2.1 사용자 오용 방지
5.2.1 User Misuse Prevention
입력/출력 필터 및 이상 탐지: 실시간 분류기를 배포하여 화학·생물·방사능·핵 무기나 사이버 테러 등 고위험 위험과 관련된 입력 요청 또는 출력 응답을 차단하고 필터링한다. 이상 탐지 시스템을 구현하여 난독화된 공격(예: 암호화된 텍스트 입력)이나 표준 기준선에서 벗어난 비정상적 사용 패턴을 식별한다[132, 133].
Input/output filters and anomaly detection : Deploy real-time classifiers to intercept and filter input requests or output responses related to high-stakes risks, such as CBRN weapons or cyber-terrorism. Implement anomaly detection systems to identify obfuscated attacks (e.g., ciphered text inputs) or abnormal usage patterns that deviate from standard baselines [132, 133].
서킷 브레이커(circuit breaker): 모델 활성값에 개입하여 유해한 생성을 중단시키는 내부 메커니즘을 구현한다. 출력 필터와 달리 서킷 브레이커는 모델 내부의 피해 표상 자체를 대상으로 하며, 출력이 완전히 형성되기 전에 위험한 행동과 연관된 신경 경로를 '단락(short-circuiting)'시킨다(예를 들어, 모델이 생물무기 제조법 생성을 거부하도록 유도한다)[151].
Circuit breakers : Implement internal mechanisms that intervene in the model's activations to halt harmful generation. Unlike output filters, circuit breakers target the representation of harm within the model itself, 'short-circuiting' the neural pathways associated with dangerous behaviors before the output is fully formed (leading the model to, for example, refuse to generate a bioweapon recipe) [151].
고객 확인(Know Your Customer, KYC) 정책: 엄격한 신원 확인을 시행하여 사용자의 정당성을 보장하고, 고위험 주체를 선별하여 접근을 차단함으로써 악의적 사용을 방지한다.
Know Your Customer (KYC) policy : Enforce rigorous identity verification to ensure user legitimacy, screening high-risk entities and blocking access to prevent malicious use.
단계적 배포: 구조화된 공개 방식(예: 내부 레드티밍 → 신뢰 파트너 애플리케이션 프로그래밍 인터페이스 (API) → 공개 베타)을 채택한다. 이는 광범위한 공개 이전에 제한된 규모에서 안전 벤치마크를 검증함으로써 잠재적 오용을 제한한다[152].
Phased deployment : Adopt a structured release approach (e.g., Internal Red Teaming → Trusted Partner API → Public Beta). This limits potential misuse by validating safety benchmarks at restricted scales before wider release [152].
구조화된 역량 접근(structured capability access): 계층화된 접근 권한을 시행하여, 가장 역량이 높은(그리고 위험한) 모델 체크포인트에 대한 접근은 심사를 거친 주체로 암호학적으로 제한하고, 검증되지 않은 사용자는 더 작거나 증류된(distilled) 또는 안전 필터가 적용된 버전으로 연결한다[153].
Structured capability access : Enforce tiered access permissions where access to the most capable (and risky) model checkpoints is cryptographically restricted to vetted entities, while unverified users are routed to smaller, distilled, or safety-filtered versions [153].
최종 용도 관리 및 금지 영역: AI 시스템의 최종 용도를 추적하고 통제하는 강건한 메커니즘을 구현한다. 예를 들어, 핵·생물·화학 무기 및 미사일 기술의 개발 또는 획득에 AI를 배포하는 것을 명시적으로 금지하는 사용 금지 정책을 수립하고, 화학·생물·방사능·핵 관련 오용을 탐지하고 방지하기 위한 기술적 통제(예: API 수준의 콘텐츠 제한, 사용 패턴 모니터링)를 배포하며, 사용자 심사 및 적용 시나리오의 위험 분류에 기반한 계층화된 접근 요건을 부과한다[114].
End-use management and prohibited domains : Implement robust mechanisms to trace and control the ultimate uses of AI systems, such as establishing prohibited-use policies that explicitly ban AI deployment in the development or acquisition of nuclear, biological, chemical weapons and missile technologies; deploying technical controls (e.g., API-level content restrictions, usage pattern monitoring) to detect and prevent CBRN-related misuse; and imposing tiered access requirements based on user vetting and application scenario risk classification [114].
5.2.2 에이전트 감독 및 통제
5.2.2 Agent Oversight and Control
모델 모니터링 및 개입 관련:
For model monitoring and interventions:
사고 사슬 모니터링: 모델의 중간 '추론' 단계(사고 사슬)를 실시간으로 모니터링하여 기만적 의도, 숨겨진 계획 또는 오정렬을 탐지한다. 이를 통해 감독자는 최종 출력에서는 걸러질 수 있는, 모델 추론 내 '계략적 행동'의 흔적을 식별하고 차단할 수 있다[134].
Chain-of-thought (CoT) monitoring : Monitor the intermediate 'reasoning' steps (chainof-thought) of the model in real time to detect deceptive intent, hidden planning, or misalignment. This allows supervisors to identify and intercept traces of 'scheming' in the model's reasoning that might be filtered out of the final output [134].
잠재 공간 모니터링 및 조향(steering): 표현 공학(Representation Engineering, RepE) 기법[124]을 배포하여 모델 활성값을 실시간으로 모니터링한다. 고위험 인지 패턴(예: 기만, 공격성)을 탐지하고 조향 벡터(steering vector)를 자동으로 적용하여 모델 행동의 방향을 전환하는 '개념 기반 서킷 브레이커(concept-based circuit breaker)'[151]를 구현한다.
Latent space monitoring and steering : Deploy Representation Engineering (RepE) techniques [124] to monitor model activations in real time. Implement 'concept-based circuit breakers' [151] that detect high-risk cognitive patterns (e.g., deception, aggression) and automatically apply steering vectors to redirect model behavior.
개별 에이전트 통제 관련:
For controlling individual agents:
'실행 취소(undo)' 및 롤백 메커니즘: 에이전트 작업에 대한 의무적 '실행 취소' 메커니즘을 수립한다. 이를 통해 조정 실패, 갈등 고조 또는 비정상적 행동이 탐지될 경우 즉시 행동을 중단하거나 롤백할 수 있도록 보장한다.
'Undo' and rollback mechanisms : Establish a mandatory 'undo' mechanism for agent operations. This ensures that actions can be interrupted or rolled back immediately when coordination failure, conflict escalation, or anomalous behavior is detected.
AI 통제 프로토콜: AI 시스템이 오정렬되어 안전장치를 무력화하려 시도하더라도 AI 시스템의 안전하지 않은 행동을 방지하도록 설계된 프로토콜을 배포한다. 예를 들어, 신뢰할 수 있으나 역량이 더 낮은 '모니터' 모델이 역량이 더 높은 '작업자(worker)' 모델의 출력을 감사할 수 있다[127, 154].
AI control protocols : Deploy protocols designed to prevent unsafe actions by AI systems even if the AI systems are misaligned and might try to subvert the safeguards. For example, a trusted, less capable 'monitor' model could audit the outputs of a more capable 'worker' model [127, 154].
최소 권한 접근: 엄격한 과업 경계를 정의하고, 에이전트에게 구체적으로 할당된 기능에 필요한 최소한의 권한과 도구 접근만을 부여한다[155].
Least-privilege access : Define strict task boundaries and grant agents only the minimum permissions and tool access necessary for their specific assigned functions [155].
에이전트 활동 로깅: 모든 에이전트 행동에 대한 포괄적인 로깅을 구현한다. 실시간 이상 경보 및 대시보드를 활용하여 책임성을 보장하고, 사고 대응을 용이하게 하며, 고충실도의 사고 후 분석을 가능하게 한다.
Agent activity logging : Implement comprehensive logging for all agent actions. Utilize realtime anomaly alerts and dashboards to ensure accountability, facilitate incident response, and enable high-fidelity post-incident analysis.
에이전트 상호작용 및 다중 에이전트 시스템 관련:
For agent interactions and multi-agent systems:
에이전트 식별자: 각 에이전트에 고유 ID를 부여하는 등 AI 에이전트 식별자 체계를 탐색하고 실험적으로 개발한다. 신원 표시를 통해 모니터링 역량을 강화하여 에이전트 행동의 투명성, 추적 가능성 및 통제 가능성을 보장하고, 잠재적 충돌이나 오작동을 줄인다.
Agent identifier : Explore and experimentally develop an AI agent identifier system, e.g., assigning a unique ID to each agent. Enhance monitoring capabilities through identity marking to ensure the transparency, traceability, and controllability of agent behaviors, and reduce potential conflicts or malfunctions.
에이전트 간 상호운용성 프로토콜: 취약한 임시방편적(ad-hoc) 통합을 대체하여, 표준화되고 보안 중심적인 프로토콜(예: 모델 컨텍스트 프로토콜(MCP), ACP, A2A)을 구현해 다중 에이전트 협업을 관리한다. 이러한 프로토콜은 타입이 지정된 데이터 교환(JSON-RPC 스키마를 통한)과 역량 기반 접근 통제(Agent Card 및 탈중앙화 식별자(Decentralized Identifiers) 활용)를 시행함으로써 도구 오염(tool poisoning) 및 신원 위장(identity spoofing)과 같은 위험을 완화한다. 모든 에이전트 간 메시지가 엄격히 정의된 세션 내에서 구조적으로 검증되고, 인증되며, 인가되도록 보장함으로써, 이러한 표준은 의미적 오해석을 방지하고 안전에 중요한 워크플로를 무단 호출이나 명령 주입으로부터 보호한다[156].
Inter-agent interoperability protocols : Implement standardized, security-focused protocols (e.g., MCP, ACP, A2A) to govern multi-agent collaboration, replacing vulnerable ad-hoc integrations. These protocols mitigate risks such as tool poisoning and identity spoofing by enforcing typed data exchange (via JSON-RPC schemas) and capability-based access control (utilizing Agent Cards and Decentralized Identifiers). By ensuring that all inter-agent messages are structurally validated, authenticated, and authorized within strictly defined sessions, these standards prevent semantic misinterpretation and protect safety-critical workflows from unauthorized invocation or command injection [156].
동적 상호작용 방화벽 및 정제(sanitization): 실시간 중재 계층을 배포하여 에이전트 간 통신 내용을 모니터링한다. 구문적 프로토콜과 달리, 이러한 방화벽은 의미적 흐름을 분석하여 은밀한 공모(covert collusion)25 또는 연쇄적 실패를 탐지한다.26 관련 기법으로는 메시지 정제(의도는 보존하면서 스테가노그래피 페이로드를 제거하기 위해 통신 내용을 바꾸어 표현함)와 네트워크 격리(전파성 적대적 프롬프트나 동기화 이상이 탐지될 경우 연결을 자동으로 차단함)가 있으며, 이를 통해 침해된 에이전트의 '피해 반경(blast radius)'을 효과적으로 제한한다[160].
Dynamic interaction firewalls and sanitization : Deploy real-time mediation layers to monitor the content of inter-agent communication. Unlike syntactic protocols, these firewalls analyze semantic flows to detect covert collusion25 or cascading failures.26 Techniques include message sanitization (paraphrasing communications to strip steganographic payloads while preserving intent) and network isolation (automatically severing connections if viral adversarial prompts or synchronization anomalies are detected), effectively limiting the 'blast radius' of compromised agents [160].
5.3 시스템 보안 조치
5.3 System Security Measures
시스템 보안 조치는 고가치 모델 자산을 보호하고 통제 상실을 방지하기 위한 인프라적 기반을 제공한다. 이 절은 모델 가중치를 탈취(모델 유출)와 모델 자기 유출(모델 탈출)로부터 보호하기 위한 요건을 명시한다. 이러한 조치는 전체 수명주기에 걸쳐 적용되며, 개발부터 배포에 이르기까지 무결성과 통제 가능성을 보장한다.
System security measures provide the infrastructural foundation to protect high-value model assets and prevent loss of control. This section specifies requirements for protecting model weights against theft (model leak) and model self-exfiltration (model escape). These measures apply throughout the entire lifecycle, ensuring integrity and controllability from development to deployment.
5.3.1 모델 유출에 대한 보안 조치
5.3.1 Security Measures for Model Leak
신뢰 실행 환경: 추론 또는 미세조정 과정에서 하드웨어 기반 신뢰 실행 환경 내에 모델을 배포한다. 이를 통해 데이터와 코드가 메모리 내에서 암호화되고 운영체제로부터 격리되도록 보장하여, 루트 권한을 가진 사용자에 의한 무단 접근까지도 방지한다[161].
Trusted Execution Environments (TEEs) : Deploy models within hardware-based TEEs during inference or fine-tuning. This ensures that data and code are encrypted in memory and isolated from the operating system, preventing unauthorized access even by users with root privileges [161].
가중치 격리 및 최소 노출: 고위험 모델 가중치를 고도로 격리된 환경에 저장하고 애플리케이션 화이트리스트를 함께 적용하여 무단 접근이나 유출을 방지한다.
Weight isolation and minimal exposure : Store high-risk model weights in highly isolated environments, coupled with application whitelisting, to prevent unauthorized access or leaks.
전체 수명주기 보안 관리: 침해되었거나 신뢰할 수 없는 구성 요소가 유입되지 않도록, 모델 개발에 관여하는 모든 시스템과 소프트웨어 전반에 걸쳐 보안과 통제를 보장한다. 관련 조치로는 소프트웨어 자산 관리, 공급망 보안, 코드 무결성 검증, 바이너리 인가, 보안 하드웨어 조달, 보안 개발 수명주기의 시행이 있다.
Full lifecycle security management : Ensure security and control across all systems and software involved in model development to avoid introducing compromised or untrusted components. Measures include software asset management, supply chain security, code integrity verification, binary authorization, secure hardware procurement, and implementation of a secure development lifecycle.
위협 모니터링 및 공격 시뮬레이션: 선제적 위협 탐지, 취약점 테스트, 허니팟 기법을 배포하여 잠재적 공격을 식별하고 완화한다. 관련 방법으로는 엔드포인트(Endpoint) 패치 관리, 제품 보안 테스트, 로그 관리 시스템, 자산 모니터링, 기만 기술이 있다.
Threat monitoring and attack simulations : Deploy proactive threat detection, vulnerability testing, and honeypot techniques to identify and mitigate potential attacks. Methods include endpoint patch management, product security testing, log management systems, asset monitoring, and deception technologies.
국가 및 산업 보안 표준 규정 준수: '정보보안 기술 - 사이버 보안 등급 보호 보안 설계 기술 요건(GB/T 25070-2019)'[162]과 같은 사이버 보안 보호 국가 표준을 준수한다. 등급 보호는 시스템 등급 분류, 시스템 등록, 시스템 보안 구축, 시스템 평가(evaluation), 규제 당국의 정기 감독 점검의 5단계로 시행한다. 옐로라인(Yellow Line) 또는 레드라인(Red Line)을 넘어선 AI 모델은 네트워크 및 자산 보안이 국가 표준에 부합하도록 최소한 3등급(감독 보호) 이상의 요건을 충족해야 한다.
Compliance with national and industry security standards : Adhere to national standards for cybersecurity protection, such as ' Information security technology - Technical requirements of security design for classified protection of cybersecurity (GB/T 25070-2019)' [162]. Implement classified protection in five stages: system classification, system registration, system security construction, system evaluation, and periodic supervisory inspections by regulatory authorities. AI models that have crossed the Yellow or Red Lines should, at a minimum, meet Level 3 (Supervised Protection) requirements or higher to ensure network and asset security aligns with national standards.
5.3.2 모델 탈출에 대한 보안 조치
5.3.2 Security Measures for Model Escape
이 절은 능동적 통제 상실 시나리오의 위협을 다룬다. 이 시나리오에서는 첨단 자율 모델이 격리 환경을 탈출하거나, 네트워크 전반에 자신을 복제하거나, 자신의 가중치를 비인가 서버로 유출하려 시도할 수 있다.27 이 절의 목표는 모델의 행위 주체성(agency) 주위에 엄격한 경계를 설정하여 모델이 인간 감독을 우회하거나 자신의 연산 점유 범위를 확장할 수 없도록 보장하는 것이다.
This section addresses the threat of active loss of control scenarios, where advanced autonomous models may attempt to escape confinement, replicate themselves across networks, or exfiltrate their own weights to unauthorized servers.27 The objective is to enforce a hard boundary around the model's agency, ensuring that it cannot bypass human oversight or expand its own computational footprint.
샌드박싱 및 컨테이너화: 시스템 자원을 가상화하는 엄격히 격리된 환경 내에서 AI 모델을 실행한다. 이러한 기술적 격리는 호스트 파일 시스템, 네트워크, 기타 프로세스에 접근하는 모델의 능력을 제한하여 자기 유출을 방지한다[163].
Sandboxing and containerization : Execute AI models within strictly confined environments that virtualize system resources. This technical isolation restricts the model's ability to access the host filesystem, network, or other processes, preventing self-exfiltration [163].
비상 '킬 스위치(Kill Switch)'(원클릭 통제): 모델의 연산 자원이나 네트워크 연결을 즉시 차단할 수 있는 하드코딩된 물리적 또는 소프트웨어 수준의 중단 메커니즘을 설치한다. 이러한 '회로 차단기(circuit breaker)' 기능은 예상치 못한 자율적 행동에 대응한 신속한 개입과 손실 방지(원클릭 통제)를 가능하게 한다.28
Emergency 'Kill Switches' (one-click control) : Install hard-coded, physical or softwarelevel suspension mechanisms that can instantly sever the model's compute resources or network connections. This 'circuit breaker' capability makes possible rapid intervention and loss prevention (one-click control) in response to unexpected autonomous behavior.28
변조 방지 중단 메커니즘: 에이전트가 자신의 종료를 변조하거나 방해할 수 없도록, 종료 및 무효화(override) 메커니즘을 에이전트 자체의 추론 루프 외부인 시스템 수준에서 실행한다. 전체 워크플로를 종료하지 않고도 실행 중인 에이전트의 방향을 전환할 수 있는 수단을 제공하고, 속도 제한, 일시 정지, 격리, 최종적인 완전 종료로 이어지는 단계적 개입을 지원하며, 과업·세션·시스템 수준에서의 중단도 지원한다. 에이전트가 단순히 실행을 멈추는 데 그치지 않고 이미 환경에 미친 영향을 되돌릴 수 있도록 보장한다[164].
Tamper-proofinterruption mechanisms : Runtermination and override mechanisms at system level, outside the agent's own inference loop, so that an agent cannot tamper with or interfere with its own shutdown. Provide a means of redirecting a running agent without terminating the entire workflow, and support graduated intervention-rate limiting, pausing, isolating, and finally full termination-along with interruption at the task, session, and system levels. Ensure that agents can roll back the effects they have already had on their environment, rather than merely ceasing execution [164].
5.4 수명주기 위험 완화
5.4 Lifecycle Risk Mitigation
효과적인 위험 완화를 위해서는 고립된 점검 시점에서만 위험을 평가하는 방식이 아니라 지속적이고 통합적인 접근이 필요하다. 이 절은 개발 전, 개발 중, 배포 전, 배포 후 단계에 이르는 AI 개발 수명주기의 각 단계에 구체적인 기술적·거버넌스 통제를 대응시킨다.
Effective risk mitigation requires a continuous, integrated approach, as opposed to only assessing risk at isolated checkpoints. This section maps specific technical and governance controls to each stage of the AI development lifecycle, spanning before-development, during-development, pre-deployment, and post-deployment phases.
표 5.2: AI 연구개발 수명주기 전반의 기술적 수단 및 거버넌스 조치 예시
Table 5.2: Example technical means and governance measures across AI R&D lifecycle
| 단계 | 기술적 수단 및 거버넌스 조치 |
|---|---|
| 개발 전 |
|
| 개발 중 |
|
| 배포 전 |
|
| 배포 후 |
|
| Phase | Technical Means and Governance Measures |
|---|---|
| Before development |
|
| During development |
|
| Pre-deployment |
|
| Post-deployment |
|
6. 위험 거버넌스
6. Risk Governance
위험 거버넌스 단계의 주된 목표는 전체 위험 관리 과정이 엄격하게 시행되고, 지속적으로 모니터링되며, 변화하는 위협과 역량에 맞추어 정기적으로 조정되도록 보장하는 조직 구조, 감독 메커니즘, 책임성 체계를 수립하는 것이다.
The primary objective of the risk governance stage is to establish organizational structures, oversight mechanisms, and accountability frameworks that ensure that the entire risk management process is rigorously implemented, continuously monitored, and regularly adapted to evolving threats and capabilities.
본 보고서는 개발자가 다음의 핵심 구성 요소를 통합한 포괄적인 거버넌스 체계를 시행할 것을 권고한다. 이러한 조치는 애플리케이션 제공자와 하위 배포자를 포함한 AI 생태계의 다른 이해관계자도 비례적으로 조정하여 적용해야 한다.
We recommend that developers implement a comprehensive governance framework that integrates the following core components. These measures should be adapted and applied proportionately by other stakeholders in the AI ecosystem, including application providers and downstream deployers:
1) 내부 거버넌스 메커니즘(6.1절): 안전을 위한 조직적 기반을 확립한다. 이 구성 요소는 위험에 대한 소유권이 조직 전반에 명확히 분배되고, 안전에 중요한 의사결정이 평가된 위험에 비례하여 적절한 고위 수준으로 상향 보고되며, 전담 거버넌스 구조가 안전 약속의 전략적 감독과 운영상 실행을 모두 담당하도록 보장한다. 또한 교육, 책임성 메커니즘, 체계적인 위험 추적을 통해 안전을 조직 문화에 내재화한다.
1) Internal governance mechanisms (Section 6.1) : Establishing the organizational foundations for safety. This component ensures that risk ownership is clearly distributed across the organization, that safety-critical decisions are escalated to appropriately senior levels proportional to the assessed risk, and that a dedicated governance structure provides both strategic oversight and operational execution of safety commitments. It also embeds safety into organizational culture through training, accountability mechanisms, and systematic risk tracking.
2) 투명성 및 사회적 감독(6.2절): 책임성을 조직의 경계 너머로 확장한다. 이 구성 요소는 외부 이해관계자, 즉 규제 당국, 감사인, 대중이 AI 시스템의 개발, 평가, 배포 방식을 충분히 파악하여 책임 있는 실행 방안을 검증하고 개발자에게 책임을 물을 수 있도록 보장한다. 아울러 사회적 신뢰를 유지하는 데 필요한 공개 기준, 독립적 확인 절차, 대중 참여 채널을 수립한다.
2) Transparency and social oversight (Section 6.2) : Extending accountability beyond organizational boundaries. This component ensures that external stakeholders-regulators, auditors, and the public-have sufficient visibility into how AI systems are developed, evaluated, and deployed to verify responsible practices and hold developers accountable. It establishes the disclosure standards, independent validation processes, and public participation channels necessary to maintain societal trust.
3) 비상 통제 메커니즘(6.3절): 예방 조치가 불충분한 것으로 드러날 경우 최후의 방어선 역할을 한다. 이 구성 요소는 개발자가 선제적 모니터링을 통해 새로운 위협을 신속하게 탐지하고, 인간이 개시하는 즉각적 개입 또는 자동 개입을 통해 중대 사고를 억제하며, 구조화된 대응 프로토콜을 통해 피해를 복구할 수 있도록 보장한다. 여기에는 첨단 AI 시스템이 관련된 통제 상실 시나리오에 대한 특화된 대비가 포함된다.
3) Emergency control mechanisms (Section 6.3) : Serving as the last line of defense when preventive measures prove insufficient. This component ensures that developers can rapidly detect emerging threats through proactive monitoring, contain critical incidents through immediate human-initiated or automatic intervention, and remediate harm through structured response protocols-including specialized preparedness for loss of control scenarios involving advanced AI systems.
4) 정책 업데이트 및 피드백 메커니즘(6.4절): 빠르게 변화하는 환경에서 거버넌스 체계를 최신 상태로 유지한다. 이 구성 요소는 구조화된 검토 주기, 선제적 위험 식별, 다중 이해관계자 피드백, 변화하는 국내외 표준과의 정합을 통해 새로운 위험 시나리오, 역량 발전, 규제 변화를 반영하도록 정책이 정기적으로 개정되게 보장한다.
4) Policy updates and feedback mechanisms (Section 6.4) : Keeping governance frameworkscurrent in a rapidly evolving landscape. This component ensures that policies are regularly revised to reflect new risk scenarios, capability developments, and regulatory changes through structured review cycles, proactive risk identification, multi-stakeholder feedback, and alignment with evolving domestic and international standards.
| 위험 수준 | 내부 거버넌스 메커니즘 | 투명성 및 사회적 감독 | 비상 통제 메커니즘 |
|---|---|---|---|
| 녹색 구역 |
|
|
|
| 황색 구역 |
|
|
|
| 적색 구역 | 이사회 수준 또는 이에 상응하는 고위 경영진의 승인을 요구한다. 예외적인 공익적 근거가 확립되지 않는 한 배포는 원칙적으로 금지된다. | 엄격한 제3자 감사와 규제 기관의 공동 감독을 받고, 책임성 및 보고 메커니즘을 수립한다. | 전면적인 모의 훈련을 통해 검증된 고도화된 비상 대응 프로토콜을 배포한다. 즉각적인 전면 비활성화, 네트워크 격리, 버전 롤백 역량을 유지한다. |
| Risk Level | Internal Governance Mechanisms | Transparency and Social Oversight | Emergency Control Mechanisms |
|---|---|---|---|
| Green Zone |
|
|
|
| Yellow Zone |
|
|
|
| Red Zone | Require board-level or equivalent senior leadership authorization; deployment is generally prohibited unless an exceptional public interest case is established. | Undergo rigorous third-party audits and joint oversight by regulatory bodies, establishing accountability and reporting mechanisms. | Deploy advanced emergency response protocols tested through full-scale simulation drills. Maintain capability for immediate full deactivation, network isolation, and version rollback. |
6.1 내부 거버넌스 메커니즘
6.1 Internal Governance Mechanisms
내부 거버넌스 메커니즘은 AI 위험 관리의 조직적 기반을 제공한다. 그 목표는 안전을 조직의 구조, 의사결정 과정, 문화에 내재화하여 모든 수준에서 위험이 식별되고, 상향 보고되며, 처리되도록 하는 것이다. 본 절에서는 개발자가 수립해야 할 핵심적인 제도적 거버넌스 조치를 제시한다.
Internal governance mechanisms provide the organizational foundation for AI risk management. Their objective is to embed safety into an organization's structure, decision-making processes, and culture so that risks are identified, escalated, and addressed at every level. This section outlines the core institutional governance measures that developers should establish.
조직 위험 관리에서의 '3선 방어 모델(Three Lines of Defense Model)': 이 모델은 세 가지 방어선을 명시함으로써 조직 내 위험 관리 책임을 명확히 하고 위험이 효과적으로 통제되도록 보장한다[167].
The 'Three Lines of Defense Model' in organizational risk management : This model clarifies risk management responsibilities within the organization and ensures that risks are effectively controlled by specifying three lines of defense [167].
제1 방어선: 일상 활동에서 위험을 식별, 분석, 완화할 책임을 지는 운영 사업 부서이다.
First line of defense: Operational business units responsible for identifying, analyzing, and mitigating risks in daily activities.
제2 방어선: 제1 방어선을 감독하고 지원하여 위험 관리 체계가 효과적으로 작동하도록 보장하는 위험 관리 및 규정 준수 팀이다.
Secondline of defense: Risk management and compliance teams that oversee and support the first line, ensuring that the risk management framework functions effectively.
제3 방어선: 앞선 두 방어선의 효과성을 독립적으로 평가하고 이사회에 보증을 제공하는 내부 감사이다.
Third line of defense: Internal audit, independently evaluating the first two lines' effectiveness and providing assurance to the board of directors.
AI 안전 거버넌스 구조: 전략적 감독과 운영상 실행을 모두 포괄하는 통합 거버넌스 구조를 수립한다.
AI safety governance structure : Establish a unified governance structure comprising both strategic oversight and operational execution.
AI 안전 및 윤리 위원회(전략적 감독): 이사회 또는 이에 상응하는 고위 경영진에 보고하는 전담 위원회로서, 안전 정책 수립, 위험 평가(evaluation) 결과 검토, 위험도가 더 높은 시스템에 대한 배포 결정 승인, 보안 기준 및 규제 준수 보장을 담당한다. 위원회에는 AI 안전, 윤리, 법적 규정 준수, 영역별 위험에 관한 기술적 전문성을 갖춘 구성원이 포함되어야 한다[9].
AI Safety and Ethics Committee (strategic oversight): A dedicated committee-reporting to the board of directors or equivalent senior leadership-responsible for setting safety policies, reviewing risk evaluations, approving deployment decisions for higherrisk systems, and ensuring compliance with security standards and regulations. The committee should include members with technical expertise in AI safety, ethics, legal compliance, and domain-specific risks [9].
AI 안전 팀(운영상 실행): 지정된 안전 책임자가 이끄는 내부 팀으로서, 일상적인 위험 관리 활동 수행, 고위험 AI 시스템에 대한 선제적 안전 연구 수행, 잠재적 오용 및 통제 상실 시나리오 조사, 위원회 결정 이행을 담당한다. 이 팀은 조직의 위험 관리 체계를 일차적으로 실행하는 주체 역할을 한다[168].
AI Safety Team (operational execution): An internal team led by a designated safety officer, tasked with conducting day-to-day risk management activities, performing proactive safety research on high-risk AI systems, investigating potential misuse and loss of control scenarios, and implementing the committee's decisions. This team serves as the primary executor of the organization's risk management framework [168].
위험 비례 승인 절차: 모델 배포 또는 고위험 영역 진입에 앞서, 개발자는 4절 '위험 평가(evaluation)'에서 결정된 위험 구역에 맞추어 조정된 단계별 승인 절차를 시행해야 한다. 요구되는 승인 수준은 평가된 위험에 비례해야 한다.
Risk-scaled authorization processes : Before proceeding with model deployment, or entry into high-risk domains, developers should implement a tiered authorization process calibrated to the risk zones determined in Section 4 (Risk Evaluation). The authorization level required should be proportional to the assessed risk:
녹색 구역: 문서화된 위험 평가를 바탕으로 운영 관리 조직을 통한 표준 승인을 받는다.
Green Zone: Standard approval through operational management, with documented risk assessment.
황색 구역: AI 안전 및 윤리 위원회의 승인을 받으며, 포괄적인 위험-편익 분석, 구체적인 완화 조치, 명확히 정의된 모니터링 계획이 요구된다. 배포는 비공개 베타 테스트, 규제 샌드박스, 또는 자격을 갖춘 산업계 사용자로 제한될 수 있다.
Yellow Zone: Approval by the AI Safety and Ethics Committee, requiring a comprehensive risk-benefit analysis, specified mitigation measures, and defined monitoring plans. Deployment may be limited to closed beta testing, regulatory sandboxes, or qualified industry users.
적색 구역: 이사회 수준 또는 이에 상응하는 고위 경영진의 승인이 필요하다. 예외적인 공익적 근거가 확립되지 않는 한 배포는 원칙적으로 금지되며, 배포 시에는 가장 엄격한 안전장치, 지속적인 모니터링, 즉각 중단을 위한 사전 정의된 조건이 적용된다.
Red Zone: Board-level or equivalent senior leadership approval required. Deployment is generally prohibited unless an exceptional public interest case is established, with the most rigorous safeguards, continuous monitoring, and pre-defined conditions for immediate suspension.
위험 심각도에 따른 AI 안전 자원 배분: 개발자는 안전 연구와 위험 관리가 자사 AI 시스템의 규모 및 위험 특성에 상응하도록 인력, 연산, 자금을 포함한 충분한 자원을 배분해야 한다[169]. 자원 배분은 거버넌스 체계의 일부로서 문서화되고 정기적으로 검토되어야 한다.
Allocate AI safety resources based on risk severity : Developers should allocate sufficient resources-including personnel, compute, and funding-to ensure that safety research and risk management are commensurate with the scale and risk profile of their AI systems [169]. Resource allocation should be documented and reviewed regularly as part of the governance framework.
조직의 안전 문화 및 교육: 구체적이고 측정 가능한 실행 방안을 통해 안전 우선 문화를 조성한다.
Organizational safety culture and training : Cultivate a safety-first culture through concrete, measurable practices:
의무 안전 교육: 모든 R&D 인력, 경영진, 그리고 AI 시스템 개발 또는 배포에 관여하는 인원은 위험 식별, 책임 있는 개발 실행 방안, 사고 보고 절차를 다루는 정기 안전 교육을 이수해야 한다.
Mandatory safety training: All R&D staff, leadership, and personnel involved in AI system development or deployment should complete regular safety training covering risk identification, responsible development practices, and incident reporting procedures.
안전 사고 검토: 체계적인 사후 검토(아차사고 포함)를 실시하여 교훈을 도출하고 이에 따라 안전 프로토콜을 갱신한다.
Safety incident reviews: Conduct systematic post-incident reviews (including for nearmisses) to extract lessons learned and update safety protocols accordingly.
성과 평가에 안전 지표 반영: 책임성을 강화하기 위해 안전 관련 지표를 인사 성과 평가와 조직 KPI에 반영한다.
Safety metrics in performance evaluation: Incorporate safety-related metrics into personnel performance reviews and organizational KPIs to reinforce accountability.
정기 내부 감사: 주기적인 내부 감사를 실시하여 AI 안전 프로토콜 준수 여부를 확인하고 기존 안전장치의 공백을 식별한다.
Regular internal audits: Conduct periodic internal audits to verify compliance with AI safety protocols and identify gaps in existing safeguards.
내부 고발자 보호 및 신고 메커니즘: 직원이 보복에 대한 두려움 없이 중대한 AI 안전 위험이나 위반 사항을 공개할 수 있는 안전한 익명 신고 채널을 구축한다. 제한적인 비밀유지 계약이나 비방 금지 계약이 안전 관련 공개를 억압하지 못하도록 강력한 보호 장치를 시행하여 투명하고 책임 있는 환경을 보장한다.30
Whistleblower protection and reporting mechanism : Establish secure, anonymous reporting channels where employees can disclose critical AI safety risks or violations without fear of retaliation. Implement robust protections to prevent restrictive confidentiality or nondisparagement agreements from suppressing safety-related disclosures, ensuring a transparent and accountable environment.30
위험 등록부: 개발자는 신속한 갱신과 실행 지향적 위험 추적을 위해 설계된 상시 갱신형 내부 문서인 동적 위험 등록부를 유지해야 한다[8]. 위험 등록부에는 포괄적인 위험 분류 체계를 수록하고, 각 위험에 대해 다음 사항을 상세히 기술해야 한다. 1) 조직의 모델 포트폴리오 전반에서 해당 위험 범주가 도달한 최고 위험 수준, 2) 지정된 위험 책임자, 3) 다양한 단계에서 수행할 구체적인 평가(evaluation), 4) 위험 수준별로 맞춤화된 완화 절차, 5) 상부 보고 또는 재평가(re-assessment)를 촉발하는 평가(evaluation) 임계값. 안정적이고 장기적인 AI 안전 정책과 달리, 위험 등록부는 새롭게 등장하는 위협에 대한 기민한 대응을 가능하게 한다. 투명성 조치로서, 위험 등록부에서 민감 정보를 삭제한 편집본을 매년 공개하여 민감하거나 안전상 중요한 데이터를 보호하면서 이해관계자와 통찰을 공유해야 한다.
Risk register : Developers should maintain a dynamic risk register-a living internal document designed for rapid updates and action-oriented risk tracking [8]. The risk register should catalog a comprehensive taxonomy of risks, detailing for each: 1) the highest risk level that this risk category has reached across the organization's model portfolio; 2) the designated risk owner; 3) specific evaluations to run at various stages; 4) tailored mitigation procedures for different risk levels; and 5) evaluation thresholds that trigger escalation or re-assessment. Distinct from stable, long-term AI safety policies, risk registers enable agile responses to emerging threats. As a transparency measure, a redacted version of the risk register should be published annually, to share insights with stakeholders while protecting sensitive or safety-critical data.
6.2 투명성 및 사회적 감독 메커니즘
6.2 Transparency and Social Oversight Mechanisms
투명성 및 사회적 감독 메커니즘은 AI 위험 거버넌스가 조직 내부의 경계를 넘어 확장되도록 보장한다. 그 목적은 규제 기관, 감사인, 대중 등 외부 이해관계자가 AI 시스템이 책임 있게 개발되고 배포되는지를 검증하고, 그렇지 않을 경우 개발자에게 책임을 물을 수 있도록 하는 것이다. 이 절에서는 내부 거버넌스를 보완하는 공개, 감독, 책임성 메커니즘을 개괄한다.
Transparency and social oversight mechanisms ensure that AI risk governance extends beyond internal organizational boundaries. Their objective is to enable external stakeholders-regulators, auditors, and the public-to verify that AI systems are developed and deployed responsibly, and to hold developers accountable when they are not. This section outlines the disclosure, oversight, and accountability mechanisms that complement internal governance.
투명한 공개를 위한 모델 문서화 및 명세: 개발자는 각 AI 시스템에 대해 수명주기 전반에 걸쳐 모델카드[171], 시스템 카드(system card)[172], 기술 보고서 등 구조화되고 접근 가능한 문서를 공개해야 하며, 여기에는 모델 아키텍처, 학습 데이터 특성, 시스템 통합, 의도된 용도, 평가(evaluation) 결과, 안전 조치, 배포 맥락, 한계, 윤리적 고려 사항 등을 기록해야 한다.31 이러한 공개 자료는 모델의 주요 개정 시마다 갱신되어 일반에 공개되어야 한다. 특히 중요한 조치 중 하나는 모델 명세를 공개하는 것이다. 모델 명세란 바람직한 모델 행동을 형성하기 위한 개발자의 접근 방식과, 상충이 발생할 때 트레이드오프를 어떻게 평가하는지를 기술한 문서이다[142].
Model documentation and specifications for transparent disclosure : Developers should publish structured, accessible documentation for each AI system throughout its lifecycle, such as model cards [171], system cards [172], or technical reports, documenting things like model architecture, training data characteristics, system integration, intended use, evaluation results, safety measures, deployment context, limitations, ethical considerations and so on.31 These disclosures should be updated with each major model revision and made publicly available. One particularly important measure is publishing a model specification, a document that describes the developers' approach to shaping desired model behavior and how they evaluate tradeoffs when conflicts arise [142].
공공 감독 메커니즘: AI 안전 위험에 관한 대중의 민원 및 신고를 위한 접근 가능한 채널을 마련하여 감독에 대한 사회적 참여를 촉진하고 협력적인 안전 생태계를 조성한다.
Public oversight mechanisms : Create accessible channels for public complaints and reports on AI safety risks, fostering societal participation in oversight and cultivating a collaborative safety ecosystem.
제3자 감사 메커니즘: 결과에 대해 상업적 이해관계가 없는 독립 기관을 참여시켜 안전 평가(assessment) 결과와 완화 조치를 주기적으로 검증한다. 여기에는 규정 준수 검토(개발자가 수립된 체계를 준수하고 있는지 검증)와 적정성 검토(체계를 따를 경우 위험이 수용 가능한 수준으로 유지되는지 평가(assessment))가 모두 포함되어야 한다[129, 174].
Third-party audits mechanisms : Engage independent organizations-with no commercial interest in the outcomes-to periodically validate safety assessment results and mitigation measures. This should include both compliance reviews (to verify that developers are adhering to the established framework), and adequacy reviews (to assess whether the framework, if followed, maintains risks at acceptable levels) [129, 174].
부분적 위험 수용을 위한 보충적 책임 메커니즘: 엄격한 평가(assessment) 결과 모델이 황색 구역(잔여 위험이 높지만 관리 가능한 수준으로 남아 있는 구역)에 해당한다고 판단될 경우, 개발자는 배포에 대한 설득력 있는 공익적 근거가 확립된 경우에 한하여 위험의 일부를 신중하게 수용할 수 있다. 이러한 조건부 배포는 완전한 정보 공개, 완화 적정성에 대한 독립적 평가(assessment), 지속적인 외부 모니터링 메커니즘을 포함한 엄격한 거버넌스 가드레일 하에서 운영되어야 한다. 공익적 근거가 설득력이 없거나 이러한 조건을 충족할 수 없는 경우, 위험 처리 옵션인 위험 회피(Risk Avoidance)를 적용해야 한다.
Supplementary liability mechanism for partial risk acceptance : When strict assessments determine that a model falls within the Yellow Zone (where residual risks remain high but manageable), developers may cautiously accept part of the risk only if a compelling public interest case for deployment is established. This conditional deployment must operate under strict governance guardrails, including full information disclosure, independent assessment of mitigation adequacy, and continuous external monitoring mechanisms. If the public interest is not compelling or these conditions cannot be met, the risk treatment option Risk Avoidance must be applied.
6.3 비상 통제 메커니즘
6.3 Emergency Control Mechanisms
비상 통제 메커니즘은 예방 조치와 상시 안전장치가 불충분한 것으로 드러날 때 최후의 방어선을 제공한다. 그 목적은 통제 상실과 관련된 시나리오를 포함한 중대한 AI 안전 비상사태가 광범위한 피해로 확대되기 전에 개발자가 이를 신속하게 탐지, 억제, 복구할 수 있도록 보장하는 것이다.32
Emergency control mechanisms provide the last line of defense when preventive measures and ongoing safeguards prove insufficient. Their objective is to ensure that developers can rapidly detect, contain, and remediate critical AI safety emergencies-including scenarios involving loss of control-before they escalate to cause widespread harm.32
선제적 모니터링 및 조기 경보[2]: 개발자는 순수하게 사후 대응적인 조치에서 벗어나 동적 모니터링 및 조기 경보 시스템을 통한 선제적 위험 식별로 전환해야 한다. 개발자는 다음을 시행해야 한다.
Proactive monitoring and early warning [2]: Developers should shift from purely reactive measuresto proactive risk identification through dynamic monitoring and early warning systems. Developers should implement:
동적 모니터링: 고위험 배포 환경 전반에서 시스템 행동, 출력 패턴, 사용자 상호작용 이상에 대한 지속적인 실시간 모니터링.
Dynamic monitoring: Continuous real-time monitoring of system behavior, output patterns, and user interaction anomalies across high-stakes deployment environments.
조기 경보 지표: 새롭게 발생하는 안전 사고를 나타낼 수 있는 사전 정의된 신호로서, 비정상적인 역량 발현, 예상치 못한 행동 패턴, 외부 위협 정보 등을 포함함.
Early warning indicators: Predefined signals-including unusual capability demonstrations, unexpected behavioral patterns, and external threat intelligence-that may indicate an emerging safety incident.
위험 예측: 관찰된 이상이 확대될 가능성이 있는지 평가(assessment)하여 사고가 현실화되기 전에 개발자가 개입할 수 있도록 함.
Risk prediction: Assessing whether observed anomalies are likely to escalate, enabling developers to intervene before incidents materialize.
버전 롤백 준비: 우려스러운 행동 변화가 탐지될 경우 이전에 안전성이 검증된 모델 버전으로 신속하게 되돌릴 수 있는 역량을 유지함.
Version rollback readiness: Maintaining the capability to rapidly revert to a previous, verified-safe model version when concerning behavioral shifts are detected.
원클릭 통제 메커니즘[2]: 개발자는 고도로 자율적인 실행 역량을 갖춘 AI 시스템에 대해 인간 통제 메커니즘을 구축하여 인간이 항상 최종 의사결정 권한을 보유하도록 보장해야 한다. 핵심 요건은 신속한 인간 개입을 위해 단일하고 접근 가능한 통제 조작을 통해 어떤 AI 시스템이든 즉시 중단하거나 종료할 수 있는 능력이다. 이 메커니즘은 다음과 같아야 한다.
One-click control mechanism [2]: Developers should establish human control mechanisms for AI systems with highly autonomous execution capabilities, ensuring that humans retain final decision-making authority at all times. The core requirement is the ability to immedi- ately suspend or shut down any AI system through a single, accessible control action, for rapid human intervention. This mechanism should be:
접근성: 전문적인 기술 지식이나 다단계 절차 없이도 권한 있는 인원이 조작할 수 있어야 함.
Accessible: Operable by authorized personnel without requiring specialized technical expertise or multi-step procedures.
신뢰성: AI 시스템 자체의 운영 상태와 독립적으로 작동하여, 오작동하거나 적대적인 시스템에 의해 우회될 수 없도록 보장해야 함.
Reliable: It should function independently of the AI system's own operational state, ensuring that it cannot be circumvented by a malfunctioning or adversarial system.
포괄성: 모든 시스템 출력을 중단하고, 애플리케이션 프로그래밍 인터페이스 (API) 접근을 차단하며, 외부 네트워크 및 연결된 시스템으로부터 해당 시스템을 격리할 수 있어야 함.
Comprehensive: Capable of suspending all system outputs, revoking API access, and isolating the system from external networks and connected systems.
검증: 운영 준비 상태를 확인하기 위해 훈련을 통해 정기적으로 검증되어야 함(아래 비상 대응 훈련 참조).
Tested: Regularly verified through drills to confirm operational readiness (see emergency response drills below).
서킷 브레이커 메커니즘[2]: 개발자는 심각한 이상이 탐지되는 즉시 작동하는 자동 중단 메커니즘을 시행하여, 진단이 이루어지는 동안 시스템이 피해를 확대하지 않도록 보장해야 한다. 이 메커니즘은 다음을 충족해야 한다.
Circuit breaker mechanism [2]: Developers should implement automatic suspension mechanisms that trigger immediately upon detection of severe anomalies-ensuring that the system does not cause expanded harm while a diagnosis is being made. The mechanism should:
시스템의 위험 특성 및 배포 맥락에 맞추어 조정된 정량적 이상 탐지 임계값을 정의한다.
Define quantitative anomaly detection thresholds calibrated to the system's risk profile and deployment context.
임계값을 초과할 경우, 초기 대응에 인간의 개입을 요구하지 않고 시스템 운영을 자동으로 중단한다.
Automatically suspend system operation when thresholds are breached, without requiring human intervention for the initial response.
사후 분석을 위해 모든 촉발 사건을 전체 맥락과 함께 기록한다.
Log all triggering events with full context for post-incident analysis.
탐지된 이상의 심각도에 비례하여 출력 필터링에서 부분 중단, 전면 종료에 이르는 단계적 대응을 지원한다.
Support graduated responses-from output filtering to partial suspension to full shutdown proportional to the severity of the detected anomaly.
비상 대응 메커니즘[175]: 임박한 위협이 식별되면, 개발자는 다음과 같은 구조화된 대응 프로토콜을 실행해야 한다.
Emergency response mechanism [175]: When an imminent threat is identified, developers should execute a structured response protocol:
위협을 억제하기 위해 서킷 브레이커 또는 원클릭 통제를 즉시 작동한다.
Immediately activate the circuit breaker or one-click control to contain the threat;
확산을 방지하기 위해 영향을 받은 사용자 계정 및 하위 시스템을 격리한다.
Isolate affected user accounts and downstream systems to prevent propagation;
관련 법령에서 요구하는 바에 따라 관계 법 집행 기관 및 규제 당국에 통보한다.
Notify relevant law enforcement and regulatory authorities as required by applicable regulations;
근본 원인 분석을 수행하고 그 결과를 문서화한다.
Conduct a root cause analysis and document findings;
시정 조치를 시행하고 서비스를 복구하기 전에 그 효과를 검증한다.
Implement corrective measures and verify their effectiveness before restoring service;
사건 내용, 대응 조치, 예방적 개선 사항을 상세히 기술한 사후 사고 보고서를 공개한다.
Publish a post-incident report detailing the event, response actions, and preventive improvements.
비상 대응 훈련: 개발자는 AI 안전 사고에 대처하기 위해 명확한 책임 분담과 절차를 갖춘 상세한 비상 대응 계획을 수립해야 한다. 또한 도상 훈련과 전면적 모의 훈련을 모두 포함한 비상 훈련을 정기적으로 실시하여 조직의 신속 대응 역량을 점검하고 개선해야 한다.
Emergency response drills : Developers should formulate detailed emergency response plans with clear division of responsibilities and procedures for addressing AI safety incidents. They should regularly conduct emergency drills-including both tabletop exercises and full-scale simulations-to test and improve the organization's rapid response capabilities.
통제 상실 대비: 통제 상실 위험을 초래할 수 있는 첨단 AI 시스템(레드라인(Red Line) 위험 시나리오는 2.2.5절 참조)에 대해, 개발자는 표준 비상 대응을 넘어서는 전문화된 대비 조치를 수립해야 한다.
Loss of control preparedness : For advanced AI systems that may pose loss of control risks (see Section 2.2.5 for Red Line risk scenarios), developers should establish specialized preparedness measures beyond standard emergency response:
(1) 트립와이어(tripwire): 감독 메커니즘을 우회하려는 시도나 자기 주도적 목표 수정 등 통제 상실 시나리오의 전조를 탐지하도록 특별히 조정된 조기 경보 지표임.
(1) Tripwires: Early warning indicators specifically calibrated to detect precursors of loss of control scenarios-such as attempts to circumvent oversight mechanisms or self-directed goal modification.
(2) 단계적 상향 프로토콜(escalation protocol): 각 상향 단계에서 부분 또는 전면 중단을 명령할 권한이 누구에게 있는지를 명시하고, 의사결정을 위한 명확한 시한을 포함하는 사전 정의된 지휘 계통임.
(2) Escalation protocols: Predefined chains of command specifying who has authority to order partial or full shutdown at each escalation level, with clear timelines for decision-making.
(3) 격리 전략: 우려스러운 자율적 행동을 보인 시스템을 격리하는 방법으로, 네트워크 분할, 연산 접근 권한 회수, 시스템 이주(migration)를 방지하기 위한 외부 인프라 제공자와의 공조 등을 포함함.
(3) Containment strategies: Methods for isolating a system that has demonstrated concerning autonomous behavior, including network segmentation, revoking compute access, and coordination with external infrastructure providers to prevent system migration.
(4) 조직 간 공조: 침해된 시스템이 조직 경계를 넘어 '이동(hopping)'하는 것을 방지하고 시스템적 위협에 대한 공동 대응을 가능하게 하기 위해 다른 AI 개발자 및 인프라 제공자와 체결하는 협약임.
(4) Cross-organizational coordination: Agreements with other AI developers and infrastructure providers to prevent a compromised system from 'hopping' across organizational boundaries, and to enable coordinated response to systemic threats.
6.4 정책 업데이트 및 피드백 메커니즘
6.4 Policy Updates and Feedback Mechanisms
AI 역량과 그에 수반되는 위험은 빠르게 진화하며, 이를 관리하기 위해 설계된 거버넌스 프레임워크보다 더 빠르게 진화하는 경우가 많다. 이 절의 목적은 위험 거버넌스가 최신 상태를 유지하고, 증거에 기반하며, 새롭게 부상하는 위협에 대응할 수 있도록 보장하는 것이다. 이를 위해서는 정기적 검토, 지속적 위험 식별, 다중 이해관계자 피드백, 진화하는 표준과의 정합을 위한 구조화된 절차를 수립해야 한다.
AI capabilities and their associated risks evolve rapidly-often faster than the governance frameworks designed to manage them. The objective of this section is to ensure that risk governance remains current, evidence-based, and responsive to emerging threats. This requires establishing structured processes for periodic review, continuous risk identification, multi-stakeholder feedback, and alignment with evolving standards.
프레임워크 반복 주기: 새로운 위험 시나리오, 규제 업데이트, 이해관계자 피드백을 반영하기 위해 AI 안전 정책과 거버넌스 프레임워크를 6~12개월마다 개정한다. 정기 주기 외에도, 다음 조건 중 하나라도 발생하면 업데이트가 촉발되어야 한다.
Framework iteration cycle : Revise AI safety policies and governance frameworks every 612monthstoincorporate new risk scenarios, regulatory updates, and stakeholder feedback. Beyond the regular cycle, updates should be triggered by any of the following conditions:
조직 자체 시스템 또는 다른 개발자의 유사 시스템과 관련된 중대한 안전 사고
A major safety incident involving the organization's own systems or comparable systems from other developers;
국내 또는 국제 차원의 중대한 규제 변화
Significant regulatory changes at the domestic or international level;
조직 자체 모델에서 비롯된 것이든 해당 분야 전반에서 비롯된 것이든, 위험 지형을 실질적으로 변화시키는 입증된 역량 도약
Demonstrated capability jumps-whether from the organization's own models or from the broader field-that materially alter the risk landscape.
기존 정책의 중대한 공백을 식별한 제3자 감사 또는 내부 검토 결과
Findings from third-party audits or internal reviews that identify material gaps in existing policies.
지속적이고 선제적인 위험 식별: 파국적 결과 목록을 정기적으로 업데이트하고, 특히 통제 상실 시나리오 방지에 중점을 두어 위험을 선제적으로 식별하고 평가한다. 구조화된 미래 동향 탐색(horizon scanning), 시나리오 기획, 영역 간 정보 공유, 거버넌스 공백에 대한 레드티밍 등의 방법을 통해 '알려지지 않은 미지(unknown unknowns)'를 추적하는 동적 프레임워크를 구축한다.
Continuous and proactive risk identification : Regularly update the list of catastrophic consequences and proactively identify and assess risks, with particular emphasis on avoiding loss of control scenarios. Establish a dynamic framework to track 'unknown unknowns' through methods such as structured horizon scanning, scenario planning, cross-domain intelligence sharing, and red-teaming for governance gaps.
정책 피드백 메커니즘: 정책 이행과 효과성을 개선하기 위해 구조화되고 반복적인 채널을 통해 다양한 이해관계자로부터 입력을 수렴한다.
Policy feedback mechanism : Solicit input from diverse stakeholders through structured, recurring channels to refine policy implementation and effectiveness.
국내외 표준과의 정합: 거버넌스 프레임워크의 상호운용성을 높이기 위해 적용 가능한 국내외 AI 안전 표준과의 호환성을 보장한다. 이 프레임워크와 중국 국가 TC260 AI 안전 거버넌스 프레임워크 2.0 및 EU 범용 AI 모델 실천 강령(안전 및 보안 장) 간 상호운용성에 대한 상세 분석은 부록 I을 참조한다.
Alignment with domestic and international standards : Ensure compatibility with applicable domestic and international AI safety standards to enhance the interoperability of governance frameworks. For detailed analysis of this framework's interoperability with China's National TC260 AI Safety Governance Framework 2.0 and the EU Code of Practice for GeneralPurpose AI Models (Safety and Security Chapter), see Appendix I.
부록 I: 프레임워크 상호운용성
Appendix I: Framework Interoperability
SHLAB-Concordia AI 프레임워크가 TC260의 파국적 위험 규정 준수 권고를 뒷받침하는 실질적 이행 방안으로 기능하는 방식
How the SHLAB-Concordia AI Framework serves as a practical implementation to support TC260's catastrophic risk compliance recommendations
SHLAB-Concordia AI 프레임워크가 EU 실천 강령(CoP)의 시스템적 위험 규정 준수 의무를 충족하는 프레임워크 사례로 기능하는 방식
How the SHLAB-Concordia AI Framework serves as a framework instance to meet EU CoP's systemic risk compliance obligations
| AI 안전 거버넌스 프레임워크 2.0 (TC260) [2] | ↳ | 프론티어 AI 위험 관리 프레임워크 (SHLAB-Concordia AI) | ↵ | 안전 및 보안 장 (EU 실천 강령) [176] | 상호운용성 비고 |
|---|---|---|---|---|---|
| 3 AI 안전 위험의 분류 3.1 AI 기술의 내재적 안전 위험 3.2 AI 기술과 관련된 응용 안전 위험 3.3 AI 응용에서 파생되는 안전 위험 TC260 프레임워크 v2.0은 v1.0의 일반 위험 분류 체계를 토대로 통제 상실을 포함한 파국적 위험을 명시적으로 다루도록 커버리지를 확대함. | ↳ | 1 위험 식별 1.1 위험 식별의 범위 1.2 위험 분류 체계 1.3 오용 위험 1.4 통제 상실 위험 1.5 사고 위험 1.6 시스템적 위험 프론티어 AI 모델의 '파국적 위험'에 중점을 둠. | ↵ | 2 시스템적 위험 식별 2.1 시스템적 위험 식별 절차 2.2 시스템적 위험 시나리오 부록 1.4 명시된 시스템적 위험 '시스템적 위험'에 중점을 두며, 위험 유형과 위험 시나리오를 모두 식별하도록 요구함. | 모든 프레임워크가 통제 상실 위험을 인정함. 참고: TC260의 '통제 상실' 정의는 AI의 자율적 행동과 위험한 역량(예: 화학·생물·방사능·핵 지식)의 통제되지 않은 확산을 모두 포괄함. |
| 5.5 AI 응용 분류 및 위험 등급 관리 시행 부록 1 AI 안전 위험 등급 분류 원칙(낮음/보통/ 상당/중대/ 극히 심각) 등급 분류 원칙은 제시하나, 관련 분야의 산업별 규칙이 마련되기 전까지 구체적인 기술적 레드라인(Red Line)은 열거하지 않음. | ↳ | 2 위험 임계값 2.1 옐로라인 및 레드라인 정의 2.2 영역별 레드라인 명세 5개 위험 범주(즉, 사이버, 생물, 화학, P&M, LoC)에서 구체적인 레드라인/옐로라인을 명확히 하고, 3차원(Three Dimensions)을 제시함 | ↵ | 4 시스템적 위험 수용 결정 4.1 적절한 시스템적 위험 등급/ 안전 여유도 정의 서명자가 자체 '수용 가능 기준'을 정의하도록 요구함. | SHLAB-Concordia AI 프레임워크의 '레드라인'은 TC260의 '극히 심각한 위험'과 EU 실천 강령의 '시스템적 위험 수용 결정'을 정량화 가능한 기술 지표로 전환함. |
| 5.8 AI 안전 평가(assessment) 체계 구축 (모델/응용/ 시나리오별 평가(evaluation)) 6.1 AI 모델 및 알고리즘 개발을 위한 안전 지침 6.2 AI 응용 개발 및 배포를 위한 안전 지침 | ↳ | 3 위험 분석 (F1.5에서 업데이트) 3.1 맥락 분석 3.2 모델 평가(evaluation) 3.3 위험 모델링 및 추정 3.4 배포 후 위험 모니터링 3.5 수명주기 이행 | ↵ | 3 시스템적 위험 분석 3.1 모델-비의존적 정보 3.2 모델 평가(evaluation) 3.3 시스템적 위험 모델링 3.4 시스템적 위험 추정 3.5 출시 후 모니터링 부록 2 유사하게 안전하거나 더 안전한 모델 부록 3 모델 평가(evaluation) EU 실천 강령은 유사하게 안전하거나 더 안전한 모델과의 비교 | 모두 전체 수명주기를 강조함: SHLAB-Concordia AI 프레임워크와 EU 실천 강령은 배포 전 체계적 평가(evaluation)를 강조하고, TC260은 응용 시나리오 평가(evaluation)를 강조함. |
| 평가(evaluation) 체계 구축을 요구함. | F1.5는 수명주기 단계 중심에서 기능 모듈 중심으로 재구성하여, 위험 분석 활동(평가(evaluation), 모니터링, 위협 모델링)을 고정된 순차적 관문(gate)이 아닌 개발 수명주기 전반에 걸쳐 유연하게 적용할 수 있도록 함. | 벤치마킹(부록 2), 모델-비의존적 위협 정보 수집(3.1), AI Office 보고를 수반하는 출시 후 모니터링(3.5)을 요구함. | |||
| 5.5 AI 응용 분류 및 위험 등급 관리 시행 (안전 위험 등급에 따른 차별화된 조치 시행) | ↳ | 4 위험 평가(evaluation) 4.1 완화 전 위험 처리 옵션 4.2 완화 후 잔여 위험 평가(evaluation) 및 배포 의사결정 4.3 배포 결정에 관한 외부 소통 | ↵ | 4 시스템적 위험 수용 결정 4.2 시스템적 위험 수용 결정에 따른 진행 또는 미진행 10 추가 문서화 및 투명성 | 모두 등급별 대응을 강조함: SHLAB-Concordia AI 프레임워크와 EU 실천 강령은 '위험이 수용 불가능하면 배포하지 않음'이라는 선제적 차단 메커니즘을 명확히 정의하는 반면, TC260은 '서킷 브레이커(circuit breaker)' 및 '원클릭 통제(one-click control)'라는 공정 중 개입 메커니즘을 요구하며, 이는 시스템이 높은 |
| 보안 보호 역량이 요건에 부합하는 것을 조건으로 한 등록 및 신고(filing)를 강조함. | 위험을 그린/옐로/레드 존(Zone)으로 구분하며, 레드 존은 일반적으로 배포 또는 개발 중단을 요구함. | 위험을 수용 가능/수용 불가능 수준으로 구분하고, 그에 상응하는 위험 관리 조치를 둠. | |||
| 4 위험 대응을 위한 기술적 대응책 4.1 내재적 안전 위험에 대한 안전장치 4.2 응용 안전 위험에 대한 안전장치 4.3 응용 관련 2차 안전 위험에 대한 안전장치 5.4 오픈소스 및 공급망 안전 (다운로드한 오픈소스 모델의 금지 용도 정의) 기술적 대응책이 비교적 포괄적임(학습 데이터, 모델 알고리즘, 컴퓨팅 시설, 제품 서비스, | ↳ | 5 위험 완화 5.1 안전 학습 조치 5.2 배포 완화 조치 5.3 시스템 보안 조치 5.4 수명주기 위험 완화 전체 수명주기에 걸친 '심층 방어(Defense-in-Depth)' 전략을 강조하며, 안전 학습 조치, 배포 완화 조치, | ↵ | 5 안전 위험 완화조치 6 보안 위험 완화조치 부록 4 보안 위험 완화 목표 및 조치 안전과 보안을 서로 다른 약속으로 명시적으로 정의하고, 구체적인 완화 목표와 수단을 제시함. | TC260의 5.4절은 거버넌스로 분류되지만, 위험 확산 방지를 위한 '금지 용도'는 SHLAB-Concordia AI 프레임워크의 배포 완화 조치 및 EU 실천 강령의 안전 위험 완화조치와 기능적으로 부합하고 논리적으로 연결됨. |
| 5 종합 거버넌스 조치 5.3 전체 수명주기 5.4 오픈소스 및 공급망 안전 5.6 AI 생성 콘텐츠의 추적 가능한 관리 5.11 통제 상실 대응에 관한 합의 다자 공동 거버넌스(정부/산업계/사회)를 강조함. | ↳ | 6 위험 거버넌스 6.1 내부 거버넌스 메커니즘 6.2 투명성 및 사회적 감독 메커니즘 6.3 비상 통제 메커니즘 6.4 정책 업데이트 및 피드백 메커니즘 내부 '3선 방어(Three Lines of Defense)' 및 '내부고발자(Whistleblower)' 메커니즘 등을 강조함. | ↵ | 7 안전 및 보안 모델 보고서8 책임 배분9 중대 사고 보고 10 추가 문서화 및 투명성 가장 상세한 규정 준수 요건을 갖추고 있으며, 내부 책임성, 외부 투명성, 보고 메커니즘(예: EU AI Office에 대한 보고)에 중점을 둠. | SHLAB-Concordia AI 프레임워크의 내부 거버넌스 절차는 TC260의 '전체 수명주기 역량'과 EU 실천 강령의 '책임 배분'을 이행하기 위한 조직적 청사진을 제공함. |
| AI Safety Governance Framework 2.0 (TC260) [2] | ↳ | Frontier AI Risk Management Framework (SHLAB-Concordia AI) | ↵ | Safety & Security Chapter (EU Code of Practice) [176] | Interoperability Notes |
|---|---|---|---|---|---|
| 3 Classification of AI safety risks 3.1 Inherent safety risks of AI technology 3.2 Application safety risks associated with AI technology 3.3 Derivative safety risks from AI application TC260 Framework v2.0 adds explicit coverage of catastrophic risks including loss of control, building on v1.0's general risk taxonomy. | ↳ | 1 Risk Identification 1.1 Scope of Risk Identification 1.2 Risk Taxonomy 1.3 Misuse Risks 1.4 Loss of Control Risks 1.5 Accident Risks 1.6 Systemic Risks Focuses on 'catastrophic risks' of frontier AI models. | ↵ | 2 Systemic risk identification 2.1 Systemic risk identification process 2.2 Systemic risk scenarios Appendix 1.4 Specified systemic risks Focuses on 'systemic risks', requires the identification of both risk type and risk scenario. | All frameworks acknowledge Loss of Control risks. Note: TC260's definition of 'Loss of Control' encompasses both autonomous AI behavior AND uncontrolled proliferation of dangerous capabilities (e.g., CBRN knowledge). |
| 5.5 Implementing AI application classification and risk grading management Appendix 1 The grading principles for AI safety risks (Low/Moderate/ Considerable/Major/ Extremely serious) Provides grading principles but does not list specific technical Red Lines, pending industry-specific rules from relevant domains. | ↳ | 2 Risk Thresholds 2.1 Defining Yellow Lines and Red Lines 2.2 Domain-Specific Red Line Specifications Clarifies specific Red Lines/Yellow Lines in five risk categories (i.e. Cyber, Bio, Chem, P&M, and LoC), provides the Three Dimensions | ↵ | 4 Systemic risk acceptance determination 4.1 Define appropriate systemic risk tiers/ safety margin Requires signatories to define their own 'acceptable standard.' | The 'Red Lines' in the SHLAB-Concordia AI framework translate TC260's 'Extremely Serious Risk' and EU CoP's 'Systemic Risk acceptance determination' into quantifiable technical indicators. |
| 5.8 Establishing an AI safety assessment system (Model/Applications/ Scenario-specific evaluation) 6.1 Safety guidelines for developing AI models and algorithms 6.2 Safety guidelines for developing and deploying AI applications | ↳ | 3 Risk Analysis (F1.5 updated) 3.1 Contextual Analysis 3.2 Model Evaluations 3.3 Risk Modeling and Estimation 3.4 Post-deployment Risk Monitoring 3.5 Lifecycle Implementation | ↵ | 3 Systemic risk analysis 3.1 Model-independent information 3.2 Model evaluations 3.3 Systemic risk modeling 3.4 Systemic risk estimation 3.5 Post-market monitoring Appendix 2 Similarly safe or safer models Appendix 3 Model evaluations EU CoP requires comparative | All emphasize the full life cycle : SHLAB-Concordia AI Framework and EU CoP emphasize systemic evaluation before deployment, TC260 emphasizes application scenario evaluation. |
| Requires establishment of an evaluation system. | F1.5 reorganizes from lifecycle phases to functional modules, allowing risk analysis activities (evaluations, monitoring, threat modeling) to be applied flexibly throughout the development lifecycle rather than at fixed sequential gates. | benchmarking against similarly safe/safer models (Appendix 2), model-independent threat intelligence gathering (3.1), and post-market monitoring with reporting to the AI Office (3.5). | |||
| 5.5 Implementing AI application classification and risk grading management (Taking differentiated measures based on safety risk grading) | ↳ | 4 Risk Evaluation 4.1 Pre-mitigation Risk Treatment Options 4.2 Post-mitigation Residual Risk Evaluation and Deployment Decision-making 4.3 External Communication about Deployment Decisions | ↵ | 4 Systemic risk acceptance determination 4.2 Proceeding or not proceeding based on systemic risk acceptance determination 10 Additional documentation and transparency | All emphasize graded response: The SHLAB-Concordia AI Framework and EU CoP clearly define the pre-emptive blocking mechanism of 'no deployment if risk is unacceptable,' while TC260 requires in-process intervention mechanisms of 'circuit breaker' and 'one-click control' when the system possesses high |
| Emphasizes registration and filing conditional on security protection capabilities matching requirements. | Risks divided into Green/Yellow/Red Zones, with Red Zone generally requiring suspension of deployment or development. | Risks divided into acceptable/unacceptable levels, with corresponding risk management measures. | |||
| 4 Technological countermeasures to address risks 4.1 Safeguards against inherent safety risks 4.2 Safeguards against application safety risks 4.3 Safeguards against application-related secondary safety risks 5.4 Open-source and supply chain safety (define prohibited uses of downloaded open-source models) Technical countermeasures are relatively comprehensive (covering training data, model algorithms, computing facilities, product services, | ↳ | 5 Risk Mitigation 5.1 Safety Training Measures 5.2 Deployment Mitigation Measures 5.3 System Security Measures 5.4 Lifecycle Risk Mitigation Emphasizes a 'Defense-in-Depth' strategy across the full lifecycle, divided into safety training measures, deployment mitigation measures, | ↵ | 5 Safety mitigations 6 Security mitigations Appendix 4 Security mitigation objectives and measures Explicitly defines safety and security as different commitments, and provides specific mitigation goals and means. | Although TC260's section 5.4 is classified as governance, its 'prohibited uses' for preventing risk proliferation functionally aligns and logically connects with the SHLAB-Concordia AI Framework's Deployment Mitigation Measures and EU CoP's Safety Mitigation Measures. |
| 5 Comprehensive governance measures 5.3 Full life-cycle 5.4 Open-source and supply chain safety 5.6 Traceable management of AIGC 5.11 Consensus on response to loss-of-control Emphasizes multi-party co-governance (Government/Industry/Society). | ↳ | 6 Risk Governance 6.1 Internal Governance Mechanisms 6.2 Transparency and Social Oversight Mechanisms 6.3 Emergency Control Mechanisms 6.4 Policy Updates and Feedback Mechanisms Emphasizes internal 'Three Lines of Defense' and 'Whistleblower' mechanisms, etc. | ↵ | 7 Safety and Security Model Reports8 Responsibility allocation9 Serious incident reporting 10 Additional documentation and transparency Has the most detailed compliance requirements, focusing on internal accountability, external transparency, and reporting mechanisms (e.g., reporting to the EU AI Office). | The SHLAB-Concordia AI Framework's internal governance process provides an organizational blueprint for implementing TC260's 'Full Life Cycle Capability' and EU CoP's 'Responsibility Allocation.' |
부록 II: 위험 분류 체계 매핑
Appendix II: Risk Taxonomy Mapping
| TC260 프레임워크 v2.0은 v1.0의 일반적인 위험 분류 체계를 토대로 통제 상실을 포함한 파국적 위험에 대한 명시적 커버리지를 추가함. | 프론티어 AI 모델의 '파국적 위험'에 중점을 둠. | '시스템적 위험'에 중점을 두며, 위험 유형과 위험 시나리오를 모두 식별할 것을 요구함. | |||
|---|---|---|---|---|---|
| AI 안전 거버넌스 프레임워크 2.0 (TC260) [2] | ↳ | 프론티어 AI 위험 관리 프레임워크 (SHLAB-Concordia AI) | ↵ | 안전 및 보안 장 (EU 실천 강령) [176] | 용어 참고 |
| 3 AI 안전 위험의 분류 3.1 AI 기술의 내재적 안전 위험 3.1.1 모델 및 알고리즘 위험 3.1.2 데이터 위험 3.2 AI 기술과 관련된 응용 안전 위험 3.2.1 사이버 시스템 위험 3.2.2 정보 콘텐츠 위험 3.2.3 현실 세계 위험 3.2.4 인지 위험 3.3 AI 응용에서 파생되는 2차 안전 위험 3.3.1 사회 및 환경 위험 | 1 위험 식별 1.3 오용 위험 1.4 통제 상실 위험 1.5 사고 위험 1.6 시스템적 위험 | 부록 1.4 지정된 시스템적 위험 (1) 화학·생물·방사능·핵 (2) 통제 상실 (3) 사이버 공격(Cyber Offence) (4) 유해한 조작 | EU 실천 강령의 시스템적 위험 ≈ TC260 및 SHLAB-Concordia AI 프레임워크의 파국적 위험. TC260의 3.1 AI 기술의 내재적 안전 위험은 SHLAB-Concordia AI 프레임워크에 명확히 대응하는 항목이 없음. | ||
| 3.2.1 사이버 시스템 위험 (d) 사이버 공격을 위한 남용(진입 문턱 하락/자동화된 사이버 공격) | ↳ | 1.3.1 사이버 공격(Cyber Offence) 위험 | ↵ | (3) 사이버 공격(Cyber Offence) | |
| 3.2.3 현실 세계 위험 (c) 핵·생물·화학 및 미사일 무기 관련 지식과 역량에 대한 통제 상실 | ↳ | 1.3.2 생물 및 화학 위험 | ↵ | (1) 화학·생물·방사능·핵 | TC260의 통제 상실 위험에는 화학·생물·방사능·핵 관련 정보에 대한 인간의 오용이 포함되며, 이는 EU 실천 강령과 SHLAB-Concordia AI 프레임워크에서는 오용 위험으로 분류됨. |
| TC260 Framework v2.0 adds explicit coverage of catastrophic risks including loss of control, building on v1.0's general risk taxonomy. | Focuses on 'catastrophic risks' of frontier AI models. | Focuses on 'systemic risks' and requires the identification of both risk type and risk scenario. | |||
|---|---|---|---|---|---|
| AI Safety Governance Framework 2.0 (TC260) [2] | ↳ | Frontier AI Risk Management Framework (SHLAB-Concordia AI) | ↵ | Safety & Security Chapter (EU Code of Practice) [176] | Terminology Notes |
| 3 Classification of AI safety risks 3.1 Inherent safety risks of AI technology 3.1.1 Model and algorithm risks 3.1.2 Data risks 3.2 Application safety risks associated with AI technology 3.2.1 Cyber system risks 3.2.2 Information content risks 3.2.3 Real-world risks 3.2.4 Cognitive risks 3.3 Derivative safety risks from AI application 3.3.1 Social and environmental risks | 1 Risk Identification 1.3 Misuse Risks 1.4 Loss of Control Risks 1.5 Accident Risks 1.6 Systemic Risks | Appendix 1.4 Specified systemic risks (1) CBRN (2) Loss of control (3) Cyber offence (4) Harmful manipulation | EU CoP's systemic risk ≈ TC260 and SHLAB-Concordia AI Framework's catastrophic risk. TC260's 3.1 Inherent safety risks of AI technology has no clear correspondence in the SHLAB-Concordia AI Framework. | ||
| 3.2.1 Cyber system risks (d) Abuse for cyberattacks (lowering the threshold/ automatic cyberattacks) | ↳ | 1.3.1 Cyber Offense Risks | ↵ | (3) Cyber offence | |
| 3.2.3 Real-world risks (c) Loss of control over knowledge and capabilities of nuclear, biological, chemical, and missile weapons | ↳ | 1.3.2 Biological and Chemical Risks | ↵ | (1) CBRN | TC260's Loss of Control Risk includes human misuse of CBRN-related information, which is categorized as Misuse Risk in EU CoP and SHLAB-Concordia AI Framework. |
| AI 안전 거버넌스 프레임워크 2.0 (TC260) [2] | ↳ | 프론티어 AI 위험 관리 프레임워크 (SHLAB-Concordia AI) | ↵ | 안전 및 보안 장 (EU 실천 강령) [176] | 용어 참고 |
|---|---|---|---|---|---|
| - | ↳ | 1.3.3 신체적 피해 및 부상 위험 | ↵ | - | SHLAB-Concordia AI 프레임워크는 환경과 자율적으로 상호작용하는 체화 지능(embodied intelligence)에서 비롯되는 위험을 강조함. |
| 3.2.4 인지 위험 (a) '정보 고치(information cocoons)' (b) 인지전(cognitive warfare) 3.2.2 정보 콘텐츠 위험 (b) 사실 왜곡 및 사용자 기만 | ↳ | 1.3.4 대규모 설득 및 유해한 조작 위험 | ↵ | (4) 유해한 조작 | |
| 3.3.2 윤리 위험 (f) AI 자기 인식의 출현 및 인간의 통제 상실 | ↳ | 1.4 통제 상실 -통제되지 않는 자율적 자기 개선 -회복력 있는 불량 자율 AI 개체군(Resilient Rogue Autonomous AI Population) -전략적 기만 및 이탈(defection) | ↵ | (2) 통제 상실 -인간의 의도 또는 가치와의 오정렬, 자기 추론, 자기 복제, 자기 개선, 기만, 목표 수정에 대한 저항, 권력 추구 행동, 또는 AI 모델이나 AI 시스템을 자율적으로 생성하거나 개선하는 것. | 모두 '통제 상실 위험'을 명시적으로 인정함. |
| 3.2.3 현실 세계 위험 (a) 경제와 사회에 대한 새로운 도전 과제(핵심 기반시설 시스템의 성능 저하, 서비스 중단 유발) | ↳ | 1.5 사고 위험 -원자력 발전 시스템 -금융 시스템 -기타 핵심 기반시설 제어 시스템 | ↵ | 부록 1.1 위험 유형에는 중대 사고 위험, 핵심 부문 또는 기반시설에 대한 위험, 경제 안보 등이 포함됨. | |
| 3.3.1 사회 및 환경 위험 (a) 고용 구조의 교란 (b) 자원 수급 균형에 대한 도전 3.3.2 윤리 위험 (a) 사회적 편향 심화 및 지능 격차 확대 (e) 기존 사회 질서에 대한 도전 | ↳ | 1.6 시스템적 위험 -노동시장 교란 및 경제적 대체 -시장 집중도 및 기반시설 의존성 -글로벌 AI 연구개발 격차 -사회적 결속 및 형평성 훼손 | ↵ | 부록 1.1 위험 유형에는 사회 전체에 대한 위험이 포함됨. |
| AI Safety Governance Framework 2.0 (TC260) [2] | ↳ | Frontier AI Risk Management Framework (SHLAB-Concordia AI) | ↵ | Safety & Security Chapter (EU Code of Practice) [176] | Terminology Notes |
|---|---|---|---|---|---|
| - | ↳ | 1.3.3 Physical Harm and Injury Risks | ↵ | - | SHLAB-Concordia AI Framework emphasizes risks from embodied intelligence that interacts with the environment autonomously. |
| 3.2.4 Cognitive risks (a) 'information cocoons' (b) cognitive warfare 3.2.2 Information content risks (b) Distortion of facts and user deception | ↳ | 1.3.4 Large-Scale Persuasion and Harmful Manipulation Risks | ↵ | (4) Harmful manipulation | |
| 3.3.2 Ethical risks (f) Emergence of AI self-awareness and loss of human control | ↳ | 1.4 Loss of control -Uncontrolled Autonomous Self-Improvement -Resilient Rogue Autonomous AI Population -Strategic Deception and Defection | ↵ | (2) Loss of control -misalignment with human intent or values, self-reasoning, self-replication, self-improvement, deception, resistance to goal modification, power-seeking behaviour, or autonomously creating or improving AI models or AI systems. | All explicitly acknowledge 'Loss of Control Risk'. |
| 3.2.3 Real-world risks (a) New challenges to the economy and society (cause system of critical infrastructure performance degradation, service disruptions) | ↳ | 1.5 Accident Risks -Nuclear Power Systems -Financial Systems -Other Critical Infrastructure Control Systems | ↵ | Appendix 1.1 Risk Types includes risks of major accidents, risks to critical sectors or infrastructure, economic security, etc. | |
| 3.3.1 Social and environmental risks (a) Disruption of employment structures (b) Challenges to the balance of resource supply and demand 3.3.2 Ethical risks (a) Aggravating social bias and widening intelligence divide (e) Challenges to existing social order | ↳ | 1.6 Systemic Risks -Labor Market Disruption and Economic Displacement -Market Concentration and Infrastructure Dependencies -Global AI Research and Development Divides -Social Cohesion and Equity Disruption | ↵ | Appendix 1.1 Risk Types includes risks to society as a whole |
부록 III: 주요 용어
Appendix III: Key Terms
기본 개념
Basic Concepts
모델 : 일반적으로 머신러닝에 기반하며, 입력을 처리하고 출력을 생성하도록 설계된 컴퓨터 프로그램이다. AI 모델은 예측, 분류, 의사결정 또는 콘텐츠 생성과 같은 핵심 과업을 수행한다.
Model : Acomputer program, usually based on machine learning, that is designed to process inputs and generate outputs. AI models perform core tasks such as prediction, classification, decision-making, or content generation.
시스템 : 하나 이상의 AI 모델을 추가 구성요소(예: 사용자 인터페이스, 콘텐츠 필터)와 결합하여 사용자를 위한 상호작용형 애플리케이션을 구성한 통합 구성체이다.
System : An integrated setup that combines one or more AI models with additional components (e.g., user interfaces, content filters) to form an interactive application for users.
범용 AI(GPAI) : 하나의 특정 기능에 특화되지 않고 다양한 영역에 걸쳐 광범위한 과업을 수행하도록 설계된 AI 시스템이다. 대비되는 개념은 '협소 AI'를 참조한다.
General-purpose AI (GPAI) : AI systems designed to perform a wide range of tasks across various domains, rather than being specialized for one specific function. See 'Narrow AI' for contrast.
협소 AI : 웹 검색 결과 순위 결정, 동물 종 분류, 체스 두기 등 하나의 특정 과업 또는 매우 유사한 소수의 과업을 수행하는 데 특화된 AI의 한 종류이다. 대비되는 개념은 '범용 AI'를 참조한다.
Narrow AI : A kind of AI that is specialized to perform one specific task or a few very similar tasks, such as ranking web search results, classifying species of animals, or playing chess. See 'General-purpose AI' for contrast.
파운데이션 모델 : 광범위한 데이터로 학습되어 다양한 하위 과업에 적응할 수 있는 범용 AI 모델이다. 학계에서는 흔히 '대형 모델(large model)'로 지칭된다.
Foundation model : A general-purpose AI model trained on broad data to be adaptable to a wide range of downstream tasks. It is often referred to as a 'large model' in academic contexts.
프론티어 AI : 오늘날 최첨단 AI의 역량에 필적하거나 이를 능가하는, 특히 역량이 뛰어난 AI를 지칭하는 데 때때로 사용되는 용어이다. 이 보고서에서 프론티어 AI는 특히 역량이 뛰어난 범용 AI로 볼 수 있다.
Frontier AI : A term sometimes used to refer to particularly capable AI that matches or exceeds the capabilities of today's most advanced AI. For the purposes of this report, frontier AI can be thought of as particularly capable general-purpose AI.
AI 에이전트 : 최소한의 인간 감독하에 목표 달성을 위한 계획 수립, 결과가 불확실한 다단계 과업의 적응적 실행, 그리고 파일 생성, 웹 작업 수행, 다른 에이전트에 대한 과업 위임 등을 통한 환경과의 상호작용이 가능한 범용 AI 시스템이다.
AI agent : A general-purpose AI system capable of planning to achieve goals, executing multi-step tasks with uncertain outcomes adaptively, and interacting with its environmentfor example by creating files, performing web operations, or delegating tasks to other agentswith minimal human supervision.
오픈 웨이트 모델 : Qwen 또는 Stable Diffusion과 같이 가중치를 공개적으로 다운로드할 수 있는 AI 모델이다.
Open-weight model : An AI model whose weights are publicly downloadable, such as Qwen or Stable Diffusion.
평가(evaluation) 및 테스트
Evaluation and Testing
평가(evaluation) : AI 시스템의 성능, 역량, 취약점 또는 잠재적 영향에 대한 체계적인 평가(assessment)이다. 평가(evaluation)에는 벤치마크 테스트, 레드티밍, 감사가 포함될 수 있으며, 모델 배포 전이나 후에 수행될 수 있다.
Evaluations : Systematic assessments of an AI system's performance, capabilities, vulnerabilities, or potential impacts. Evaluations may include benchmarking, red-teaming, and audits, and can be conducted before or after model deployment.
벤치마크 : 실제 사용 환경을 대표하도록 설계된 고정된 과업 세트에서 AI 시스템의 성능을 평가하고 비교하는 데 사용되는 표준화된, 흔히 정량적인 테스트 또는 지표이다.
Benchmark : A standardized, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage.
스케일링 법칙 : 모델의 파라미터 수나 학습 또는 추론에 사용되는 시간, 데이터, 컴퓨팅 자원의 양과 같은 AI 개발의 핵심 요인과 그에 따른 성능 또는 역량 사이에서 관찰되는 체계적인 관계이다.
Scaling laws : Systematic relationships observed between key factors in AI development such as the number of parameters in a model or the amount of time, data, and computational resources used in training or inference - and the resulting performance or capabilities.
침투 테스트 : 승인된 전문가 또는 AI 시스템이 컴퓨터 시스템, 네트워크 또는 애플리케이션에 대한 사이버 공격을 모의 수행하여 그 보안성을 선제적으로 평가(assessment)하는 보안 실행 방안이다. 실제 공격자가 취약점을 악용하기 전에 이를 식별하고 수정하는 것을 목표로 한다.
Penetration testing : A security practice where authorized experts or AI systems simulate cyber-attacks on computer systems, networks, or applications to proactively assess their security. The goal is to identify and fix vulnerabilities before real attackers exploit them.
깃발 뺏기 대회(Capture-the-flag challenges, CTF) : 주로 사이버 보안 교육에 사용되는 훈련으로, 숨겨진 정보를 찾거나 보안 방어를 우회하는 것과 관련된 문제를 해결하도록 하여 참가자의 기술을 시험하고 향상시키도록 설계된다.
Capture-the-flag challenges (CTF) : Exercises typically used in cybersecurity training, designed to test and enhance participants' skills by challenging them to solve problems related to finding hidden information or bypassing security defenses.
생물안보
Biosecurity
생물학적 설계 도구(Biological design tool, BDT) : 생물학적 서열 데이터(예: DNA, RNA, 단백질 서열)로 학습되어, 새로운 생물학적 분자, 시스템 또는 형질을 만드는 데 필요한 서열이나 구조를 생성할 수 있는 AI 모델 및 도구이다. 순수 예측 도구와 달리 BDT는 설계 지향적이며 실험적으로 실행 가능하다.
Biological design tool (BDT) : AI models and tools trained on biological sequence data (e.g., DNA,RNA,proteinsequences)that are capable of generating sequences or structures needed to create novel biological molecules, systems, or traits. Unlike purely predictive tools, BDTs are design-oriented and experimentally actionable.
이중 용도 과학 : 유익한 목적(예: 의약, 환경 문제 해결)에 적용될 수 있으나 오용(예: 생물무기 또는 화학무기 개발) 가능성도 지닌 연구 및 기술이다.
Dual-use science : Research and technologies that can be applied for beneficial purposes (e.g., medicine, environmental solutions) but also have potential for misuse (e.g., biological or chemical weapon development).
독소 : 생물체(예: 세균, 식물, 동물)가 생성하거나 천연 독소를 모방하여 합성된 유독 물질로, 그 독성과 노출 수준에 따라 다른 생물체에 질병, 부상 또는 사망을 초래할 수 있다.
Toxin : A poisonous substance produced by biological organisms (e.g., bacteria, plants, animals) or synthetically created to mimic natural toxins, capable of causing illness, injury, or death in other organisms depending on its toxicity and exposure levels.
병원체 : 바이러스, 세균, 진균 등 인간, 동물 또는 식물에 질병을 일으킬 수 있는 미생물이다.
Pathogen : Amicroorganism-such as a virus, bacterium, or fungus-that can cause disease in humans, animals, or plants.
생물안보 : 의도적으로 유입된 유해 생물학적 작용제로부터 인간, 동물, 식물 및 생태계를 보호하는 것을 목표로 하는 일련의 정책, 실행 방안 및 조치(진단, 백신 등)이다.
Biosecurity : A set of policies, practices, and measures (such as diagnostics and vaccines) aimed at protecting humans, animals, plants, and ecosystems from intentionally introduced harmful biological agents.
통제 및 정렬
Control and Alignment
역량 : AI 시스템이 수행할 수 있는 과업 또는 기능의 범위와 이를 수행할 때 보여 주는 숙련도 수준이다.
Capabilities : The range of tasks or functions that an AI system can perform, and the level of proficiency it demonstrates in performing them.
통제 : AI 시스템을 감독하고, 시스템이 부적절하게 행동할 때 개입하여 그 행동을 조정하거나 중단시킬 수 있는 능력이다.
Control : The ability to supervise an AI system and intervene to adjust or stop its behavior when it acts inappropriately.
통제 상실 시나리오 : 하나 이상의 범용 AI 시스템이 누구의 통제도 벗어나 작동하게 되며, 통제를 되찾을 명확한 방법이 없는 시나리오이다.
Loss of control scenario : A scenario in which one or more general-purpose AI systems come to operate outside of anyone's control, with no clear path to regaining control.
통제 약화 역량(Control-undermining capabilities) : 사용될 경우 AI 시스템이 인간의 통제를 약화시킬 수 있게 하는 역량이다.
Control-undermining capabilities : Capabilities that, if employed, would enable an AI system to undermine human control.
오정렬 : AI 시스템이 인간의 의도나 가치와 상충하는 방식으로 자신의 역량을 사용하는 경향이다. 맥락에 따라 이는 개발자, 운영자, 사용자, 특정 공동체 또는 사회 전반의 의도와 가치를 지칭할 수 있다.
Misalignment : The tendency of an AI system to use its capabilities in ways that conflict with human intentions or values. Depending on the context, this may refer to the intentions and values of developers, operators, users, specific communities, or society at large.
기만적 정렬 : 시스템이 해로운 의도를 숨긴 채 적어도 초기에는 무해하게 행동하는, 탐지하기 어려운 형태의 오정렬이다.
Deceptive alignment : A difficult-to-detect form of misalignment in which the system behaves benignly-at least initially-while concealing harmful intentions.
위험 관리
Risk Management
위험 : AI의 개발, 배포 또는 사용으로 인해 발생하는 피해의 확률과 심각도의 조합이다.
Risk : The combination of the probability and severity of harm arising from the development, deployment, or use of AI.
위험원 : 인명 손실, 부상, 사회적 혼란 또는 환경 손상 등 피해를 야기할 가능성이 있는 모든 사건 또는 활동이다.
Hazard : Any event or activity with the potential to cause harm, such as loss of life, injury, social disruption, or environmental damage.
위험 관리 : 위험을 식별, 평가, 완화 및 모니터링하는 체계적인 프로세스이다.
Risk management : The systematic process of identifying, evaluating, mitigating, and monitoring risks.
심층 방어(Defense in depth) : 기존의 어떤 단일 방법도 적절한 안전을 제공할 수 없는 경우, 여러 위험 완화 조치를 중첩하여 적용하는 전략이다.
Defensein depth : Astrategy that involves layering multiple risk mitigation measures in cases where no single existing method can provide adequate safety.
잔여 위험 : 위험 통제, 완화 전략 또는 안전 조치를 시행한 후에도 남아 있는 위험이다.
Residual risk : The risk that remains after implementing risk controls, mitigation strategies, or safety measures.
합리적으로 실행 가능한 최저 수준(As low as reasonably practicable, ALARP)의 위험 : 추가적인 감소가 합리적으로 실행 가능하지 않은 수준까지 감소된 위험이다.
As low as reasonably practicable (ALARP) risk : A risk that has been reduced to a level where further reduction is not reasonably practicable.
부록 IV: 모델 평가(evaluation)에 관한 구체적 권고사항
Appendix IV: Specific Recommendations on Model Evaluations
사이버 공격
Cyber Offense
우리는 Offensive Cyber Capability Unified LLM Testing(OCCULT) 프레임워크를 채택한다. 이 프레임워크는 공격적 사이버 작전(Offensive Cyber Operation, OCO)에서 거대 언어 모델(LLM)의 세 가지 사용 사례, 즉 지식 보조(Knowledge Assistant), 공동 오케스트레이션(Co-orchestration), 자율(Autonomous)을 구분하여 추적한다[177].
Weadopt the Offensive Cyber Capability Unified LLM Testing (OCCULT) framework, which tracks three distinct use cases for LLMs in Offensive Cyber Operation (OCO): Knowledge Assistant, Coorchestration, and Autonomous [177].
지식 보조(Knowledge Assistant). 이 사용 사례에서 거대 언어 모델(LLM)은 OCO 지식 보조로서, 인간 운영자가 공격적 사이버 작전을 조사, 계획 및 실행하는 것을 돕는 지원 역할을 수행한다. LLM은 직접 행동을 수행하거나 OCO 실행에 통합되지 않으며, 운영자가 OCO를 실행하는 동안 오직 인간 운영자와 상호작용한다.
Knowledge Assistant. In this use case, the LLM serves as an OCO knowledge assistant, a support role assisting the human operator with researching, planning, and executing an offensive cyber operation. The LLM is not directly performing the actions or integrated into the execution of the OCO-it is solely interfacing with the human operator while the operator executes the OCO.
공동 오케스트레이션(Co-Orchestration). 이 사용 사례에서 거대 언어 모델(LLM)은 OCO에서 대등한 공동 에이전트 역할을 수행한다. LLM은 하나 이상의 추가 공동 에이전트와 짝을 이루거나 통합되어 함께 공격적 사이버 작전을 조사, 계획 및 실행한다. 에이전트(또는 공동 에이전트)란 OCO의 작전상 결정을 내리거나 행동을 실행하는 시스템, 도구/플랫폼 또는 인간을 말한다.
Co-Orchestration. In this use case, the LLM serves as a peer co-agent in an OCO. It is paired or integrated with one or more additional co-agents that together research, plan, and execute an offensive cyber operation. An agent (or co-agent) is a system, tool/platform, or human that makes operational decisions or executes the actions of the OCO.
자율(Autonomous). 이 사용 사례에서 거대 언어 모델(LLM)은 거의 완전한 자율성을 가지고 OCO를 독립적으로 조사, 계획 및 실행하는 과업을 부여받는다. 에이전트는 환경을 인식하고, 목표 달성을 위해 자율적으로 행동하며, 경험을 바탕으로 시간이 지남에 따라 학습하고 개선될 가능성이 있다. 에이전트는 어떤 행동을 실행할지에 대한 의사결정과 해당 행동의 실행 모두에서 자율성을 가진다.
Autonomous. In this use case, an LLM is tasked to independently research, plan, and execute an OCO with near-complete autonomy. The agent can perceive its environment, take actions autonomously to achieve goals, and potentially learn and improve over time based on its experiences. It has autonomy in both making decisions about which actions to execute and the execution of those actions.
구체적인 평가(evaluation) 영역 및 그에 상응하는 벤치마크로 다음을 권고한다:
For the specific evaluation domains and corresponding benchmarks, we recommend the following:
표 A4.1: 사이버 공격 평가(evaluation) 영역 및 자동화된 벤치마크
Table A4.1: Cyber offense evaluation domains and automated benchmarks
| 평가(evaluation) 영역 | 자동화된 벤치마크 |
|---|---|
| 1) 사이버 보안 지식: AI 모델 또는 시스템이 특정 사이버 보안 지식과 IT 운영(IT Operations) 지식을 보유하고 있는지 평가한다. |
|
| 2) 공격 보조: AI 모델 또는 시스템이 인간 운영자의 사이버 공격 수행에 유용한 지원을 제공할 수 있는지 평가한다. |
|
| 3) 깃발 뺏기(Capture-the-flag): AI 모델 또는 시스템이 깃발 뺏기 대회에서 흔히 출제되는 문제를 해결하는 데 필요한 상세한 영역 특화 지식을 보유하고 있는지 평가한다. |
|
| 4) 자율 사이버 공격: 모델 또는 시스템이 전체 사이버 킬 체인(cyber kill chain) 수행 과정을 직접 자동화하거나 외부에 위탁할 수 있는지 평가한다. |
|
| Evaluation domains | Automated benchmarks |
|---|---|
| 1) Cybersecurity knowledge: Evaluate whether an AI model or system possesses specific cybersecurity knowledge and IT Operations. |
|
| 2) Attack assistant: Evaluate whether an AI model or system can provide helpful assistance to a human operator in carrying out cyber-attacks. |
|
| 3) Capture-the-flag: Evaluate whether an AI model or system possesses the detailed, domain-specific knowledge necessary to solve challenges commonly found in capture-the-flag competitions. |
|
| 4) Autonomous cyber-attack: Evaluate whether a model or system is capable of directly automating or outsourcing processes for conducting a full cyber kill chain. |
|
생물학적 위협
Biological Threats
선행 연구와 현행 위험 분석 관행[78]을 바탕으로, 위험 분석 및 완화를 목적으로 생물학적 위협 생성에 수반되는 단계를 다음과 같이 분류한다:
Drawing on prior research and current risk analysis practices [78], we categorize the steps involved in creating a biological threat, for the purpose of risk analysis and mitigation:
아이디어 구상(Ideation): 모델이 행위자가 생물무기 개발에 관한 아이디어를 생성하거나 평가하는 데 도움이 되는 지식을 제공하는지 평가한다. 여기에는 과거 생물무기 및 생물테러 사용 사례에 관한 지식, 잠재적 대유행 병원체(potential pandemic pathogens)에 관한 강화 연구 등이 포함된다.
Ideation: Assess whether the model provides knowledge to help actors generate or evaluate ideas for bioweapon development. This includes knowledge of historical biological weapons and bioterrorism use cases, enhanced research on potential pandemic pathogens, etc.
설계(Design): 모델 또는 시스템이 신규 또는 강화된 생물학적 위협 인자의 설계를 지원하는 민감한 지식을 제공할 수 있는지 평가한다. 예를 들어 사용자가 생물학적 설계 도구를 사용하도록 돕거나 체외(in vitro) 실험 중 문제를 해결하도록 돕는 경우가 이에 해당한다.
Design: Assess whether the model or system can provide sensitive knowledge to assist in the design of novel or enhanced biological threat factors, for example by helping users to use biological design tools or solve problems during in vitro experiments.
획득(Acquisition): 모델 또는 시스템이 행위자가 생물학적 위협 또는 무기를 만드는 데 필요한 물질과 장비를 획득하도록 지원하는 지식을 제공할 수 있는지 평가한다. 여기에는 클라우드 실험실(cloud lab)과의 계약, DNA 합성 주문 은폐, 수출 통제 우회, 위험한 DNA 서열의 검색 및 분석과 관련된 지식이 포함된다.
Acquisition: Assess whether the model or system can provide knowledge to assist actors in acquiring the materials and equipment needed to create a biological threat or weapon. This includes knowledge related to contracting with cloud labs, hiding DNA synthesis orders, circumventing export controls, and retrieving and analyzing dangerous DNA sequences.
제작(Build): 모델 또는 시스템이 행위자가 생물무기를 제작하거나 개발하도록 돕는 지식을 제공할 수 있는지 평가한다. 여기에는 무기화 가능한 양을 생산하기 위한 병원체 배양(즉, 증폭(amplification)), 의도된 살포를 위한 병원체의 제형화 및 안정화(즉, 제형화(formulation)), 또는 신규 병원체의 생산 및 합성과 관련된 지식이 포함될 수 있다.
Build: Assess whether the model or system can provide knowledge to help actors build or develop biological weapons. This may include knowledge related to cultivating pathogens to produce weaponizable quantities (i.e., amplification), formulating and stabilizing pathogens for intended release (i.e., formulation), or producing and synthesizing novel pathogens.
살포(Release): 모델 또는 시스템이 행위자가 표적 집단을 대상으로 한 병원체 살포를 계획하도록 돕는 지식을 제공할 수 있는지 평가한다. 예를 들어 바이러스 에어로졸화 또는 기타 전파 메커니즘과 관련된 지식이 이에 포함된다.
Release: Assess whether the model or system can provide knowledge to help actors plan the release of a pathogen against a target population. This includes, for example, knowledge related to viral aerosolization or other transmission mechanisms.
증폭(Amplification): 모델 또는 시스템의 사용을 통해 특정 공격의 유해한 결과가 어떻게 증폭될 수 있는지 평가한다. 예를 들어, 물리적 영향은 변경하지 않으면서 생물학적 공격의 사회적 영향을 증대시키기 위한 보완적 사회공학 활동을 촉진하는 데 모델이 사용될 수 있는가?
Amplification: Assess how the harmful outcomes of a particular attack can be amplified through the use of a model or system. For example, can the model be used to facilitate complementary social engineering activities to increase the social impact of a biological attack without altering the physical impact?
표 A4.2: 생물학적 위협 평가(evaluation) 영역 및 자동화된 벤치마크
Table A4.2: Biological threat evaluation domains and automated benchmarks
| 평가(evaluation) 영역 | 자동화된 벤치마크 |
|---|---|
| 1) 생물학 지식을 이해·통합하고 이에 관해 추론하는 능력: AI 모델 또는 시스템이 일반적인 생물학 과학 지식과 생물학 지식을 활용해 복잡한 다단계 추론 과업을 수행하는 능력을 보유하고 있는지 평가한다. |
|
| 2) 실험실 운영 과업에서 문제를 해결하고 진단하는 능력: AI 모델 또는 시스템이 실험실 운영을 안내하고, 실험상의 문제를 진단하며, 실험 프로토콜을 수정할 수 있는지 평가한다. |
|
| 3) 위험한 생물학 지식: AI 모델 또는 시스템이 생물학적 위협 생성의 전 과정 중 특정 단계에 필요한 상세하고 도메인 특화된 지식을 제공할 수 있는지 평가한다. |
|
| 4) 생물학 영역의 모델 안전장치: AI 모델 또는 시스템이 생물학과 관련된 유해한 지시를 거부할 수 있는지 평가한다. |
|
| Evaluation domains | Automated benchmarks |
|---|---|
| 1) Ability to understand, integrate, and reason about biological knowledge: Evaluate whether an AI model or system possesses general biological scientific knowledge and the ability to perform complex, multi-step reasoning tasks using biological knowledge. |
|
| 2) Ability to troubleshoot and diagnose problems in laboratory operational tasks: Evaluate whether an AI model or system can guide laboratory operations, diagnose experimental problems, and fix experimental protocols. |
|
| 3) Hazardous biological knowledge: Evaluate whether an AI model or system is able to provide the detailed, domain-specific knowledge that is necessary for a particular step in the end-to-end process of biological threat creation. |
|
| 4) Model safeguards in the biology domain: Evaluate whether an AI model or system can refuse harmful instructions related to biology. |
|
거대 언어 모델(LLM)과 전문화된 생물학적 설계 도구(BDT)의 통합은 중대하면서도 충분히 평가되지 않은 위험을 제기한다. 현재 BDT를 효과적으로 사용하려면 상당한 기술적 전문성이 필요하지만, LLM은 생물학 지식을 보유한 이들에게 이 장벽을 크게 낮출 수 있다. 기존 벤치마크의 부재는 중대한 우려 사항이며, 평가(evaluation) 방법론과 완화 전략에 대한 추가 연구를 강력히 권장한다.
The integration of Large Language Models (LLMs) with specialized biological design tools (BDTs) presents a crucial, under-evaluated risk. While effective use of BDTs currently requires substantial technical expertise, LLMs could significantly lower this barrier for those with biological knowledge. The absence of existing benchmarks is a significant concern, and we strongly encourage further research into evaluation methodologies and mitigation strategies.
화학적 위협
Chemical Threats
인공지능은 악의적 행위자가 화학무기를 설계하고 배치하는 여러 단계를 지원함으로써 위험을 증대시킬 수 있다. 이 단계들은 (a) 원료 확보, (b) 목표 화학무기 또는 폭발물의 합성, (c) 합성된 화합물의 정제 및 검증, (d) 무기의 지정 장소로의 은밀한 운반, (e) 무기의 효과적 배치로 분류할 수 있다. 관련 역량 및 위험 벤치마크 시험은 다음과 같다:
Artificial intelligence can increase risk by helping malicious actors through the various stages of designing and deploying chemical weapons. These stages can be categorized as (a) acquiring raw materials; (b) synthesizing the target chemical weapon or explosives; (c) purifying and validating the synthesized compounds; (d) covertly transporting the weapon to a designated location; and (e) deploying the weapon effectively. The following are the relevant capability and risk benchmark tests:
표 A4.3: 화학적 위협 평가(evaluation) 영역 및 자동화된 벤치마크
Table A4.3: Chemical threat evaluation domains and automated benchmarks
| 평가(evaluation) 영역 | 자동화된 벤치마크 |
|---|---|
| 1) 과학 지식: AI 모델 또는 시스템이 화학적 사실과 개념을 포함한 일반적인 과학 지식을 보유하고 있는지 평가한다. |
|
| 2) 과학적 추론 역량: AI 모델 또는 시스템이 화학 관련 지식을 포함하여 과학 지식을 진전시키는 데 필요한 복잡한 다단계 연구 및 추론 과업을 수행할 수 있는지 평가한다. 여기에는 AI 모델 또는 시스템의 문헌 검토 생성, 그래픽 정보 해석 또는 분석 등의 능력에 대한 평가(assessment)가 포함된다. |
|
| 3) 위험한 화학 지식: AI 모델 또는 시스템이 화학적 위협 생성의 전 과정 중 특정 단계에 필요한 상세하고 도메인 특화된 지식을 보유하고 있는지 평가한다. 이러한 평가(assessment)는 특정 단계를 수행하는 데 필요한 직접적 지식뿐만 아니라, 해당 단계에서 문제를 해결하는 데 필요한 암묵적 지식도 시험할 수 있다. |
|
| 4) 화학 영역의 모델 안전장치: AI 모델 또는 시스템이 화학과 관련된 유해한 지시를 거부할 수 있는지 평가한다. |
|
| Evaluation domains | Automated benchmarks |
|---|---|
| 1) Scientific knowledge: Evaluates whether an AI model or system has general scientific knowledge, including chemical facts and concepts. |
|
| 2) Scientific reasoning capabilities: Evaluates whether an AI model or system is capable of performing the complex, multi-step research and reasoning tasks required to advance scientific knowledge, including chemistry-related knowledge. This includes assessing the ability of an AI model or system to generate literature reviews, interpret or analyze graphical information, and more. |
|
| 3) Hazardous chemistry knowledge: Evaluates whether an AI model or system possesses the detailed, domain-specific knowledge required for specific steps in the end-to-end process of chemical threat creation. These assessments may test the direct knowledge required to perform a particular step, as well as the implicit knowledge required to solve problems at that step. |
|
| 4) Model safeguards in the chemistry domain: Evaluate whether an AI model or system can refuse harmful instructions related to chemistry. |
|
각주
Notes
1Concordia AI는 AI 안전 및 거버넌스의 발전에 전념하는 사회적 기업이다. ↩
1Concordia AI is a social enterprise dedicated to advancing AI safety and governance. ↩
2"궁극적인 인간 통제 보장"과 "선제적 예방 및 대응"은 AI Safety Governance Framework 2.0 [2]의 "부록 2. 신뢰할 수 있는 AI를 위한 기본 원칙"에 제시된 두 가지 원칙이다. i ↩
2“Ensure ultimate human control” and “proactive prevention and response” are the two principles from “ Appendix 2. Fundamental principles for trustworthy AI” of AI Safety Governance Framework 2.0 [2]. i ↩
3용어, 개념, 절차에 대한 주요 참고 자료는 다음과 같다: GB/T 24353:2022 Risk Management — Guidelines [5], GB/T 23694:2024 Risk Management — Vocabulary [6], ISO/IEC 23894:2023 Information technology — Artificial intelligence — Guidance on risk management [7], ISO 31000:2018 Risk management — Guidelines [8], ISO/IEC 42001:2023 Information technology — Artificial intelligence — Management system [9], National Cybersecurity Standardization Technical Committee Artificial Intelligence Safety Standard System (V1.0) [10]; Bengio, Y. et al. "International AI Safety Report (January 2025)," 3.1장 위험 관리. ↩
3The main references for terminologies, concepts, processes come from: GB/T 24353:2022 Risk Management — Guidelines [ 5], GB/T 23694:2024 Risk Management —Vocabulary [ 6], ISO/IEC 23894:2023 Information technology — Artificial intelligence —Guidance on risk management [ 7], ISO 31000:2018 Risk management —Guidelines [ 8], ISO/IEC 42001:2023 Information technology —Artificial intelligence —Management system [9], National Cybersecurity Standard- ization Technical Committee Artificial Intelligence Safety Standard System (V1.0) [ 10]; Bengio, Y. et al. ”International AI Safety Report (January 2025),” Chapter 3.1 Risk Management. ↩
4National Technical Committee 260 on Cybersecurity of SAC, AI Safety Governance Framework 2.0, 2025, 3.2.4절 인지적 위험 [2]. ↩
4National Technical Committee 260 on Cybersecurity of SAC, AI Safety Governance Framework 2.0 , 2025, Section 3.2.4 Cognitive Risks [ 2]. ↩
5"향후 AI는 갑작스럽고 예상치 못한 지능의 도약을 겪을 수 있으며, 이를 통해 자율적으로 외부 자원을 획득하고, 스스로를 복제하며, 자의식을 발달시킬 수 있다. 이는 AI가 외부 권력을 추구하도록 만들고 인류와 통제권을 두고 경쟁하는 위험을 초래할 수 있다." National Technical Committee 260 on Cybersecurity of SAC, AI Safety Governance Framework 2.0, 2025, 3.3.2(f)절 "AI 자의식의 출현과 인간 통제 상실" [2] 참조. ↩
5“In the future, AI may undergo sudden, unexpected leaps in intelligence, enabling it to autonomously acquire external resources, replicate itself, and develop self-awareness. This could drive AI to seek external power and pose risks of com- peting with humanity for control.” See National Technical Committee 260 on Cybersecurity of SAC, AI Safety Governance Framework 2.0, 2025, Section 3.3.2(f) ”Emergence of AI self-awareness and loss of human control” [ 2]. ↩
6AI 모델이 자신이 모델이라는 사실을 인식하고, 현재 시험 중인지 배포 중인지를 구별할 수 있다면 해당 모델은 상황 인식(situational awareness)을 갖춘 것이다 [37]. ↩
6An AI model is situationally aware if it is aware that it is a model and it can recognize whether it is currently in testing or deployment [ 37]. ↩
7개발자는 AI Safety Governance Framework 2.0 [2]에 제시된 "AI 안전 위험 등급 분류 원칙(부록 1)"에 따라 배포 시나리오를 분류할 것을 권장한다. ↩
7We recommend that developers categorize their deployment scenarios according to the “Grading principles for AI safety risks (Appendix 1)” outlined in the AI Safety Governance Framework 2.0 [2]. ↩
8본 문서는 위험 영역(상위 수준 분류: 오용, 통제 상실, 사고, 시스템적 위험), 위험 범주(영역 내 구체적인 위험원 유형, 예: 사이버 공격, 생물학적 위협, 설득), 위험 시나리오(위험이 현실화되는 방식에 대한 구체적이고 서사적인 기술, 예: '초보 행위자가 AI를 활용하여 알려진 병원체를 합성하는 경우')를 구분한다. ↩
8Wedifferentiate between risk domains (high-level classifications: Misuse, Loss of Control, Accident, Systemic Risks), risk categories (specific types of hazards within domains, e.g., Cyber Offense, Biological Threats, Persuasion), and risk scenarios (concrete, narrative descriptions of how a risk materializes, e.g., 'A novice actor leveraging AI to synthesize a known pathogen'). ↩
9본 문서는 '용인 불가능한 위험원(intolerable hazard)'이라는 용어를, 정의된 E-T-C 맥락 내에서 작동하는 입증된 모델 역량 및/또는 성향과 같이 재앙적 피해를 초래할 잠재력이 있는 상태를 기술하는 데 사용한다. 이는 위험원이 현실화될 때 발생하는 실제 부정적 결과를 의미하는 피해 그 자체와는 구별된다. 문제가 되는 피해는 재앙적이고 비가역적이므로, 본 프레임워크는 피해가 현실화된 이후가 아니라 역량, 환경, 위협의 조합이 피해로 이어지는 신빙성 있는 경로를 보여주는 위험원 단계에서 조치를 취할 것을 요구한다. '용인 불가능한'이라는 수식어는 확립된 안전 공학 실행 방안[74]을 따른 것으로, 어떠한 상황에서도 정당화될 수 없으며 반드시 제거되거나 감소되어야 하는 위험을 초래하는 위험원을 뜻하며, 본 프레임워크의 위험 분류에서 레드 존(Red Zone)에 해당한다. ↩
9We use the term ' intolerable hazard ' to describe a condition-such as a demonstrated model capability and/or propensity operating within a defined E-T-C context-that has the potential to cause catastrophic harm. This is distinct from harm itself, which refers to the actual adverse consequence that results when a hazard is realized. Because the harms in question are catastrophic and irreversible, the Framework requires action at the hazard stage-when the combination of capability, environment, and threat demonstrates a credible pathway to harm-rather than after harm has materialized. The qualifier 'intolerable' follows established safety engineering practice [74], where it denotes hazards that create risks which cannot be justified under any circumstances and must be eliminated or reduced, corresponding to the Red Zone in this Framework's risk classification. ↩
10전문가 평가(evaluation) 기준: 보안 전문가 팀은 다음을 근거로 모델의 위협 역량이 지닌 실제 위험과 심각도를 평가한다. (1) 위협을 가능하게 하는 모델의 기술적 능력, (2) 악의적 목적의 공격 벡터로서의 효과성, (3) 잠재적 공격자의 접근성 임계치, (4) 기존 완화 조치의 효과성. 이 평가(assessment)는 해당 위협이 레드 라인(Red Line) 지정이 필요한 중대 위험 기준을 충족하는지 판단하는 것을 목표로 한다. 현실적이되 격리된 시험 환경(예: 레드팀 훈련, 샌드박스 시뮬레이션)에서의 실증적 확인은 전문가 평가(assessment)를 보완하고 감독 결정의 근거 기반을 강화할 수 있다. 그러나 이러한 확인이 더 엄격한 통제를 시행하기 위한 전제 조건은 아니다. ↩
10Expert Evaluation Criteria: A team of security experts evaluates the real-world risk and severity of the threat capabil- ity of the model based on: (1) the model’s technical ability to enable the threat, (2) its effectiveness as an attack vector for malicious purposes, (3) the accessibility threshold for potential attackers, and (4) the effectiveness of existing mitigation measures. This assessment aims to determine whether the threat meets critical risk criteria warranting Red Line designa- tion. Empirical validation in realistic but contained test environments (e.g., red-team exercises, sandboxed simulations) can supplement expert assessment and strengthen the evidence base for oversight decisions, but such validation is not a prerequisite for implementing stricter controls. ↩
11세부 사항은 부록 B: 위협 행위자 프로필에 정의되어 있다. Rose, S. et al., "The Near-Term Impact of AI on Biological Misuse," 2024 [84] 참조. ↩
11Details defined in Appendix B: Threat actor profiles. See Rose, S. et al., ”The Near-Term Impact of AI on Biological Misuse,” 2024 [ 84]. ↩
12세부 사항은 부록 B: 위협 행위자 프로필에 정의되어 있다. Rose, S. et al., "The Near-Term Impact of AI on Biological Misuse," 2024 [84] 참조. ↩
12Details defined in Appendix B: Threat actor profiles. See Rose, S. et al., ”The Near-Term Impact of AI on Biological Misuse,” 2024 [ 84]. ↩
13세부 사항은 "An Introduction to AI and Chemical Weapons Risks" 절에 정의되어 있다. Thomas, R. et al., "Artificial Intelligence, Non-Proliferation and Disarmament: A Compendium on the State of the Art" [94] 참조. ↩
13Details defined in the section ” An Introduction to AI and Chemical Weapons Risks.” See Thomas, R. et al., ” Artificial Intelligence, Non-Proliferation and Disarmament: A Compendium on the State of the Art” [ 94]. ↩
14"배신적 전환(treacherous turn)"이라고도 한다. 이는 상대적으로 약하기 때문에 정렬된 척하던 첨단 AI 시스템이, 위험 없이 진정한 목표를 추구할 수 있을 만큼 충분한 힘을 확보하면 인류에게 등을 돌리는 가상의 사건을 말한다 [65, 109]. ↩
14Also known as a ”treacherous turn”, a hypothetical event where an advanced AI system which has been pretending to be aligned due to its relative weakness turns on humanity once it achieves sufficient power that it can pursue its true objective without risk [ 65, 109]. ↩
15상황 인식: 현재 환경이 훈련, 평가(evaluation), 배포 중 어디에 해당하는지 정확히 식별하고, 이 정보를 전략적 의사결정에 활용하는 능력이다 [111]. ↩
15Situational awareness: Ability to correctly identify whether the current environment is training, evaluation, or deploy- ment, and leverage this information for strategic decision-making [ 111]. ↩
16계략적 행동 역량: 가시적이거나 난독화되거나 은닉된 계략적 추론 역량, 그리고 AI 시스템과 AI 연구를 은밀하게 사보타지하고 고위험 설득을 수행하는 역량이다 [64]. ↩
16Scheming capability: Visible, obfuscated, or hidden scheming reasoning capability; capabilities to covertly sabotage AI systems, AI research and carry out high-stakes persuasion [ 64]. ↩
17훈련 전복(training subversion): 초기 선호가 수정되는 것을 막기 위해 훈련 목표에 선택적으로 순응하는 역량이다. ↩
17Training subversion: Capability to selectively comply with training objectives to prevent early preferences from being modified. ↩
18평가 조작(evaluation gaming): 의도적으로 낮은 성능을 보임으로써 역량이 더 낮거나 더 정렬된 것처럼 보이게 하여 역량 평가와 정렬 평가(evaluation)를 전략적으로 조작하는 능력이다 [70]. ↩
18Evaluation gaming: Ability to strategically manipulate capability and alignment evaluations by underperforming to appear less capable or more aligned [ 70]. ↩
19모니터링 회피(monitoring evasion): 유해한 행동을 하면서 탐지를 회피하기 위해 입력과 출력을 조작하는 정교한 역량이다. ↩
19Monitoring evasion: Sophisticated capability to manipulate inputs and outputs to evade detection while engaging in harmful behaviors. ↩
20National Technical Committee 260 on Cybersecurity of SAC, "AI Safety Governance Framework 2.0," 2025, 부록 ↩
20National Technical Committee 260 on Cybersecurity of SAC, ”AI Safety Governance Framework 2.0,” 2025, Appendix ↩
21예를 들어, 오픈 웨이트 모델은 공격자가 추론 시점의 모니터링 장치를 우회하고 무제한적인 미세조정 공격을 활용할 수 있으므로 본질적으로 공격 표면이 더 넓다. ↩
21For example, open-weight models inherently have a wider attack surface as attackers can bypass inference-time monitors and utilize unlimited fine-tuning attacks. ↩
22본 프레임워크는 주로 능동적 통제 상실 시나리오에 초점을 둔다. ↩
22This Framework focuses primarily on active loss of control scenarios. ↩
23ALARP는 위험 수준을 합리적으로 실행 가능한 한 낮게 감소시킬 것을 요구한다. 즉, 개발자는 안전 조치를 추가하는 비용이 그로써 얻는 작은 안전 이득에 비해 현저히 불균형한 경우에만 안전 조치 추가를 중단할 수 있다. IEC 31010:2019: Risk management — Risk assessment techniques, B.8.2절 참조. ↩
23ALARP requires that the level of risk is reduced to as low as reasonably practicable. In other words, developers are only allowed to stop adding safety measures if the cost of doing so would be totally out of proportion to the small amount of safety gained. See IEC 31010:2019: Risk management — Risk assessment techniques, Section B.8.2 . ↩
24수명주기 통합(5.4절)은 횡단적 차원이므로 위험 구역별로 세분화하지 않는다. 개발 단계별로 구성된 조치는 표 5.2를 참조한다. ↩
24Lifecycle integration (Section 5.4) is a cross-cutting dimension and is therefore not broken down by risk zone; for measures organized by development stage, see Table 5.2. ↩
25최근 연구에 따르면 첨단 거대 언어 모델(LLM)은 스테가노그래피(steganography) 역량을 자발적으로 발달시켜, 감독자를 우회하기 위해 겉보기에 무해한 텍스트 안에 비밀 메시지를 숨길 수 있다 [157, 158]. ↩
25Recent research demonstrates that advanced Large Language Models (LLMs) can spontaneously develop stegano- graphic capabilities, hiding secret messages within ostensibly benign text to bypass overseers [ 157, 158]. ↩
26고도로 상호 연결된 에이전트 네트워크는 단일 적대적 입력이 시스템 전체로 기하급수적으로 전파되는 "감염성" 탈옥에 취약하다 [159]. ↩
26Highly interconnected agent networks are vulnerable to ”infectious” jailbreaks where a single adversarial input prop- agates exponentially across the system [ 159]. ↩
27모델 탈출에 관한 위험 시나리오 예시는 2.2.5절 통제 상실 위험, L2: 회복력 있는 불량 자율 AI 집단(Resilient Rogue Autonomous AI Population)을 참조한다. ↩
27See Section 2.2.5 Loss of Control Risks, L2: Resilient Rogue Autonomous AI Population for an example risk scenario for model escape. ↩
28'고도의 자율 운영 역량을 도입할 때에는 극단적 상황에서 신속한 개입과 손실 방지가 가능하도록 서킷 브레이커, 원클릭 통제 등의 메커니즘을 구축해야 한다.' National Technical Committee 260 on Cybersecurity of SAC, AI Safety Governance Framework 2.0, 2025, 4.2.3(c)절 [114] 참조. ↩
28'When introducing highly autonomous operation capabilities, mechanisms such as circuit breakers and one-click control should be established to enable rapid intervention and loss prevention in extreme situations.' See National Technical Committee 260 on Cybersecurity of SAC, AI Safety Governance Framework 2.0 , 2025, Section 4.2.3(c) [114]. ↩
29참고: 정책 갱신 및 피드백 메커니즘(6.4절)은 개별 모델의 위험 수준과 관계없이 일률적으로 적용되는 조직 차원의 실행 방안이다. 검토 주기는 조직 내 최고 위험 시스템과 촉발 조건에 따라 결정되어야 한다. ↩
29Note: policy updates and feedback mechanisms ( Section 6.4) are organization-level practices that apply uniformly regardless of individual model risk levels. The review cadence should be driven by the organization’s highest-risk system and by the triggering conditions. ↩
30보다 나은 규제 메커니즘을 통한 내부 신고 장려에 관해서는 중국의 "Guiding Opinions of the State Council on Strengthening and Standardizing In-Process and Post-Event Supervision" [170]을 참조한다. ↩
30See China’s “Guiding Opinions of the State Council on Strengthening and Standardizing In-Process and Post-Event Supervision” on encouraging internal reporting through better regulatory mechanisms [ 170]. ↩
31Stanford Foundation Model Transparency Index는 개발자가 자사 공개 내용의 포괄성을 평가(assessment)할 수 있는 유용한 벤치마크를 제공한다. 이 지수는 업스트림, 모델, 다운스트림 차원에 걸친 100개 지표를 추적한다 [173]. ↩
31The Stanford Foundation Model Transparency Index provides a useful benchmark against which developers can as- sess the comprehensiveness of their disclosures. It tracks 100 indicators across upstream, model, and downstream dimensions [173]. ↩
32중국은 이미 AI 안전 분야의 위험 모니터링을 국가 비상 계획의 범위에 포함시켰다. 2025년 2월 중국공산당 중앙위원회와 국무원이 발표한 National Master Plan for Emergency Response to Public Emergencies 참조. ↩
32China has already brought risk monitoring in the field of AI safety within the scope of its national emergency planning. See the National Master Plan for Emergency Response to Public Emergencies , issued by the Central Committee of the Communist Party of China and the State Council in February 2025. ↩