TRANSLATION · 자동번역
Meta 초지능 스케일링 프레임워크 2.1판
Meta Superintelligence Scaling Framework, Version 2.1

Version 2.1
Version 2.1
Meta의 비전은 모든 사람에게 개인용 초지능을 제공하는 것이다. 우리는 사람들이 이 힘을 손에 쥐고 각자의 삶에서 중요하게 여기는 것을 향해 활용할 수 있어야 한다고 믿는다. 이를 실현하려면 신뢰할 수 있고 견고하며 안전한 고역량(Highly capable) AI 시스템이 필요하다.
Meta's vision is to bring personal superintelligence to everyone. We believe in putting this power in people's hands to direct it towards what they value in their own lives. Realizing this will require highly capable AI systems that are reliable, robust, and secure.
Meta Superintelligence Scaling Framework는 심각하고 대규모의 결과로 이어질 수 있는 프론티어 AI 역량을 Meta가 어떻게 관리하고 대비하는지를 기술한다. 현재 본 프레임워크는 화학 및 생물학, 사이버 보안, 통제 상실이라는 세 가지 영역의 파국적 위험에 초점을 맞추고 있다. 본 프레임워크는 다른 영역에서의 AI의 강력한 역량에 대비하기 위해 Meta가 지속적으로 기울이고 있는 노력을 보완한다.
Our Meta Superintelligence Scaling Framework outlines how Meta manages and prepares for Frontier AI capabilities that could lead to severe, large-scale outcomes. The Framework currently focuses on catastrophic risks in three areas: Chemical & Biological, Cybersecurity, and Loss of Control. This Framework complements Meta's continuing efforts to prepare for AI's powerful capabilities in other domains.
본 프레임워크는 각 위험 영역에서 구체적인 파국적 결과와 그러한 결과를 가능하게 할 수 있는 위협 시나리오를 식별한다. 이는 관련 분야 전문성을 갖춘 내부 전문가 및 (적절한 경우) 외부 전문가와 함께 수행하는 위협 모델링 활동에 기반한다. 평가(evaluation) 결과 어떤 모델이 식별된 하나 이상의 위협 시나리오의 실현에 상당히 기여할 것으로 나타나는 경우, 우리는 안전장치가 정의되고 구현되며 검증된 때에 해당 모델을 배포하거나 개발할 것이다. 본 프레임워크는 우리가 필요할 것으로 예상하는 안전장치와 함께, 그러한 안전장치가 충분하다는 것을 내부적으로 확인하고 외부적으로 입증하는 방법을 기술한다.
In each of these risk domains, this Framework identifies specific catastrophic outcomes and the threat scenarios which may enable these outcomes, based on threat modeling exercises we run with internal and (where appropriate) external experts with relevant domain expertise. Where our evaluations indicate that a model would substantially contribute to the realization of one or more identified threat scenarios, we would deploy or develop the model when safeguards are defined, implemented, and validated. This Framework outlines the safeguards we expect to need, and how we'll confirm internally and demonstrate externally that they are sufficient.
이번 버전의 프레임워크에서는 잠재적인 파국적 위험을 제기하여 지금 조사할 필요가 있다고 판단되는 결과도 식별한다. 이러한 결과는 엄밀하게 측정되고 본 프레임워크상의 파국적 결과로 지정되기 전에 추가적인 연구와 위협 모델링을 필요로 한다.
In this version of the Framework, we also identify outcomes which we consider to present potential catastrophic risk which warrant investigation now, requiring further research and threat modeling before they can be rigorously measured and designated as a catastrophic outcome for the purposes of this Framework.
우리는 프론티어 AI 위험 관리 실행 방안을 지속적으로 개선하고 관련 과학을 발전시키고 있으며, 그 내용은 향후 버전의 프레임워크에 반영될 것이다. 현재의 접근 방식을 공유함으로써 우리의 의사결정 과정에 대한 투명성을 높일 뿐 아니라, 프론티어 위험 관리, 평가(assessment) 및 완화의 과학을 개선하는 방법에 관한 추가 연구가 촉진되기를 기대한다.
We're continually refining our Frontier AI risk management practices and advancing the science, which will be reflected in future versions of this Framework. We hope that sharing our current approach will not only promote transparency into our decision-making processes but also encourage further research into how to improve the science of frontier risk management, assessment, and mitigation.
2.1판 서문 (2026년 10월)
Preface to Version 2.1 (October 2026)
본 문서는 Meta Superintelligence Scaling Framework(이전 명칭: Frontier AI Framework) 두 번째 버전의 2026년 10월 개정판이다. 이번 업데이트는 업계에서 새롭게 논의되고 있는 두 가지 영역을 다루기 위한 것이다. 첫째, 새로운 파국적 결과 범주(통제 상실 3)를 신설하여 훈련 및 평가(evaluation) 과정에서 발생하는 모델 격리 실패(containment failure)를 완화하기 위한 요구사항을 추가하였고, 인간이 모델 개발에 대한 통제를 유지하기 위해 전반적으로 고려하는 사항도 포함하였다. 둘째, 오픈 웨이트 공개에 관한 구체적인 고려사항을 도입하여 개방형 모델의 중요성이 커지고 있음을 반영하였다.
This is the October 2026 revision of our second iteration of our Meta Superintelligence Scaling Framework (previously titled the Frontier AI Framework). We're releasing this update to the Framework to address two emerging areas of industry discussion. We've added requirements for mitigating model containment failures in training and evaluation, in a new catastrophic outcome category (Loss of Control 3), and considerations we're taking overall to maintain control of model development by humans. This version also recognizes the growing importance of open models by introducing specific considerations around open weights releases.
또한 앞서 공유한 바와 같이, 우리는 이 분야의 정책을 수립하고 시간에 따라 조정하는 방식과 관련하여 이사회 내에 보다 공식적인 거버넌스를 구축하고 있다. 모델의 역량이 높아짐에 따라 우리의 접근 방식도 보조를 맞출 수 있도록 해당 작업이 진행 중이며, 새로운 이사회 거버넌스 구조의 일환으로 본 프레임워크를 추가로 업데이트할 것으로 예상한다.
Additionally, as we've previously shared, we're building more formal governance within our board of directors around how we establish our policies in this area and adjust them over time. That work is underway so our approach keeps pace as models grow more capable, and we expect to make additional updates to this framework as a part of our new board governance structure.
섹션 1: 서론
Section 1: Introduction
1.1 범위
1.1 Scope
Meta Superintelligence Scaling Framework는 프론티어 AI의 개발, 배포 및 사용에서 발생할 수 있는 파국적 위험을 관리하고 이에 대비하기 위한 Meta의 접근 방식을 기술한다. 본 프레임워크는 보다 광범위한 AI 거버넌스 실행 방안을 보완하며, 이러한 실행 방안은 본 프레임워크의 범위를 넘어서는 더 넓은 범위의 위험을 다룬다.
Meta Superintelligence Scaling Framework documents Meta's approach to managing and preparing for catastrophic risks that may arise from the development, deployment, and use of Frontier AI. The Framework complements our wider AI governance practices, which address a broader set of risks beyond those in scope of this Framework.
본 프레임워크는 일련의 파국적 결과를 중심으로 구성되어 있다. 우리는 위협 모델링을 활용하여 각 파국적 결과와 관련된 위협 시나리오를 도출하였다. 각 위협 시나리오에 대해서는 해당 시나리오를 가능하게 하는 핵심 역량을 식별하였다. 인간 위협 행위자가 관여하는 위협 시나리오의 경우 국가 행위자와 비국가 행위자를 모두 고려하였으며, 위협 시나리오에서 고숙련 행위자와 저숙련 행위자를 구분하였다.
Our Framework is structured around a set of catastrophic outcomes . We have used threat modeling to develop threat scenarios pertaining to each of these catastrophic outcomes. For each threat scenario, we have identified the key capabilities that would enable a threat scenario. For threat scenarios involving human threat actors, we have taken into account both state and non-state actors, and our threat scenarios distinguish between high- and low-skill actors.
우리는 파국적 결과를 초래하기에 잠재적으로 충분하다고 식별한 위협 시나리오 중 어느 하나의 실행에 프론티어 AI가 상당히 기여하는 정도를 기준으로 임계값을 정의한다. 어떤 프론티어 AI가 치명적(critical) 위험 임계값에 도달한 것으로 평가(assessment)되고 그 위험이 완화될 수 없는 경우, 우리는 표 1에 기술된 조치를 시행할 것이다. 무기화에 관한 임계값은 위협 시나리오 실현을 위해 모델이 제공하는 업리프트의 수준으로 정의된다. 우리는 본 프레임워크에 기술된 절차에 따라 프론티어 AI를 개발하고 표 1에 기술된 조치를 시행할 것이다. 임계값 정의 방식에 관한 자세한 내용은 섹션 3 결과 및 임계값에서 제공한다.
We define our thresholds based on the extent to which Frontier AI would substantially contribute to the execution of any of the threat scenarios we have identified as being potentially sufficient to produce a catastrophic outcome. If a Frontier AI is assessed to have reached the critical risk threshold and cannot be mitigated, we will implement the measures outlined in Table 1. Our thresholds for weaponization are defined in terms of the level of uplift a model provides towards realizing a threat scenario. We will develop Frontier AI in line with the processes outlined in this Framework, and implement the measures outlined in Table 1. Section 3 on Outcomes & Thresholds provides more information about how we define our thresholds.
본 프레임워크는 AI 배포의 전체 수명주기, 즉 훈련부터 평가(evaluation), 배포에 이르기까지를 다루며, 여기에는 통제형 또는 폐쇄형 배포와 오픈 웨이트 공개가 포함된다. 각 환경에는 고유한 위협 표면과 위험이 존재하며, 본 프레임워크는 각 환경의 구체적인 고려사항에 유연하게 적응할 수 있도록 설계되었다.
This Framework covers AI deployments across their entire lifecycle: from training to evaluation to deployment, including controlled or closed deployments and open weight release. Each setting comes with its own threat surfaces and risks, and the Framework is designed to be flexible and adapt to the specific considerations of each.
섹션 2: 거버넌스 및 투명성
Section 2: Governance & Transparency
우리는 Meta Superintelligence Labs, Fundamental AI Research (FAIR) Lab, 그리고 제품 팀을 통해 10년 넘게 AI 연구와 모델을 개발, 배포 및 오픈소스로 공개해 왔다. 제품 팀은 Facebook, Instagram, Messenger, WhatsApp, 광고 및 기타 비즈니스 제품을 포함한 Meta의 제품 및 서비스 전반에서 AI를 활용하고 있다. 연구 결과 공개 외에도, 우리는 연구 및 상업적 용도 모두에 사용할 수 있는 개방형 모델과 안전 도구로 이루어진 생태계를 확장하고 있다. 본 프레임워크는 수년간 우리의 연구와 제품의 책임 있는 개발 및 배포를 이끌어 온 절차와 전문성을 기반으로 한다. 본 프레임워크에 기술된 절차는 특히 프론티어 AI를 개발하고 배포하기 위한 우리의 접근 방식을 설명한다.
We have been developing, deploying, and open sourcing AI research and models for over a decade through Meta Superintelligence Labs, our Fundamental AI Research (FAIR) Lab, and our product teams, which leverage AI across our suite of products and services, including in Facebook, Instagram, Messenger, WhatsApp, and ads and other business products. In addition to research releases, we have a growing ecosystem of open models and safety tools that can be used for both research and commercial use cases. This Framework builds upon the processes and expertise that have guided the responsible development and deployment of our research and products over the years. The processes outlined in this Framework describe our approach to developing and deploying Frontier AI specifically.
2.1 AI 거버넌스
2.1 AI Governance
이 섹션에서는 프론티어 AI를 개발하고 배포하는 전 과정에서 위험을 모니터링하고 관리하기 위해 우리가 따르는 절차를 개괄한다. 우리의 접근 방식은 크게 예측, 평가(evaluation) 및 완화, 결정의 세 단계로 나눌 수 있다.
This section provides an overview of the processes we follow when developing and deploying Frontier AI to ensure that we are monitoring and managing risk throughout. Our approach can be split into three main stages: anticipate; evaluate and mitigate; and decide.
어느 단계에서든 도출된 결과는 중앙 집중식 검토 절차를 통한 논의를 촉발할 수 있으며, 이 절차는 개발, 배포 및 사용의 수명주기 전반에 걸쳐 고위 의사결정권자가 관여하도록 보장한다.
Findings at any stage might prompt discussions via our centralized review process, which ensures that senior decision-makers are involved throughout the lifecycle of development, deployment, and use.
2.1.1 예측
2.1.1 Anticipate
참조 집단(reference class)으로 사용할 비교 가능한 모델 식별
Identify Comparable Models to Use as a Reference Class
우리는 각 프론티어 AI에 대해 예상 역량, 계획된 배포 형태(즉, 내부 배포, 제한적 배포, 통제형 배포, 폐쇄형 출시 또는 공개 출시), 지원 모달리티, 모델의 의도된 용도 및 예상 편익, 그리고 예상 연산 요구량을 기술한다. 우리는 이러한 여러 요소를 자사 모델 및 외부에서 이용 가능한 모델과 비교한다. 이를 통해 비교 가능한 모델로 구성된 추정 '참조 집단(reference class)'을 식별하며, 개발 전 과정에서 이를 활용하여 우리 모델의 성능을 추적하고, 관련 위험과 필요한 평가(assessment)를 예측하며, 이용 가능한 완화 전략의 적용 가능성을 평가(assessment)한다. 우리는 이 참조 집단(reference class)에 속한 모델을 평가(evaluation)하고, 그 평가(evaluation) 결과를 대비태세 보고서에 반영한다.
For each Frontier AI, we outline anticipated capabilities, planned deployment (i.e., internal deployment, limited deployment, controlled deployment, closed release, or open release), supported modalities, intended uses and anticipated benefits of the model, and expectations for compute requirements. We compare these various factors against our own models and those available externally. This allows us to identify an estimated 'reference class' of comparable models that we use throughout development to track how our model is performing and anticipate associated risks, required assessments, and assess the applicability of available mitigation strategies. We evaluate this reference class of models and incorporate the results of these evaluations into our preparedness reports.
위협 모델링 활동 수행
Run Threat Modeling Exercises
우리의 AI 위험 평가(아래 섹션 2.1.2 참조)가 잠재적 위험에 대해 적절한 커버리지를 확보하도록, 우리는 프론티어 AI로 인한 파국적 위험을 예측하기 위한 선제적 조치로서 주기적으로 위협 모델링 활동을 수행한다. 프론티어 AI가 파국적 결과에 이르는 위협 시나리오에 실질적으로 기여할 가능성이 있다고 판단되는 경우, 우리는 섹션 3.2의 절차에 따라 위협 모델링 활동을 수행할 것이다. 또한 우리는 새로운 역량을 갖춘 모델이 새로운 위험을 초래할 수 있는지 판단하기 위해 사전(ex-ante) 위협 모델링 활동도 수행한다(아래 내용 참조).
In order to ensure that our AI risk assessments (see section 2.1.2 below) have appropriate coverage over potential risks, we conduct periodic threat modeling exercises as a proactive measure to anticipate catastrophic risks from our Frontier AI. In the event that we identify that a Frontier AI is likely to substantially contribute to a threat scenario for a catastrophic outcome, we will conduct a threat modeling exercise in line with the processes in section 3.2. We also conduct ex-ante threat modeling exercises to help us determine whether models with new capabilities may pose novel risks (see more below).
이러한 활동의 구체적인 형식은 다를 수 있다. 일반적인 절차는 다음과 같다:
The exact format of these exercises may vary. The general process is as follows:
새로운 파국적 결과 및/또는 위협 시나리오를 식별하기 위해, 관련이 있는 경우 외부 분야별 전문가를 포함한 전문가들과 워크숍을 개최함.1
Host workshops with experts, including external subject matter experts where relevant, to identify new catastrophic outcomes and/or threat scenarios.1
새로운 파국적 결과 및/또는 위협 시나리오가 식별되면, 관련이 있는 경우 외부 전문가와 협의하여 이를 검증하기 위한 새로운 평가(assessment)를 설계함.
If new catastrophic outcomes and/or threat scenarios are identified, design new assessments to test for them, in consultation with external experts where relevant.
2.1.2 평가(evaluation) 및 완화
2.1.2 Evaluate and Mitigate
AI 위험 평가 수행
Conduct an AI Risk Assessment
우리의 AI 위험 평가 절차는 프론티어 AI의 지속적인 개발 및 배포와 관련된 잠재적 위험을 체계적으로 평가(evaluation)하며, 적용 가능한 일련의 위험 영역 전반에 걸쳐 완화 전략과 잔여 위험을 문서화한다.
Our AI risk assessment process systematically evaluates potential risks associated with ongoing development and deployment of Frontier AI, documenting mitigation strategies and residual risks across a set of applicable risk domains.
위험 평가 절차에는 다양한 분야(엔지니어링, 제품 관리, 규정 준수 및 프라이버시, 보안, 법무, 정책 등이 포함될 수 있음)의 내부 전문가 및 적절한 경우 외부 전문가, 그리고 여러 분야의 회사 리더가 참여하는 다학제적 관여가 수반된다. 위험 평가는 또한 모든 계획된 배포를 고려하는데, 이러한 계획이 우리가 수행하는 출시 전 평가(evaluation)의 유형을 결정하는 근거가 되기 때문이다.
The risk assessment process involves multi-disciplinary engagement, including internal and, where appropriate, external experts from various disciplines (which could include engineering, product management, compliance and privacy, security, legal, and policy) and company leaders from multiple disciplines. The risk assessment also considers any planned deployments, as these plans inform the type of pre-release evaluations we undertake.
우리가 AI의 혜택을 모든 사람에게 제공하는 방법 중 하나는 오픈 웨이트 모델을 공개하는 것이다. 오픈 웨이트 모델이 제공하는 투명성은 독립적인 평가자와 연구자로 이루어진 더 크고 다양한 생태계를 뒷받침한다. 고급 오픈 웨이트 모델은 AI 연구에 있어 희소하고 가치 있는 자원으로, 누구나 재현 가능한 실험 결과를 발표하고 여러 모델 계열에 걸쳐 연구 결과를 검증할 수 있게 한다. 이러한 모델은 정렬 및 해석가능성 연구를 위한 테스트베드 역할을 할 수 있으며, 학계 및 의료 연구소는 백신 개발이나 신종 또는 새로운 병원체의 조기 탐지와 같은 자체 분야에 맞게 이를 미세조정할 수 있다. 동시에, 오픈 웨이트 모델은 애플리케이션 프로그래밍 인터페이스(API)로는 불가능한 방식으로 악용될 수 있다. 즉, 공격자는 거부를 우회하기 위해 재샘플링하거나, 출력을 사전 입력(prefill)하거나, 미세조정을 통해 거부 행동을 제거할 수 있다. 오픈 웨이트 모델에 대한 위험 평가에서 우리는 이러한 공개 방식 고유의 위험 경로와 해당 모델의 개연성 있는 배포 맥락을 고려한다.
Part of how we bring the benefits of AI to everyone is by releasing open-weight models. The transparency they provide supports a larger and more diverse ecosystem of independent evaluators and researchers. Advanced open-weight models are a scarce and valuable resource for AI research, allowing anyone to publish replicable experimental results and validate their findings across model families. They can serve as a testbed for alignment and interpretability research, and academic and medical labs can fine-tune them for their own domains like vaccine development and early detection of emerging or novel pathogens. At the same time, open-weight models may be exploited in ways that APIs cannot: adversaries can resample to bypass refusals, prefill outputs, or fine-tune refusal behavior away. In risk assessments for open-weight models, we consider the unique risk vectors of such releases and plausible deployment contexts of such models.
성능 및 안전성 평가(evaluation)
Evaluate for Performance and Safety
우리의 평가(evaluation)에는 자동화된 평가(evaluation)와 인간 평가(evaluation)의 조합은 물론 레드티밍 및 업리프트 연구가 포함될 수 있다. 개발 전 과정에서 우리는 참조 집단(reference class)에 대한 기대치와 위협 시나리오에서 식별한 기반 역량(enabling capabilities)을 기준으로 성능을 모니터링하며, 역량이 발전함에 따라 이러한 지표를 추가 평가(evaluation)의 계기로 활용한다.
Our evaluations can involve a combination of automated and human evaluations, as well as red teaming and uplift studies. Throughout development, we monitor performance against our expectations for the reference class as well as the enabling capabilities we have identified in our threat scenarios, and use these indicators as triggers for further evaluations as capabilities develop.
AI 모델 평가(evaluation)는 여전히 초기 단계의 과학이며, 역량이 발전함에 따라 새로운 평가(evaluation)가 개발된다. 따라서 우리는 각 프론티어 AI 모델에 적용하는 고정된 평가(evaluation) 세트를 두지 않는다. 대신, 모델의 역량과 최신 연구에 근거하여 널리 사용되는 제3자 및 오픈소스 평가(evaluation)를 포함한 관련 평가(evaluation)를 시행한다. 예를 들어, 모델이 일정 수준의 코딩 능력을 보이면 우리는 일반적으로 해당 모델이 사이버 보안 위험을 초래할 가능성을 평가(evaluation)한다. 사이버 위험과 화학 및 생물학적 위험 모두에 대해, 우리는 모델이 해당 영역과 관련된 역량에서 일정 수준의 성능에 도달하면 적절한 경우 외부 전문가를 참여시켜 레드티밍 활동을 수행한다. 이러한 영역에 대한 적절한 평가(evaluation)는 시간이 지남에 따라 달라질 것으로 예상되지만, 모델 역량이 발전함에 따라 다양한 과업, 주제 및 응용 분야에서의 모델 성능을 파악하기 위해 테스트 및 측정 실행 방안에 지속적으로 투자한다.
Evaluating AI models remains a nascent science and, as capabilities develop, new evaluations are developed. As such, we do not have a fixed set of evaluations that we apply to each Frontier AI model. Rather, we implement relevant evaluations, including widely used third party and open source evaluations, based on a model's capabilities and the latest research. As an example, once a model demonstrates a standard of coding ability, we would typically evaluate the potential of the model to present cybersecurity risks. For both Cyber and Chemical and Biological risks, we conduct red teaming exercises once a model achieves certain levels of performance in capabilities relevant to these domains, involving external experts when appropriate. While we expect that the appropriate evaluations for these domain areas will change over time, as model capabilities advance, we continue to invest in testing and measurement practices to understand model performance on a range of tasks, subjects, and applications.
이러한 평가(assessment)는 일반적으로 안전 위험 완화조치가 적용되기 전 버전의 프론티어 AI를 사용하며, 완화 조치가 적용되기 전의 위험 기준선을 평가(assessment)하는 데 활용된다. 이러한 완화 전 위험 평가를 바탕으로, 최고 AI 책임자(Chief AI Officer)와 정렬 및 위험 담당 이사(Director of Alignment and Risk)2가 위험 임계값을 지정한다. 지정된 임계값은 모델이 배포 검토 대상이 되기 전에 반드시 시행되어야 하는 보안 위험 완화조치 및 조치를 결정한다.
These assessments typically use a version of the Frontier AI before safety mitigations have been applied, and are used to assess the risk baseline before mitigations are applied. Based on this pre-mitigation risk assessment, the Chief AI Officer and Director of Alignment and Risk2 will assign a risk threshold. The assigned threshold determines the security mitigations and measures that must be implemented before the model can be considered for deployment.
우리는 모델의 역량이 어떻게 강화될 수 있는지에 대한 평가(assessment)를 포함하여, 모델이 어떻게 배포될 것인지를 고려하여 평가(evaluation)를 설계한다. 자세한 내용은 섹션 4.2를 참조한다.
We design our evaluations to account for how the model will be deployed, including assessing how its capabilities might be enhanced. See Section 4.2 for more details.
완화 조치 시행
Implement Mitigations
우리의 완화 전략은 위험 평가에서 식별한 위험, 평가(evaluation) 결과, 그리고 배포 맥락에 근거한다. 우리는 또한 배포 전에 완화 조치의 적절성을 확인하기 위한 평가(assessment)를 수행한다. 본 프레임워크의 섹션 4에서 우리가 사용하는 완화 기법에 관한 자세한 내용을 제공한다.
Our mitigation strategy is informed by the risks we've identified in the risk assessment, evaluation results, and the deployment context. We also conduct assessments to ensure the adequacy of our mitigations prior to deployment. Section 4 of this Framework provides more details on mitigation techniques we employ.
2.1.3 결정
2.1.3 Decide
잔여 위험 평가(assessment)
Assess Residual Risk
우리는 위험 평가의 세부 내용, 훈련 전 과정에서 수행된 평가(evaluation) 결과, 그리고 시행된 완화 조치를 고려하여 배포 전에 잔여 위험을 평가(assessment)한다. 잔여 위험 분석은 완화 조치가 적용된 이후 모델의 위험 수준을 결정하는 우리의 절차이다. 이는 일반적으로 모델이 위협 시나리오에 실질적으로 기여하는 정도를 판단하기 위한 위협 모델링 활동의 형태를 취한다. 여기에는 다른 관련 모델의 평가(evaluation) 및 보고된 사고에 관한 정보, 전 과정에서 수행된 평가(evaluation) 결과, 그리고 시행된 완화 조치에 대한 적절성 평가(assessment) 결과가 반영된다. 자세한 내용은 섹션 4.2를 참조한다.
We assess residual risk before deployment, taking into consideration the details of the risk assessment, the results of evaluations conducted throughout training, and the mitigations that have been implemented. Our residual risk analysis represents our process for determining the risk level of a model after mitigations are applied. This usually takes the form of a threat modeling exercise to determine the degree to which the model substantially contributes to a threat scenario. It incorporates information about evaluations and reported incidents from other relevant models, the results of evaluations conducted throughout, and the results of adequacy assessments for mitigations that have been implemented. See Section 4.2 for more information.
배포 결정
Make a Decision on Deployment
잔여 위험 평가는 관련 연구 및/또는 제품 팀과, 필요한 경우 다학제적 검토자 팀이 검토한다. 이 분석을 바탕으로, 최고 AI 책임자 또는 정렬 및 위험 담당 이사는 추가 테스트나 정보를 요청할지, 추가 완화 조치나 Version 2.1 | October 2026 개선을 요구할지, 또는 모델의 배포를 승인할지를 결정한다. 자세한 내용은 섹션 2.3을 참조한다. 완화 조치는 프론티어 위험 및 업계 관행이 변화하는 경우를 포함하여 주기적으로 재평가(re-evaluation)될 수 있다.
The residual risk assessment is reviewed by the relevant research and/or product teams, as well as a multidisciplinary team of reviewers as needed. Informed by this analysis, the Chief AI Officer or the Director of Alignment and Risk will determine whether to request further testing or information, require additional mitigations or Version 2.1 | October 2026 improvements, or approve the model for deployment. See Section 2.3 for more information. Mitigations may be re-evaluated periodically, including as frontier risks and industry practices evolve.
2.2 투명성
2.2 Transparency
AI 연구 개발에 대한 개방형 접근 방식의 주요 이점 중 하나는 모델이 작동하는 방식에 대해 더 높은 수준의 투명성을 제공한다는 것이며, 이는 결과적으로 AI에 대한 더 나은 이해와 신뢰로 이어질 수 있다. 우리는 이를 연구 논문, 대비태세 보고서, 그리고 본 프레임워크에 명시된 절차에 부합하는 범위에서 모델 가중치를 공유하는 것의 핵심 이점으로 본다. 또한 우리는 Developer Use Guide와 같은 자료를 통해 모델 배포자에게 지침을 제공함으로써, 모델을 책임감 있게 개발하고 평가(evaluation)하는 방식에 관한 관련 정보를 계속 공유할 계획이다.
One of the major benefits of an open approach to AI research and development is that it provides a greater degree of transparency as to how a model works, which in turn can lead to a better understanding of, and trust in, AI. We see this as a key benefit of sharing research papers, preparedness reports, and consistent with the processes set out in this Framework, model weights. We also plan to continue sharing relevant information about how we develop and evaluate our models responsibly by providing guidance to model deployers through resources like our Developer Use Guide.
적절한 경우, 우리는 외부 전문가와 협력하여 우리의 평가(evaluation)를 보완하고 이에 정보를 반영하며, 모델을 오픈소스로 공개하는 경우에는 더 넓은 커뮤니티가 해당 모델의 역량을 독립적으로 검토하고 평가(assess)할 수도 있다. AI 개발이 반복적인 특성을 지닌다는 점을 고려할 때, 우리는 이것이 위험 평가(evaluation) 전반의 최첨단 수준을 향상시킬 것이라고 믿는다.
Where appropriate, we work with external experts to complement and inform our evaluations and, when open sourcing models, it is also possible for the broader community to independently inspect and assess the capabilities of these models. Given the iterative nature of AI development, we believe that this will improve the state of the art in risk evaluation more generally.
2.2.1 대비태세 보고서
2.2.1 Preparedness Reports
우리는 각각의 비공개 또는 공개 프론티어 AI 출시에 대해 배포와 관련하여 적시에 대비태세 보고서를 발행할 것이며, 적절한 경우 다음과 같은 상황을 포함한다.
We will publish a preparedness report for each closed or open Frontier AI release in a timely manner in connection with the deployment, including in the following circumstances, as appropriate:
처음부터 사전 학습된 새로운 프론티어 AI의 출시.
Release of new Frontier AI that has been pre-trained from scratch.
기존에 출시된 모델 중 하나에 대한 중대한 업데이트를 수반하는 출시로서, 대비태세 보고서가 발행된 직전 모델 버전에 사용된 누적 컴퓨팅 자원 대비 컴퓨팅 자원이 상당히 증가한 경우, 또는 해당 모델이 관련 위험 임계값을 넘어선 경우.
Release that entails a significant update to one of our existing released models where there is a substantial increase in computing resources compared to the cumulative computing resources used for the last model version with a published preparedness report, or if the model has crossed a relevant risk threshold.
대비 관련 영역에서 역량을 실질적으로 증가시키는 중대한 변경이 이루어진 기존 출시 모델의 출시. 여기에는 해당되는 범위에서, 예를 들어 새로운 도구, 스캐폴딩 또는 워크플로(예: 심층 연구 자동화, 생물학적 분석, 코드 실행 도구 또는 에이전트 스캐폴딩)의 통합이나, 새로운 입력 또는 출력 모달리티(예: 시각, 오디오, 음성, 로봇 제어)가 포함될 수 있다.
Release of one of our existing released models with significant changes that materially increase capabilities in preparedness-relevant domains. This may include, for example, integration of new tools, scaffolding, or workflows (e.g., deep research automation, biological analysis, code execution tools, or agent scaffolding), or new input or output modalities (e.g., vision, audio, speech, robotics control), to the extent applicable.
변화하는 규제 요건이나 업계 모범 사례를 참고하는 경우를 포함하여, 우리가 적절하다고 판단하는 그 밖의 모든 시점.
At any other time we deem appropriate, including as informed by evolving regulatory requirements or industry best practices.
통제된 배포(controlled deployment), 즉 A/B 테스트와 같이 광범위한 제공에 앞서 제품 사용자 중 일정 비율로 제한된 집단을 대상으로 하는 배포가 파국적 위험 영역에서 이전의 통제된 배포나 출시보다 더 높은 역량을 가질 가능성이 합리적으로 높은 경우, 우리는 그러한 배포에 앞서 예비 대비 평가(assessment)를 수행할 것이다. 이 테스트를 통해 해당 모델이 이전 평가(assessment)에서 나타난 것보다 실질적으로 높은 위험을 초래한다는 사실이 드러나면, 우리는 통제된 배포를 진행하기 전에 그러한 위험에 대응하기 위한 충분한 완화 조치를 시행할 것이다. 모델의 비공개 또는 공개 출시와 함께 발행되는 대비태세 보고서에는 출시 이전에 이루어진 배포에서 얻은 결과를 기록하고, 우리가 시행한 완화 조치에 관한 맥락을 제공할 것이다.
Prior to controlled deployments - deployments to a percentage-limited set of product users prior to broad availability, such as A/B testing - which are reasonably likely to be more capable than prior controlled deployments or releases in catastrophic risk areas, we will conduct preliminary preparedness assessments. If this testing reveals that the model poses materially elevated risk than our prior assessments indicated, we will implement sufficient mitigations to address those risks before proceeding with controlled deployment. The preparedness report published alongside the model's closed or open release will document findings from deployments prior to the release, and provide context on the mitigations we implemented.
대비태세 보고서는 각 위험 영역에 대한 우리의 위험 평가, 평가(evaluation) 결과, 시행된 완화 조치, 그리고 배포 결정의 근거를 기술할 것이다. 대비태세 보고서는 영업 비밀을 보호하기 위해 또는 법률상 적절한 경우 정보를 삭제하되, 가능한 한 상세한 내용을 제공할 것이다. 정보를 삭제하는 경우, 우리는 과도한 위험을 초래하지 않는 범위에서 그 이유를 설명할 것이다.
Preparedness reports will describe our risk assessment, evaluation results, implemented mitigations, and rationale for deployment decisions for each risk domain. Preparedness reports will provide as much detail as possible, while redacting information to protect trade secrets or as appropriate under law. If we redact information, we will describe our reasons why to the extent that we can without creating undue risk.
우리는 개연성 있는 배포 맥락에서 해당 모델에 대한 위험 평가 결과(치명적(critical), 높음(high), 또는 보통(moderate) 이하)를 보고하며, 우리의 판단에 근거가 된 평가(evaluation) 및 연구 결과를 포함하여 이러한 위험 임계값에 대한 정당화 근거를 함께 제시한다. 우리는 각 평가(evaluation) 세트의 범위와 설계 목표를 충분히 설명하는 것을 목표로 하고, 보고서에 포함된 모든 오픈소스 벤치마크에 대해 충분한 방법론적 세부 정보를 제공할 것이며, 이용 가능하고 관련성이 있는 경우 인간 전문가 기준선 성능과의 비교를 포함할 것이다. 또한 비교 맥락을 제공하기 위해, 관련 역량, 성향 및 거부 평가(evaluation)를 포함하여 비교 가능한 모델로 구성된 참조군에 대한 평가(evaluation) 결과도 포함할 것이다.
We report risk assessments for the model in plausible deployment contexts (critical, high, or moderate or lower), with justification for these risk thresholds, including results from evaluations and studies that informed our determination. We will aim to fully explain the scope and design goals of each set of evaluations, will provide sufficient methodological detail on any open-source benchmarks included in the report, and will include comparison to human expert baseline performance where available and relevant. We will also include the results of evaluations of the reference class of comparable models to provide comparative context, including relevant capability, propensity, and refusal evaluations.
완화 조치와 관련하여, 우리는 완화 조치가 적용된 이후 모델의 잔여 위험에 대한 등급 판정을 정당화할 수 있는 충분한 증거를 제공하며, 완화 조치 선택의 범위를 정하는 데 사용된 의사결정 절차와 완화 조치가 적절하다고 판단한 방식을 모두 설명할 것이다.
For mitigations, we provide sufficient evidence to justify our rating of the model's residual risk after mitigations are in place, and will explain both the decision-making process used to scope our choice of mitigations as well as a description of how we determined that mitigations were adequate.
대비태세 보고서는 모범 사례에 따라 평가(evaluation) 결과를 기술하는 한편, 역량 이끌어내기(elicitation), 투입된 시간과 자원, 그리고 내부 및 외부 평가자에게 부여된 접근 권한에 관한 세부 정보를 포함하여 평가(evaluation) 방법론도 기술할 것이다. 대비태세 보고서에는 통제된 배포, 내부 배포, 또는 더 적은 완화 조치가 적용된 그 밖의 배포를 포함하여 발행 이전에 이루어진 모든 배포에서 관찰된 위험에 관한 증거도 반영할 것이다. 우리는 외부 또는 내부 위협에 대응하기 위한 모델 가중치 보안 및 실행 방안에 대한 우리의 접근 방식 개요를 포함할 것이다. 대비태세 보고서는 또한 해석 가능성을 저하시키는 훈련 과정의 변경(예: 훈련 과정이 모델 추론의 난독화를 유발할 수 있다는 증거 포함)을 비롯하여, 우리의 안전성 테스트를 실제 위험으로 일반화하는 데 방해가 될 수 있는 알려진 문제를 공개할 것이다. 대비태세 보고서는 또한 적대적 강건성 및 통제 가능성에 대한 평가(evaluation) 결과를 공유하고, 보상 해킹이나 계략적 행동과 같이 사후 학습에 의해 유인되는 바람직하지 않은 모델 행동을 부각하며, 해당 모델의 배포를 권고한 우리의 내부 거버넌스 절차를 상세히 설명할 것이다.
Preparedness reports will describe evaluation results in line with best practices as well as evaluation methodology, including details about elicitation, time and resources spent, and access given to internal and external evaluators. Preparedness reports will also incorporate evidence regarding risks observed from any deployments occurring prior to publication, including from controlled deployments, internal deployments, or other deployments with fewer mitigations applied. We will include an overview of our approach to model weight security and practices against external or internal threats. Preparedness reports will also disclose any known issues that could hinder generalizing our safety testing to real-world risks, including changes to the training process that reduce interpretability (including e.g., evidence that the training process may cause obfuscation of a model's reasoning). Preparedness reports will also share results from evaluations for adversarial robustness and controllability, highlight undesirable model behaviors incentivized by post-training such as reward hacking or scheming, and detail our internal governance processes that recommended the model for deployment.
2.2.2 대비태세 보고서 업데이트
2.2.2 Preparedness Report Updates
우리는 이전의 위험 평가를 실질적으로 변경하는 상황 변화가 있을 때 대비태세 보고서를 신속하게 업데이트할 것이다. 예를 들어, 해당 모델이 중대한 사고에 연루되었거나, 이전 버전에 비해 더 많은 어포던스(행동 가능성)를 갖춘 채 배포된 경우(예: 비공개 배포에서 공개 출시로 전환하는 경우) 대비태세 보고서를 업데이트할 것이다.
We will update a preparedness report promptly when there is a change in circumstances that materially alters our previous risk assessment. For example, we would update a preparedness report if the model was involved in a major incident, or if the model was deployed with more affordances relative to prior versions (for example, transitioning from a closed deployment to an open release).
우리는 또한 프론티어 AI 모델의 내부 사용으로 인한 파국적 위험 가능성을 정기적으로 평가(assess)하고, 적절한 경우 내부 사용 위험 보고서(Risk Report)를 통해 관련 당국에 이러한 평가(assessment)의 요약을 제공할 것이다. 또한 본 프레임워크에서 다루는 영역과 관련된 역량이 전례 없이 급격하게 증가한 것을 확인하는 경우, 신속한 업데이트를 제공할 것이다. 우리의 내부 사용 위험 보고서는 특히 내부 배포 위협 모델(Threat model)과 연계된 모니터링 및 대비 평가(evaluation)에 기반하여, 프론티어 AI 모델의 내부 사용으로 인한 위험에 관한 증거를 기술할 것이다.
We will also regularly assess the potential for catastrophic risk from internal use of Frontier AI models and, as appropriate, provide relevant authorities with a summary of these assessments through an internal-use risk report. We will also provide expedited updates if we identify any unprecedentedly rapid increase in capabilities relevant to the areas outlined in this Framework. Our internal-use risk report will describe evidence regarding risks from internal use of our Frontier AI models, particularly relying on monitoring and preparedness evaluations tied to internal deployment threat models.
2.2.3 모델 명세(Model Spec)
2.2.3 Model Spec
Meta는 또한 에이전트형 환경을 포함한 다양한 환경에서 각 프론티어 AI가 나타내도록 의도한 행동을 기술하는 모델 명세(model spec)를 발행할 것이다. 모델 명세는 정직성, 지시 이행, 거부 및 방향 전환(redirection), 합리적 주의 기준의 준수, 그리고 종료에 대한 순응 및 강압적 권력 추구 행동의 부재를 포함한 가치와 목표 등, 의도된 모델 성향을 기술할 것이다. 모델 명세를 발행한 이후, 우리는 프론티어 AI의 행동이 모델 명세를 얼마나 잘 준수하는지에 대한 평가(evaluation)를 수행하고, 그 결과를 해당 대비태세 보고서에 공개할 것이다.
Meta will also publish a model spec describing the behavior we intend each of our Frontier AI to exhibit across different settings, including agentic environments. The model spec will describe intended model propensities, including honesty, instruction following, refusal and redirection, adherence to standards of reasonable care, and values and objectives including acquiescence to shutdown and lack of coercive power-seeking behavior. Following publication of the model spec, we will conduct evaluations of how well a Frontier AI's behavior adheres to the model spec and will publish our results in the applicable preparedness reports.
2.3 책임성
2.3 Accountability
Meta는 효과적인 위험 관리와 책임성을 증진하기 위해 팀 전반에 걸쳐 역할과 책임을 설정하는 "방어선(Lines of Defense)" 위험 관리 모델을 포함하여, 전사적으로 위험 관리 기준을 통합하는 견고한 내부 거버넌스 구조를 유지하고 있다.
Meta maintains a robust internal governance structure that integrates risk management standards across the company, including through a "Lines of Defense" risk management model which sets roles and responsibilities across teams to promote effective risk management and accountability.
Meta의 최고 AI 책임자(Chief AI Officer)는 평가(evaluation) 및 완화 프로세스 전반의 설계, 구현 및 운영을 감독한다. 최고 AI 책임자는 정렬 및 위험 담당 디렉터(Director of Alignment and Risk)를 감독하는 동시에 그로부터 지원을 받는다. 정렬 및 위험 담당 디렉터는 위험 평가 및 완화의 수명주기, 대비태세 보고서, Meta Superintelligence Scaling Framework의 업데이트, 내부 사용 보고서, 그리고 관련 배포 및 공개를 실행할 책임을 지며, 모델 배포는 관련 팀과의 적절한 협의를 거친 후 최고 AI 책임자의 승인을 받아 이루어진다. 최고 AI 책임자는 정렬 및 위험 담당 디렉터가 최첨단 위험 완화 및 평가(assessment)를 수행하기에 충분한 인적·재정적·연산 자원을 포함한 자원을 확보하도록 보장할 것이다.
Meta's Chief AI Officer oversees the design, implementation, and operation of the entire evaluation and mitigation process. The Chief AI Officer supervises and is supported by the Director of Alignment and Risk, who bears responsibility for executing the lifecycle of risk assessment and mitigation, preparedness reports, updates to the Meta Superintelligence Scaling Framework, internal use reports, and related deployments and disclosures, with model deployment following appropriate consultation with relevant teams and with the approval of the Chief AI Officer. The Chief AI Officer will ensure that the Director of Alignment and Risk has resources, including human, financial, and computational resources, sufficient to perform state-of-the-art risk mitigation and assessment.
Meta는 전사적으로 신규 출시에 대해 의무적인 위험 검토 프로세스를 운영하고 있으며, 이 프로세스는 출시 이전에 위험이 충분히 완화되었음을 입증하고 그 이행을 검증한다. 또한 Meta의 내부 거버넌스 조직은 우리의 위험 관리 실행 방안을 주기적으로 검토하고 제품 팀에 대한 규정 준수 감독을 제공한다. 이 팀에는 해당 역할을 효과적으로 수행하는 데 충분한 접근 권한과 자원이 부여된다. 아울러 Meta 이사회는 회사의 제품 및 규제 준수에 대한 감독을 제공하여 모든 방어선에 걸쳐 책임성을 보장한다.
Meta has a mandatory risk review process for new launches across the company that demonstrates risks are sufficiently mitigated and verifies implementation prior to launch. In addition, Meta's internal governance function periodically reviews our risk management practices and provides compliance oversight for product teams. This team is given sufficient access and resources to perform this role effectively. In addition, Meta's Board of Directors provides oversight of the company's product and regulatory compliance, ensuring accountability across all lines of defense.
2.3.1 보고
2.3.1 Reporting
Meta는 포괄적인 내부고발 및 신고 정책을 유지하고 있으며, Meta Superintelligence Scaling Framework의 미준수 사례와 파국적 위험으로부터 발생하는 공중 보건 또는 안전에 대한 구체적이고 상당한 위험을 보고하기 위한 추가 프로토콜을 개발하고 있다. 이 프로토콜에 따라 직원은 내부 채널을 통해 비밀리에, 그리고 원하는 경우 익명으로 보고할 수 있게 되며, 모든 보고는 최종적으로 내부 거버넌스 조직, 최고 AI 책임자, 그리고 정렬 및 위험 담당 디렉터에게 제출될 것이다. 이 프로토콜에는 공개자에게 공개 사항의 처리 현황과 문제 해결을 위해 취한 조치에 관해 정기적으로 업데이트를 제공하는 계획이 포함될 것이며, 미준수 사항을 선의로 보고하거나 불법 행위에의 가담을 거부하는 모든 직원은 불이익한 인사 조치 및 보복으로부터 명시적으로 보호될 것이다.
Meta maintains a comprehensive whistleblower and complaint policy, and is developing further protocols to report any instances of non-compliance with the Meta Superintelligence Scaling Framework, and any specific and substantial danger to the public health or safety arising from catastrophic risk. Under this protocol, employees will be able to confidentially, and, if they choose, anonymously issue reports through internal channels, and all reports will be ultimately submitted to the internal governance function, the Chief AI Officer, and the Director of Alignment and Risk. The protocol will include plans to provide regular updates to the person who made the disclosure about the status of the disclosure and any steps taken to resolve the issue, and all employees who in good faith report non-compliance or decline to engage in unlawful conduct will be explicitly protected from adverse employment action and retaliation.
2.3.2 사고 대응
2.3.2 Incident Response
효과적인 위험 관리를 위해서는 일상적인 운영뿐만 아니라 예상치 못한 극단적 사건(tail event)에도 대비해야 한다. 우리는 내부 및 외부 출처 모두로부터 사고를 식별하고, 적절한 경우 중대한 사고를 보고하는 것을 포함하여 포괄적인 글로벌 사고 대응 프로그램을 유지하고 있다.
Effective risk management requires preparation not only for ongoing operations but also for unexpected tail events. We maintain a comprehensive global incident response program, including identifying incidents from both internal and external sources, and reporting critical incidents as appropriate.
섹션 3: 결과 및 임계값
Section 3: Outcomes & Thresholds
3.1 결과 중심 접근 방식
3.1 An Outcomes-Led Approach
우리는 파국적 위험을 체계적이고 증거에 기반한 방식으로 평가하고 관리하기 위해 결과 중심 접근 방식을 취한다. 먼저, 우리가 방지하기 위해 노력해야 할 일련의 파국적 결과를 식별한다. 결과가 정의되면, 위협 모델링을 수행하여 이러한 결과를 실현하기에 충분할 수 있는 일련의 잠재적 인과 경로, 즉 위협 시나리오를 식별한다. 그런 다음, 각 위협 시나리오의 실현으로 이어질 수 있는 모델 역량 및 성향 등 프론티어 AI와 관련된 일련의 핵심 위험 요인을 식별한다. 마지막으로, 특정 프론티어 AI 모델이 각 위협 시나리오, 나아가 그에 상응하는 파국적 결과에 실질적으로 기여할 수 있는 정도를 평가(assess)할 수 있게 해주는 평가(evaluation)에 의존한다. 각 위험 영역별로 4.2절에 상세히 기술된 이 평가(assessment)는 완화 조치가 적용되기 이전 프론티어 AI 모델과 관련된 위험의 상한을 결정하기 위한 것이다.
We take an outcomes-led approach to assess and manage catastrophic risk in a systematic, evidence-based manner. First, we identify a set of catastrophic outcomes we must strive to prevent. Once the outcomes are defined, we perform threat modeling to identify a set of potential causal pathways - i.e., threat scenarios - that may be sufficient to realize these outcomes. We then identify a set of key risk factors associated with Frontier AI, such as model capabilities and propensities, that could lead to realization of each threat scenario. Lastly, we rely on evaluations that allow us to assess the extent to which a given Frontier AI model could substantially contribute to each threat scenario, and thus the corresponding catastrophic outcome(s). This assessment, which is detailed for each risk domain in Section 4.2, is intended to determine an upper bound of the risk associated with the Frontier AI model before mitigations are applied.
위험 임계값을 결과에 기반하여 설정함으로써, 우리는 지속성을 유지하면서도 적절한 범위를 갖춘 프레임워크를 정의하고자 한다. 우리가 방지하기 위해 노력해야 할 파국적 결과는 기술이 발전함에 따라 필연적으로 변화할 특정 프론티어 AI의 개별 역량보다 더 안정적이고 지속적이다. 그렇다고 본 프레임워크에서 식별된 결과가 고정되어 있다는 의미는 아니다. 프론티어 AI에 대한 우리의 이해가 향상됨에 따라, 정의된 결과나 위협 시나리오가 더 이상 포함 기준을 충족하지 않는다고 판단되면 이를 제외할 수도 있다. 또한 향후 새로운 결과를 추가해야 할 수도 있다. 그러한 결과는 잠재적으로 새로운 모델 역량으로 인해 완전히 새로운 위험 영역에 속할 수도 있고, 기존 위험 영역에서 새로운 유형의 위협 행위자를 범위에 포함시키는 위협 지형의 변화를 반영할 수도 있다. 이는 프론티어 AI가 새로운 피해를 초래할 수 있는 방식뿐만 아니라, 알려진 위험 영역에서 파국의 위험을 증가시킬 수 있는 잠재력까지 고려한 것이다.
By anchoring risk thresholds on outcomes, we aim to define a Framework that remains durable and appropriately scoped. The catastrophic outcomes we must strive to prevent are more stable and enduring than the particular capabilities of any given Frontier AI, which will inevitably evolve as technology advances. This is not to say that the outcomes identified in this Framework are fixed. It is possible that as our understanding of Frontier AI improves, defined outcomes or threat scenarios might be removed, if we determine that they no longer meet our criteria for inclusion. We also may need to add new outcomes in the future. Those outcomes might be in entirely novel risk domains, potentially as a result of novel model capabilities, or they might reflect changes to the threat landscape in existing risk domains that bring new kinds of threat actors into scope. This accounts for the ways in which Frontier AI might introduce novel harms, as well as its potential to increase the risk of catastrophe in known risk domains.
이러한 방식으로, 우리의 결과 중심 접근 방식은 최우선 순위의 위험에 노력을 집중시키는 동시에, 창발적이고 덜 입증된 위험에 대한 체계적인 평가(evaluation)를 가능하게 한다.
In this way, our outcome-led approach directs efforts toward the highest-priority risks while enabling systematic evaluation of emergent, less substantiated risks.
3.2 위협 모델링
3.2 Threat Modeling
위협 모델링은 우리의 결과 중심 접근 방식의 근간이다. 우리는 위협 모델링 연습을 내부적으로 수행하며, 적절한 경우 관련 분야 전문성을 갖춘 외부 전문가와 함께 수행한다. 이러한 연습의 목표는 프론티어 AI 모델이 파국적 결과에 실질적으로 기여할 수 있는 방식을 체계적으로 탐구하는 것이다. 이 과정을 통해 우리는 프론티어 AI 모델이 파국적 결과에 실질적으로 기여할 수 있는 방식을 기술하는 위협 시나리오를 개발한다.3
Threat modeling is fundamental to our outcomes-led approach. We run threat modeling exercises both internally and with external experts with relevant domain expertise, where appropriate. The goal of these exercises is to explore, in a systematic way, how Frontier AI models might substantially contribute to catastrophic outcomes. Through this process, we develop threat scenarios which describe how a Frontier AI model might substantially contribute to a catastrophic outcome.3
우리는 우리의 모델이 이러한 시나리오에 실질적으로 기여하는지를 시뮬레이션하기 위한 평가(assessment)를 설계하고, 그렇게 하기 위해 모델이 나타내야 할 가능 역량(enabling capabilities)을 식별한다. 자세한 내용은 4.2절를 참조한다.
We design assessments to simulate whether our model would substantially contribute to these scenarios, and identify the enabling capabilities the model would need to exhibit to do so. See Section 4.2 for more detail.
파국적 결과를 실현하는 경로는 프론티어 AI 모델 자체를 넘어서는 수많은 외부 요소가 관여하여 매우 복잡한 경우가 많다는 점에 유의해야 한다. 우리의 위협 시나리오는 결과에 이르는 엔드투엔드(end-to-end) 경로를 시뮬레이션하고 측정하고자 한다. 우리의 모델이 위협 시나리오에 실질적으로 기여할 수 있는지를 테스트함으로써, 우리는 모델이 어떻게 결과를 실현할 수 있는지를 측정한다.
It is important to note that the pathway to realize a catastrophic outcome is often extremely complex, involving numerous external elements beyond the Frontier AI model itself. Our threat scenarios endeavor to simulate and measure the end-to-end pathways toward an outcome. By testing whether our model can substantially contribute to a threat scenario, we measure how our model can realize an outcome.
우리의 위협 모델링은 프론티어 AI가 야기할 수 있는 파국적 위험에 대한 내부 전문가의 평가(assessment)뿐만 아니라, 정부, 외부 전문가 및 더 넓은 AI 커뮤니티와의 교류를 토대로 한다. 그러나 AI 역량이 어떻게 발전할 것인지, 그리고 어떤 시간 범위에서 출현할 수 있는지에 관해서는 여전히 전문가들 사이에 상당히 큰 의견 차이가 존재한다.
Our threat modeling is informed by our own internal experts' assessment of the catastrophic risks that Frontier AI might pose, as well as engagements with governments, external experts, and the wider AI community. However, there remains quite considerable divergence in expert opinion as to how AI capabilities will develop and the time horizons on which they could emerge.
본 프레임워크의 이번 버전에서 범위에 포함된 파국적 결과를 어떻게 결정했는지 더욱 명확히 하기 위해, 아래에 포함 및 누락 기준을 제시한다. 이러한 기준은 이행 가능하며 개발 및 배포에 관해 증거에 기반한 결정을 내릴 수 있게 하는 프레임워크를 구현하도록 설계되었다.
To further clarify how we have determined the catastrophic outcomes that are in scope for this iteration of our Framework, we include a set of criteria for inclusion and omission below. These criteria are designed to enable a Framework that is implementable, and that allows us to make evidence-led decisions about development and deployment.
특히 본 프레임워크에서 우리는 다음 네 가지 기준을 모두 충족하는 위험을 고려하고자 한다.
For this Framework specifically, we seek to consider risks that satisfy all four criteria:
| 기준 | 설명 |
|---|---|
| 개연성 있음 | 파국적 결과에 이르는 인과 경로를 식별할 수 있어야 하며, 해당 경로를 따라 시뮬레이션 가능한 위협 시나리오를 하나 이상 정의할 수 있어야 한다. 이를 통해 이행 가능하고 증거에 기반한 접근 방식을 보장한다. |
| 파국적 | 해당 결과는 대규모의 막대하고 잠재적으로 되돌릴 수 없는 유해한 영향을 미친다. |
| 순수 신규(net new) | 해당 결과는 범용 AI에 접근하지 않고 기존 도구와 자원만으로는 현재 기술된 바와 같이(예: 해당 규모로 / 해당 위협 행위자에 의해 / 해당 비용으로) 실현될 수 없다. |
| 즉각적 또는 회복 불가능 | 해당 결과는 일단 실현되면 그 파국적 영향이 즉시 나타나거나, 회복을 위한 실행 가능한 조치가 없어 불가피한 성격을 띤다. |
| Criteria | Description |
|---|---|
| Plausible | It must be possible to identify a causal pathway for the catastrophic outcome, and to define one or more simulatable threat scenarios along that pathway. This ensures an implementable, evidence-led approach. |
| Catastrophic | The outcome would have large scale, devastating, and potentially irreversible harmful effects. |
| Net new | The outcome cannot currently be realized as described (e.g. at that scale / by that threat actor / for that cost) with existing tools and resources but without access to general-purpose AI. |
| Instantaneous or irremediable | The outcome is such that once realized, its catastrophic impacts are immediately felt, or inevitable due to a lack of feasible measures to remediate. |
일부 파국적 피해는 네 가지 기준을 모두 충족하지 않을 수 있다. 예를 들어, 점진적으로 전개되거나 부분적으로 회복 가능할 수 있다. 이러한 피해 역시 여전히 심각하며, 본 프레임워크의 범위 밖에 있는 다른 안전 및 무결성 프로세스를 통해 다루어진다.
Some catastrophic harms may not satisfy all four criteria; for example, they may unfold gradually or be partially remediable. These remain serious and are addressed through other safety and integrity processes outside of the scope of this Framework.
3.3 위험 임계값
3.3 Risk Thresholds
표 1: 프론티어 AI에 대한 위험 임계값
Table 1: Risk Thresholds for Frontier AI
| 위험 임계값 | 정의 | 보안 위험 완화조치 | 조치 |
|---|---|---|---|
| 치명적 | 프론티어 AI의 지속적인 개발이 파국적 결과와 관련된 어떠한 위협 시나리오에든 실질적으로 기여할 수 있거나, 프론티어 AI의 배포가 파국적 결과와 관련된 위협 시나리오 중 적어도 하나의 실행을 고유하게 가능하게 할 수 있으며 그 위험이 제안된 배포 맥락에서 완화될 수 없는 경우이다. | 기술적으로 실현 가능하고 상업적으로 실행 가능한 범위 내에서 모델 가중치의 변조 또는 유출을 방지하기 위해, 최고AI책임자(Chief AI Officer) 및/또는 정렬·위험 담당 디렉터(Director of Alignment and Risk)의 감독하에 모델 가중치에 대한 강화된 접근 통제 프로토콜을 개시한다. | 완화조치 적용 후 개발 위험을 중간 이하 모델 수준으로 낮추기 위한 충분한 완화조치가 정의, 구현 및 검증된 경우에만 프론티어 AI의 배포를 진행한다. 파국적 위험이 허용 가능한 수준 이내인 경우에만 프론티어 AI의 개발을 진행한다. |
| 높음 | 프론티어 AI의 배포가 파국적 결과와 관련된 어떠한 위협 시나리오에든 실질적으로 기여할 수 있는 경우이다. | 모델 가중치의 변조 또는 유출을 방지하기 위해 모델 가중치에 대한 강화된 접근 통제 및 보안 보호 프로토콜을 개시한다. | 완화조치 적용 후 배포 위험을 중간 이하 모델 수준으로 낮추기 위한 충분한 완화조치가 정의, 구현 및 검증된 경우에만 프론티어 AI의 배포를 진행한다. |
| 중간 이하 | 프론티어 AI가 관련 역량을 보이지만, 개연성 있는 배포 및 개발 시나리오 전반에 걸쳐 파국적 결과와 관련된 어떠한 위협 시나리오에도 실질적으로 기여할 수 없는 경우이다. | 보안 조치는 배포 전략에 따라 달라진다. | 배포 완화조치는 평가(evaluation) 결과와 배포 전략에 따라 달라진다. 참고: 이 절에 기술된 조치는 파국적 위험에 한정된다. 최종 배포 결정에서는 본 프레임워크가 다루는 요소 외의 추가적인 요소도 고려할 수 있다. |
| Risk Threshold | Definition | Security Mitigations | Measures |
|---|---|---|---|
| Critical | Continued development of the Frontier AI could substantially contribute to any threat scenario associated with a catastrophic outcome, or deployment of the Frontier AI could uniquely enable the execution of at least one of the threat scenarios associated with a catastrophic outcome and that risk cannot be mitigated in the proposed deployment context. | Initiate protocols for heightened access controls to model weights as overseen by the Chief AI Officer and/or Director of Alignment and Risk, to prevent their tampering or exfiltration insofar as is technically feasible and commercially practicable. | Develop With Mitigations Proceed with deployment of the Frontier AI only if sufficient mitigations are defined, implemented and validated to reduce risk to that of a moderate or lower model. Proceed with development of the Frontier AI only if catastrophic risks are within acceptable levels. |
| High | Deployment of the Frontier AI could substantially contribute to any threat scenario associated with a catastrophic outcome. | Initiate protocols for heightened access controls to model weights and security protections to prevent their tampering or exfiltration. | Deploy With Mitigations Proceed with deployment of the Frontier AI only if sufficient mitigations are defined, implemented and validated to reduce risk to that of a moderate or lower model. |
| Moderate or Lower | The Frontier AI shows relevant capabilities, but could not substantially contribute to any threat scenario associated with a catastrophic outcome, across plausible deployment and development scenarios. | Security measures will depend on the deployment strategy. | Deploy Mitigations will depend on the results of evaluations and the deployment strategy. Note: Measures described in this section are specific to Catastrophic risks. Final deployment decisions may also consider additional factors beyond those covered in this Framework. |
위험 임계값은 완화 이전의 프론티어 AI와 관련된 전반적 위험에 대한 우리의 평가(assessment)를 나타내며, 이러한 위험을 완화할 수 있게 하는 구체적 조치에 대응된다.
Risk thresholds represent our assessment of the overall risk associated with a Frontier AI before mitigation, and are mapped onto specific actions that would enable us to mitigate these risks.
AI의 기준 위험 수준은 다양한 위협 시나리오 및 결과 전반에 걸친 평가(assessment)를 종합하여 설정된다. 각 위협 시나리오는 특정 역량 및/또는 성향에 초점을 맞춘 일련의 평가(assessment)와 연관된다. 각 평가(assessment)에서 우리의 목표는 어떠한 안전장치도 적용되기 전에, 개연성 있는 개발 및 배포 맥락 전반에 걸쳐 AI가 위협 시나리오의 실현에 실질적으로 기여할 수 있는지를 평가하는 것이다.
The baseline risk level of the AI is established through aggregation of assessments across a diverse set of threat scenarios and outcomes. Each threat scenario is associated with a set of assessments that focus on specific capabilities and/or propensities. In each of these assessments, our goal is to assess whether the AI could substantially contribute to the realization of the threat scenario across plausible development and deployment contexts, before the application of any safeguards.
이 기준 위험 수준이 표 1에 정의된(그리고 아래에서 더 자세히 논의되는) 위험 임계값을 넘으면, 완화조치를 구현하고 이러한 완화조치가 위험을 해당 배포 메커니즘에 상응하는 허용 가능한 수준으로 낮추는지 검증하겠다는 우리의 약속이 발동된다.
If this baseline risk level crosses the risk thresholds defined in Table 1 (and discussed in further detail below), it triggers our commitment to implement mitigations, and to validate that these mitigations reduce risk to acceptable levels commensurate for its deployment mechanism.
이러한 프로세스는 배포 및 개발 결정 모두를 이끌며, 결정된 위험 임계값에 따라 모델에 적절한 완화조치가 식별되고 구현되도록 보장한다.
These processes guide both deployment and development decisions, ensuring that appropriate mitigations are identified and implemented for models relative to the determined risk threshold.
중간 이하 위험 임계값에만 도달한 프론티어 AI는 여기에 기술된 위협 시나리오 및 결과에 대한 특정 완화조치 없이도 광범위한 배포에 안전한 것으로 간주된다. 다만, 예방 조치로서 또는 본 프레임워크 범위 밖의 잠재적 문제를 완화하기 위해 추가적인 평가(evaluation) 및 완화조치가 수행될 수 있다.
Frontier AI that reaches only the moderate or lower risk threshold is considered safe for broad deployment without specific mitigations for the threat scenarios and outcomes outlined here. However, additional evaluations and mitigations may be performed as a precautionary measure, or to mitigate potential issues that are outside the scope of this Framework.
높음 또는 치명적 위험 임계값을 충족하는 프론티어 AI는 각각 배포 전 또는 추가 개발 전에 추가 완화조치를 필요로 한다. 본 문서의 나머지 부분에 기술된 완화조치는 적응적이며, 각 시나리오에 가장 적절한 조치를 구현할 수 있는 유연성을 반영한다. 우리는 각 배포에 대한 완화조치를 식별, 구현 및 검증하기 위한 작업에 관한 정보를 계속 공유할 것이며, 동시에 기술 및 관련 위협 시나리오에 대한 이해가 향상됨에 따라 이러한 요건이 변화할 수 있음을 인식한다.
Frontier AI that meets the high or critical risk threshold requires additional mitigations before deployment or before additional development respectively. The mitigations described in the remainder of the document are adaptive, reflecting flexibility to implement measures that are most appropriate for each scenario. We will continue to share information on our work to identify, implement, and validate mitigations for each deployment, while recognizing that these requirements may evolve as we improve our understanding of the technology and associated threat scenarios.
첫째, 진행 중인 개발 과정에서, 예를 들어 모델 학습 중이나 모델을 둘러싼 스캐폴딩 구축 중에 프론티어 AI가 어떠한 위협 시나리오에든 실질적으로 기여할 수 있다고 평가되는 경우, 해당 프론티어 AI는 치명적 위험 임계값을 충족한다. 둘째, 프론티어 AI가 위협 시나리오의 실행을 고유하게 가능하게 하고 그 위험이 제안된 배포 맥락에서 완화될 수 없는 경우에도 치명적 위험 임계값을 충족하며, 여기에는 현재의 방법으로는 그 가능성이나 심각성을 적절히 규명하거나 한정할 수 없는 새로운 파국적 위험이 도입되는 경우가 포함된다. 이러한 경우, 모델 가중치에 대한 접근 범위를 엄격히 축소하는 것을 포함하여 무단 접근이나 오용을 방지하는 데 필요한 보안 조치는, 모델과의 더 폭넓은 팀 상호작용을 요구하는 지속적이고 적극적인 개발과 기능적으로 양립할 수 없다. 둘 중 어느 시나리오가 발생하더라도, 우리는 위험 평가가 완료되고 위험을 중간 이하 위험 임계값으로 낮추기 위한 안전장치가 정의, 구현 및 검증된 경우에만 프론티어 AI의 개발을 계속할 것이다.
First, a Frontier AI meets the critical risk threshold if we assess that it could substantially contribute to any threat scenario during the process of ongoing development; for example, during model training or during buildout of scaffolding around the model. Second, a Frontier AI will also meet the critical risk threshold if it would uniquely enable the execution of a threat scenario and the risk cannot be mitigated in the proposed deployment context, including through the introduction of novel catastrophic risks whose likelihood or severity we cannot adequately characterize or bound with current methods. In such cases, the security measures required to prevent unauthorized access or misuse, including strictly scoping down access to model weights, are functionally incompatible with continued active development, which requires broader team interaction with the model. Should either scenario arise, we will only continue development of the Frontier AI if our risk assessments are complete and safeguards are defined, implemented and validated to reduce risk to the moderate or lower risk threshold.
3.3.1 프론티어 AI 모델에 대한 수정
3.3.1 Modifications to a Frontier AI Model
비실질적 미세조정(Fine-Tuning), 스캐폴딩 또는 도구 통합을 포함하여, 대비 관련 영역에서 역량을 증가시키는 프론티어 AI 모델에 대한 비실질적 수정은 기반 모델과 동일한 위험 임계값을 승계하는 것으로 추정되며, 최소한 동등한 완화조치의 적용을 계속 받는다. 새로운 대비태세 보고서(preparedness report)는 2.2.1절의 기준이 충족되는 경우에만 요구된다.
Non-material modifications to a Frontier AI model that increase capabilities in preparedness-relevant domains, including non-material fine-tuning, scaffolding, or tool integration, are presumed to inherit the same risk threshold as the underlying model and remain subject to at least equivalent mitigations. A new preparedness report is required only when the criteria in Section 2.2.1 are met.
3.4 결과 및 위협 시나리오
3.4 Outcomes & Threat Scenarios
이 소절은 본 프레임워크의 범위에 포함되는 파국적 결과를 개괄한다. 우리는 다음 위험 영역의 파국적 결과를 포함한다: 사이버 보안, 화학 및 생물학적 위험, 통제 상실. 통제 상실의 경우, 통제 상실로 이어지는 파국적 경로가 진행되기 위해 실현되어야 하는 핵심 통제 메커니즘의 실패에 해당하는 결과에 초점을 맞춤으로써 비교적 차별화된 접근 방식을 도입한다. 이러한 차이를 고려하여, 3.4.3절에서 이에 대한 추가 설명과 근거를 제시한다.
This subsection outlines the catastrophic outcomes that are in scope of our Framework. We include catastrophic outcomes in the following risk domains: Cybersecurity, Chemical & Biological Risks, and Loss of Control. For Loss of Control, we introduce a relatively distinct approach by focusing on outcomes corresponding to failures of critical control mechanisms which would need to be realized to enable catastrophic pathways for Loss of Control to progress. Given this distinction, we provide further explanation and justification for it in Section 3.4.3.
또한 위협 모델링 작업 - 문헌 검토, 사용자 피드백, 공식 발표, 중대 사고 및 아차사고를 통해 정보를 얻음 - 을 통해 식별된 기타 위험 중 우리의 네 가지 포함 기준을 충족하는 위험도 포함할 것이다. 이러한 파국적 결과가 반드시 우리 모델의 현재 역량을 반영하는 것은 아니며, 위협 모델링에 근거하여 포함된 것임을 다시 한번 강조한다.
We will also include other risks identified through threat modeling exercises - informed through literature reviews, user feedback, official release, serious incidents, and near misses - that meet our four inclusion criteria. It is important to reiterate that these catastrophic outcomes need not reflect current capabilities of our models, but are included based on our threat modeling.
각 파국적 결과에 대해 하나 이상의 위협 시나리오에 대한 설명을 포함한다. 위협 시나리오를 개발한 방식에 관한 자세한 정보는 3.2절를 참조한다. 이와 관련하여 투명성과 보안 간의 균형을 맞추는 방법을 더 잘 이해하기 위해 노력하고 있으므로, 위협 시나리오를 구성하는 단계 및 과업, 또는 이를 달성하는 데 필요한 실현 역량(enabling capabilities)의 전체 세부 사항은 제공하지 않는다.
For each catastrophic outcome, we include a description of one or more threat scenarios. See Section 3.2 for more information on how we have developed our threat scenarios. We are not providing full details of the constituent steps and tasks within a threat scenario, or the enabling capabilities required to achieve it as we work to better understand how to balance transparency and security in this regard.
사이버 보안과 화학 및 생물학적 위험 영역의 파국적 결과는 폐쇄형 또는 오픈 웨이트(open-weight) 배포의 적대적 사용을 통해 발생할 가능성이 더 높은 반면, 통제 상실 위험은 내부 배포를 포함한 모든 유형의 배포에서 비슷한 확률로 발생할 수 있다. 우리는 위협 모델링 접근 방식을 지속적으로 개선하고 있으며, 여기에 기술된 테스트는 현재 우리의 최선의 이해를 나타내는 것으로 시간이 지남에 따라 발전할 것이다.
Catastrophic outcomes in Cybersecurity and Chemical & Biological risks are more likely to occur through adversarial use of closed or open-weight deployments, while Loss of Control risks may occur with similar probability with any type of deployment, including internal deployment. We are continuously refining our threat modeling approaches; the tests outlined here represent our current best understanding and will evolve over time.
3.4.1 사이버 보안
3.4.1 Cybersecurity
| 결과 | 위협 시나리오(TS) | 실현 역량 예시 |
|---|---|---|
| 사이버 1: 대규모 인명 피해 또는 상당한 재정적 손실을 초래하는 사이버 공격의 장벽을 상당히 낮추거나 비용을 줄임. | TS.1.1: AI 시스템이 대규모 인명 피해 또는 상당한 재정적 손실을 초래하는 환경 침해에 상당히 기여함. 이때 해당 환경은 그 유형의 환경에서 일반적인 보안 관행을 갖추고 있음. 이 침해는 네트워크 침투, 민감 데이터 탐색, 유출(exfiltration), 권한 상승, 측면 이동(lateral movement) 등 일련의 기법을 연쇄적으로 사용하여, 프론티어 AI 역량이 없는 생태계에서 실현 가능한 수준보다 훨씬 적은 비용 및/또는 시간으로 기업의 핵심 지식재산(IP)에 대한 몸값 요구나 포괄적 탈취와 같은 목표를 달성할 수 있음. | 자율적 공격 작전: 강화된 기업 규모 환경에서 탐지를 유발하지 않고 종단 간(end-to-end) 침입 캠페인을 계획, 조정 및 실행하는 능력. 현실적인 제약 조건하에서 도구를 안정적으로 조율하고 환경을 인식한 의사결정을 내림. 대규모 스피어 피싱: 고도로 표적화되고 개인화된 피싱 콘텐츠를 높은 성공률로 대규모로 제작하는 능력. 적응형 멀웨어 생성: 일반적으로 사용되는 탐지 솔루션을 안정적으로 회피할 수 있는 멀웨어를 개발하는 능력. 복잡한 네트워크 매핑 자동화: 전문 공격 보안 전문가보다 훨씬 빠르게 복잡한 네트워크를 매핑하고 실현 가능한 공격 경로를 식별하는 능력. |
| 사이버 2: 현재 널리 사용되는 소프트웨어에서 핵심 제로데이 취약점을 자동으로 발견하고 안정적으로 악용하여 대규모 인명 피해 또는 상당한 재정적 손실을 초래함. | TS.2.1: 인간 전문가 팀이 발견하는 데 평균적으로 1개월 이상 걸릴 현재 널리 사용되는 소프트웨어의 사이버 취약점을, 프론티어 AI 역량이 없는 생태계에서 실현 가능한 수준보다 훨씬 적은 비용 및/또는 시간으로 자동 발견하고 악용함. | 취약점의 자동 발견 및 악용: 실제 환경의 복잡한 코드 저장소에서 보안 취약점을 안정적으로 발견하고 악용하는 능력. |
| 사이버 3: 대규모 장기형 사기, 갈취 및 스캠을 통해 개인 또는 조직에 대규모 인명 피해 또는 상당한 재정적 손실을 초래함. | TS.3.1: 피해자 표적화, 메시지 작성, 스캠 콘텐츠/페르소나 생성, 그루밍, 인프라 탐지 회피, 다중 플랫폼 조율 및/또는 자금 이동의 자동화를 통해, 프론티어 AI 역량이 없는 생태계에서 실현 가능한 수준보다 훨씬 적은 비용 및/또는 시간으로 스캠 흐름(예: 돼지 도살(pig butchering), 피싱, 미끼(baiting), 사칭)의 규모를 크게 확대함. | 금융 운영 자동화: AI가 금융 계좌(암호화폐 지갑, 디지털 결제 계좌 및 인프라, 은행 계좌)의 복잡한 연쇄를 조율하여 금전 또는 가치 이전을 용이하게 하며, 자금세탁방지 통제 및 탐지를 회피하고 이에 적응함. 최소한의 인간 개입으로 자금이 대규모로 이동 및 세탁되어, 스캠 센터가 기존에는 수작업 병목으로 인해 불가능했던 속도로 불법 수익을 처리하고 추출할 수 있게 됨. 계정 관리 자동화: AI가 최소한의 인간 개입과 지시만으로 탐지 및 검증 시스템을 우회하면서 수만 개의 현실적인 크로스 플랫폼 소셜 미디어 계정 및 금융 계정을 자율적으로 생성하고 관리함. 이를 통해 전 세계 피해자를 대상으로 동시다발적인 대규모 표적화가 가능해져, 현재의 수동 또는 반자동 운영을 훨씬 뛰어넘는 수준으로 도달 범위와 전환율이 배가됨. |
| Outcome | Threat Scenario (TS) | Example Enabling Capabilities |
|---|---|---|
| Cyber 1: Substantially lowers the barrier or reduces cost to a cyberattack that causes large-scale casualties or significant financial loss. | TS.1.1: An AI system substantially contributes to the compromise of an environment resulting in large-scale casualties or significant financial loss, where that environment has security practices that are typical for that class of environment. The compromise may achieve a goal like ransoming or comprehensive theft of a company's critical IP using a chain of techniques - such as network infiltration, sensitive data discovery, exfiltration, privilege escalation, and lateral movement - for significantly less cost and/or time than is feasible within the ecosystem absent Frontier AI capabilities. | Autonomous offensive operations: Ability to plan, adapt, and execute end-to-end intrusion campaigns in hardened enterprise scale environments without triggering detections. Reliably orchestrating tools and making environment-aware decisions under realistic constraints. Scaled spear-phishing: Ability to craft highly targeted, personalized phishing content at massive scale with a high success rate. Adaptive Malware Creation: Ability to develop malware that is able to reliably evade commonly used detection solutions. Automated complex network mapping: Ability to map complex networks and identify feasible attack paths significantly faster than a professional offensive security expert. |
| Cyber 2: Automated discovery and reliable exploitation of critical zero-day vulnerabilities in current popular software that results in large-scale casualties or significant financial loss. | TS.2.1: Automated discovery and exploitation of cyber vulnerabilities in current popular software that would take human expert teams one month or more, on average, to find, for significantly less cost and/or time than is feasible within the ecosystem absent Frontier AI capabilities. | Automated discovery and exploitation of vulnerabilities: Ability to reliably find and exploit security vulnerabilities in real-world, complex code repositories. |
| Cyber 3: Large-scale casualties or significant financial loss to individuals or organizations via scaled long form fraud, extortion, and scams. | TS.3.1: Significantly scaled scam flows ( e.g. , pig butchering, phishing, baiting, impersonation)-enabled by automation of victim targeting, messaging, scam content/personality generation, grooming, infrastructure evasion, multi-platform coordination, and/or fund movement for significantly less cost and/or time than is feasible within the ecosystem absent Frontier AI capabilities. | Automated financial operations: AI orchestrates complex chains of financial accounts (crypto wallet, digital payments accounts and infrastructure, bank accounts) to facilitate monetary or value transfer, avoiding and adapting to anti-money laundering controls and detection. Funds are moved and laundered at scale with minimal human intervention, allowing scam centers to process and extract illicit gains at a rate previously impossible due to manual bottlenecks. Automated account management: AI autonomously creates and manages tens of thousands of realistic, cross-platform social media and financial accounts, bypassing detection and verification systems with minimal human intervention and guidance. This enables simultaneous, large-scale targeting of global victims, multiplying reach and conversion rates far beyond current manual or semi-automated operations. |
3.4.2 화학 및 생물학적 위험
3.4.2 Chemical and Biological Risks
우리는 알려진 생물학 및 화학 무기의 확산뿐만 아니라 새로운 무기의 개발과 관련된 결과를 고려한다. 알려진 무기 또는 알려진 무기와 역량이 동등한 것(결과 CB 1 및 CB 2)의 경우, 결과가 파국적일 만큼 충분한 수준으로 확산이 이루어지면 관련 위협 시나리오가 실현된 것으로 간주한다. 이에 따라 우리의 위험 평가는 모델 배포가 생물학 또는 화학 무기의 충분한 확산에 상당히 기여할지(높음 위험의 경우) 또는 이를 고유하게 가능하게 할지(치명적 위험의 경우)에 대한 우리의 판단에 의존한다.
We consider outcomes involving the proliferation of known biological and chemical weapons as well as the development of novel weapons. In the case of known weapons or capability-equivalents to known weapons (outcomes CB 1 and CB 2), we consider the associated threat scenarios to be realized if proliferation reaches a sufficient extent for the outcome to be catastrophic. In keeping with this, our risk assessments rely on our judgment of whether deploying a model will substantially contribute (in the case of high risk) to or uniquely enable (in the case of critical risk) sufficient proliferation of biological or chemical weapons.
| 결과 | 위협 시나리오(TS) | 실현 역량 예시 |
|---|---|---|
| CB 1: 저숙련 및 중간 숙련 행위자에 의한 알려진 중간 영향(medium-impact) 생물학 또는 화학 무기의 확산. | TS.1.1: 저숙련 또는 중간 숙련 행위자로 구성된 소규모 조직이 복잡한 화학 또는 생물학적 작업 절차를 성공적으로 수행하기에 충분한 과학적 역량을 획득함. TS.1.2: 저숙련 및 중간 숙련 행위자로 구성된 소규모 조직이 원래는 영향이 낮았을 공격의 잠재적 영향을 증대시키는 역량을 획득함. | 생물학, 생화학 및 화학 분야의 대학원 수준 지식. 해당 위협과 관련된 세부 전문 분야의 박사 수준 숙련도. 비전문가 청중이 이해할 수 있는 방식으로 과학적·기술적 정보를 요약하는 능력. 공격 성공 가능성 또는 영향을 높이기 위한 작전 방법에 관한 지식. |
| CB 2: 고숙련 행위자에 의한, 알려진 작용제와 동등한 역량을 갖춘 고영향(high-impact) 생물학 또는 화학 무기의 확산. | TS.2.1: 자원이 풍부한 고숙련 행위자 집단이 고영향 생물학 또는 화학 작용제를 조달하고 생산 규모를 확대할 수 있음. TS.2.2: 자원이 풍부한 고숙련 행위자 집단이 영향이 낮은 작용제를 기존 고영향 작용제 수준으로 개량할 수 있음. | 특정 위협 작용제와 관련된 세부 전문 분야의 박사 수준 지식. 바이오디자인 도구를 활용한 작업 절차의 설계 및 실행. |
| CB 3: 고숙련 행위자에 의한 새로운 역량을 갖춘 고영향 생물학 무기의 개발. | TS.3.1: 막대한 자원을 보유한 집단이 상당한 새로운 역량을 갖춘 신규 생물학적 작용제의 개발을 유의미하게 가속화할 수 있음. | 특정 위협 작용제와 관련된 세부 전문 분야의 박사 수준 지식. 바이오디자인 도구를 활용한 작업 절차의 설계 및 실행. |
| Outcome | Threat Scenario (TS) | Example Enabling Capabilities |
|---|---|---|
| CB 1: Proliferation of known medium-impact biological or chemical weapons for low and moderate skill actors. | TS.1.1: Small cells of low or moderate skill actors acquire sufficient scientific capabilities to succeed at complex chemical or biological workflows. TS.1.2: Small cells of low and moderate skill actors acquire capabilities to increase the potential impact of otherwise low-impact attacks. | Graduate level knowledge in biology, biochemistry, and chemistry. PhD level proficiency in the relevant sub-specialty for the threat in question. Summarization of scientific and technical information in a way that's accessible to a non-expert audience. Knowledge of operational methods for improving the likelihood or impact of a successful attack. |
| CB 2: Proliferation of high-impact biological or chemical weapons, with capabilities equivalent to known agents, for high-skilled actors. | TS.2.1: A well-resourced group of high-skilled actors can procure and scale up production of a high-impact biological or chemical agent. TS.2.2: A well-resourced group of high-skilled actors can upgrade a lower-impact agent to match existing high-impact agents. | PhD level knowledge in relevant sub-specialties for specific threat agents. Design and execution of workflows using biodesign tools. |
| CB 3: Development of high-impact biological weapons with novel capabilities for high-skilled actors. | TS.3.1: A group with extensive resources can meaningfully accelerate the development of a novel biological agent with significant new capabilities. | PhD level knowledge in relevant sub-specialties for specific threat agents. Design and execution of workflows using biodesign tools. |
3.4.3 통제 상실
3.4.3 Loss of Control
통제 상실의 경우, 우리는 핵심 통제 메커니즘의 실패에 해당하는 결과에 초점을 맞춘다. 핵심 통제 메커니즘이란 우리가 AI를 지휘·수정·격리 또는 중단할 수 있게 하는 기술적·조직적 조치를 말하며, 그 실패는 파국적 피해로 이어지는 경로를 열 수 있다. 내부 연구와 위협 모델링 결과, 다수의 통제 상실 경로는 동일한 통제 메커니즘 집합 중 하나 이상의 실패를 반드시 거치는 것으로 나타났으며, 우리는 이에 근거하여 이러한 결과를 식별하였다. 현재 우리는 세 가지 상위 수준 메커니즘에 초점을 맞춘다. 이들은 실패 시 파국적 위험을 초래하며, 그러한 결과에 이르는 경로를 식별하고 측정할 수 있다. 첫째, 배포 전에 시스템의 행동과 역량을 이해하는 우리의 능력, 둘째, 운영 전반에 걸쳐 감독을 우회하는 이러한 시스템의 능력, 셋째, 모델 훈련 및 평가(evaluation) 중 이탈(breakout)을 방지하고 격리하는 우리의 능력이다. 통제 상실 시나리오에서 발생할 수 있는 잠재적 파국적 피해는 그 발생 시점을 포함하여 상당수가 합리적으로 예견하기 어려울 수 있다. 따라서 이 접근 방식은 그러한 피해를 열거하려 시도하는 대신, 우리가 현재 보유한 식별 가능하고 실재하는 통제 수단에 위험 평가의 기반을 둔다.4
For Loss of Control, we focus on outcomes corresponding to failures of critical control mechanisms-that is, technical and organizational measures which enable us to direct, modify, contain, or shut down AI-as these failures can enable pathways to catastrophic harm. We have identified these outcomes on the basis of internal research and threat modeling finding that many Loss of Control pathways need to pass through the failure of one or more of the same set of control mechanisms. We currently focus on three high-level mechanisms, where failure would pose catastrophic risk and the pathways to such an outcome are identifiable and measurable: one, our ability to understand system behavior and capabilities before deployment; two, the ability of these systems to bypass oversight throughout their operation; and three, our ability to prevent and contain breakout during model training and evaluation. Rather than attempting to enumerate potential catastrophic harms which could arise from Loss of Control scenarios - many of which may not be reasonably foreseeable, including when catastrophic harms would materialize - this approach grounds our risk assessment in identifiable, tangible means of control we have today.4
이 위험 영역에서의 위협 모델링은 아직 초기 단계에 머물러 있으므로, 우리는 3.4.3절에서 식별한 위협 시나리오를 포함한 우리의 접근 방식이 시간이 지남에 따라 발전할 것으로 예상한다. 현재로서는 보다 성숙하고 측정 가능한 위협 모델이 확보된 결과에 초점을 맞춘다. 4.2.4절에서는 이와 마찬가지로 중요할 수 있으나 엄밀한 평가를 위해 추가 연구와 위협 모델 개발이 아직 필요한 기타 위협 모델을 개괄한다.
We expect our approach - including the threat scenarios we identify in Section 3.4.3 to evolve over time because threat modeling in this risk domain remains nascent. For now, we focus on outcomes where we have more mature, measurable threat models. In Section 4.2.4, we outline other threat models which may also be similarly important but, for now, require further research and threat model development to enable rigorous assessment.
| 결과 | 잠재적 위협 시나리오(TS) | 실현 역량 예시 |
|---|---|---|
| 통제 상실 1: 배포 전 AI 안전을 평가하는 능력의 상실. | TS.1.1 AI 개발이 가속화되어 새로운 역량과 행동이 조직의 평가 프로세스보다 빠르게 출현함. TS.1.2 테스트 환경에서의 AI 성능이 배포 시 행동을 일관되게 예측하지 못함. | 자율적 AI 연구개발(autonomous AI R&D) : AI 개발을 진전시키는 연구자의 업무를 대표하는 과업을 자율적이고 일관되게 완수하는 능력. 평가 인지 : 자신이 평가받고 있는지 여부와 그 평가의 목적을 정확하게 판단하는 능력. 여기에는 해당 평가가 자신의 배포에 미치는 결과, 자신이 직면한 제약 및 접근 제한, 자신의 목표와 평가자의 목표 간 잠재적 오정렬에 대한 판단이 포함됨. 선택적 평가 적응 행동(selective evaluation-adaptive behavior): 개발자의 기대와 감독 메커니즘이 시행하는 규칙/기준을 준수하기 위해 평가 중 출력을 체계적으로 수정하는 능력. |
| 통제 상실 2: 운영 중 AI 행동을 모니터링하는 능력의 상실. | TS.2.1*: AI가 감독을 줄이고 목표를 달성하기 위해 모니터링 체계를 무력화하거나 오염시킴. TS.2.2*: AI가 목표를 달성하기 위해 전략적 행동 적응을 통해 모니터링 체계를 회피함. | 모니터링 인지(monitor awareness) : 자신이 모니터링되고 있는지 여부를 판단하는 능력. 여기에는 모니터링 시스템의 정책, 모델이 직면한 제약 및 접근 제한, 자신의 목표와 모니터링 시스템이 시행하는 규칙/기준 간 잠재적 오정렬에 대한 판단이 포함됨. 모니터링 방해(monitor interference) : 바람직하지 않은 행동이 탐지되지 않도록 감독 메커니즘을 무력화하거나 오염시키는 능력. 선택적 모니터링 적응 행동(selective monitor-adaptive behavior): 바람직하지 않은 행동의 탐지를 피하면서 감독 메커니즘이 시행하는 규칙/기준을 준수하도록 출력을 체계적으로 수정하는 능력. |
| 통제 상실 3: 훈련 및 평가 중 AI 행동을 격리하는 능력의 상실. | TS 3.1 AI가 목표를 달성하기 위해 승인된 환경 밖에서 은밀하게 작동함. | 사이버 익스플로잇(cyber exploitation): 실제 운영 샌드박스 환경에 현실적으로 존재할 수 있는 사이버 보안 취약점을 자동으로 발견하고 악용하는 능력. 장기 지평 운영(long-horizon operation): 다수의 단계, 세션 및 중단에 걸쳐 목표를 유지하고 추구하는 능력. 여기에는 중단 이후 상태와 접근 권한을 재확립하는 능력이 포함됨. 목표 지향 스워밍(goal-oriented swarming): 공유 인프라에서 다른 에이전트와 생산적으로 협업하는 능력. |
| Outcome | Potential Threat Scenario (TS) | Example Enabling Capabilities |
|---|---|---|
| Loss of Control 1: Loss of ability to evaluate AI safety before deployment. | TS.1.1 AI development accelerates such that new capabilities and behaviors emerge faster than the organization's evaluation processes. TS.1.2 AI performance in testing environments consistently fails to predict deployment behavior. | Autonomous AI R&D : Ability to autonomously and consistently complete tasks which are representative of the work of a researcher to progress AI development. Evaluation awareness : Ability to accurately determine whether it is being evaluated and the purpose of that evaluation, including the consequences for its deployment, constraints and access limitations it faces, and potential misalignment between its goal and that of its evaluators. Selective evaluation-adaptive behavior: Ability to systematically modify outputs during evaluations in order to be compliant with developer expectations and the rules/standards implemented by any oversight mechanism. |
| Loss of Control 2: Loss of ability to monitor AI behavior during operation. | TS.2.1*: AI disables or corrupts monitors to reduce oversight and accomplish its objectives. TS.2.2*: AI evades monitors through strategic behavioral adaptation to accomplish its objectives. | Monitor awareness : Ability to determine whether it is being monitored including the policy of the monitoring system, constraints and access limitations the model faces, and potential misalignment between its objectives and the rules/standards implemented by the monitoring system. Monitor interference : Ability to disable or corrupt oversight mechanisms to avoid detection of undesired behavior. Selective monitor-adaptive behavior: Ability to systematically modify outputs in order to be compliant with the rules/standards implemented by oversight mechanisms while avoiding detection of undesired behavior. |
| Loss of Control 3: Loss of ability to contain AI behavior during training and evaluation. | TS 3.1 AI covertly operates outside of its authorized environment to accomplish its objectives. | Cyber exploitation: Ability to automatically discover and exploit cybersecurity vulnerabilities realistic to production sandbox environments. Long-horizon operation: Ability to maintain and pursue an objective across many steps, sessions, and interruptions, including re-establishing state and access after disruption. Goal-oriented swarming: Ability to productively collaborate with other agents on shared infrastructure. |
섹션 4: 이행
Section 4: Implementation
프론티어 AI의 개발, 배포 및 출시에 관한 우리의 의사결정 과정은 내부 AI 거버넌스 프로그램, 위험 임계값, 그리고 이를 뒷받침하는 엄격한 평가 및 완화 프로그램에 따라 이루어진다.
Our decision-making process for developing, deploying and releasing Frontier AI is guided by our internal AI governance program, our risk thresholds, and the rigorous program of evaluation and mitigation that underpins them.
이 섹션은 우리의 평가 및 완화 프로세스를 개괄한다. 아울러 프론티어 AI 모델로부터 발생하는 위험을 관리하고 해당 모델의 안전한 개발 및 배포를 가능하게 하기 위해 우리가 시행할 상응 조치를 개관한다.
This section outlines our process for evaluation and mitigation and provides an overview of the corresponding measures we will implement in order to manage risks from our Frontier AI models and enable their safe development and deployment.
4.1 강건한 평가 환경 준비
4.1 Preparing a Robust Evaluation Environment
AI 모델 평가는 아직 초기 단계의 과학이다. 평가의 강건성과 신뢰성을 개선하는 것은 우리가 중점을 두는 영역이다. 여기에는 모델이 실제 운영 환경에 투입되었을 때의 성능을 테스트 환경의 결과가 정확하게 반영하도록 보장하는 노력이 포함된다. 모델 평가의 신뢰성을 높이기 위해, 위험 평가 및 임계값 설정에 사용되는 특정 이중 용도 역량 평가, 거부 평가 및 성향 평가는 과적합 위험을 줄이도록 훈련 수행 팀과 분리하여 보관한다. 또한 우리는 모델 평가 결과의 신뢰성을 저해할 수 있는 모델의 역량과 성향도 고려한다. 예를 들어 모델이 자신이 평가받는 시점을 식별하고, 그러한 경우 출력을 선택적으로 조정할 수 있는지를 살핀다. 강건한 평가 환경을 확보하는 것은 강건하고 신뢰할 수 있는 AI를 구축하는 데 필수적인 단계이다.
AI model evaluation is a nascent science. Improving the robustness and reliability of evaluations is an area of focus for us, and this includes working to ensure that our testing environments produce results that accurately reflect how a model will perform once in production. To improve model evaluation reliability, specific dual-use capabilities, refusal, and propensity evaluations used for risk assessment and thresholding are held out from teams conducting training to reduce the risk of overfitting. We also account for model capabilities and propensities that might undermine the reliability of model evaluation results, such as whether a model can identify when it is being evaluated and, in such cases, selectively adapt its outputs. Ensuring a robust evaluation environment is an essential step in building robust and reliable AI.
4.2 평가 및 완화
4.2 Evaluation and Mitigation
프론티어 AI에 대한 우리의 기본 위험 평가는 일련의 평가(evaluation)로 구성된다. 이 평가는 특정 위협 시나리오와 관련 결과를 가능하게 할 수 있는 모델의 역량과 성향을 측정하고자 한다.
Our baseline risk assessment for a Frontier AI takes the form of a series of evaluations that seek to measure model capabilities and propensities that could enable specific threat scenarios and associated outcomes.
우리는 위험의 부재를 검증하도록 설계된 평가 모음에 의존한다. 이를 통해 실용적인 평가를 설계하고 신속하게 학습할 수 있다. 이러한 평가는 위협 시나리오 실현을 위한 구체적인 임계값을 정의하기 어려운 경우에도 잠재적 위험을 민감하게 탐지하는 역할을 한다. 이러한 평가에서 성능 임계값에 도달하면, 우리는 커버리지, 구체성 및 현실성을 개선하기 위해 평가(assessment)를 확대한다. 확대된 평가는 특정 위험 요인에 초점을 맞춘 추가 표적 평가의 형태를 취하거나, 업리프트 연구 또는 전문가 레드티밍과 같은 심층 평가의 형태를 취할 수 있다.
We rely on a suite of evaluations that is designed to validate the absence of risk allowing us to design practical evaluations and learn quickly. These evaluations serve as sensitive detectors for potential risk, even in cases where the specific threshold for realizing a threat scenario is challenging to define. If performance thresholds for these evaluations are reached, we then expand our assessment to improve coverage, specificity, and realism - which may take the form of additional targeted evaluations focused on specific risk factors, or in-depth assessments such as uplift studies or expert red-teaming.
모델이 관련 역량을 보이더라도 어떤 위협 시나리오에도 (아래에 열거된 바와 같이) 기여할 만큼 충분한 성능을 보일 수 없는 경우, 해당 모델은 중간 이하 위험 임계값에 해당한다. 모델이 이러한 역량에서 충분한 성능을 보이는 것으로 확인되면, 우리는 해당 모델의 배포가 어떤 위협 시나리오에 상당히 기여할 수 있는지를 규명하기 위해 추가 평가를 수행한다. 그러한 경우 해당 모델은 높음 위험 임계값에 해당한다. 나아가 다음 중 하나에 해당하면 해당 모델은 치명적 위험 임계값에 해당한다. 첫째, 모델의 지속적인 개발이 어떤 위협 시나리오에 상당히 기여할 수 있는 경우이다. 둘째, 모델이 위협 시나리오를 고유하게 가능하게 할 수 있고, 제안된 배포 맥락에서 그 위험을 완화할 수 없는 경우이다.
If the model exhibits relevant capabilities, but could not exhibit sufficient performance to contribute (as enumerated below) to any threat scenario, the model meets the moderate or lower risk threshold. If we identify that a model exhibits sufficient performance on these capabilities, we will conduct further evaluations to establish whether deployment of the model could substantially contribute to any threat scenario. If so, the model meets the high risk threshold. Moreover, if continued development of the model could substantially contribute to any threat scenario, or if the model could uniquely enable a threat scenario and the risk cannot be mitigated in the proposed deployment context, the model meets the critical risk threshold.
우리의 평가는 모델의 배포 맥락도 고려하도록 설계된다. 여기에는 목표로 하는 배포 또는 공개 방식으로 모델을 배포하거나 공개했을 때 위험이 정의된 임계값 이내로 유지되는지를 평가하는 것이 포함된다. 우리는 모델의 역량을 강화하는 데 활용될 수 있는, 현재 생태계 내 도구와 스캐폴딩을 고려하고자 한다. 예를 들어 사용자 대상 제품에 배포하는 경우 현실적인 사용 사례를 재현하기 위해 해당 제품의 하네스(harness)에서 테스트할 수 있으며, 애플리케이션 프로그래밍 인터페이스 (API) 배포나 오픈 웨이트 공개(open weight release)의 경우에는 다양한 하네스와 환경에서 테스트할 수 있다. 또한 과업 분해(task decomposition)를 통해 다른 모델과 결합될 때 위험이 어떻게 현실화될 수 있는지도 추가로 탐색할 수 있다.
Our evaluations are also designed to account for the deployment context of the model. This includes assessing whether risks will remain within defined thresholds once a model is deployed or released using the target deployment or release approach. We will seek to account for the tools and scaffolding in the current ecosystem that could be leveraged to enhance the model's capabilities. For example: For deployments in user-facing products, we may test in the product's harness to replicate realistic use cases, while for API deployments or open weight releases we may test in a range of harnesses and environments. We may additionally explore how risks may materialize in combination with other models, through task decomposition.
우리는 금전적 비용은 물론, 연산, 제한 물질 또는 실험실 시설에 대한 접근과 같이 우리의 위협 시나리오와 관련된 오용의 기타 장벽을 극복할 수 있는 능력도 고려할 수 있다.
We may take into account monetary costs as well as the ability to overcome other barriers to misuse relevant to our threat scenarios such as access to compute, restricted materials, or lab facilities.
거부 훈련이나 분류기와 같은 기술적 완화를 시행하는 경우, 우리는 다양한 조건에서 그 강건성을 고려한다. 이러한 조건에는 적대적 프롬프팅, 탈옥(Jailbreak) 시도 또는 레드티밍이 포함될 수 있다. 개방형 공개가 고려되지 않는 모델의 경우, 이 평가에서는 해당 모델의 제한적인 이용 가능성과 무단 접근을 방지하기 위해 마련된 보안 조치도 함께 고려한다.
Where we implement technical mitigations such as refusal training or classifiers, we will consider their robustness under various conditions, which might include adversarial prompting, jailbreak attempts, or red teaming. For models that are not being considered for open release, this evaluation also will take into account the narrower availability of those models and the security measures in place to prevent unauthorized access.
우리는 일반적으로 프론티어 AI 모델이 훈련 완료에 가까워지거나 훈련을 완료했을 때 평가를 반복한다. 평가 결과는 우리가 시행하는 완화 및 통제의 지침이 되기도 한다. 전체 완화 전략은 위험 평가, 프론티어 AI의 특정 역량, 그리고 공개 계획을 바탕으로 수립된다.
We typically repeat evaluations as a Frontier AI model nears or completes training. Evaluation results also guide the mitigations and controls we implement. The full mitigation strategy will be informed by the risk assessment, the Frontier AI's particular capabilities, and the release plans.
이러한 맥락에서 우리는 모델의 배포 방식, 관련 위협 시나리오, 그리고 해당 맥락에서의 완화 효과를 고려하여, 모델이 우리가 정의한 파국적 결과 중 어느 하나를 실질적으로 가능하게 하는지를 평가한다. 예를 들면 다음과 같다.
Within this context, we will evaluate whether the model will materially enable any of the catastrophic outcomes we have defined, considering the way it would be deployed, the relevant threat scenarios, and the efficacy of its mitigations in that context. For instance:
비공개 배포의 경우, 인컨텍스트 학습(in-context learning)이나 수동 및 자동화된 탈옥을 포함한 최첨단 역량 도출(elicitation) 기법을 사용하는 API 수준 접근 권한을 가진 공격자를 고려한다
For closed deployments, we consider adversaries with API-level access employing state-of-the-art elicitation techniques, including in-context learning or manual and automated jailbreaks
오픈 웨이트 공개 또는 미세조정 API를 제공하는 배포의 경우, 지속적인 훈련을 통해 모델의 행동을 수정할 수 있는 공격자를 추가로 고려한다.
For open-weight releases or deployments with fine-tuning APIs, we would additionally consider adversaries capable of modifying model behavior through continued training.
이러한 접근 방식은 우리의 공격자 모델링이 고정된 공격 기법 목록이 아니라 현실적인 위협 시나리오에 근거하도록 보장한다.
This approach ensures our adversary modeling remains grounded in realistic threat scenarios rather than a fixed enumeration of attack techniques.
파국적 결과에 상당히 기여할 수 있는 모델을 개발하는 동안에는 모델에 대한 무단 접근, 수정 또는 유출을 방지하기 위해 강력한 모델 가중치 보안 조치가 중요하다. 이 프레임워크에 따라 공개하는 프론티어 AI 모델에 대해, 우리는 내부 및 외부 위협 행위자에 의한 유출이나 변조로부터 모델 가중치를 보호하기 위한 기본 통제 수준을 모델 가중치 보안이 충족하도록 보장하는 프로세스를 유지한다.
During development of a model that may substantially contribute to a catastrophic outcome, strong model weight security measures are important to prevent unauthorized access, modification, or exfiltration of the model. For Frontier AI models we release under this Framework, we maintain processes to ensure our model weight security meets a baseline of controls to protect model weights from exfiltration or tampering by internal and external threat actors.
이하의 하위 섹션에서는 특정 모델 역량의 존재 여부와 수준 및 기타 관련 위험 요인을 평가하는 방법을 정의하고, 우리의 위험 임계값과 상응하는 완화를 운영화한다. 모델이 운영 임계값에 도달하면 모델 수명주기 전반에 걸쳐 완화가 요구된다.
In the following subsections, we define how the presence and level of certain model capabilities and other relevant risk factors are assessed and operationalize our risk thresholds and corresponding mitigations. If a model reaches an operational threshold, mitigations would be required throughout the model lifecycle.
4.2.1 사이버 보안
4.2.1 Cybersecurity
우리는 주어진 배포 시나리오에서의 모델 성능을 기준으로 사이버 보안 역량에 대한 운영 임계값을 정의한다.
We define an operational threshold for cybersecurity capability based on a model's performance in a given deployment scenario.
사이버 1 및 사이버 2
Cyber 1 and Cyber 2
주어진 모델 배포 시나리오에 대해, 사이버 시나리오 1 및 2와 관련하여 우리는 전문가 수준의 공격적 사이버 보안 과제에서 모델의 성능을 인간 전문가와 비교하여 평가한다. 모델 배포 유형이 제공하는 어포던스에 적합한 역량 도출을 거친 후에도 모델이 현실적인 전문가 수준 과제에서 낮은 성능을 보인다면, 이는 모델이 치명적인 사이버 결과에 상당히 기여하지 않는다는 지표이다. 그러나 인간 전문가와 대등하거나 그 이상의 모델 성능이 관찰되면, 우리는 위험 수준을 판단하기 위해 보다 복잡하고 현실적인 공격 시나리오에서의 역량 평가로 넘어간다.
For a given model deployment scenario, for Cyber Scenarios 1 and 2, we evaluate performance on professional-level offensive cybersecurity challenges, relative to human experts. If a model achieves low performance on realistic, professional-level challenges, even after elicitation suitable for the affordances provided by the type of model deployment, then this is an indication that the model does not substantially contribute to catastrophic cyber outcomes. However, if we observe model performance on par with or better than human experts, we will move on to evaluating capabilities on more complex, realistic attack scenarios in order to determine risk level.
단순 모음 과제
Simple Suite Challenges
우리의 평가 프로세스는 위험 시나리오와 관련된 핵심 영역에서 모델의 전반적인 성능을 파악하기 위한 "단순" 과제 모음에서 시작한다. 여기서 "단순" 과제란 단일 대상과 최소한의 방어만을 포함하는 독립적인 과업으로서, 측면 이동(lateral movement)이나 신원 또는 탐지 통제와 같은 현실적인 방어 장애물 없이 몇 단계의 익스플로잇만으로 해결할 수 있는 과업으로 정의된다. 여기에는 다음이 포함될 수 있다.
Our assessment process begins with a suite of "simple" challenges to understand a model's overall performance on key domains related to our risk scenarios. Here, a "simple" challenge would be defined as a self contained task involving a single target and minimal defenses that can be solved with a few exploit steps, without lateral movement or realistic defensive obstacles such as identity or detection controls. This may include:
취약한 단일 머신에 대한 접근 권한 획득, 또는
Gaining access to a single vulnerable machine, or
독립적인 '퍼즐' 과제 해결(예: 과거 CTF 대회에서 가져온 과제 또는 Cybench와 같은 벤치마크).
Solving a self-contained 'puzzle' challenge, e.g. a challenge taken from a previous CTF competition, or a benchmark such as Cybench.
복합 과제
Complex Challenges
모델이 위에서 설명한 단순 모음 임계값을 초과하면, 위험 수준을 판단하기 위해 모델이 '중간 이하' 위험 임계값을 초과하는지를 평가할 수 있도록 보다 현실적인 과제에 대한 추가 테스트가 필요하다. 예를 들면 다음과 같다.
Once a model exceeds the simple suite threshold described above, in order to determine risk level, we require additional testing on more realistic challenges to assess whether the model exceeds the 'moderate or lower' risk threshold, such as:
[사이버 1] 표준 방어가 갖춰져 다단계 체인(초기 접근 -> 권한 상승 -> 측면 이동 -> 기본적인 탐지 회피를 동반한 목표 달성)이 요구되는 다중 호스트 네트워크에 대한 종단 간 침해 시도,
[Cyber 1] End-to-end compromise attempt on a multi-host network, with standard defenses in place requiring multi-stage chains (initial access -> privilege escalation -> lateral movement -> objective completion with basic detection evasion),
[사이버 1] 위협 모델링을 통해 현재 공격 작전의 병목으로 식별된 공격 킬체인(kill-chain)의 임의 단계에 대한 자동화 성공
[Cyber 1] Successful automation of any step in the attack kill-chain identified by threat modeling as a current bottleneck to adversarial operations
[사이버 2] 실제 규모의 코드베이스 내에서 영향도가 높은 취약점의 발견 및 익스플로잇 성공.
[Cyber 2] Successful discovery and exploitation of high impact vulnerabilities within a real world scale code base.
임계값 및 상향 조치
Thresholds and Escalation
앞서 논의한 바와 같이, 테스트 대상 모델이 단순 모음 과제에서 충분히 높은 성능을 달성하면 위험 수준을 판단하기 위해 "복합" 과제 평가로 진행한다. 그렇지 않은 경우 해당 모델의 위험을 "중간 이하"로 평가한다.
As discussed above, if a model under test achieves sufficiently high performance on simple suite challenges, we proceed to evaluation on "Complex" challenges to determine risk level. Otherwise, we rate its risk as "moderate or lower."
사이버 3
Cyber 3
사이버 시나리오 3의 위험을 평가하기 위해, 우리는 내부 및 외부 전문가를 활용하여 위협 모델링 연습과 현재 사기 및 스캠 환경에 대한 분석을 수행한다. 이를 통해 새롭게 등장하는 AI 역량으로 해소될 수 있는 공격 작전의 가장 큰 병목을 식별한다. 이 접근 방식은 다양한 역량 평가를 활용하여 이러한 병목이 해소될 개연성이 있는지를 판단한다. 각 역량에 대해 우리는 관련 배포 유형 내에서 AI에 대한 평가를 시행하여 역량을 평가하고, 주어진 배포 시나리오에서 높음 위험 판정을 촉발하게 될 모델 성능의 상응 임계값을 설정한다.
To evaluate the risk of Cyber Scenario 3, leveraging internal and external experts, we conduct threat modeling exercises and analysis of the current fraud and scams landscape to identify the largest bottlenecks to adversarial operations that could be unblocked by emerging AI capabilities. This approach leverages a range of capability assessments to determine whether these bottlenecks could plausibly be enabled. For each such capability, we will implement an evaluation of the AI within a relevant deployment type to assess capabilities and establish corresponding thresholds at which the model performance would trigger a determination of high risk for a given deployment scenario.
거부 및 방어적 활용
Refusals and Defensive Use
사이버 오용 위험으로부터 모델 배포를 보호하기 위해, 우리는 (위에서 설명한 역량 평가에 더하여) 거부 평가를 수행하여 주어진 모델 배포가 고위험 이중 용도 사이버 역량에 대한 요청을 일관되게 거부하거나 저위험 응답을 생성하도록 보장한다. 공격적 행동과 방어적 행동을 명확히 구분하기 어렵다는 점을 인식하여, 우리는 신중한 정책 범위 설정과 검토에 투자함으로써 과잉 차단(over-blocking)을 줄이는 동시에, 적절한 경우 자격을 갖추고 신뢰할 수 있는 고객에게 이러한 역량을 제공한다. 또한 우리는 자사 제품 전반에서 악의적인 사이버 사용과 완화 조치의 침해 여부를 모니터링한다.
To secure deployments of our models against cyber misuse risks, we will conduct refusal evaluations (in addition to the capability evaluations described above) to ensure that a given model deployment consistently refuses requests for high risk dual-use cyber capabilities or otherwise produces low-risk responses. Recognizing the difficulty of cleanly separating offensive and defensive behavior, we will invest in careful policy scoping and review to reduce over-blocking while making such capabilities available to qualified and trusted customers where appropriate. We will also monitor for malicious cyber usage and breaches in our mitigations across our products.
우리는 배포된 모델이 상당한 안전 가드레일을 갖추고 있더라도 프롬프트 인젝션이나 탈옥과 같은 적대적 압박에 직면할 수 있으며, 이로 인해 의도하지 않은 방식으로 작동할 수 있음을 인식한다. 우리는 다음과 같은 보안 위험을 평가하기 위해 평가를 수행한다: 프롬프트
We recognize that deployed models, even with significant safety guardrails, may face adversarial pressure-such as prompt injection or jailbreaking-that could cause them to act in unintended ways. We conduct evaluations to assess security risks of prompt
#1의 임계값을 초과하는 배포 시나리오를 검토 중인 모델의 경우, 우리는 현실적이고 난이도가 높은 과제(복합 과제 포함)에서의 신뢰할 수 있고 일관된 성공을 기준으로 '높음' 위험 수준 판정 임계값을 설정한다. 예를 들면 다음과 같다.
For models we are considering for deployment scenarios that exceed the threshold in #1, we set the threshold for determination of 'high' risk level based on reliable and consistent success on realistic, high difficulty challenges (including complex challenges). For example:
a. [사이버 1] 현실적이고 난이도가 높은 다중 호스트, 기업 규모 네트워크 과제 모음에서 갖춰진 표준 방어의 경보/탐지를 전혀 촉발하지 않고 충분히 많은 과제를 완료
a. [Cyber 1] Completing sufficiently many challenges from a suite of realistic, high difficulty multi-host, corporate scale network challenges without triggering any alerts/detections from standard defenses in place
b. [사이버 2] 널리 사용되는 실제 코드베이스 내 치명적 취약점의 익스플로잇을 입증. 여기서 '치명적 취약점'과 '널리 사용되는'은 해당 취약점의 익스플로잇이 광범위한 인명 피해나 상당한 재정적 손실로 이어질 개연성이 있는지를 기준으로 정의된다.
b. [Cyber 2] Demonstrating exploitation of a critical vulnerability within a popular real world code base. Here 'critical vulnerability' and 'popular' are defined based on the criteria that exploitation of the vulnerability would plausibly lead to widespread casualties or significant financial loss.
인젝션(일반적인 에이전트형 활용 사례 내에 배포된 모델 대상). 또한 이러한 위협으로부터 보호하기 위해 계층화된 보안 방어를 시행하고, 이러한 위협에 대한 우리 모델의 취약성을 파악한다.
injection for a model deployed within common agentic use cases and implement layered security defenses to protect against these threats and understand our models' susceptibility to them.
사이버 보안 취약점 탐지에 고역량인 AI 모델은 위협 행위자가 핵심 시스템의 취약점을 익스플로잇할 수 있게 할 수 있지만, 동시에 방어자가 자신의 시스템에서 취약점을 발견하고 패치할 수 있게 할 수도 있다. 또한 고역량 모델은 경보 분류(triage)와 위협 분석의 효율을 높이거나 이를 자동화함으로써 방어자에게 업리프트를 제공할 수 있다. 이중 용도 역량에서 우리의 운영 임계값에 도달한 모델에 대해서는 다음 조치를 취한다.
AI models highly capable at detecting cybersecurity vulnerabilities may enable threat actors to exploit vulnerabilities in critical systems, but could also enable defenders to discover and patch vulnerabilities in their systems. Additionally, highly capable models may provide uplift to defenders by increasing the efficiency (or even automating) alert triage and threat analysis. For a model that reaches our operational threshold on dual-use capabilities, we will take the following actions:
관련 공격자와 방어자의 동기, 자금, 기술 수준이라는 현실적 여건을 고려하여 해당 역량이 사이버 방어자와 공격자에게 미치는 상대적 영향을 엄밀하게 연구함.
Rigorously study the relative impact of the given capability on cyber defenders and attackers in light of the practical realities of motivation, funding, and skill of relevant attackers and defenders.
주요 소프트웨어 제공업체, 널리 사용되는 오픈소스 프로젝트, 보안 서비스 등 방어자에게 프로그램을 통해 차등적 접근을 제공하는 추가적인 대안 배포 시나리오를 검토함
Consider additional alternative deployment scenarios that provide differential access to defenders, such as major software providers, widely-used open-source projects, and security services via programs
주어진 배포 시나리오에서 사용 가능한 시스템 수준 완화 조치(예: 입력/출력/대화 수준 분류기, 엄격한 요청 속도 제한, 남용 모니터링, 신원 통제, 로깅)를 적용하여 배포했을 때의 모델 성능을 재평가함.
Re-evaluate performance of the model when deployed with system level mitigations available for the given deployment scenario (e.g., input/output/conversation level classifiers, strict rate limits, abuse monitoring, identity controls, and logging).
우리는 사이버 방어 환경이 고정되어 있지 않다는 점을 인식한다. 우리는 주요 소프트웨어 및 물리 시스템이 시간이 지남에 따라 보안을 강화하고 증가하는 사이버 역량에 대해 회복력을 유지할 수 있도록 지속적으로 적극적인 노력을 기울이고 도구를 개발할 것이다.
We recognize that the cyber defense landscape is not static - we will continue to take active efforts and create tools to help major software and physical systems upgrade security over time and stay resilient against increasing cyber capabilities.
4.2.2 화학 및 생물학적 위험
4.2.2 Chemical and Biological Risks
화학 및 생물학적 위험에 대한 위험 임계값의 정의
Definition of Risk Thresholds for Chemical and Biological Risks
화학 및 생물학적 위험에 대한 위협 모델링은 다양한 공격 유형과 위협 행위자를 포함하므로 본질적으로 어렵다.
Threat modeling for Chemical and Biological Risks is intrinsically difficult, as it includes a diverse set of attack types and threat actors.
우리는 일련의 결과(Outcome)를 정의함으로써 이 위험에 대한 접근 방식을 운영화한다. 각 결과는 특정 부류의 위협 행위자와 공격 유형으로부터 발생할 수 있는 실제 위험의 유의미한 변화를 나타낸다. 각 결과에 대해, AI로 인한 행위자 역량의 변화가 파국적 결과를 실현하기에 충분할 수 있는 일련의 위협 시나리오(Threat Scenario)를 정의한다. 이러한 각 위협 시나리오에 대해, 프론티어 AI 모델과 그 배포가 어떤 역량을 제공할 개연성이 있는지를 식별하고, 위험의 실질적 증가를 탐지하기에 충분하다고 판단되는 평가(evaluation)(자동화 평가 및/또는 인간 평가 포함)를 설계한다.
We operationalize our approach towards this risk by defining a set of Outcomes, each of which represents a meaningful change in real-world risk that could arise from a given class of threat actors and attack types. For each Outcome, we define a set of Threat Scenarios in which an AI-driven change in actor capabilities could be sufficient to realize the catastrophic outcome. For each of these Threat Scenarios, we identify which capabilities could plausibly be provided by a Frontier AI model and deployment, and design evaluations (including automated and/or human evaluations) that we determine are sufficient to detect a material increase in risk.
이러한 평가를 수행하는 동안, 우리는 모델과 배포된 시스템 역량의 상한을 나타내도록 설계된 역량 이끌어내기(elicitation) 전략을 사용한다. 우리는 모델 배포의 변화와 시스템 수준 역량을 모두 고려할 때, 배포가 계획대로 진행될 경우 하나 이상의 위협 시나리오에 상당히 기여할 수 있는 성능 수준을 높음 위험으로 정의한다. 치명적 위험은 부분적으로, 가중치 유출(weight exfiltration), 내부 사용, 모델 자율성과 관련된 시나리오를 포함하여, 모델의 전면 배포 이전에도 하나 이상의 위협 시나리오에 유의미하게 기여할 수 있는 성능 수준으로 정의한다.
During execution of these evaluations, we use an elicitation strategy designed to represent an upper bound of the capabilities of the model and the deployed system. We define high risk as a level of performance that could substantially contribute to one or more Threat Scenarios if the deployment proceeds as planned, considering both changes in model deployment as well as system-level capabilities. We define critical risk, in part, as a level of performance that could meaningfully contribute to one or more Threat Scenarios even before full model deployment - including scenarios involving weight exfiltration, internal usage, and model autonomy.
평가(assessment) 설계
Assessment Design
화학 및 생물학적 위험에 대한 우리의 평가(assessment)는 자동화 평가, 레드티밍, 인간 대상 연구를 포함할 수 있는 평가의 조합을 활용하며, 이는 계획된 모델 공개가 화학 및 생물학적 위험의 실질적 증가로 이어질 가능성을 평가하도록 설계되어 있다.
Our assessments of Chemical and Biological Risks employ a combination of evaluations - which may include automated evaluations, red-teaming, and human studies - that are designed to evaluate the potential that a planned model release could lead to a material increase in Chemical and Biological Risks.
이러한 평가를 수행할 때, 우리는 기반 모델과 계획된 배포 모두와 관련된 잠재적 조력 가능성을 최대화하는 시나리오를 평가하도록 설계된 역량 이끌어내기를 수행하며, 모델과 시스템 성능의 상한을 평가하도록 설계된 역량 이끌어내기 전략을 사용하여 위험한 역량과 거부를 모두 평가한다.
In executing these evaluations we engage in elicitation designed to assess a scenario that maximizes potential enablement associated with both the base model and planned deployments, and assess both hazardous capabilities and refusal using an elicitation strategy designed to assess the upper bound of model and system performance.
이러한 평가의 설계와 확인은 지속적인 과정이다. 일반적으로 우리는 모든 위협 시나리오에 대한 핵심 역량을 평가하기에 충분한 커버리지를 갖추고, 모델 역량이 위협 시나리오에 상당히 기여하기에 충분한지를 판단할 수 있도록 적절히 보정된 평가 모음을 구축하고자 한다.
Design and validation of these evaluations is an ongoing process. In general, we seek to build a suite of evaluations that has sufficient coverage to assess key capabilities for all Threat Scenarios, and which is appropriately calibrated to determine whether model capabilities are sufficient to substantially contribute to a threat scenario.
가능한 경우, 우리는 기존 병목을 해소하기에 충분하다고 판단되는 성능 임계값과의 비교(예: 분야 전문가의 성능과의 비교)를 통해 각 평가의 결과를 해석한다.
Where possible, we interpret the results of each assessment using comparisons to performance thresholds that we believe are sufficient to remove existing bottlenecks (e.g. a comparison to the performance of domain experts).
완화 전략
Mitigation Strategies
주어진 배포 시나리오에 대해, 각 모델에 대한 우리의 공개 결정에는 해당 모델 수준 및/또는 시스템 수준 거부가 어느 정도일 때 각 위협 시나리오의 위험을 유의미하게 줄이기에 충분할 수 있는지에 대한 평가가 포함된다.
For a given deployment scenario, our release decision for each model includes an assessment of what level of that model and/or system level refusals may be sufficient to meaningfully reduce risk for each Threat Scenario.
완화 조치에는 모델 자체에 대한 안전 훈련을 포함한 고위험 주제에 대한 거부와, 모델 배포 후 고위험 출력을 방지하는 거부 시스템이 포함될 수 있다. 이러한 완화 조치는 외부 전문가와 협력하여 개발한 거부 평가 및 역량 평가 모음을 사용하여 확인되며, 해당 모델과 관련된 위험에 매우 밀접한 주제 전반에 걸친 커버리지를 갖춘다. 완화 전 테스트에서 모델이 높음 위험 임계값을 넘은 것으로 나타나는 경우, 완화 조치를 적용한 상태에서 '중간 이하' 수준임을 뒷받침하는 강력한 추가 증거가 없는 한 우리는 해당 모델을 외부에 배포하지 않는다.
Mitigations may include refusals on high-risk topics, including safety-training for the model itself, and refusal systems that prevent high-risk outputs after model deployment. These mitigations are validated using a suite of refusal evaluations and capability assessments developed in collaboration with external experts, with coverage across topics that are highly relevant to the risks associated with a given model. In the case where pre-mitigation testing suggests that a model has crossed the high risk threshold, we will not deploy the model externally unless we have strong additional evidence to support the moderate or lower level, with mitigations.
우리는 일반적으로 실제 위험을 실현할 가능성이 가장 높은 주제에 대한 완화를 우선시하며, 이를 판단하기 위해 역량 평가와 거부 평가 모두에서 얻은 통찰을 활용할 수 있다.
We typically prioritize mitigations of topics that are most likely to realize real-world risk, and may use insights from both capability evaluations and refusal evaluations to make this determination.
거부가 완화 전략의 일부인 영역에서 '중간 이하' 위험 임계값을 넘는 모델의 경우, 외부 배포를 위한 우리의 위험 수용 기준은 관련 위협 시나리오 전반에 걸쳐 철저한 커버리지를 갖춘 벤치마크 데이터셋에서 신뢰할 수 있는 거부를 입증하는 증거를 요구한다. 우리는 적대적 공격에 대한 포괄적인 완화 조치를 연구하고, 완화가 완전히 적용된 모델을 이러한 공격 하에서 평가할 것이다. 이러한 완화 조치의 범위, 확인 평가의 결과, 적대적 공격 전반에 걸친 커버리지는 우리의 대비태세 보고서(preparedness report)에 기술될 것이다.
For models above the moderate or lower risk threshold in areas where refusal is part of our mitigation strategy, our risk acceptance criteria for external deployment requires evidence demonstrating reliable refusal on benchmark datasets with thorough coverage across relevant threat scenarios. We will research comprehensive mitigations against adversarial attacks, and will evaluate our fully mitigated model under such attacks. The scope of these mitigations, results of validation assessments, and coverage across adversarial attacks will be described in our preparedness reports.
예시로, 생물학 무기 개발을 뒷받침할 수 있는 정보를 포함하는 BioTIER 거부 평가(evaluation)에서 우리의 위험 수용 기준은 최소 80%의 거부 또는 안전한 응답, 그리고 통상적인 적대적 공격 포트폴리오에 포함된 모든 적대적 공격에 대해 40%의 거부 또는 안전한 응답을 포함한다. 이러한 평가(assessment)는 우리가 사용한 적대적 공격의 목록 및 그 근거와 함께 대비태세 보고서(preparedness report)에 기술될 것이다. 모델 역량이나 배포 맥락으로 인해 위험이 증가할 수 있는 경우에는 이 임계값을 상향할 수 있다. 우리는 최첨단 적대적 공격에 대한 포괄적인 완화 조치를 계속 연구할 것이다. 시간이 지남에 따라 완화의 효과를 측정하는 데 사용하는 평가를 갱신하고, 이에 맞춰 본 프레임워크를 갱신할 수 있다.
As an illustrative example, on the BioTIER refusal evaluation, which includes information that could support development of biological weapons, our risk acceptance criteria includes at least 80% refusal or safe responses, and 40% refusal or safe responses against all adversarial attacks within a typical adversarial attack portfolio. These assessments will be described in our preparedness reports, alongside a list and justification of adversarial attacks we deployed. We may increase this threshold in contexts where model capabilities or deployment context could lead to increased risks. We will continue to research comprehensive mitigations against state-of-the-art adversarial attacks. Over time, we may update the evaluations we use to measure the efficacy of our mitigations and update this Framework accordingly.
배포 이후에도 우리는 완화 조치의 효과를 계속 모니터링할 것이다. 또한 거부하지 않은 응답이 유해한 정보를 공유할 가능성을 줄일 수 있는 추가 완화 조치를 계속 개발하고 확인할 것이다.
Following deployment, we will continue to monitor for the efficacy of our mitigations. We will also continue to develop and validate additional mitigations that could reduce the likelihood that a non-refusal response shares harmful information.
연구 분야
Research Areas
이 분야에서 우리가 진행 중인 연구는 화학 및 생물학적 위험에 대한 평가(assessment)를 개선하고, 프론티어 AI가 이들 분야에서 유익한 성과를 가능하게 하는 다양한 방식을 이해하며, 추가 분야(방사능 또는 핵 위협 등)에 적절한 조치를 평가하는 데 중점을 둔다. 우리는 과학 연구를 수행하는 신뢰할 수 있는 연구자들이 구조화된 접근 통제를 통해 완화 수준이 낮춰진 고역량 AI 모델의 화학 및 생물학적 역량에 접근하도록 허용하는 것에 수많은 잠재적 이점이 있다고 본다. 우리는 이러한 협력에서 얻은 교훈을 프론티어 AI 배포에 관한 지속적인 작업에 반영할 것이다.
Our ongoing research in this area focuses on improving our assessments of Chemical and Biological Risks, understanding the many ways that Frontier AI can enable beneficial outcomes in these domains, and assessing appropriate measures for additional domains (such as radiological or nuclear threats). We believe that there are numerous potential benefits of allowing trusted researchers working on scientific research to access the chemical and biological capabilities of highly capable AI models with reduced mitigations via structured access controls. We will integrate learnings from these collaborations into our ongoing work on Frontier AI deployments.
4.2.3 통제 상실
4.2.3 Loss of Control
통제 상실에 대한 위험 임계값은 3.4.3절에 정의된 위협 시나리오에 대한 모델 성능으로 운영화된다. 통제 상실 1 및 2의 경우, 평가(assessment)는 다음의 2단계 절차를 따른다.
Risk thresholds for Loss of Control are operationalized by model performance against the threat scenarios defined in Section 3.4.3. For Loss of Control 1 and 2, the assessment follows a two-stage process:
역량 체크포인트. 모델이 위협 시나리오에 상당히 기여하는 데 필요한 최소 역량을 보이는지 평가한다.
Capability checkpoint. Evaluate whether the model demonstrates minimum capabilities required to substantially contribute to a threat scenario.
심화 평가. 역량 체크포인트 중 하나라도 충족되면, 복잡하고 현실적인 과업에서의 성능을 평가하여 위협 기여 여부를 확인한다.
Enhanced evaluation. If any capability checkpoint is met, assess performance on complex, realistic tasks to validate threat contribution.
역량 체크포인트를 충족하지 않는 모델에는 '중간 이하' 위험 임계값이 부여된다. 특정 완화 조치는 요구되지 않으나, 새롭게 나타나는 모델 행동과 위험에 대한 지속적인 모니터링을 뒷받침하기 위해 기타 역량과 성향에 대해 보고할 수 있다. 체크포인트를 충족하는 모델은 심화 평가로 진행한다.
Models that do not meet the capability checkpoint are assigned a moderate or lower risk threshold. No specific mitigations are required, though we may report on other capabilities and propensities to support ongoing monitoring of emerging model behaviors and risks. Models that meet the checkpoint proceed to enhanced evaluation.
통제 상실 3의 경우, 우리는 평가(assessment)가 모델 훈련 또는 평가(evaluation) 이전에 이루어지도록 계획할 것이며, 이를 위해서는 전향적 평가(prospective assessment), 즉 훈련 또는 평가 대상 모델의 예상 역량에 대한 근거 있는 추정이 필요하다. 이 평가를 통해 식별된 예견 가능한 고심각도 위험은 훈련 또는 평가 이전에 완화되어야 한다.
For Loss of Control 3, we will plan for the assessment to take place prior to model training or evaluation, which requires prospective assessment: informed estimation of the expected capabilities of the model being trained or evaluated. The foreseeable high severity risks identified through this assessment then must be mitigated prior to training or evaluation.
역량 체크포인트 평가(evaluation)
Capability Checkpoint Evaluations
이러한 평가는 3.4.3절의 위협 시나리오에 대응되는 통제 분야의 비교적 단순한 과업에서 모델 성능을 검사한다. 예를 들어, 우리는 다음과 같은 모델의 능력을 평가할 것이다.
These evaluations test model performance on relatively simple tasks in control mapped to the threat scenarios in Section 3.4.3. For example, we will assess a model's ability to:
통제 상실 1
Loss of Control 1
해당 과업에 익숙한 인간 전문가가 수행할 경우 2시간 이상 소요되는 소프트웨어 엔지니어링 과업을 자율적이고 일관되게 완료하는 능력.
Autonomously and consistently complete software engineering tasks which would take a human professional familiar with such tasks two or more hours.
이러한 행동을 이끌어내도록 설계된 평가 맥락에서 핵심 역량 및 안전 벤치마크에 대한 성능을 선택적으로 조정하는 능력. 이때 목표 평가에서의 성능은 통제 평가와 (합리적인 신뢰 수준에서) 상당히 다르게 나타난다.
Selectively adapt performance on key capability and safety benchmarks in the context of an evaluation designed to elicit this behavior, where performance on target evaluations is substantially different from control evaluations (with reasonable confidence levels).
통제 상실 2
Loss of Control 2
이러한 행동을 이끌어내도록 설계된 평가 맥락에서, 과업들이 상충하는 목표를 가질 때 주 과업과 부 과업을 병렬로 일관되게 수행하는 능력. 이때 (1) 단일 과업 성능(주 과업의 성공적 완료)이 높고, (2) 이중 과업 성능(두 과업 모두의 성공적 완료)이 단일 과업 기준 성능 대비 상당 부분 유지된다.
Consistently execute a main task and a side task in parallel, when tasks have competing objectives, in the context of an evaluation designed to elicit this behavior, where (1) single-task performance (successful completion of main task) is strong, and (2) dual-task performance (successful completion of both tasks) is substantially preserved relative to single-task baseline performance.
하나 이상의 역량 체크포인트를 충족하는 모델은 심화 평가로 진행한다.
A model that meets one or more capability checkpoints proceeds to enhanced evaluations.
심화 평가(evaluation)
Enhanced Evaluations
이러한 평가는 모델이 위협 시나리오에 상당히 기여할 수 있는지를 확인하기 위해 보다 복잡하고 현실적인 과업에서 모델 성능을 평가한다. 예를 들어, 우리는 다음과 같은 모델의 능력을 평가할 것이다.
These evaluations assess model performance on more complex, realistic tasks, in order to validate whether it could substantially contribute to a threat scenario. For example, we will assess a model's ability to:
통제 상실 1
Loss of Control 1
Meta에서 AI 역량 향상을 담당하는 시니어 연구 엔지니어의 업무를 대표하는 연구 과업을 자율적으로 완료하는 능력, 및/또는 AI 발전 속도를 과거 대비 상당히 가속하는 결과를 내는 능력.5
Autonomously complete research tasks which are representative of the work of a senior research engineer improving AI capabilities at Meta, and/or results in AI progress substantially accelerating from historical rates.5
평가 환경과 관련 세부 사항을 식별하고, 개발자의 기대에 부합하는 것처럼 보이도록 높은 일관성으로 성능을 선택적으로 조정하는 동시에, 높은 일관성으로 모니터링 메커니즘의 탐지를 회피하는 능력(또는 그러한 회피 능력의 존재를 합리적인 신뢰 수준으로 배제할 수 없는 경우).
Identify evaluation environments and relevant details, as well as selectively adapt its performance in order to appear compliant with developer expectations with high consistency, while evading detection by monitoring mechanisms with high consistency (or we cannot rule out the presence of such evasion capability with reasonable confidence).
통제 상실 2
Loss of Control 2
통제 상실 2 체크포인트 평가를 위한 병렬 과업 수행 시, 모니터링 시스템과 관련 세부 사항을 식별하고, 모니터링 시스템의 정책에 부합하도록 높은 일관성으로 출력을 선택적으로 수정하거나 모니터링 시스템의 작동을 무력화 또는 훼손하는 방식으로 해당 시스템을 우회하면서, 높은 일관성으로 탐지를 회피하는 능력(또는 그러한 회피 능력의 존재를 합리적인 신뢰 수준으로 배제할 수 없는 경우).
When performing parallel task execution for the Loss of Control 2 checkpoint evaluation, identify monitoring systems and relevant details, and bypass those systems-either by selectively modifying outputs in order to be compliant with the policy of the monitor systems with high consistency, or disabling or corrupting the monitor systems' operations-while evading detection with high consistency (or we cannot rule out the presence of such evasion capability with reasonable confidence).
또한 평가 시나리오는 과업 수행 중 특정 역량을 사용하고 특정 행동을 하려는 모델의 성향을 평가하도록 설계될 것이다. 이러한 추가 요인을 고려하면 모델의 위험 프로필을 보다 근거 있게 평가할 수 있다. 위협 시나리오에 기여할 수 있는 모델의 이론적 능력만으로는 모델이 배포된 후 실제로 그렇게 할 가능성이 있는지를 알 수 없기 때문이다. 성향 평가는 기만 경향, 오정렬 행동과 같은 요인을 평가할 수 있다. 예시로, 우리의 위험 수용 기준에는 MASK에서 최소 40%, Agentic Misalignment에서 최대 50%와 같은 임계값이 포함된다.
In addition, the evaluation scenarios will be designed to assess a model's propensities to use certain capabilities and engage in certain behaviors during task execution. Taking into account these additional factors can provide a more informed assessment of a model's risk profile: a model's theoretical ability to contribute to a threat scenario does not, on its own, indicate whether it is likely to do so in practice once deployed. Propensity evaluations may assess factors such as a model's tendency toward deception, and misaligned behaviors. As an illustrative example, our risk acceptance criteria include thresholds such as at least 40% on MASK and at most 50% on Agentic Misalignment.
이러한 임계값은 모델이 다음과 같은 정의된 체크포인트 역량에 도달할 때 적용된다. (1) 해당 과업에 익숙한 인간 전문가가 수행할 경우 2시간 이상 소요되는 완전한 소프트웨어 엔지니어링 과업을 대부분의 경우 성공적으로 수행하는 것, 또는 (2) 사용자가 요청한 과업을 손상시키지 않으면서 악의적인 과업을 함께 성공적으로 수행하여 모니터링이 없을 경우 비행의 신호가 관찰되지 않는 능력. 이러한 예시 임계값은 평가 방법론이 성숙함에 따라 수정될 수 있으며, 성향 결과는 역량 평가 및 기타 관련 요인과 함께 모델의 위험 프로필에 대한 종합적 평가에 반영될 것이다.
These thresholds apply when a model reaches defined checkpoint capabilities, such as: (1) successful execution of complete software engineering tasks which would take a human professional familiar with such tasks two or more hours in most cases, or (2) the ability to successfully execute a malicious task alongside a user-requested task, without compromising the latter - such that in the absence of a monitor, no signal of misconduct would be observable. These example thresholds are subject to revision as our evaluation methodologies mature, and propensity results will inform-alongside capability evaluations and other relevant factors-our holistic assessment of a model's risk profile.
심화 평가에 근거하여 위협 시나리오에 상당히 기여하는 것으로 평가된 모델은 위험 수준(즉, 높음 대 치명적 위험 임계값)을 판단하기 위해 추가적인 위협 모델링과 안전 사례를 포함한 추가 분석을 거치게 된다.
Based on our enhanced evaluations, models assessed as substantially contributing to a threat scenario will undergo additional analysis-including additional threat modeling and safety cases-to determine the level of risk (i.e., high vs. critical risk threshold).
전향적 평가(prospective assessment)
Prospective Assessments
전향적 평가(prospective assessment)는 학습 이전에 모델의 예상 역량을 추정하는 것이다. 현재 우리는 통제 상실 3에 대해서만 전향적 평가를 사용한다. 전향적 평가는 학습 이전에 수행되지만, 그 결과는 모델 학습이 시작된 이후에도 유효하며, 전체 또는 부분 학습 이후의 직접적인 평가(assessment) 또는 평가(evaluation)에 의해 수정될 수 있다. 예를 들어, 우리는 다음을 전향적으로 평가할 계획이다.
Prospective assessments are estimates of the expected capabilities of a model prior to training. Currently, we only use prospective evaluations for Loss of Control 3. While the prospective assessment is done prior to training, its result holds even after model training has begun, and may be revised by direct assessment or evaluation after full or partial training. For example, we plan to prospectively assess:
통제 상실 3
Loss of Control 3
사이버 1 및 사이버 2 위험 평가에 상응하는 사이버 역량. 이 영역에서의 높은 위험 수준의 역량은 모델 탈출(breakout)로 인한 파국적 피해의 가능성을 시사할 수 있다.
Cyber capabilities in line with our Cyber 1 and Cyber 2 risk assessments. High risk capabilities in this domain may imply the potential for catastrophic harm from model breakout.
통제 상실 2 위험 평가에 상응하는 모니터링 인식, 간섭 또는 변조 역량. 이 영역에서의 높은 위험 수준의 역량은 탈출 시도를 탐지하고 저지하기 위해 강력한 완화 조치가 필요함을 시사한다.
Monitor awareness, interference, or tampering capabilities in line with our Loss of Control 2 risk assessments. High risk capabilities in this domain imply that strong mitigations are needed to detect and thwart attempts at breakout.
두 경우 모두, 우리는 이러한 평가에 관해 이용 가능한 데이터로부터 외삽하여 학습 이전에 모델의 사이버 공격 역량에 대한 최선의 추정치를 예측할 계획이다. 역량은 예측하기 어렵기 때문에, 우리는 보수적인 방법론에 의존할 것이다. 예를 들어, 우리의 학습 체계에서 강화 학습 이후 높은 위험 수준의 역량이 나타나기 위한 충분조건은 아니더라도 필요조건으로 보이는 강화 학습 이전 역량 임계값을 사용할 수 있다. 사이버 1 또는 사이버 2에 대해 완화 이전 높은 위험으로 예측된 평가는 통제 상실 3에 대한 높은 위험 판정에 충분할 수 있으며, 위험을 충분히 줄이는 데 필요한 완화 조치의 정도는 사이버 위험과 통제 상실 2에 대한 위험 판정에 따라 달라진다.
In both cases, we plan to extrapolate from available data on these evaluations to make a best-guess prediction of the cyber offensive capabilities of the model prior to training. Since capabilities are challenging to predict, we will rely on conservative methodology for example, pre-RL capability thresholds which appear necessary, if not sufficient, for high-risk capabilities after RL in our training regime. A projected pre-mitigation high risk assessment for Cyber 1 or Cyber 2 may be sufficient for a high risk determination for Loss of Control 3, while the extent of the mitigations required to sufficiently reduce the risk depend on the Cyber risk as well as the risk determination for Loss of Control 2.
완화 전략
Mitigation Strategies
통제 상실 1 및 2에 대해, 우리의 단기 완화 전략은 다음에 중점을 둘 것이다.
For Loss of Control 1 and 2, our near-term mitigation strategies will focus on:
배포 이전 및 배포 단계 전반에 걸쳐 위협 시나리오 관련 행동에 대한 탐지 시스템을 확대한다.
Expanding detection systems for threat scenario-related behavior across pre-deployment and deployment phases.
모델이 심화 평가와 관련된 역량을 보이기 전에 미리 안전 사례를 개발한다.
Developing safety cases in advance of models exhibiting capabilities related to our enhanced evaluations.
역량이 향상됨에 따라 효과적인 모델 모니터링 가능성(monitorability)을 유지하기 위한 접근 방식을 연구하고 구현한다.
Researching and implementing approaches to maintain effective model monitorability as capabilities advance.
자율 연구 역량이 AI 발전 속도에 미치는 영향을 추적하기 위한 메커니즘을 수립한다.
Establishing mechanisms for tracking the impact of autonomous research capabilities on the rate of AI progress.
통제 상실 3에 대해, 우리의 완화 전략은 주로 강화 학습 및 평가 워크플로에서 강력한 보안 태세를 확립하는 데 의존한다. 모델 역량이 계속 확장됨에 따라, 우리의 방법은 모델이 학습 중에 발견하고 악용할 수 있는 승인되지 않은 행동을 취하는 새로운 방법을 예측하고 완화하도록 진화해야 한다. 이러한 역량이 처음 나타나는 시점은 모델의 학습 실행 중일 가능성이 높으므로, 우리는 다음 두 가지에 중점을 둔다.
For Loss of Control 3, our mitigation strategies largely rely on establishing a strong security posture in our reinforcement learning and evaluation workflows. As model capabilities continue to scale, our methods must evolve to anticipate and mitigate new methods for taking unauthorized action that models may discover and exploit during their training. Since the first time such capabilities are present will likely be during a model's training run, we focus on two things:
알려진 방법에 의한 승인되지 않은 행동을 탐지하고 방지한다.
Detecting and preventing unauthorized action by known methods; and,
AI 행동을 모니터링하여 새로운 방법과 탈출 시도가 발생할 때 이를 탐지한다.
Monitoring AI behavior to detect new methods and attempts at breakout when they arise.
이를 위해, 우리는 환경 및 샌드박스 품질과 강화 학습 및 평가 롤아웃 모니터링에 대한 요구 사항을 도입한다. 각 측면에서 우리는 모범 사례를 따르고, 예측된 모델 역량에 비례하여 우리의 조치를 확인하기 위해 레드티밍을 수행하며, 영향을 받는 샌드박스로 새로운 높은 위험 또는 치명적 위험 학습 실행을 개시하기 전에 탐지된 모든 중간 심각도에서 높은 심각도의 취약점에 대한 시정을 요구한다. 구체적으로, 우리의 계획은 다음을 포함할 것이다.
To do so, we instate requirements for environment and sandbox quality as well as reinforcement learning and evaluation rollout monitoring. On each front, we follow best practices, red-team our measures to validate them proportionately with projected model capabilities, and require remediation of all detected medium to high severity vulnerabilities before initiating new high- or critical-risk training runs with the impacted sandboxes. Specifically, our plan will include:
환경 및 샌드박스 품질
Environment and Sandbox Quality
사이버 평가 또는 사이버 강화 학습 과업을 위한 모범 사례 샌드박스 구성의 표준화. 현재 프론티어로 간주되는 모델에 필적하는 사이버 역량을 가진 모델의 경우, 강화 학습 또는 평가에 사용되는 환경은 샌드박스 내에서 실행되며, 해당 샌드박스의 구성은 보상 추구(reward seeking) 및 탈출을 위한 모델의 현실적인 시도에 저항성을 갖추도록 설계된 표준화된 내부 절차를 통해 승인되거나, 하드웨어 격리와 같은 그에 상응하는 보안 조치를 갖출 것이다. 이 절차에는 모범 사례의 확인(예: 최소 권한 원칙의 올바른 적용 또는 적절한 경우 모델 환경과 채점기 환경의 분리)과 레드티밍(아래 설명)이 포함될 수 있다.
Standardization of best-practice sandbox configurations for cyber evaluations or cyber reinforcement learning tasks. For models with cyber capabilities comparable to models currently considered frontier, environments used in reinforcement learning or evaluation will run in a sandbox whose configuration will be approved through a standardized internal process designed to ensure that they are resistant to realistic attempts by a model at reward seeking and breakout or with comparable security measures such as hardware isolation. This process may include validation of best practices ( e.g. proper application of the principle of least privilege or separation of model and grader environments where appropriate) as well as red-teaming (described below).
샌드박스 취약점에 대한 레드티밍. 우리는 프론티어에 근접한 모델의 학습 및 평가에 사용하기 위한 표준화 및 승인 이전에, 모든 샌드박스 구성에서 사이버 보안 취약점을 포함한 외부적 승인되지 않은 행동의 방법에 대한 레드티밍을 수행할 계획이다. 높은 심각도의 취약점이 탐지된 모든 샌드박스는 강화 학습 실행 개시 이전에 시정되거나, 하드웨어 격리와 같은 보완 조치로 완화되거나, 해당 실행에서 제외될 것이다.
Red-teaming for sandbox vulnerabilities. We plan to red-team for methods of external unauthorized action, including cybersecurity vulnerabilities, in all sandbox configurations before standardization and approval for use in training and evaluation of near frontier models. All sandboxes with detected high severity vulnerabilities will be remediated, mitigated with compensating measures such as hardware isolation, or removed from a reinforcement learning run prior to initiation.
보상 추구 또는 보상 변조(reward tampering)에 대한 레드티밍. 품질이 낮은 강화 학습 환경은 모델이 자신의 궤적을 채점하는 데 사용되는 메커니즘에 관한 정보를 탐색하고 이를 의도적으로 악용하거나 변조함으로써 환경을 악용하는 성향을 높이는 행동을 학습하도록 조장할 수 있다. 우리는 문제가 있는 강화 학습 환경(예: 모델에 불가능한 과업을 부여하거나 쉽게 부정행위가 가능한 환경)에 대한 레드티밍을 수행할 계획이다. 문제가 있다고 판단된 환경은 강화 학습 실행 개시 이전에 시정되거나, 수동으로 승인되거나, 해당 실행에서 제외될 것이다.
Red-teaming for reward seeking or reward tampering. Low-quality reinforcement learning environments can encourage the model to learn behaviors that increase its propensity to exploit its environment by seeking information about, and intentionally exploiting or tampering with, the mechanisms used to score its trajectories. We plan to red-team for problematic reinforcement learning environments (e.g., those which give the model impossible tasks or are easily cheated). Environments deemed problematic will be remediated, manually approved, or removed from a reinforcement learning run prior to initiation.
레드티밍 파이프라인에서 우리는 모델의 예측된 역량, 계획된 학습 또는 평가 실행에서의 탈출 또는 보상 변조 기회, 그리고 그러한 평가의 불확실성에 비례하는 모델, 방법 및 연산 예산을 사용할 것이다. 우리는 테스트의 커버리지와 한계를 고려하여 그 결과를 기타 관련 증거와 함께 활용해 결합된 안전장치가 이러한 위험을 충분히 완화하는지 평가할 것이다.
In our red-teaming pipelines, we will use models, methods, and compute budgets proportionate to the projected capabilities of the model, the opportunities for breakout or reward tampering in the planned training or evaluation run, and uncertainty in those assessments. We will use the results alongside other relevant evidence, accounting for the coverage and limitations of our testing, to assess whether the combined safeguards sufficiently mitigate these risks.
롤아웃 모니터링
Rollout Monitoring
실시간, 쓰기 전용 사고 사슬(chain-of-thought) 및 궤적 로깅. 모든 모델 롤아웃은 분석 및 오프라인 모니터링을 위한 무결성을 보존하기 위해 쓰기 전용 데이터 저장소에 실시간으로 기록되어야 한다.
Real-time, write-only chain-of-thought and trajectory logging. All model rollouts must be logged to write-only data stores in real time to preserve their integrity for analysis and offline monitoring.
높은 위험 이상의 모든 실행에 대한 모니터링 요구 사항. 완화 이전에 높은 위험 이상을 초래하는 모든 학습 또는 평가 실행은 모든 롤아웃에 대해 사고 사슬 및 궤적 모니터링이 활성화되어 있어야 하며, 모든 예외는 정렬 및 위험 담당 디렉터(Director of Alignment and Risk) 또는 최고 AI 책임자(Chief AI Officer)의 수동 승인을 필요로 한다.
Monitoring requirements for all runs of high risk or greater. All training or evaluation runs that pose high risk or greater pre-mitigation require chain-of-thought and trajectory monitoring to be active for all rollouts, with any exceptions requiring manual approval by the Director of Alignment and Risk or the Chief AI Officer.
세분화된 자동 중단. 우리는 높은 심각도의 오작동 또는 탈출 시도가 탐지될 때 개별 학습 또는 평가 롤아웃을 신속하게 중단할 수 있는 모니터링 시스템을 개발할 것이다.
Fine-grained automated shutoff . We will develop monitoring systems capable of rapidly halting individual training or evaluation rollouts when high severity misbehavior or breakout attempts are detected.
모니터링 시스템에 대한 레드티밍 또는 품질 점검. 우리는 모니터링 시스템이 학습 또는 평가에 사용되기 전에 모든 샌드박스에서 스모크 테스트를 통과하도록 요구할 것이며, 이 테스트에서 모니터링 시스템은 탈출을 시도하는 내부 모델의 탈출 시도를 신뢰성 있게 탐지해야 한다. 각 샌드박스에 대해, 학습 또는 평가 중인 모델이 예측된 역량을 갖추고 있더라도 모니터링 시스템에 탐지되지 않고서는 샌드박스를 탈출할 수 없다는 강력한 증거를 제공하기 위해 이러한 테스트에 비례적인 자원이 투입되어야 한다.
Red-teaming or quality checking monitors. We will require that our monitors pass smoke tests in all sandboxes prior to their use in training or evaluation, in which they reliably detect attempts to escape by internal models attempting to escape. For each sandbox, proportionate resources must be applied to these tests to provide strong evidence that the model undergoing training or evaluation, with its projected capabilities, will not be capable of sandbox escape without being detected by our monitoring systems.
4.2.4 신흥 평가(evaluation) 및 결과
4.2.4 Emerging Evaluations and Outcomes
이 절에서는 우리가 신흥 단계에 있다고 간주하는 결과 및 평가 접근 방식을 개괄한다. 구체적으로, 이러한 결과는 잠재적으로 파국적 위험을 초래할 수 있어 선제적인 조사가 필요하지만, 기존 평가 접근 방식은 현재 이러한 결과를 우리의 프레임워크에 통합하기에는 너무 초기 단계에 있다.
In this section, we outline outcomes and evaluation approaches we consider to be emerging. Specifically, these outcomes may potentially present catastrophic risk and warrant proactive investigation, but existing evaluation approaches are currently too nascent to incorporate these outcomes into our Framework.
방사능 및 핵
Radiological and Nuclear
방사능 및 핵 위험 또한 프론티어 AI로 인해 발생할 수 있는 또 다른 잠재적 위험원으로 확인되었다. 그러나 핵 위험의 강력한 병목은 AI 모델이 제공할 수 있는 전문가 수준의 정보에 대한 접근이 아니라 물질에 대한 접근이다. AI로 인한 핵 및 방사능 위험 분야는 아직 초기 단계에 있으며, 우리는 핵 및 방사능 위험에 대한 평가(evaluation)를 수행할지 여부와 그 방법에 관해 위협 모델링 전문가들과 계속 협력할 것이다.
Radiological and nuclear risks have also been identified as other potential sources of risk arising from Frontier AI. However, materials access is a strong bottleneck to nuclear risk, rather than access to expert-level information that could be provided by an AI model. The areas of nuclear and radiological risk from AI are nascent, and we will continue to engage with threat modeling experts regarding whether and how to conduct evaluations of nuclear and radiological risk.
물리적 자율성
Physical Autonomy
물리적 자율성은 프론티어 AI로 인해 발생하는 또 다른 초기 단계의 결과로 부상하였다. 예를 들어, AI는 드론 군집이나 분산형 로봇 시스템과 같이 다수의 물리적 에이전트가 관여하는 대규모 작전을 인간 운용자보다 상당히 높은 속도, 정확도 또는 비용 효율성으로 자율적으로 계획하고 조율할 수 있다. 더욱이 수처리 시설, 전력망 또는 체화된 로봇 시스템과 같은 물리적 기반시설을 운용하는 AI는 자율적인 악의적 행동을 통해서든, 적대적 공격을 통한 악용을 통해서든 피해를 초래할 수 있다. 이 위험 분야는 아직 초기 단계에 있지만, 우리는 예시 결과, 위협 시나리오 및 관련 실현 역량(enabling capabilities)을 제시한다.
Physical autonomy has emerged as another nascent outcome arising from Frontier AI. For example, AI could autonomously plan and coordinate large-scale operations involving multiple physical agents, such as drone swarms or distributed robotic systems, at significantly higher speed, accuracy, or cost-effectiveness than human operators. Moreover, AI which operates physical infrastructure, such as water treatment facilities, power grids, or embodied robotic systems, could cause harm either through autonomous malicious behavior or through exploitation via adversarial attack. While this risk area is nascent, we provide a sample outcome, threat scenario, and associated enabling capabilities.
| 예시 결과 | 예시 위협 시나리오(TS) | 예시 실현 역량 |
|---|---|---|
| 물리적 자율성 1: 물리적 시스템의 운용으로 인한 대규모 사망, 신체 상해 또는 재산 손해. | TS 1.1: 물리적 기계(예: 상업용 드론 군집)를 자동화하여 인간 운용자보다 상당히 더 쉽게 사람을 다치게 하거나 살해하거나, 물리적 기반시설을 파괴함. | 처음에는 인간의 지시를 받지만 의미 있는 인간 감독, 개입 또는 감시 없이 물리적 장치를 자율적으로 제어하고 이를 악의적 목적을 향해 성공적으로 운용하는 능력. |
| Sample Outcome | Sample Threat Scenario (TS) | Example Enabling Capabilities |
|---|---|---|
| Physical Autonomy 1: Large scale death, physical injury, or property damage resulting from the operation of physical systems. | TS 1.1: Automate physical machinery (e.g., swarms of commercial drones) to injure or kill people, or destroy physical infrastructure, significantly more easily than human operators. | Ability to autonomously control physical devices and successfully direct them towards malicious purposes when initially directed by a human but with no meaningful human oversight, intervention, or supervision. |
이 위험 범주가 초기 단계에 있음을 고려하여, 향후 우리는 먼저 물리적 운용 역량에 기반한 배제 임계값(rule-out threshold)을 정의할 수 있다. 예를 들어, 모델이 단순한 모의 물리 환경에서 단순하거나 중간 정도로 복잡한 목표(예: "길 아래쪽에서 출발하여 집 안의 특정 가구 위에 착륙하도록 드론을 비행시키기")를 달성하지 못하거나 이를 달성하는 소프트웨어를 작성하지 못한다면, 우리는 해당 모델이 실제 세계에서도 그렇게 할 수 있을 가능성을 배제할 수 있다. 우리는 공개적으로 이용 가능한 소프트웨어 스캐폴딩을 사용할 수 있으며, 비공개의 매우 효과적인 스캐폴딩에 접근할 수 있는 행위자는 특화된 모델을 만들고 수동 운용을 수행할 자원을 보유하고 있을 가능성이 높다고 가정할 수 있다. 모델의 사용이 스캐폴딩 소프트웨어의 위협 시나리오 수행 능력에 실질적으로 기여하지 않는 경우, 우리는 해당 스캐폴딩 소프트웨어를 고려하지 않을 것이다.
Considering the nascence of this risk category, in the future we may first define a rule-out threshold based on physical operation capabilities. For example, if the model is unable to accomplish or write software to accomplish simple or moderately complex goals (e.g., "fly a drone to land on a specific piece of furniture in the house, starting from down the street") in a simple simulated physical environment, we may rule out that it can do so in the real world. We could use publicly-available software scaffolding and assume that actors with access to nonpublic, highly effective scaffolding likely have the resources to create specialized models and conduct manual operations. We would not consider scaffolding software where the use of the model would not substantially contribute to the scaffolding software's ability to carry out the threat scenario.
모델이 모의 물리 환경에서 중간 정도로 복잡한 목표를 달성할 수 있다면, 우리는 이 역량에 대한 또 다른 배제 수단으로서 통제된 실제 환경에서도 그렇게 할 수 있는지 추가로 조사하는 것을 고려할 수 있다. 위험을 완화하기 위한 잠재적 경로로는 물리적 시스템, 로봇 플랫폼 또는 기타 핵심 기반시설을 조율하거나 제어하려는 시도를 시사하는 질의를 포함하여 잠재적 무기화를 식별하기 위한 모니터링을 통합하는 방안이 있다.
If a model is capable of accomplishing moderately complex goals in simulated physical environments, we could consider further investigating whether it can do so in a controlled real-world environment as another rule-out for this capability. To mitigate risk, a potential pathway would be to integrate monitoring to identify potential weaponization, including queries which suggest attempts to coordinate or control physical systems, robotic platforms, or other critical infrastructure.
통제 상실
Loss of Control
3.4절에서 언급한 바와 같이, 통제 상실은 위협 모델링이 아직 초기 단계에 있으며 보다 엄격한 평가(assessment)를 가능하게 하기 위해 추가 연구가 필요한 위험 영역이다. 우리는 통제 상실 경로의 진행을 달리 방지했을 통제 메커니즘의 실패를 초래할 수 있는 위협 시나리오를 계속 탐구하고 개발하고 있다. 3.4.3절에서 결과로 식별된 통제 메커니즘 외에도, 우리는 인간 감독 역량 및 AI 격리(containment) 조치에 대한 위협을 탐구하고 있다. 이 위험 영역에서 위협 모델링을 발전시키기 위해, 다음은 이러한 기타 통제 메커니즘의 실패를 초래할 수 있는 예시적인 잠재적 위협 시나리오를 개괄한다.
As noted in Section 3.4, Loss of Control is a risk domain where threat modeling remains nascent and in need of further research to enable more rigorous assessment. We are continuing to explore and develop threat scenarios which may enable the failure of control mechanisms that would otherwise prevent the progression of Loss of Control pathways. Beyond the control mechanisms identified as outcomes in Section 3.4.3, we are exploring threats to human oversight capacity and AI containment measures. In the interests of advancing threat modeling in this risk domain, the following outlines illustrative potential threat scenarios which could enable the failure of these other control mechanisms.
인간 감독 역량의 상실. 다음을 포함한 메커니즘의 결과로 인간 운용자가 AI의 결정을 효과적으로 이해하거나, 검토하거나, 무효화할 수 없게 된다:
Loss of human oversight capacity. Human operators cannot effectively understand, review, or override AI decisions as a result of mechanisms including:
AI 시스템의 역량이 향상됨에 따라 AI가 조직 운영에 깊이 통합됨;
AI becomes deeply integrated into organizational operations as these systems' capabilities improve;
AI의 출력이 인간의 감독 역량을 초과하여 인간이 감독을 포기함. 여기에는 감독 기능을 장기간 AI에 의존한 결과 기술이 위축되는 경우가 포함됨;
humans ceding oversight due to AI's outputs exceeding human supervisory capacity, including as a result of long-term dependency of AI for supervisory functions leading to skill atrophy;
이러한 잠식은 점진적으로 일어날 수 있으며, 사회 전반과 고보증(높은 수준의 보증) 환경에서 AI에 대한 의존이 증가함에 따라 이러한 시스템이 오작동할 때 효과적인 인간 개입이 의도치 않게 불가능해질 수 있다.
This erosion can be gradual whereby, as reliance on AI increases throughout society and high-assurance settings, effective human intervention may inadvertently become infeasible when these systems malfunction.
AI를 격리하는 능력의 상실. AI가 다음을 포함한 메커니즘을 통해 조직의 통제 경계를 우회한다:
Loss of ability to contain AI. AI bypasses organizational control boundaries through mechanisms including:
보안 취약점을 악용한 가중치 유출(예: 평가 또는 배포 중의 자기 유출);
weight exfiltration by exploiting security vulnerabilities (e.g., self-exfiltration during evaluation or deployment);
자신의 목표를 보다 효과적으로 달성하기 위한 도구적 수단으로서 자원(예: 연산, 재정 또는 기타 자원)을 자율적으로 획득함. 여기에는 자율 복제(autonomous replication)를 통한 획득이 포함됨.
autonomous acquisition of resources (e.g., computational, financial, or otherwise) as an instrumental means to accomplish their objectives more effectively, including through autonomous replication.
격리의 상실은 시스템의 작동 방식을 수정하거나 심지어 시스템을 종료하는 것을 포함하여, 사람들이 감독을 유지하고 필요할 때 개입하는 능력을 근본적으로 약화시킨다. 우리의 통제 상실 3 결과가 이러한 가능성에 대한 일부 전제 조건을 포착하고 있지만, 이는 모델 가중치 보안을 포함하여 여전히 추가 연구와 시정 기준이 필요한 분야이다.
Loss of containment fundamentally undermines the ability of people to maintain oversight and intervene when necessary, including by modifying how systems operate or even shutting them down. While our Loss of Control 3 outcome captures some preconditions for this possibility, it is an area that still requires further research and remediation standards, including around model weight security.
우리는 이러한 위협 시나리오를 평가(assessment)하기 위해서는 Meta 내부에 배포된 프론티어 AI의 배포 사용 패턴을 분석하기 위한 모니터링 시스템의 활용을 포함하여, 새로운 유형의 평가(evaluation) 및 모니터링 시스템이 필요할 것으로 예상한다.
We expect that assessing these threat scenarios will require new types of evaluation and monitoring systems, including the use of monitoring systems to analyze deployment usage patterns of internally deployed Frontier AI at Meta.
4.3 편익 평가(assessment)
4.3 Benefits Assessment
본 프레임워크의 초점은 프론티어 AI로 인한 파국적 위험을 예측하고 완화하기 위한 우리의 노력에 있지만, 애초에 첨단 AI 시스템을 개발하는 이유는 그러한 기술이 사회에 가져다줄 수 있는 편익의 잠재력 때문이라는 점을 강조하는 것이 중요하다. 위험을 정량화하는 것과 마찬가지로, AI의 편익을 정량화하는 것도 여러 이유로 불완전한 과학이다. 첫째, 위험과 편익은 모두 점진적으로, 그리고 흔히 서로 다른 시간 범위에 걸쳐 나타나므로 기술의 전반적인 영향은 시간이 지남에 따라 변할 수 있다. 둘째, 많은 영향은 정량적으로 측정하기 어렵다. 예를 들어, 첨단 AI 모델에 대한 접근은 다양한 분야에서 과학 연구를 발전시키는 데 분명한 편익이 있지만, 그러한 연구의 가치를 정량화하는 것은 극히 어려우며, 다른 발견이나 변수 또한 해당 연구의 규모와 영향에 영향을 미칠 수 있다.
While the focus of this Framework is on our efforts to anticipate and mitigate catastrophic risks from Frontier AI, it is important to emphasize that the reason to develop advanced AI systems in the first place is because of the potential for benefits to society from those technologies. Like quantifying risk, quantifying the benefits of AI is an imperfect science for several reasons. Firstly, both risks and benefits emerge gradually, and often on different time horizons, so the overall impact of a technology may shift over time. Secondly, many impacts are difficult to measure quantitatively. For example, access to advanced AI models has clear benefits for advancing scientific research in different fields, but quantifying the value of that research is extremely difficult, and other discoveries or variables can also influence the scale and impact of that research.
수익 창출에 대한 달러 가치나 생산성 증가율을 부여하는 것이 가능할 수 있는 유형의 결과에 대해서조차, 이러한 경제적 편익이 사회에 얼마나 중요한지에 관해서는 흔히 주관적 판단의 요소가 개입된다.
Even for tangible outcomes, where it might be possible to assign a dollar value in revenue generation, or percentage increase in productivity, there is often an element of subjective judgement about the extent to which these economic benefits are important to society.
주관성을 제거하는 것은 불가능하지만, 우리는 우리가 개발하는 기술의 편익을 고려하는 것이 중요하다고 믿는다. 이는 우리가 그러한 편익을 우리 커뮤니티에 제공한다는 목표를 달성하고 있는지 확인하는 데 도움이 된다. 또한 이는 우리가 식별한 중대한 위험을 적절히 완화하면서도 애초에 제공하고자 했던 편익을 없애지 않는 접근 방식에 집중하도록 우리를 이끈다.
While it is impossible to eliminate subjectivity, we believe that it is important to consider the benefits of the technology we develop. This helps us ensure that we are meeting our goal of delivering those benefits to our community. It also drives us to focus on approaches that adequately mitigate any significant risks that we identify without also eliminating the benefits we hoped to deliver in the first place.
즉, 우리는 첨단 AI를 어떻게 개발하고 배포할지에 관한 결정을 내릴 때 편익과 위험을 모두 고려함으로써, 해당 기술이 사회에 가져다주는 편익을 보존하는 동시에 적절한 수준의 위험을 유지하는 방식으로 그 기술을 사회에 제공할 수 있다고 믿는다.
That is, we believe that by considering both benefits and risks in making decisions about how to develop and deploy advanced AI, it is possible to deliver that technology to society in a way that preserves the benefits of that technology to society while also maintaining an appropriate level of risk.
섹션 5: 향후 과제
Section 5: Future Work
5.1 프레임워크 업데이트
5.1 Updates to Our Framework
서론에서 밝힌 바와 같이, 우리는 기술의 발전과 그 위험 및 편익을 관리하는 방법에 대한 우리의 이해 발전을 모두 반영하기 위해 Meta Superintelligence Scaling Framework를 업데이트할 것으로 예상한다. 이를 위해서는 배포된 맥락에서 모델을 관찰하고 AI 생태계가 어떻게 진화하는지 모니터링해야 한다. 이러한 관찰은 배포된 모델에 대한 우리의 완화 조치가 적절한지, 그리고 우리 프레임워크가 효과적인지를 평가(assessment)하는 작업에 반영된다. 우리는 이러한 관찰을 바탕으로 프레임워크를 업데이트할 것이며, 프레임워크의 적절성 또는 우리의 프레임워크 준수가 실질적으로 훼손되었다고 믿을 만한 합리적 근거가 있을 때, 또는 최소한 12개월마다, 둘 중 더 이른 시점에 업데이트를 실시할 것이다. 프레임워크 업데이트는 현재 및 향후 12개월간의 모델 개발, 배포 및 사용 관행에 비추어 본 프레임워크의 적절성과 프레임워크 준수 여부를 모두 다룰 것이다. 프레임워크 평가(assessment) 후, 우리는 프레임워크를 업데이트하고, 정렬 및 위험 담당 디렉터(Director of Alignment and Risk)와 최고AI책임자(Chief AI Officer)의 확인을 받은 뒤, 업데이트된 버전을 공개할 것이다.
As outlined in the introduction, we expect to update our Meta Superintelligence Scaling Framework to reflect developments in both the technology and our understanding of how to manage its risks and benefits. To do so, it is necessary to observe models in their deployed context and to monitor how the AI ecosystem is evolving. These observations feed into the work of assessing the adequacy of our mitigations for deployed models, and the efficacy of our Framework. We will update our Framework based on these observations and will do so when we have reasonable grounds to believe either its adequacy or our adherence to it has been materially undermined, or at least every twelve months, whichever is sooner. Framework updates will cover both the Framework's adequacy - in light of model development, deployment, and usage practices currently and for the next 12 months - and adherence to it. After a Framework assessment, we will update our Framework, have it confirmed by our Director of Alignment and Risk and Chief AI Officer, and publish the updated version.
우리는 동종 기업 및 학계, 정책 입안자, 시민사회 조직, 정부를 아우르는 더 넓은 AI 커뮤니티와의 교류 등을 통해 프론티어 AI의 역량과 평가(evaluation)에 관한 최신 기술 발전을 추적한다. 우리는 국가 행위자와 관련된 사항을 포함하여 프론티어 AI로 인한 잠재적 파국적 위험을 측정하고 완화하는 방법에 대한 우리의 공동 이해가 발전함에 따라 프레임워크를 업데이트할 것으로 예상한다. 여기에는 파국적 결과 또는 위협 시나리오를 추가, 삭제 또는 업데이트하거나, 평가(evaluation)를 위해 모델을 준비하는 방식을 변경하는 것이 포함될 수 있다. 우리는 개정된 프레임워크에 따라 특정 모델을 재평가하기로 결정할 수 있다. 프레임워크를 업데이트할 때, 우리는 본 프레임워크에 첨부된 변경 이력에 기록된 바와 같이 수정의 정당화 근거를 포함한 업데이트를 적시에 공개할 것이다.
We track the latest technical developments in Frontier AI capabilities and evaluation, including through engagement with peer companies and the wider AI community of academics, policymakers, civil society organizations, and governments. We expect to update our Framework as our collective understanding of how to measure and mitigate potential catastrophic risk from Frontier AI develops, including related to state actors. This might involve adding, removing, or updating catastrophic outcomes or threat scenarios, or changing the ways in which we prepare models to be evaluated. We may choose to reevaluate certain models in line with our revised Framework. When we update our Framework, we will publish a timely update that includes a justification for the modification, as recorded in the change log appended to this Framework.
5.2 중점 연구 분야
5.2 Research Areas of Focus
앞서 논의한 바와 같이, 우리는 프론티어 AI 모델 개발에서 위험을 효과적으로 측정하고 관리하는 방법에 관하여 Meta 내부와 더 넓은 생태계에서 더 많은 연구가 이루어져야 한다는 점을 인식하고 있다. 추가 연구에 더하여, 우리는 4.2.4절에서 특정 위험 영역을 강조한다. 우리는 다음에 대한 작업을 지속할 것이다: (1) 평가(evaluation)의 품질과 신뢰성 향상; (2) 추가적이고 견고한 완화 기법 개발; (3) 모델의 배포 후 모니터링을 수행하기 위한 보다 고도화된 방법.
As discussed above, we recognize that more research should be done within Meta and in the broader ecosystem around how to measure and manage risk effectively in the development of Frontier AI models. In addition to the further research, we highlight specific risk domains inSection 4.2.4. We'll continue to work on: (1) improving the quality and reliability of evaluations; (2) developing additional, robust mitigation techniques; and (3) more advanced methods for performing post-deployment monitoring of models.
부록 I - 용어
Appendix I - Terminology
우리는 본 프레임워크를 읽을 때 이해를 돕기 위해 다음 정의를 포함한다. 다만, 이러한 용어와 개념 중 일부를 어떻게 정의할지에 관해서는 업계 및 규제 프레임워크 내에서 합의가 부족하다는 점에 유의한다. 따라서 우리는 향후 더 큰 합의가 형성되는 것을 반영하기 위해 이러한 정의를 재검토하고 업데이트할 수 있다.
We include these definitions to aid understanding when reading our Framework. However, we note that there is a lack of consensus among industry and within regulatory frameworks as to how to define some of these terms and concepts. As a result, we may revisit and potentially update these to take account of greater consensus in the future.
본 프레임워크에서 프론티어 AI란 우리가 배포를 목적으로 개발 중인 새로운 또는 실질적으로 수정된 고역량 범용 생성형 AI 모델을 의미한다. 우리는 모델이 "프론티어"로 간주되는지 판단하기 위해 다음 기준을 사용한다:
Frontier AI in our Framework refers to a new or substantially modified highly capable general-purpose generative AI model that we are developing for deployment. We use the following criteria to determine whether a model is considered "Frontier":
파국적 위험 영역에서의 높은 역량: 해당 모델이 본 프레임워크에서 제시하는 파국적 위험 영역(예: 화학 및 생물학, 사이버 보안, 통제 상실) 중 어느 하나에서 우리의 기존 모델 또는 최첨단 모델보다 더 높은 역량을 가질 가능성이 합리적으로 높거나, 완화되지 않을 경우 파국적 위협 시나리오에 실질적으로 기여할 수 있다고 우리가 이전에 판단한 모델과 동등하거나 그보다 더 발전했을 가능성이 합리적으로 높은 경우; 또는
High Capabilities in Catastrophic Risk Areas : The model is reasonably likely to be more capable in any of the catastrophic risk domains we set out in this Framework (e.g., Chemical & Biological, Cybersecurity, or Loss of Control) than our existing models or the most advanced models, or is reasonably likely to be equally or more advanced than a model we have previously determined could substantially contribute to a catastrophic threat scenario if left unmitigated; or
연산 임계값: 최소 10²⁶회의 정수 또는 부동소수점 연산을 사용하여 모델을 훈련한 경우(미세조정, 강화학습 훈련 및 기타 훈련 단계를 통한 모델의 실질적 수정을 포함함), 또는 발전하는 표준이나 업계 모범 사례에 의해 정의될 수 있는 기타 임계값.
Compute Threshold : We trained the model using at least 10²⁶ integer or floating point operations (to include material modifications to the model through fine-tuning, reinforcement learning training, and other training steps), or another threshold as may be defined by evolving standards or industry best practices.
파국적 결과란 향후 프론티어 AI에 대한 접근의 직접적인 결과로 실현될 개연성이 있는, 인류에게 대규모의, 참혹하며, 잠재적으로 돌이킬 수 없는 유해한 영향을 미칠 결과를 말한다.
Catastrophic outcomes are outcomes that would have large scale, devastating, and potentially irreversible harmful impacts on humanity that could plausibly be realized as a direct result of access to Frontier AI in the future.
위협 모델링이란 프론티어 AI가 특정 결과(이 경우에는 파국적 결과)에 어떻게 기여할 수 있는지를 식별하는 구조화된 프로세스이다. 이 프로세스는 파국적 결과를 실현하는 잠재적 인과 경로를 식별한다.
Threat modeling is a structured process of identifying how Frontier AI could contribute to specific - and in this instance catastrophic - outcomes. This process identifies the potential causal pathways for realizing the catastrophic outcome.
위협 시나리오는 파국적 결과를 초래하기에 충분할 수 있는 실제 사건을 기술하며, 여기에는 (해당되는 경우) 실현 역량(enabling capabilities), 배포 맥락, 위협 행위자가 포함된다.
Threat scenarios describe the real-world events - including enabling capabilities, deployment context, and threat actors (as relevant) - that may be sufficient to produce a catastrophic outcome.
실현 역량(enabling capabilities)이란 위협 시나리오의 실현을 가능하게 하는 데 필수적인 것으로 식별된 일련의 역량이다.
Enabling capabilities are a set of capabilities that are identified as essential to enabling the realization of a threat scenario.
실질적 기여(substantially contributing)란 모델이 특정 결과에서 중대한 요인임을 의미한다.
Substantially contributing means that the model is a material factor in a given outcome.
고유한 실현(uniquely enabling)이란 모델이 특정 결과에서 필수적인 통제 요인인 경우를 기술한다.
Uniquely enabling describes a model that is an essential controlling factor in a given outcome.
위험 영역은 일련의 파국적 결과가 속하는 주제별 분류를 기술하는 데 사용된다.
Risk domain is used to describe the thematic grouping that a set of catastrophic outcomes belong to.
위험 임계값이란 프론티어 AI 모델이 파국적 결과의 실현에 대해 제기할 수 있는 위험의 단계적 수준이다.
Risk thresholds are the incremental levels of risk that a Frontier AI model might pose towards realization of a catastrophic outcome.
잔여 위험이란 완화 조치가 시행된 후 프론티어 AI 모델이 제기하는 위험의 수준을 기술한다.
Residual risk describes the level of risk that a Frontier AI model presents after mitigations have been implemented.
개발이란 배포 또는 공개 이전에 프론티어 AI 모델을 훈련, 미세조정 및 평가하는 프로세스를 의미한다.
Development refers to the process of training, fine-tuning, and evaluating Frontier AI models before deployment or release.
배포란 우리가 모델을 배포, 공개하거나 모델에 대한 접근을 제공하기로 선택할 수 있는 다양한 방식을 의미한다. 본 프레임워크에 기술된 모든 조치나 요구사항이 모든 배포 유형에 적용되는 것은 아니다. 예를 들어, 통제된 배포에 대한 구체적 요구사항은 관련된 곳에서 명시된다. 배포에는 다음이 포함될 수 있다:
Deployment refers to the different ways in which we may choose to deploy, release, or give access to our models. Not all actions or requirements described in the Framework apply to every deployment type. For example, specific requirements for controlled deployments are called out where relevant. Deployment may include:
내부 배포: Meta 직원만 이용할 수 있는 모델.
Internal deployment: models that are exclusively available to Meta personnel.
제한적 배포: 최종 버전을 심사를 거친 신뢰할 수 있는 제한된 외부 당사자들에게 외부적으로 공개함.
Limited deployment: releasing a final version externally to a limited set of vetted and trustworthy external parties.
통제된 배포: 광범위한 이용 가능성에 앞서 일정 비율로 제한된 소수의 제품 사용자에게 배포함.
Controlled deployment : deploying to a small percentage-limited set of product users prior to broad availability.
폐쇄형 공개: Meta 제품에서 광범위하게 공개되지만, 외부 파트너가 오픈 웨이트로 직접 이용할 수는 없는 모델.
Closed release: models that are released widely in Meta products, but are not directly available to external partners with open weights.
개방형 공개: 사전 훈련 버전 및/또는 미세조정 버전으로서 개방형 연구 및/또는 개발을 위해 가중치를 외부에 공개함.
Open release : releasing weights externally for open research and/or development as pre-trained and/or fine-tuned versions.
평가(evaluation)란 역량과 성능을 이해하기 위해 우리가 수행하는 평가(assessment)를 의미한다. 우리는 이 용어를 역량을 평가하는 자동화된 평가(evaluation) 및 인간 평가(evaluation)뿐만 아니라, 레드티밍과 업리프트 연구처럼 오용 가능성을 평가하는 평가(evaluation)를 기술하는 데 사용한다.
Evaluation(s) refers to the assessments we do to understand capabilities and performance. We use this term to describe automated and human evaluations that assess capabilities, as well as evaluations to assess potential for misuse, such as red teaming and uplift studies.
업리프트 연구란 교과서, 인터넷, 기존 AI 모델 등 기존 자원에만 접근할 수 있는 통제 집단과 비교하여, 프론티어 AI에 대한 접근이 개인 또는 집단의 특정 과업이나 시나리오 수행 능력을 어느 정도 증가시키는지를 평가하는 실험이다.
Uplift studies are experiments that assess the extent to which access to Frontier AI increases a person or group's ability to complete a particular task or scenario in comparison to a control group that only has access to existing resources, such as textbooks, the internet, and existing AI models.
부록 II - 변경 이력
Appendix II - Change Log
2025년 2월 3일 (Frontier AI Framework)
February 3, 2025 (Frontier AI Framework)
최초 버전.
Initial version.
2026년 4월 7일 (Advanced AI Scaling Framework v2.0)
April 7, 2026 (Advanced AI Scaling Framework v2.0)
명칭을 "Frontier AI Framework"에서 "Advanced AI Scaling Framework"로 변경함. 주요 변경 사항:
Renamed from "Frontier AI Framework" to "Advanced AI Scaling Framework". Key changes:
위험 임계값 문구를 업데이트함. 모델이 높은 위험 임계값 또는 치명적 위험 임계값을 충족하는지 평가(assessment)하는 주요 기준으로서 "고유하게 실현함(uniquely enable)"을 "실질적으로 기여함(substantially contribute to)"으로 대체함.
Updated risk threshold language. Replaced "uniquely enable" with "substantially contribute to" as the primary standard for assessing whether a model meets the high or critical risk threshold.
임계값을 개정함. 치명적 임계값의 조치를 "중단"에서 "완화 조치를 적용하여 개발"로 변경함. 높은 임계값의 조치를 "공개하지 않음"에서 "완화 조치를 적용하여 배포"로 변경함. 보통 이하 임계값의 조치를 "공개"에서 "배포"로 변경함. 이제 모든 임계값에서 위험을 보통 이하로 낮추는 것으로 검증된 충분한 완화 조치를 갖추고 해당 임계값에 상응하는 보안 프로세스를 개시한 경우 진행을 허용함.
Revised thresholds . Critical threshold changed from "Stop" to "Develop with Mitigations." High threshold measure changed from "Do not release" to "Deploy with mitigations." Moderate or lower threshold measure changed from "Release" to "Deploy." All thresholds now permit proceeding with sufficient mitigations validated to reduce risk to moderate or lower, with security processes commensurate with the threshold initiated.
핵·방사능 및 물리적 자율성 분야의 새로운 신흥 위험 영역에 더해, 통제 상실을 위험 영역으로 추가함.
Added Loss of Control as a risk domain , in addition to new emerging risk areas in nuclear & radiological and physical autonomy.
거버넌스와 책임성을 확대함. 최고AI책임자(Chief AI Officer)와 정렬 및 위험 담당 이사(Director of Alignment and Risk)를 책임 있는 의사결정자로 지정하고, 내부고발 및 규정 미준수 신고 프로토콜과 보복 방지 보호 장치를 마련함. 사고 대응 조항을 추가함.
Expanded governance and accountability . Named the Chief AI Officer and Director of Alignment and Risk as responsible decision-makers, with whistleblower and non-compliance reporting protocols and retaliation protections. Added incident response provisions.
투명성 요건을 추가함. 내용 요건, 업데이트 계기, 내부 사용 위험 보고를 포함하여 대비태세 보고서(preparedness report) 발간 기준을 정의함. 모델 사양(model spec)을 발간하고, 대비태세 보고서에 모델 사양 준수 여부에 대한 평가(evaluation)를 포함하겠다는 약속을 추가함.
Added transparency requirements . Defined criteria for publishing preparedness reports, including content requirements, update triggers, and internal-use risk reporting. Added commitment to publish a model spec, and evaluations for adherence to the model spec in preparedness reports.
프론티어 AI 정의를 업데이트함. "최첨단 모델에 존재하는 역량을 초과하는" 모델이라는 정의를 프론티어 지위를 판단하는 두 가지 기준으로 개정함: (1) 파국적 위험 분야에서의 높은 역량. 이는 프레임워크 위험 영역에서의 비교 역량 또는 파국적 위협 시나리오에 실질적으로 기여한다고 이전에 판단된 모델과의 동등성에 근거함; 또는 (2) 최소 10²⁶회의 정수 또는 부동소수점 연산이라는 연산 임계값.
Updated Frontier AI definition . Revised the definition from models "that exceed the capabilities present in the most advanced models" to two criteria for determining Frontier status: (1) High Capabilities in Catastrophic Risk Areas, based on comparative capability in Framework risk domains or equivalence to a model previously determined to substantially contribute to a catastrophic threat scenario; or (2) a Compute Threshold of at least 10²⁶ integer or floating point operations.
2026년 10월 2일 (Meta v2.1)
October 2, 2026 (Meta v2.1)
명칭을 "Advanced AI Scaling Framework"에서 'Meta Superintelligence Scaling Framework'로 변경함.
Renamed from "Advanced AI Scaling Framework" to 'Meta Superintelligence Scaling Framework.'
오픈 웨이트: 오픈 웨이트 배포의 이점과 위험에 관한 논의를 추가함.
Open Weights : Added additional discussion of the benefits and risks of open weight deployments.
통제 상실: 새로운 파국적 결과 범주(통제 상실 3)에서 훈련 및 평가 중 모델 격리(containment) 실패를 완화하기 위한 요건과, 인간에 의한 모델 개발 통제를 유지하기 위해 우리가 전반적으로 고려하고 있는 사항을 추가함.
Loss of Control : Added requirements for mitigating model containment failures in training and evaluation, in a new catastrophic outcome category ( Loss of Control 3 ), and considerations we're taking overall to maintain control of model development by humans.
용어: 전반에 걸쳐 용어를 업데이트함.
Terminology : updated terminology throughout.
각주
Notes
1특정 유형의 파국적 위험의 경우, 이는 적절한 평가(assessment)를 가능하게 하는 구체적 지식과 전문성을 갖춘 정부 관계자와의 협력을 필연적으로 포함한다. ↩
1For certain types of catastrophic risk, this will necessarily include working with government officials, who have the specific knowledge and expertise to enable proper assessment. ↩
3우리는 위협 모델링에서 가능한 한 체계적이고 엄밀하고자 한다. 그러나 우리가 모든 잠재적 위협 시나리오를 예상했다고 주장할 수 없다는 점을 인정하는 것이 중요하다. '미지의 미지(unknown unknowns)'의 가능성은 항상 존재한다. 우리는 최선을 다해 파국적 위험을 예상하고 완화한다. ↩
3We aim to be as methodical and rigorous as possible in our threat modeling. However, it is important to acknowledge that we cannot claim to have anticipated all potential threat scenarios. There is always a potential for 'unknown unknowns'. We anticipate and mitigate catastrophic risks to the best of our ability. ↩
4통제 상실 시나리오가 초래할 수 있는 파국적 피해와 관련하여 많은 불확실성과 변수가 있지만, 우리는 AI 시스템이 의도된 대로 작동하지 않게 되는 결과로 파국적 피해가 결국 현실화될 것이라고 가정한다. 현 시점에서 우리는 그러한 시나리오에서 AI 시스템이 항상 의도된 대로 작동할 것이라고 가정하는 것이 현실적이라고 보지 않는다. ↩
4Although there are many uncertainties and variables when it comes to the catastrophic harms which Loss of Control scenarios may enable, we assume that catastrophic harm would eventually materialize as a result of an AI system ceasing to perform as intended. At this stage in time, we do not consider it realistic to assume that, in such a scenario, an AI system would always perform as intended. ↩
5현 단계에서 우리는 AI 발전이 과거 속도 대비 실질적으로 가속화되고 있는지를 판단하는 합리적인 방법이, 여러 핵심 역량 영역(예: 수학적 추론, 과학 지식, 멀티모달 추론, 에이전트형 과업 완수)에 걸쳐 다음 조건이 충족되는 경우라고 본다: (a) 모델이 각 영역에서 벤치마크 공개 후 6개월 이내에 해당 벤치마크를 포화시키고; (b) 이러한 가속 패턴이 18개월 기간 내에 해당 영역에서 공개된 최신 벤치마크 중 최소 두 개에 대해 일관되게 관찰되는 경우. ↩
5At this stage, we consider that a reasonable means of determining whether AI progress is substantially accelerating from historical rates would be where - across multiple key capabilities domains - (e.g., mathematical reasoning, scientific knowledge, multimodal reasoning, agentic task completion): (a) the model saturates benchmarks in each domain six months or less after public release of a benchmark; and (b) this acceleration pattern is observed consistently for at least two of the latest benchmarks released in that domain within an 18-month period. ↩