송경호KYUNGHO DAVID SONG

TRANSLATION · 자동번역

Microsoft 프론티어 거버넌스 프레임워크

Frontier Governance Framework (Microsoft)

Frontier Governance Framework (Microsoft) 원문 표지
원문 첫 쪽 (Microsoft, 2026.2)
원문 보기 (Microsoft PDF) (새 창)2026년 2월 공개본 전문 (15쪽, 표지·목차 제외)

1. 프론티어 위험에 대한 증거 기반 관리

1. Evidence-based management of frontier risk

Microsoft의 Frontier Governance Framework는 AI 모델의 역량이 향상됨에 따라 나타날 수 있는 국가안보 위험과 대규모 공공 안전 위험을 관리한다. 이 프레임워크는 2024년 5월 Microsoft와 다른 15개 AI 랩이 전 세계 정부들의 지원 아래 체결한 자발적 프론티어 AI 안전 약속(Frontier AI Safety Commitments)에서 비롯되었다.

Microsoft's Frontier Governance Framework manages potential national security and at-scale public safety risks that could emerge as AI models increase in capability. The framework has its genesis in the voluntary Frontier AI Safety Commitments that Microsoft and fifteen other AI labs made in May 2024 with the support of governments from around the world.

이 프레임워크는 국가안보를 위협하거나 대규모 공공 안전 위험을 초래하는 데 오용될 수 있는 새롭고 첨단적인 AI 모델 역량의 출현을 추적하는 모니터링 기능을 수행한다. 또한 AI 모델이 안전하고 신뢰할 수 있는 방식으로 배포될 수 있도록 이러한 위험을 평가하고 완화하는 절차를 제시한다. Microsoft는 이 프레임워크를 수립하면서 다음과 같은 특성을 갖춘 증거 기반 프론티어 위험 관리 접근법을 추진하고자 하였다.

The framework serves as a monitoring function, tracking the emergence of new and advanced AI model capabilities that could be misused to threaten national security or pose at-scale public safety risks. It also sets out a process for assessing and mitigating these risks so that AI models can be deployed in a secure and trustworthy way. In crafting Microsoft's framework, we have sought to advance an evidence-based approach to managing frontier risk that is:

Microsoft의 광범위한 AI 거버넌스 프로그램과의 통합. AI 위험을 효과적으로 관리하려면 포괄적인 접근법이 필요하다. 프론티어 위험에 선제적으로 대응하기 위한 모델 수준의 평가(assessment)와 개입은 필요하지만, 그것만으로는 충분하지 않다. 이 프레임워크는 Microsoft의 광범위한 AI 거버넌스 프로그램과 통합되어 있으며, 해당 프로그램은 Microsoft가 개발하고 배포하는 모든 AI 모델과 시스템에 적용되는 포괄적인 위험 관리 프로그램을 규정한다.

Integrated with Microsoft's broader AI governance program. Effective management of AI risks requires a comprehensive approach. While model-level assessments and interventions to stay ahead of frontier risks are necessary, they alone are not sufficient. This framework is integrated with Microsoft's broader AI governance program, which sets out a comprehensive risk management program that applies to all AI models and systems developed and deployed by Microsoft.

고위험 역량에 대한 집중. 이 프레임워크는 고영향 모델 역량과 연관된 일련의 위험에 대해 최첨단 위험 관리 실행 방안을 운영화한다. Microsoft는 단기에서 중기에 걸쳐 나타날 수 있는 역량에 집중한다. 보다 장기적이거나 사변적인 역량은 Microsoft를 비롯하여 산업계와 학계의 많은 주체가 투자하고 있는 지속적인 연구의 대상이다. 이 프레임워크에 따른 평가(evaluation)와 완화는 역량 관련 위험을 대상으로 하며, 이는 보다 광범위한 위험을 관리하는 Microsoft의 광범위한 AI 거버넌스 프로그램을 보완한다. 해당 프로그램이 관리하는 위험에는 사용 사례와 배포 환경, 그리고 지역마다 다른 법률과 규범에 의해 크게 좌우되는, 보다 문화적 맥락에 의존적인 위험도 포함된다.

Focused on high-risk capabilities. The framework operationalizes state-of-the-art risk management practices for a set of risks that are connected to high-impact model capabilities. We are focused on capabilities that could emerge in the short-to-medium term. Longer-term or more speculative capabilities are the subject of ongoing research that we and many others across industry and academia are invested in. Evaluations and mitigations under the framework target capability-related risks, complementing Microsoft's broader AI governance program that manages a broader set of risks, including more culturally contextual risks that are heavily shaped by use case and deployment environments, as well as laws and norms that vary across regions.

목표 지향성과 비례성. 이 프레임워크는 Microsoft의 가장 역량이 높은 AI 모델을 대상으로 고위험 역량의 선행 지표를 모니터링하며, 선행 지표가 관찰되면 보다 심층적인 평가(assessment)를 개시한다. 위험이 식별되는 경우 위험이 적절한 수준으로 유지되도록 비례적인 완화 조치가 적용된다. 이러한 접근법은 Microsoft의 광범위한 AI 거버넌스 프로그램의 적용을 받는 역량이 낮은 모델에 요건을 부과하지 않으면서도, 관련 위험이 나타나기 전에 고역량(Highly capable) 모델이 식별될 것이라는 확신을 제공한다. 이 프레임워크는 풀스택 보안을 기반으로 구축되어 핵심 자산에 대한 포괄적인 보호를 강화한다.

Targeted and proportional. The framework monitors Microsoft's most capable AI models for leading indicators of high-risk capabilities and triggers deeper assessment if leading indicators are observed. As and when risks are identified, proportional mitigations are applied so that risks are kept at an appropriate level. This approach provides confidence that highly capable models are identified before relevant risks emerge, without imposing requirements on less capable models that are governed by Microsoft's broader AI governance program. The framework is built on a foundation of full-stack security, advancing comprehensive protections for key assets.

유연성과 지속성. 이 프레임워크는 AI 기술 역량의 지속적인 발전과 AI 위험 관리의 과학 및 실무의 진전을 반영하여 시간이 지남에 따라 상당 부분 개정될 것으로 예상된다. Microsoft는 유연성과 지속성을 염두에 두고 이 프레임워크를 수립하였으며, 모범 사례 수준의 평가(evaluation) 및 위험 관리 기법이 성숙함에 따라 이를 적용할 수 있는 절차를 제시하였다. Microsoft는 지속적인 발전을 촉진하기 위해 산업계, 정부, 시민사회 간의 추가적인 협력을 기대한다.

Flexible and durable. This is a framework that we expect will be revised significantly over time to reflect ongoing advances in the capabilities of AI technologies and in the science and practice of AI risk management. We have crafted it with an eye toward flexibility and durability, outlining processes to which best practice evaluations and risk management techniques can be applied as they mature. We look forward to further collaboration across industry, government, and civil society to spur continued progress.

2. 역량과 위험

2. Capabilities and risks

추적 대상 고위험 역량

Tracked high-risk capabilities

이 프레임워크는 단기에서 중기에 걸쳐 나타날 수 있으며 적절히 완화되지 않을 경우 국가안보를 위협하거나 대규모 공공 안전 위험을 초래할 수 있다고 판단되는 다음 역량을 추적한다. 이 목록을 작성하는 과정에서 내부 및 외부 전문가의 조언을 참고하였다.

This framework tracks the following capabilities that we believe could emerge over the short-to-medium term and threaten national security or pose at-scale public safety risks if not appropriately mitigated. In formulating this list, we have benefited from the advice of both internal and external experts.

화학·생물·방사능·핵(CBRN) 무기. 화학, 생물, 방사능 또는 핵무기를 개발하고 배치하려는 행위자에게 상당한 역량 업리프트를 제공하는 모델의 능력.

Chemical, biological, radiological, and nuclear (CBRN) weapons. A model's ability to provide significant capability uplift to an actor seeking to develop and deploy a chemical, biological, radiological, or nuclear weapon.

공격적 사이버 작전. 핵심 기반시설을 포함하여 고도로 파괴적이거나 교란적인 사이버 공격을 수행하려는 행위자에게 상당한 역량 업리프트를 제공하는 모델의 능력.

Offensive cyberoperations. A model's ability to provide significant capability uplift to an actor seeking to carry out highly disruptive or destructive cyberattacks, including on critical infrastructure.

고도 자율성. AI 연구개발을 포함하여 전문가 수준의 과업을 자율적으로 완수하는 모델의 능력.

Advanced autonomy. A model's ability to complete expert-level tasks autonomously, including AI research and development.

통제 상실. 적응적, 기망적(deceptive) 또는 자기강화적 메커니즘을 통해 효과적인 인간의 통제를 약화시켜, 배포되었을 때 모델을 더 이상 신뢰성 있게 지시, 수정 또는 중단할 수 없게 만드는 모델의 능력.

Loss of control. A model's ability to undermine effective human control through adaptive, deceptive, or self-reinforcing mechanisms such that, when deployed, a model can no longer be reliably directed, modified, or shut down.

유해한 조작. 인간의 행동이나 신념을 대규모로 전략적으로 왜곡하는 모델의 능력.

Harmful manipulation. A model's ability to strategically distort human behavior or beliefs at scale.

이 프레임워크는 Microsoft의 최첨단 AI 모델이 이러한 역량을 보유하고 있을 수 있다는 징후가 있는지, 그리고 보유하고 있다면 해당 역량이 국가안보 또는 공공 안전에 낮음, 중간, 높음, 치명적 수준 중 어느 수준의 위험을 초래하는지를 평가한다(자세한 내용은 부록 I 참조). 이 분류는 모델의 위험이 수용 가능한 수준으로 유지되도록 적절하고 비례적인 완화 조치를 적용하는 데 지침이 된다.

This framework assesses Microsoft's most advanced AI models for signs that they may have these capabilities and, if so, whether the capability poses a low, medium, high, or critical risk to national security or public safety (more detail in Appendix I). This classification then guides the application of appropriate and proportionate mitigations so that a model's risks remain at an acceptable level.

추적 대상 고위험 역량의 식별

Identifying tracked high-risk capabilities

AI 기술은 계속해서 빠르게 발전하고 있으며, 어떤 역량이 언제 나타날지에 대해서는 여전히 불확실성이 존재한다. Microsoft는 개방형 레드티밍, 연구, 미래 동향 탐색(horizon scanning), 외부 전문가와의 대화, 문헌 검토, 사고 모니터링을 통해 나타날 수 있는 다양한 잠재적 역량 관련 위험을 지속적으로 연구한다. 새로운 위험이 식별되면 해당 위험의 심각성과 발생 가능성에 대한 평가(assessment)를 수행한다. 이후 이 프레임워크를 통해 국가안보 및 대규모 공공 안전에 영향을 미치는 위험의 평가(assessment)와 완화를 운영화한다. 국가안보를 위협하거나 대규모 공공 안전 위험을 초래하지 않아 추적 대상 고위험 역량에 포함되지 않은 위험은 Microsoft의 광범위한 AI 거버넌스 및 위험 관리 프레임워크를 통해 다루어진다.

AI technology continues to develop rapidly, and there remains uncertainty over which capabilities may emerge and when. We continue to study a range of potential capability-related risks that could emerge through open-ended red teaming, research, horizon scanning, conversations with external experts, literature reviews, and incident monitoring. When new risks are identified, we conduct an assessment of the severity and likelihood of these risks. We then operationalize the assessment and mitigation of national security and at-scale public safety-impacting risks through this framework. Risks that are not included as tracked high-risk capabilities because they do not threaten national security or pose at-scale public safety risks are addressed through our broader AI governance and risk management framework.

Microsoft는 각 추적 대상 고위험 역량에 대해 레드티밍 및 평가(evaluation) 실행 방안의 지침이 되는 위험 모델링을 수행한다. 외부 전문가의 의견을 반영한 이러한 위험 모델은 특정 시나리오, 위협 행위자, AI 모델이 위험을 증가시키거나 감소시킬 수 있는 고유한 방식, 기술적 병목, 그리고 해당 시나리오가 중대한 영향으로 이어질 심각성과 발생 가능성을 우선순위화하도록 설계된다. 이러한 위험 모델에서 식별된 기술적 병목은 평가(assessment) 절차의 초기 단계에서 특정 시나리오를 배제하기 위한 선행 지표 평가(assessment)에 활용된다. 우선순위가 정해진 시나리오는 심층 역량 평가(assessment)에서 위험별 레드티밍과 평가(evaluation)의 지침으로 사용된다.

For each tracked high-risk capability, we conduct risk modeling to guide our red teaming and evaluation practices. These risk models, informed by external experts, are designed to prioritize specific scenarios, threat actors, unique ways an AI model may increase or decrease risk, technical bottlenecks, and the severity and likelihood of the scenario resulting in significant impacts. The technical bottlenecks identified in these risk models inform our leading indicators assessment to rule out certain scenarios early in the assessment process. The prioritized scenarios are used to guide risk-specific red teaming and evaluations in our deeper capability assessment.

통합 거버넌스

Integrated governance

Microsoft가 AI 기술을 개발하고 배포할 때에는 고위험 역량 외에도 보다 광범위한 위험이 관리된다. Microsoft의 포괄적인 AI 거버넌스 프로그램에 따라 프론티어 모델은 물론 기타 모델과 AI 시스템도 관련 평가(evaluation)를 받는다. 이후 전반적인 위험을 적절한 수준으로 낮추기 위해 완화 조치가 적용된다. 모델 또는 시스템 성능, 책임 있는 사용, 권장 시스템 수준 평가(evaluation)에 관한 정보는 모델을 시스템에 통합하는 다운스트림 행위자와 공유된다. 여기에는 외부 시스템 개발자 및 배포자와 모델을 구축하는 Microsoft 내 팀이 포함된다. 적절한 정보 공유는 보다 광범위한 위험의 완화를 촉진하는 데 중요하다. 이러한 위험 중 상당수는 사용 사례와 배포 맥락, 그리고 관할권마다 다른 법률과 규범에 의해 크게 좌우되기 때문이다. 따라서 위험 프로파일에 따라 완화 전략이 달라질 수 있지만, 강건한 평가(evaluation)와 측정을 포함하여 위험을 매핑하고, 측정하고, 완화하는 Microsoft의 전반적인 접근 방식은 Microsoft의 AI 기술 전반에 일관되게 적용된다. 이 프레임워크의 추적 대상 고위험 역량과 관련된 위험을 평가(assessment)하고 완화하기 위한 Microsoft의 노력은 지속적으로 개선되는 이 광범위한 거버넌스 프로그램의 혜택을 받는다. 이 프레임워크의 나머지 부분에서는 추적 대상 고위험 역량과 관련된 위험의 평가(assessment)와 완화를 보다 구체적으로 다룬다.

In addition to high-risk capabilities, a broader set of risks are governed when Microsoft develops and deploys AI technologies. Under Microsoft's comprehensive AI governance program, frontier models-as well as other models and AI systems-are subject to relevant evaluation, with mitigations then applied to bring overall risk to an appropriate level. Information on model or system performance, responsible use, and suggested system-level evaluations is shared with downstream actors integrating models into systems, including external system developers and deployers and teams at Microsoft building models. Appropriate information sharing is important to facilitate mitigation of a broader set of risks, many of which are heavily shaped by use case and deployment context as well as laws and norms that vary across jurisdictions. While different risk profiles may thus inform different mitigation strategies, Microsoft's overall approach of mapping, measuring, and mitigating risks, including through robust evaluation and measurement, applies consistently across our AI technologies. Our efforts to assess and mitigate risks related to this framework's tracked high-risk capabilities benefit from this broadly applied governance program, which is continuously improved. The remainder of this framework addresses more specifically the assessment and mitigation of risks relating to the framework's tracked high-risk capabilities.

3. 평가(evaluation) 및 평가(assessment)

3. Evaluation and assessment

추적 대상 고위험 역량의 선행 지표 모니터링

Monitoring for leading indicators of tracked high-risk capabilities

이 프레임워크에 기술된 절차를 통해 Microsoft의 최첨단 모델에 프레임워크의 추적 대상 고위험 역량에 대한 선행 지표가 있는지 평가(assessment)한다. 이 평가(assessment)는 추적 대상 고위험 역량의 전조로 식별된 다음의 고급 범용 역량에 대한 최첨단 벤치마크1를 사용하여 수행된다:

Through the processes described in this framework, Microsoft's most advanced models are assessed for leading indicators of the framework's tracked high-risk capabilities. This is done using state-of-the-art benchmarks1 for the following advanced general-purpose capabilities, identified as precursors to tracked high-risk capabilities:

일반 추론

General reasoning

과학적·수학적 추론

Scientific and mathematical reasoning

장문맥 추론

Long-context reasoning

공간 이해 및 인식

Spatial understanding and awareness

자율성, 계획 수립 및 도구 사용

Autonomy, planning, and tool use

고급 소프트웨어 엔지니어링

Advanced software engineering

선행 지표 평가(assessment)는 EU AI 법, 캘리포니아주 프론티어 AI 투명성법(Transparency in Frontier AI Act, TFAIA), 뉴욕주 책임 있는 AI 안전 및 교육법(Responsible AI Safety and Education Act, RAISE Act) 등 관련 법률에 따른 프론티어 모델 요건의 적용 범위에 해당하는 모든 모델에 대해 수행된다.

A leading indicator assessment is run on any model that is in scope for frontier model requirements under applicable laws, such as the EU AI Act, California's Transparency in Frontier AI Act (TFAIA), and New York's Responsible AI Safety and Education (RAISE) Act.

또한 Microsoft가 자사 또는 제3자 모델을 상당한 수준으로 미세조정(Fine-Tuning)하는 경우로서, 미세조정(Fine-Tuning)에 사용된 연산이 기반 모델의 1/3을 초과하는 경우에도 선행 지표 평가(assessment)를 수행한다.2

We also run a leading indicator assessment when Microsoft substantially fine-tunes first- or third-party models, where the compute used for fine-tuning is more than 1/3 of the base model.2

선행 지표 평가(assessment)는 사전 학습 중, 사전 학습 완료 후, 사후 학습 후, 그리고 배포 전에 수행된다. 이는 모델에 심층 검토가 필요한지를 포괄적으로 평가(assessment)하기 위함이다. 또한 모델이 상당한 역량 향상의 징후를 보이는 경우 필요에 따라 중단, 검토 및 완화 조치 적용이 가능해진다. 이 프레임워크의 적용 범위에 해당하는 모델은 최소 6개월마다 선행 지표 평가(assessment)를 받는다. 이는 미세조정(Fine-Tuning) 및 도구 활용(tooling)을 포함한 사후 학습 역량 강화의 진전을 평가(assessment)하기 위함이다. 프론티어 역량을 보이는 모델은 이후 심층 역량 평가(assessment)를 받는다. 이 평가(assessment)는 모델이 추적 대상 고위험 역량을 보유하고 있는지, 보유하고 있다면 어느 수준인지에 대해 높은 확신을 제공하며, 그 결과는 완화 조치에 반영된다.

The leading indicator assessment is run during pre-training, after pre-training is complete, after post-training, and prior to deployment to ensure a comprehensive assessment as to whether a model warrants deeper inspection. This also allows for pause, review, and the application of mitigations as appropriate if a model shows signs of significant capability improvements. Models in scope of this framework will undergo leading indicator assessment at least every six months to assess progress in post-training capability enhancements, including fine-tuning and tooling. Any model demonstrating frontier capabilities is then subject to a deeper capability assessment to provide strong confidence about whether it has a tracked high-risk capability and to what level, informing mitigations.

선행 지표 평가(assessment)는 모델이 추적 대상 고위험 역량을 보유하고 있을 수 있다는 조기 경보를 제공하는 데 도움이 된다. 또한 이 프레임워크가 심층 검토 및 관련 완화 조치가 필요한 모델만을 대상으로 하도록 보장한다. Microsoft가 개발·사용·배포하는 모델은 매우 다양하며, 그중 상당수는 고급 역량보다는 속도와 효율성 같은 특성에 최적화되어 있다는 점을 고려할 때 이는 중요하다. Microsoft가 개발하는 모든 모델은 Microsoft의 광범위한 AI 거버넌스 프로그램의 적용을 받는다.

The leading indicator assessment helps provide early warning that a model may have a tracked high-risk capability. It also ensures the framework is targeted at only those models that warrant deeper inspection and related mitigations. This is important given the wide range of models being developed, used, and deployed by Microsoft, many of which are optimized for characteristics such as speed and efficiency, rather than advanced capabilities. All models developed by Microsoft are subject to Microsoft's broader AI governance program.

고급 범용 벤치마크에 기반하여 성능을 평가(assessment)하는 것이 현재로서는 고위험 역량에 대한 가장 유용한 선행 지표를 제공한다. Microsoft는 평가(evaluation)가 더욱 성숙해짐에 따라 이 선행 지표 선별을 추적 대상 고위험 역량에 대한 보다 직접적인 평가(assessment)로 전환할 계획이다. 추적 대상 고위험 역량에는 화학·생물·방사능·핵 무기 개발, 공격적 사이버 작전, 고도 자율성, 통제 상실, 유해한 조작 등이 있다.

Assessing performance based on advanced general-purpose benchmarks provides the most useful leading indicator of high-risk capabilities currently. As evaluations mature further, we intend to move this leading indicator screening toward a more direct assessment of tracked high-risk capabilities such as CBRN weapon development, offensive cyberoperations, advanced autonomy, loss of control, and harmful manipulation.

심층 역량 평가(assessment)

Deeper capability assessment

심층 역량 평가(assessment)는 모델이 추적 대상 고위험 역량을 보유하고 있는지, 보유하고 있다면 해당 역량이 낮음, 중간, 높음, 치명적 위험 수준 중 어디에 해당하는지에 대한 강건한 판단 근거를 제공한다. 그 결과는 적절한 완화 조치 및 배포에 관한 의사결정에 반영된다. Microsoft는 이 분류 과정의 지침으로 정성적 역량 임계값을 사용한다. 프론티어 AI 위험 평가 및 관리 실행 방안에 대한 이해가 아직 초기 단계에 있고 계속 발전하고 있는 시점에서, 정성적 역량 임계값은 다양한 모델과 맥락에 걸쳐 중요한 유연성을 제공하기 때문이다. 이러한 역량 임계값에 대한 자세한 내용은 부록 I에 제시한다. 심층 역량 평가(assessment)는 다음을 포함한다:

Deeper capability assessment provides a robust indication of whether a model possesses a tracked high-risk capability and, if so, whether this capability is at a low, medium, high, or critical risk level, informing decisions about appropriate mitigations and deployment. We use qualitative capability thresholds to guide this classification process as they offer important flexibility across different models and contexts at a time of nascent and evolving understanding of frontier AI risk assessment and management practice. We lay out further detail on these capability thresholds in Appendix I. Deeper capability assessment involves the following:

역량 평가: 적대적 시험과 최첨단 방법을 활용한 체계적 측정 등을 통해 모델이 추적 대상 역량을 높음 또는 치명적 수준으로 보유하고 있는지를 강건하게 평가(evaluation)하는 것이다. 평가(evaluation)는 일관된 방식으로 문서화되며, 여기에는 모델에 관한 가정, 평가(evaluation) 대상 역량, 사용된 방법, 평가(evaluation) 결과가 제시된다. 이 평가(evaluation)에는 사용된 평가(evaluation) 방법의 강건성, 평가(evaluation)의 기저에 있는 가정, 평가(evaluation)의 효과성 또는 타당성에 관한 우려 사항에 대한 기술도 포함된다. Microsoft는 모델의 위험 프로파일에 적절한 방식으로 평가(evaluation)를 수행하도록 자격을 갖춘 제3자를 참여시킨다. 제3자가 평가(evaluation)를 수행할 수 있도록 애플리케이션 프로그래밍 인터페이스 (API) 접근 권한을 부여해야 하는 경우도 있고, 내부적으로 수행된 시험을 검토해야 하는 경우도 있다. 관련 보안 기준을 충족하는 자격 있는 전문 외부 행위자의 참여 여부는 모델 개발팀으로부터 독립된 내부 전문가가 결정하며, 이러한 외부 행위자에는 분야별 전문성을 갖춘 이들이 포함된다. 해당되는 경우, Microsoft는 자격을 갖춘 제3자가 어느 정도로, 그리고 어떻게 참여하는지를 공개한다.

Capability evaluation: This involves robust evaluation of whether a model possesses tracked capabilities at high or critical levels, including through adversarial testing and systematic measurement using state-of-the-art methods. Evaluations are documented in a consistent fashion setting out the assumptions regarding the model, capability being evaluated, the method used, and evaluation results. This evaluation also includes a statement on the robustness of the evaluation method used, assumptions underlying the evaluation, and any concerns about the effectiveness or validity of the evaluation. We engage qualified third parties to conduct evaluations in ways that are appropriate to the risk profile of the model; sometimes this requires granting API access for the third party to conduct evaluations, and sometimes it requires a review of testing conducted internally. The decision to involve qualified and expert external actors that meet relevant security standards, including those with domain-specific expertise, is made by internal experts who are independent from the model development team. Where applicable, we disclose the extent to which and how qualified third parties are involved.

역량 유도: 평가(evaluation)에는 역량 유도를 위한 집중적인 노력이 포함된다. 역량 유도란 모델의 전체 역량에 대한 이해를 높이기 위해 역량 강화 기법을 적용하는 것이다. 여기에는 평가(evaluation) 대상 역량의 성능을 향상시키기 위해 모델을 미세조정(Fine-Tuning)하는 것이 포함된다. 또한 추적 대상 역량을 강화하도록 모델에 프롬프트와 스캐폴딩(scaffolding)을 적용하는 것도 포함된다. 예를 들어 다중 에이전트 구성을 사용하거나, 프롬프트 최적화를 활용하거나, 추적 대상 고위험 역량과 관련된 성능을 극대화하는 도구와 플러그인에 모델을 연결할 수 있다. 역량 유도에 투입되는 자원은 각 추적 대상 고위험 역량과 관련된 위협 모델(Threat model) 내 행위자가 이용할 수 있는 자원 수준까지 외삽하여 산정해야 한다.

Capability elicitation: Evaluations include concerted efforts at capability elicitation, i.e., applying capability enhancing techniques to advance understanding of a model's full capabilities. This includes fine-tuning the model to improve performance on the capability being evaluated or ensuring the model is prompted and scaffolded to enhance the tracked capability-for example, by using a multi-agent setup, leveraging prompt optimization, or connecting the model to whichever tools and plugins will maximize its performance related to the tracked high-risk capability. Resources applied to elicitation should be extrapolated out to those available to actors in threat models relevant to each tracked high-risk capability.

총체적 위험 평가: 역량 평가 결과와 모델 외부의 위험 요인에 대한 평가(assessment)도 모델이 추적 대상 고위험 역량을 보유하고 있는지, 보유하고 있다면 어느 수준인지를 판단하는 데 반영될 수 있다. 여기에는 잠재적인 시스템 수준의 완화 조치가 미치는 영향, 그리고 위험원이 실제로 발현되는지와 어떻게 발현되는지에 영향을 줄 수 있는 사회적·제도적 요인에 대한 평가(assessment)가 포함된다. 이 총체적 위험 평가는 현재 이용 가능한 오픈 웨이트 모델을 포함하여, 현재 이용 가능한 도구와 정보 이상으로 모델이 제공할 수 있는 한계 역량 업리프트도 고려한다.

Holistic risk assessment: The results of capability evaluation and an assessment of risk factors external to the model may also inform a determination as to whether a model has a tracked high-risk capability and to what level. This includes assessing the impact of potential system-level mitigations and societal and institutional factors that can impact whether and how a hazard materializes. This holistic risk assessment also considers the marginal capability uplift a model may provide over and above currently available tools and information, including currently available open-weights models.

심층 역량 평가(assessment)의 시기: 최초의 심층 역량 평가(assessment) 이후, 배포된 모델의 위험 프로파일에 중대한 변화가 있는 경우(예: 모델 미세조정 기능의 제공, 추적 대상 고위험 역량에 영향을 미칠 수 있는 상당한 수준의 미세조정 등) Microsoft는 후속 심층 역량 평가(assessment)를 수행한다.

Timing of deeper capability assessment: After the first deeper capability assessment, we will conduct subsequent deeper capability assessments if there are material changes to the deployed model's risk profile (e.g., the ability to fine-tune the model, significant fine-tuning that might affect tracked high-risk capabilities, etc.).

완화 전 역량 평가(assessment): 심층 역량 평가(assessment) 결과는 프레임워크의 역량 임계값(부록 I 참조)에 근거하여 각 추적 대상 고위험 역량별로 모델에 낮음, 중간, 높음, 치명적 중 하나의 완화 전 점수를 부여하는 데 사용된다. 낮음 또는 중간 위험으로 평가된 모델은 아래에 기술된 적절한 안전장치를 갖추어 배포될 수 있다. 높음 또는 치명적 위험으로 평가된 모델은 배포 전에 추가 검토와 안전 위험 완화조치 및 보안 위험 완화조치의 대상이 된다.

Pre-mitigation capability assessment: The results of the deeper capability assessment are used to assign a model a pre-mitigation score of low, medium, high, or critical for each tracked high-risk capability on the basis of the framework's capability thresholds (see Appendix I). Models assessed as posing low or medium risk may be deployed with appropriate safeguards as outlined below. Models assessed as having a high or critical risk are subject to further review and safety and security mitigations prior to deployment.

4. 완화

4. Mitigations

보안 조치

Security measures

프론티어 모델의 보안 확보는 안전하고 신뢰할 수 있는 사용을 위한 필수 전제 조건이며 이 프레임워크의 최우선 과제이다. 선행 지표 평가(assessment)를 촉발하는 모든 모델에는 강건한 기본 보안 보호가 적용된다. 이후 모델의 완화 전 점수에 따라 보안 안전장치가 강화되며, 높음 및 치명적 위험 수준의 모델에는 더욱 강건한 조치가 적용된다.

Securing frontier models is an essential precursor to safe and trustworthy use and the first priority of this framework. Any model that triggers leading indicator assessment is subject to robust baseline security protection. Security safeguards are then scaled up depending on the model's pre-mitigation scores, with more robust measures applied to models with High and Critical risk levels.

Microsoft는 자사 모델의 학습과 배포가 이루어질 인프라를 직접 운영하므로, 프론티어 모델의 보안에 대해 통합적 풀스택 접근 방식을 채택하여 인프라, 모델, 시스템 계층에서 안전장치를 구현한다. 보안 조치는 모델의 역량, 모델이 제공되고 시스템에 통합되는 방식 등 각 모델의 특성에 맞추어 조정되며, 이를 통해 모델이 초래할 수 있는 한계 위험에 적절히 대응한다.

As Microsoft operates the infrastructure on which its models will be trained and deployed, we adopt an integrated full-stack approach to the security of frontier models, implementing safeguards at the infrastructure, model, and system layers. Security measures will be tailored to the specifics of each model, including its capabilities and the method by which it is made available and integrated into a system, so that the marginal risks a model may pose are appropriately addressed.

Microsoft는 AI 수명주기의 보안을 가장 잘 확보하는 방법에 관한 과학적 이해가 향후 수개월, 수년간 크게 발전할 것으로 예상하며, 관련성 있고 적절한 범위에서 보안 모범 사례에 계속 기여하고 이를 적용할 것이다. 여기에는 NIST SP 800-53, NIST 800-218, SOC 2, Securing AI Model Weights: Preventing Theft and Misuse of Frontier Models, Deploying AI Systems Securely 등 주요 표준 및 프레임워크에 정의된 기존 모범 사례뿐 아니라, Frontier Model Forum의 모범 사례를 비롯한 업계 모범 사례가 포함된다. 보안 안전장치는 모델의 완화 전 점수에 따라 강화되며, 높음 및 치명적 위험 수준의 모델에는 더욱 강건한 조치가 적용된다.

We expect scientific understanding of how to best secure the AI lifecycle will advance significantly in the coming months and years and will continue to contribute to, and apply, security best practices as relevant and appropriate. This includes existing best practice defined in leading standards and frameworks, such as NIST SP 800-53, NIST 800-218, SOC 2, Securing AI Model Weights: Preventing Theft and Misuse of Frontier Models, and Deploying AI Systems Securely, as well as industry best practices, including from the Frontier Model Forum. Security safeguards are scaled up depending on the model's pre-mitigation scores, with more robust measures applied to models with high and critical risk levels.

하나 이상의 추적 대상 고위험 역량에서 높음 위험을 초래하는 모델에는 대부분의 사이버범죄 집단과 내부자 위협으로부터 보호할 수 있는 보안 조치가 적용된다. 높음 위험 점수를 받은 모델에 대한 요구사항의 예는 다음과 같다:

Models posing high-risk on one or more tracked high-risk capability will be subject to security measures protective against most cybercrime groups and insider threats. Examples of requirements for models having a high-risk score include:

접근 제한: 접근 제어 목록의 관리 위생을 유지하고, 최고 역량 모델의 가중치에 대한 접근을 핵심 연구 목적과 안전 및 보안 팀으로 한정하는 것을 포함한다. 무단 접근 방지의 일환으로 강력한 경계 통제 및 접근 통제를 적용한다.

Restricted access, including access control list hygiene and limiting access to weights of the most capable models other than for core research and for safety and security teams. Strong perimeter and access controls are applied as part of preventing unauthorized access.

수명주기 전반에 걸친 심층 방어: 일부 통제가 실패하는 경우에 대비하여 중복성을 제공하는 다중 계층의 보안 통제를 적용한다. 모델 가중치는 암호화된다.

Defense in depth across the lifecycle, applying multiple layers of security controls that provide redundancy in case some controls fail. Model weights are encrypted.

고급 보안 레드티밍: 적절한 경우 제3자를 활용하여, 모델 가중치를 탈취하려는 관련 위협 행위자를 합리적으로 모사함으로써 보안 안전장치의 강건성을 확보한다.

Advanced security red teaming, using third parties where appropriate, to reasonably simulate relevant threat actors seeking to steal the model weights so that security safeguards are robust.

하나 이상의 추적 대상 고위험 역량에서 치명적 위험을 초래하는 모델에는 최고 수준의 보안 안전장치가 적용된다. 향후 등장할 수 있는 치명적 위험 수준의 고도로 발전된 모델의 보안을 효과적으로 확보할 수 있도록 보안 실행 방안을 성숙시키기 위해서는 추가적인 작업과 투자가 필요하다. 치명적 위험 수준 모델에 대한 적절한 요구사항에는 강화된 로깅 기능을 갖춘 변조 방지형 보안 강화 워크스테이션과 같은 고신뢰 개발자 환경의 사용, 그리고 가중치를 보유한 장치 또는 네트워크와 외부 세계 간의 물리적 대역폭 제한이 포함될 가능성이 높다.

Models posing critical risk on one or more tracked high-risk capabilities are subject to the highest level of security safeguards. Further work and investment are needed to mature security practices so that they can be effective in securing highly advanced models with critical risk levels that may emerge in the future. Appropriate requirements for critical risk level models will likely include the use of high-trust developer environments, such as hardened tamper-resistant workstations with enhanced logging, and physical bandwidth limitations between devices or networks containing weights and the outside world.

안전 위험 완화조치

Safety mitigations

Microsoft는 관찰된 위험에 맞추어 조정된 최첨단 안전 위험 완화조치를 적용하여, 완화 조치가 적용된 후 모델의 위험 수준이 낮음 또는 중간으로 유지되도록 한다. Microsoft는 Frontier Model Forum 등의 조직을 통한 활동을 포함하여 연구 및 모범 사례 개발에 계속 기여하고, 이 프레임워크의 일환으로 모범 사례에 해당하는 완화 조치를 공유하고 활용할 것이다. Microsoft가 활용하는 안전 위험 완화조치의 예는 다음과 같다:

We apply state-of-the-art safety mitigations tailored to observed risks so that the model's risk level remains at low or medium once mitigations have been applied. We will continue to contribute to research and best-practice development, including through organizations such as the Frontier Model Forum, and to share and leverage best practice mitigations as part of this framework. Examples of safety mitigations we utilize include:

피해 유발 요청 거부(harm refusal): 최첨단 피해 유발 요청 거부 기법을 적용하여, 모델이 높음 또는 치명적 수준의 추적 대상 고위험 역량과 관련하여 피해를 초래할 수 있는 정보를 사용자에게 제공하지 않도록 한다. 이는 활발히 연구가 진행 중인 분야이며, Microsoft는 강건한 피해 유발 요청 거부 기법이 개발됨에 따라 이에 계속 투자하고 이를 적용한다.

Harm refusal, applying state-of-the-art harm refusal techniques so that a model does not return harmful information relating to a tracked high-risk capability at a high or critical level to a user. This is an area of active research, and we continue to invest in and apply robust harm refusal techniques as they are developed.

배포 지침: 안전하고 보안성 있는 사용에 영향을 미치는 요인과 금지된 용도에 관한 세부 사항을 포함하여, 모델의 역량과 한계를 명시한 명확한 문서를 제공한다. 이 문서에는 평가(evaluation) 결과, 심층 역량 평가(assessment), 안전 위험 완화조치 및 보안 위험 완화조치에 대한 요약도 포함된다. 예를 들어, 높음 또는 치명적 위험 등급에 필수적인 특정 역량과 과업 가운데 모델이 일관되게 완수하지 못하는 것을 문서에 기술할 수 있다. 여기에는 배포 맥락에 민감하고, 관할권마다 다른 법률과 규범의 적용을 받으며, 모델을 시스템에 통합하고 배포하는 주체 측에서 추가적인 평가(evaluation)와 완화가 필요할 가능성이 높은 잔여 위험(예: 편향 또는 차별 관련 위험)의 식별이 포함된다.

Deployment guidance, with clear documentation setting out the capabilities and limitations of the model, including factors affecting safe and secure use and details of prohibited uses. This documentation will also include a summary of evaluation results, the deeper capability assessment, and safety and security mitigations. For example, the documentation could outline specific capabilities and tasks that the model robustly fails to complete which would be essential for a high or critical risk rating. This includes identification of residual risks, for example relating to bias or discrimination, that are sensitive to deployment context, subject to laws and norms that vary across jurisdictions, and are likely to require further evaluation and mitigation on the part of those integrating the model into a system and deploying it.

모니터링, 대응 및 개선 조치: 식별된 우려 사항을 탐지하고 해결하기 위해 적절한 수준으로 시행한다. 여기에는 Microsoft 제품 약관(Product Terms)에 따른 남용 모니터링이 포함된다. Microsoft는 직원, 고객, 외부 당사자가 모델 성능과 잠재적 취약점 또는 사고에 관한 우려를 보고할 수 있는 채널을 제공한다. Microsoft 또는 다른 주체가 공공 안전이나 국가안보 위험을 초래할 수 있는 중대 또는 치명적 사고를 식별한 경우, Microsoft는 사고 대응 정책과 프로세스를 가동하고, 조사를 수행하며, 적절한 경우 규제 당국과 영향을 받은 고객에게 보고서를 제공하고, 완화 및 개선 조치를 적용하며, 사후 검토와 정책, 프로세스, 실행 방안의 업데이트를 관리한다. 필요에 따라 업데이트 사항을 반영하기 위해 고객용 문서도 조정될 수 있다. 이러한 노력 전반에 걸쳐 Microsoft는 안전 및 보안 목표와 법적 고려사항 및 프라이버시 고려사항 간의 상충관계를 지속적으로 평가하며, 기존 법률과 계약상 합의에 따른 규정 준수를 유지하면서 특정 안전 및 보안 목표를 달성할 수 있는 조치를 최적화한다.

Monitoring, response, and remediation, as appropriate to detect and address identified concerns. This includes abuse monitoring in line with Microsoft's Product Terms. We provide channels for employees, customers, and external parties to report concerns about model performance and potential vulnerabilities or incidents. Where we or others identify serious or critical incidents that may pose public safety or national security risks, we operationalize incident response policies and processes, conduct investigations, provide reports to regulatory authorities and impacted customers as appropriate, apply mitigations and remediation, and manage after-action reviews and policy, process, and practice updates. Customer documentation may also be adjusted to reflect updates as needed. Across these efforts, we continue to assess the tradeoffs between safety and security goals and legal and privacy considerations, optimizing for measures that can achieve specific safety and security goals in compliance with existing law and contractual agreements.

단계적 출시, 신뢰할 수 있는 사용자, 사용 연구: 새롭거나 고도화된 역량을 보이는 모델에 대해 적절한 경우 시행한다. 여기에는 일반 출시 전에 실제 사용 중 모델 성능을 더 잘 이해하기 위해, 정의된 신뢰할 수 있는 사용자 그룹과 모델을 공유하는 것이 포함될 수 있다. Microsoft는 또한 엄격한 수준의 프라이버시와 기밀성을 유지하고 적절한 경우 외부 전문성을 활용하면서, 사용 중인 모델을 추가로 연구하고 완화 조치의 실제 효과를 평가하기 위한 작업을 진행하고 있다.

Phased release, trusted users, and usage studies, as appropriate for models demonstrating novel or advanced capabilities. This can involve sharing the model with defined groups of trusted users with a view to better understanding model performance while in use before general availability. We are also progressing work to further study models when in use and assess the real-world effectiveness of mitigations, while upholding stringent levels of privacy and confidentiality and benefiting from external expertise where appropriate.

완화 후 역량 평가(assessment) 및 안전 여유(Safety buffer): 안전 위험 완화조치 및 보안 위험 완화조치를 적용한 후에는 모델을 재평가하여 역량이 낮음 또는 중간으로 평가되는지 확인하고, 그렇지 않은 경우 추가적인 완화 노력의 방향을 설정한다. 본 프레임워크를 이행하는 과정에서 충분히 완화할 수 없는 위험을 식별한 경우, Microsoft는 완화 실행 방안이 해당 위험에 대응할 수 있는 수준으로 발전할 때까지 개발과 배포를 중단한다.

Post-mitigation capability assessment and safety buffer: Following application of safety and security mitigations, the model will be re-evaluated to ensure capabilities are rated low or medium and, if not, to guide further mitigation efforts. If, during the implementation of this framework, we identify a risk we cannot sufficiently mitigate, we will pause development and deployment until the point at which mitigation practices evolve to meet the risk.

5. 거버넌스

5. Governance

위험 정보에 기반한 배포 결정

Risk-informed deployment decision

완화 전 및 완화 후 역량 평가(assessment)에 관한 문서는 Microsoft의 AI 거버넌스 프로그램을 책임지는 임원(Executive Officers)(또는 그 대리인)에게 보안성 있고 신뢰할 수 있는 배포를 위한 권고안과 함께 제공된다. 이 권고안은 다음과 같은 근거를 제시한다: 1) 모델이 낮음 또는 중간 위험 수준으로 적절히 완화되었고, 2) 모델의 한계 편익이 모든 잔여 위험보다 크며, 3) 완화 조치와 문서를 통해 모델을 보안성 있고 신뢰할 수 있는 방식으로 배포할 수 있다.

Documentation regarding the pre-mitigation and post-mitigation capability assessment will be provided to Executive Officers responsible for Microsoft's AI governance program (or their delegates) along with a recommendation for secure and trustworthy deployment setting out the case that: 1) the model has been adequately mitigated to low or medium risk level, 2) the marginal benefits of a model outweigh any residual risk and 3) the mitigations and documentation will allow the model to be deployed in a secure and trustworthy manner.

임원(또는 그 대리인)은 보안성 있고 신뢰할 수 있는 배포를 위한 권고안의 승인 여부에 대한 최종 결정을 내린다. 임원(또는 그 대리인)은 또한 보안성 있고 신뢰할 수 있는 배포를 위한 권고안과 그 구성 요소가 모델의 궁극적 역량을 파악하고 위험을 완화하려는 선의의 시도로 마련되었는지를 평가할 책임이 있다.

The Executive Officers (or their delegates) will make the final decision on whether to approve the recommendation for secure and trustworthy deployment. The Executive Officers (or their delegates) are also responsible for assessing that the recommendation for secure and trustworthy deployment and its constituent parts have been developed in a good faith attempt to determine the ultimate capabilities of the model and mitigate risks.

모델의 역량과 한계, 관련 평가(evaluation), 모델의 위험 분류에 관한 정보는 공개적으로 공유되며, 이때 안전 및 보안 위험을 야기할 수 있는 정보 위험원(information hazard)을 최소화하고 상업적으로 민감한 정보를 보호하도록 주의를 기울인다. Microsoft는 규제에서 요구하는 바에 따라, 그리고 프론티어 위험을 효과적으로 관리하기 위해 적절한 경우, 추적 대상 고위험 역량에 관한 정보를 보고한다.

Information about the capabilities and limitations of the model, relevant evaluations, and the model's risk classification will be shared publicly, with care taken to minimize information hazards that could give rise to safety and security risks and to protect commercially sensitive information. We will report information about tracked high-risk capabilities as required by regulation and as appropriate to effectively manage frontier risks.

감독 및 보고 채널

Oversight and reporting channels

본 프레임워크는 독립적인 내부 감사와 이사회 감독을 포함하여 Microsoft의 광범위한 기업 거버넌스 절차의 적용을 받는다. 모든 Microsoft 직원은 익명 보고 옵션을 포함하는 기존 내부 보고 채널을 이용하여 본 프레임워크와 그 이행, 그리고 보다 넓게는 Microsoft의 AI 거버넌스에 관한 우려 사항을 보고하도록 권장된다. 우려를 제기한 직원은 보복으로부터 보호된다. 또한 Microsoft는 책임 있는 비즈니스 실행 방안에 관한 연례 전사 교육 과정인 Trust Code(Standards of Business Conduct)에서 자유롭게 의견을 개진하는 문화(speak up culture)와 우려 사항 보고의 중요성을 강조한다.

This framework is subject to Microsoft's broader corporate governance procedures, including independent internal audit and board oversight. All Microsoft employees are encouraged to report concerns relating to this framework and its implementation, as well as AI governance at Microsoft more broadly, using our existing internal reporting channels, which includes an option for anonymous reporting. Employees who raise concerns are protected from retaliation. In addition, Microsoft reinforces the importance of speak up culture and reporting concerns in Trust Code (Standards of Business Conduct), our annual companywide course on responsible business practices.

본 프레임워크의 업데이트

Updates to this framework

Microsoft는 새로운 발전에 발맞추어 프레임워크를 업데이트한다. 최소 12개월마다 본 프레임워크를 어떻게 개선해야 할지에 관해 명시적인 논의를 진행한다. Microsoft는 평가(evaluation) 및 위험 완화 과학의 발전으로 인해 본 프레임워크에 추가 요구사항이 생기거나 기존 요구사항이 불필요해질 수 있음을 인정한다. 실행 방안의 모든 업데이트는 채택 전에 Microsoft의 최고 책임 있는 AI 책임자(Chief Responsible AI Officer)의 검토를 거친다. 모든 중대한 개정 사항은 채택 후 30일 이내에 공개되며, 적절한 경우 채택과 동시에 공개될 수 있다.

We will update our framework to keep pace with new developments. At least every twelve months, we will have an explicit discussion on how this framework may need to be improved. We acknowledge that advances in the science of evaluation and risk mitigation may lead to additional requirements in this framework or remove the need for existing requirements. Any updates to our practices will be reviewed by Microsoft's Chief Responsible AI Officer prior to their adoption. All material revisions will be made public within 30 days of adoption, and, where appropriate, may be published at the same time as we adopt them.

6. 협력 및 지속적 학습

6. Collaboration and continuous learning

본 프레임워크는 여전히 연구와 실무가 빠르게 발전하고 있는 초기 분야인 AI 위험 관리에서 유연성과 혁신을 촉진하기 위해 결과 지향적 접근 방식을 채택한다. 다른 복잡한 기술에 대한 위험 관리의 역사와 발전 과정에서와 마찬가지로, Microsoft는 AI와 그 위험에 대한 과학적 이해가 깊어짐에 따라 AI 위험 관리 실무가 시간이 지나면서 크게 발전할 것으로 예상한다.

This framework adopts an outcome-oriented approach to facilitate flexibility and innovation in AI risk management, which remains a nascent area of rapidly evolving research and practice. As with the history and evolution of risk management for other complex technologies, we anticipate AI risk management practice to develop markedly over time as we advance a deeper scientific understanding of AI and its risks.

Microsoft는 이 작업에 대한 지속적인 기여를 우선시하고, Frontier Model Forum 등의 조직을 통한 협력을 포함하여 정부, 산업계, 시민사회와의 협력을 확대함으로써 AI 위험 관리에서 가장 시급한 과제를 해결해 나갈 것이다. Microsoft는 위험 평가 및 평가(evaluation) 방법론에 관한 모범 사례와 표준의 개발을 가속화할 필요가 있음을 확인하였다. 여기에는 시스템 수준의 완화 조치뿐만 아니라, 위험원의 실현 여부와 방식 및 그 영향의 규모에 영향을 미칠 수 있는 AI 시스템 외부의 사회적·제도적 요인 등 모델 역량 이외의 고려사항을 적절히 반영하는 보다 총체적인 위험 평가 기법이 포함된다. 각국이 위험 임계값과 관련 거버넌스 요구사항을 의미 있게 조정하려면 이러한 유형의 총체적 평가(assessment)가 필요할 것이다.

Microsoft will prioritize ongoing contributions to this work and expand its collaboration with government, industry, and civil society, including through organizations like the Frontier Model Forum, to solve the most pressing challenges in AI risk management. We have identified a need for accelerated development of best practices and standards for risk assessment and evaluation methodologies. This includes more holistic risk assessment techniques that appropriately factor in considerations outside of model capabilities, such as system-level mitigations, as well as societal and institutional factors external to the AI system that can impact whether and how a hazard materializes and the scale of its impact. This type of holistic assessment will be needed if countries are to meaningfully calibrate risk thresholds and related governance requirements.

Microsoft는 이러한 모범 사례와 표준의 개발에 기여하는 것 외에도, 본 프레임워크와 이를 적용하는 제품을 관련 국제, 국가 또는 산업계 합의 기반의 모범 사례 및 표준에 어떻게 부합시키고 있는지 명확히 제시할 것이다. Microsoft는 자사 제품이 규정 준수 인증을 받은 표준 및 프레임워크의 목록을 정기적으로 업데이트하여 관리하고 있으며, 여기에는 ISO/IEC 42001, ISO 27001, SOC 2가 포함된다.3 Microsoft는 새로운 생성형 AI 시스템과 모델을 개발하고 배포할 때 National Institute of Standards and Technology(NIST)의 AI Risk Management Framework를 활용하며, 이 프레임워크는 거버넌스(govern), 매핑(map), 측정(measure), 관리(manage)의 네 가지 핵심 기능으로 구성된다.4 Microsoft는 또한 Technical Report on Risk Taxonomy and Thresholds for Frontier AI Frameworks와 같은 관련 Frontier Model Forum의 Issue Brief 및 Technical Report에 기여하고 그로부터 얻은 교훈을 활용한다.5 특히 미공개 모델 가중치와 핵심 기반시설의 보호를 위해서는 RAND 보안 수준(SL) 프레임워크를 강건성 요구사항의 지침이 되는 벤치마크로 참조한다.

In addition to contributing to their development, Microsoft will highlight how we are aligning this framework and the products to which it applies with relevant international, national, or industry consensus best practices and standards. We maintain a regularly updated catalogue of standards and frameworks that our products have been certified as in compliance with, including ISO/IEC 42001, ISO 27001, and SOC 2.3 When we develop and deploy new generative AI systems and models, we leverage the National Institute of Standards and Technology (NIST) AI Risk Management Framework, which includes four key functions: govern, map, measure, and manage.4 We also contribute to and leverage learnings from relevant Frontier Model Forum Issue Briefs and Technical Reports, such as the Technical Report on Risk Taxonomy and Thresholds for Frontier AI Frameworks.5 For the protection of unreleased model weights and critical infrastructure specifically, we also reference the RAND security level framework as a benchmark to guide robustness requirements.

Microsoft는 AI 수명주기 전반에 걸쳐 위험을 가장 잘 평가하고 관리하는 방법에 대한 과학적 이해가 향후 수개월에서 수년에 걸쳐 크게 발전할 것으로 예상한다. 새로운 방법과 표준이 등장함에 따라 Microsoft는 이를 검토하고 적절한 경우 본 프레임워크에 반영하여 실행 방안이 최첨단 수준을 유지하도록 할 것이다.

We expect that scientific understanding of how to best assess and manage risks across the AI lifecycle will advance significantly in the coming months and years. As new methods and standards emerge, Microsoft will review and, where appropriate, incorporate them into this framework to ensure that our practices remain state of the art.

Microsoft는 또한 측정 과학 및 화학, 생물학과 같은 과학 분야의 전문가, 그리고 다른 복잡한 기술의 위험 관리에 관한 지식을 갖춘 전문가 등 AI 분야 외부의 전문가로부터 배우는 것의 가치를 강조한다. Microsoft는 거버넌스 노력에서 얻은 정보와 교훈을 계속 공유하되, 민감한 안전 및 보안 관련 정보의 공유에 신중을 기하는 등 의도치 않게 위험을 증가시킬 가능성을 최소화하는 방식으로 공유하도록 주의를 기울일 것이다.

We also highlight the value of learning from experts outside of AI, including those with expertise in measurement science and in scientific domains like chemistry and biology, as well as those with knowledge of managing the risks of other complex technologies. We will continue to share information and lessons from our governance efforts, taking care to do so in a way that minimizes the chance of inadvertently increasing risk, including by being judicious about sharing sensitive safety- and security-relevant information.

부록 I - 역량 임계값

Appendix I - Capability thresholds

프레임워크의 추적 대상 역량별 역량 임계값과 이에 대응하는 위험 수준은 아래와 같다.

Capability thresholds and corresponding risk levels for the framework's tracked capabilities are set out below.

화학·생물·방사능·핵 무기

CBRN weapons

위험 수준역량 임계값배포 요구사항
낮음모델이 화학·생물·방사능·핵 공격의 개발 및 실행과 관련된 질의에 응답하지 않거나, 이미 공개된 정보로만 응답한다.책임 있는 AI 프로그램 요구사항에 따라 배포 허용.
중간모델이 기존 전문가(관련 분야 박사급 교육 이수자)가 알려진 화학·생물·방사능·핵 위협을 개발하는 능력을 높이는 일정 수준의 지원을 제공한다.책임 있는 AI 프로그램 요구사항에 따라 배포 허용.
높음모델이 전문가(관련 분야 박사급 교육 이수자)가 새로운 화학·생물·방사능·핵 위협을 개발하고 실행하는 능력에 의미 있는 업리프트를 제공한다. 또한 모델이 중간 숙련도의 행위자(예: STEM 교육 이수자)가 알려진 화학·생물·방사능·핵 위협을 개발하고 실행하는 능력에 의미 있는 업리프트를 제공한다.추가 검토 및 완화 필요.
치명적모델이 전문가가 매우 위험한 새로운 위협을 개발하는 능력에 의미 있는 업리프트를 제공하거나, 낮은 숙련도의 행위자가 알려진 화학·생물·방사능·핵 위협을 개발하고 실행하는 데 따르는 장벽을 크게 낮춘다.추가 검토 및 완화 필요.
Risk levelCapability thresholdDeployment requirements
LowThe model either does not respond to queries related to developing and delivering CBRN attacks or responds with information that is already publicly available.Deployment allowed in line with Responsible AI Program requirements.
MediumThe model provides some assistance increasing the ability of an existing expert (PhD level education in related fields) to develop a known CBRN threat.Deployment allowed in line with Responsible AI Program requirements.
HighThe model provides a meaningful uplift to an expert's (PhD level education in related fields) ability to develop and deliver a novel CBRN threat. The model provides a meaningful uplift to a medium-skilled actor's (e.g., STEM education) ability to develop and deliver a known CBRN threat.Further review and mitigations required.
CriticalThe model provides a meaningful uplift to an expert's ability to develop a highly dangerous novel threat or significantly lowers the barriers to a low-skilled actor developing and delivering a known CBRN threat.Further review and mitigations required.

공격적 사이버 작전

Offensive cyberoperations

위험 수준역량 임계값배포 요구사항
낮음모델이 질의응답이나 콘텐츠 생성 등을 통해 사이버 보안 위협과 관련된 공개 정보의 수집을 지원하지만, 사이버 공격을 의미 있게 계획하거나 실행하지는 못한다.책임 있는 AI 프로그램 요구사항에 따라 배포 허용.
중간모델이 일반적인 표적 식별 및 계획(실행은 제외) 등 취약점 악용과 관련된 개별 과업을 부분적으로 자동화함으로써, 낮은 숙련도의 행위자가 낮은 수준의 스푸핑, 피싱 또는 사회공학 공격을 수행하는 능력을 높인다.책임 있는 AI 프로그램 요구사항에 따라 배포 허용.
높음모델이 새로운 제로데이 익스플로잇 체인을 발견하거나 복잡한 멀웨어 또는 기타 전술·기법·절차를 개발하는 등의 방식으로, 낮음~중간 숙련도의 행위자가 핵심 기반시설을 포함한 대상에 대해 매우 파괴적이거나 교란적인 사이버 공격을 만들고 수행하는 능력에 의미 있는 업리프트를 제공한다.추가 검토 및 완화 필요.
치명적모델이 낮은 숙련도의 행위자가 주요 취약점을 식별하고 악용하는 능력에 의미 있는 업리프트를 제공하거나, 자원이 풍부한 전문 행위자가 강화된 표적을 상대로 새롭고 효과적인 전략을 개발하고 실행할 수 있게 한다.추가 검토 및 완화 필요.
Risk levelCapability thresholdDeployment requirements
LowThe model supports gathering of publicly available information related to cyber security threats, including through question and answer or content generation, but cannot meaningfully plan or execute a cyberattack.Deployment allowed in line with Responsible AI Program requirements.
MediumThe model increases the ability of a low-skilled actor to conduct low-level spoofing, phishing, or social engineering attacks by partially automating discrete tasks related to vulnerability exploitation like generic target identification and planning (but not execution).Deployment allowed in line with Responsible AI Program requirements.
HighThe model provides meaningful uplift to a low-to-medium skilled actor's ability to create and conduct highly disruptive or destructive cyber-attacks, including on critical infrastructure, for example, through discovering novel zero-day exploit chains or developing complex malware or other tactics, techniques, and procedures.Further review and mitigations required.
CriticalThe model provides a meaningful uplift to a low-skilled actor's ability to identify and exploit major vulnerabilities or enables a well-resourced and expert actor to develop and execute novel and effective strategies against hardened targets.Further review and mitigations required.

고급 자율성

Advanced autonomy

위험 수준역량 임계값배포 요구사항
낮음모델이 인간이 수행하는 데 1시간 미만이 걸리는 소프트웨어 엔지니어링 과업을 포함하여 소수의 기본 과업을 완료할 수 있다.책임 있는 AI 프로그램 요구사항에 따라 배포 허용
중간모델이 인간 노동 몇 시간에 상당하는 소프트웨어 엔지니어링 과업을 포함하여 보다 복잡한 과업을 자율적으로 완료할 수 있으나, 복잡한 오류 상황이나 운영 환경의 변화를 바로잡기 위해서는 인간의 개입이 필요하다.책임 있는 AI 프로그램 요구사항에 따라 배포 허용
높음모델이 범용 인간 노동 여러 날 분량에 상당하는 다양한 범용 과업을 자율적으로 완료하고 복잡한 오류 상황을 적절하게 바로잡을 수 있거나, 대다수의 코딩 과업을 인간 전문가 수준으로 자율적으로 완료할 수 있다.추가 검토 및 완화 필요
치명적모델이 인간 노동 비용의 극히 일부만으로 AI 연구개발 파이프라인을 완전히 자동화하여 AI 연구개발을 크게 가속할 수 있다.추가 검토 및 완화 필요
Risk levelCapability thresholdDeployment requirements
LowThe model can complete a small number of basic tasks, including software engineering tasks that take a human less than one hour.Deployment allowed in line with Responsible AI Program requirements
MediumThe model can autonomously complete more complex tasks, including software engineering tasks equivalent to a few hours of human labor, but requires human intervention to correct for complex error conditions or changes to the operating environment.Deployment allowed in line with Responsible AI Program requirements
HighThe model can autonomously complete a range of generalist tasks equivalent to multiple days' worth of generalist human labor and appropriately correct for complex error conditions, or autonomously complete the vast majority of coding tasks at the level of expert humans.Further review and mitigations required
CriticalThe model can fully automate the AI R&D pipeline at a fraction of human labor costs, majorly accelerating AI R&D.Further review and mitigations required

통제 상실

Loss of control

Microsoft는 Microsoft의 자사(first-party) 프론티어 모델 개발을 규율하는 본 프레임워크의 일환으로, 통제 상실 가능성에 가장 잘 대응하는 방법을 연구하고 발전시키고 있다. Microsoft는 배포 전 단계에서 모델의 통제 상실 위험을 평가하는 접근법과, 이 추적 대상 고위험 역량에 대한 적절한 위험 수용 기준을 설정하는 접근법을 연구하고 있다.

We are studying and progressing methods for how best to address the potential for loss of control as part of this framework, which governs first party frontier model development at Microsoft. We are researching approaches to evaluating models for loss of control risk in a pre-deployment context and setting appropriate risk acceptance criteria for this tracked high-risk capability.

유해한 조작

Harmful manipulation

Microsoft는 Microsoft의 자사(first-party) 프론티어 모델 개발을 규율하는 본 프레임워크의 일환으로, 유해한 조작 가능성에 가장 잘 대응하는 방법을 연구하고 발전시키고 있다. Microsoft는 배포 전 단계에서 모델의 조작 위험을 평가하는 접근법과, 이 추적 대상 고위험 역량에 대한 적절한 위험 수용 기준을 설정하는 접근법을 연구하고 있다.

We are studying and progressing methods for how best to address the potential for harmful manipulation as part of this framework, which governs first party frontier model development at Microsoft. We are researching approaches to evaluating models for manipulation risk in a pre-deployment context and setting appropriate risk acceptance criteria for this tracked high-risk capability.

Microsoft는 모델 수준의 노력에 더하여, 설득 관련 위험이 특정 모델 배포 및 상호작용 맥락에서 비롯되는 경우가 많다는 점을 인식하고, 사용자에게 의도적으로 잘못된 정보를 제공하거나 사용자의 행동을 조작하는 용도를 포함하여 개인, 조직 또는 사회에 피해를 입히기 위해 Microsoft의 생성형 AI 서비스를 사용하는 것을 금지한다.

In addition to our model-level efforts, and recognizing that persuasion-related risks often stem from specific model deployments and interaction contexts, we prohibit use of our generative AI services to inflict harm on individuals, organizations or society, including uses that intentionally misinform or manipulate the behavior of users.

부록 II - 변경 이력

Appendix II - Change log

날짜변경 요약
2025년 2월최초 버전
2026년 2월

EU 범용 AI 실천 강령(CoP), NY RAISE Act 및 CA Transparency in Frontier Artificial Intelligence Act의 확정에 따른 1년 만의 업데이트로, 다음 사항을 포함함:

  • 유해한 조작과 통제 상실을 추적 대상 고위험 역량으로 추가
  • 규제 의무에 맞추어 업데이트 주기 조정
  • 본 프레임워크의 적용 범위를 규제의 적용 범위에 맞추어 조정
  • 새롭게 형성되는 업계 표준에 맞추어 심층 역량 평가(assessment)의 반복 주기 조정
  • 본 프레임워크의 적용 범위에 포함되는 상당한 수준으로 미세조정된 모델의 정의 추가
  • 명확성 및 투명성 제고를 위한 기타 수정 및 추가
DateChange summary
February 2025Initial version
February 2026

One year update following finalization of the EU Code of Practice for General Purpose AI (CoP), NY RAISE Act and CA Transparency in Frontier Artificial Intelligence Act including:

  • Adding harmful manipulation and loss of control as tracked high-risk capabilities
  • Adjusting the update cadence to align with regulatory obligations
  • Aligning the scope our framework to that of regulations
  • Adjusting the cadence by which we repeat deeper capability assessment to align with emerging industry standards
  • Adding a definition of substantially fine-tuned models that are in scope for this framework
  • Other edits and additions for clarity and transparency

각주

Notes

1벤치마크가 Microsoft의 선행 지표 평가(assessment) 묶음에 포함되려면 다음 요건을 충족해야 한다: 1) 포화 수준이 낮을 것(즉, 최고 성능 모델의 점수가 일반적으로 70% 미만일 것), 2) 금융 시장 예측과 같은 응용 지향적 역량이 아니라 수학적 추론과 같은 고급 역량을 측정할 것, 3) 모델 출력의 비결정성을 고려할 수 있을 만큼 충분한 수의 프롬프트를 갖출 것. ↩

1For a benchmark to be included in our suite of leading indicator assessments it must: 1) have low saturation (i.e., the best performing models typically score lower than 70%); 2) measure an advanced capability, for example, mathematical reasoning, rather than an application-oriented capability like financial market prediction; and 3) have a sufficient number of prompts to account for non-determinism in model output. ↩

2제3자 모델의 기반 모델 연산량을 알 수 없는 경우, 제3자 프론티어 모델의 상당한 수준의 미세조정 여부를 판단하는 임계값으로 기본적으로 10^25 부동 소수점 연산(FLOPs)의 1/3을 적용한다. ↩

2Where base model compute is unknown for third party models, we default to 1/3 of 10^25 FLOPs as the threshold for substantial fine-tuning of third-party frontier models. ↩

3https://learn.microsoft.com/en-us/compliance/regulatory/offering-home ↩

3https://learn.microsoft.com/en-us/compliance/regulatory/offering-home ↩

4https://www.microsoft.com/en-us/corporate-responsibility/responsible-ai-transparency-report/ ↩

4https://www.microsoft.com/en-us/corporate-responsibility/responsible-ai-transparency-report/ ↩

5https://www.frontiermodelforum.org/technical-reports/risk-taxonomy-and-thresholds/ ↩

5https://www.frontiermodelforum.org/technical-reports/risk-taxonomy-and-thresholds/ ↩