송경호KYUNGHO DAVID SONG

TRANSLATION · 자동번역

Z.ai(즈푸) 프론티어 오픈 웨이트 AI 위험 관리 프레임워크

Frontier Open-Weight AI Risk Management Framework (Z.ai · Concordia AI)

Frontier Open-Weight AI Risk Management Framework (Z.ai · Concordia AI) 원문 표지
원문 표지 (Concordia AI · Z.ai, 2026.9)
원문 보기 (Concordia AI PDF) (새 창)2026년 9월 공개본 전문 (32쪽, 기여자 명단·인용 안내·목차·참고문헌 제외)

요약

Executive Summary

오픈소스는 현대 소프트웨어의 기반이 되었다. 오픈 웨이트는 글로벌 AI의 기반이 되어 가고 있으며, 프론티어 AI가 세계에 도달하는 방식을 형성하고 있다. 어느 국가의 어느 조직이든 자체 조건에 따라 검사하고, 조정하고, 배포할 수 있는 모델, 도구, 하네스(harness)가 그것이다. 이러한 확산력은 상당한 편익과 고유한 거버넌스 과제를 함께 가져온다. 독점 시스템은 통제된 배포와 중앙집중식 감독을 제공한다. 반면 오픈 웨이트 시스템은 학술 연구를 가속하고, 광범위한 경제적 혁신을 견인하며, 투명성을 높이고, 데이터가 현지 거버넌스하에 머무를 수 있게 한다. 또한 맞춤형 방어 수단으로 폐쇄형 시스템을 보완하여 특정 단일 장애점에 대한 의존을 줄인다.

Open source became the foundation of modern software. Open weights are becoming the foundation of global AI, shaping how frontier AI reaches the world: models, tools, and harnesses that any organization, in any country, can inspect, adapt, and deploy on its own terms. That reach brings both significant benefits and unique governance challenges. Proprietary systems offer controlled deployment and centralized oversight; open-weight systems accelerate academic research, drive widespread economic innovation, increase transparency, allow data to remain under local governance, and complement closed systems with customizable defenses that reduce dependence on any single point of failure.

그러나 개방성에는 고유하고 되돌릴 수 없는 위험이 따른다. 오픈 웨이트 모델은 미세조정을 통해 안전장치가 제거되거나, 악의적 목적으로 전용되거나, 책임성을 질 수 있는 어떠한 중앙 지점도 벗어나 배포될 수 있다. 주요 우려 사항은 이중 용도 역량과 모니터링되지 않는 오용이다. United Nations Independent International Scientific Panel on AI의 예비 보고서, International AI Safety Report 2026, Singapore Consensus on Global AI Safety Research Priorities를 비롯하여 AI에 관한 과학적 합의를 담은 주요 보고서들은 모두 개방형 혁신의 사회적 편익을 훼손하지 않으면서 이러한 위험에 대응하는 것이 시급하다고 강조한다.

Yet openness carries distinct, irreversible risks. Open-weight models can be fine-tuned to strip away safeguards, repurposed for malicious ends, and distributed beyond any central point that can take accountability. The major concerns are dual-use capability and unmonitored misuse. Major reports of the scientific consensus on AI, including the Preliminary Report of the United Nations Independent International Scientific Panel on AI, the International AI Safety Report 2026 , and the Singapore Consensus on Global AI Safety Research Priorities , all emphasize the urgency of addressing these risks, without undermining the societal benefits of open innovation.

본 프레임워크는 이러한 선택의 핵심에 놓인 거버넌스 과제를 다룬다. Concordia AI와 Z.AI가 공동 개발한 본 프레임워크는 위험 평가에서 완화 및 거버넌스에 이르는 위험 관리 수명주기 전반을 오픈 웨이트 모델의 고유한 특성에 맞게 조정한다. 본 프레임워크는 Shanghai AI Lab과 Concordia AI가 공동 개발한 Frontier AI Risk Management Framework 2.0의 자매 문서 역할을 한다.

This framework addresses the governance challenge at the heart of that choice. Co-developed by Concordia AI and Z.AI, it adapts the full risk management lifecycle-from risk assessment to mitigation and governance-to the unique properties of open-weight models. It serves as a companion to the Frontier AI Risk Management Framework 2.0 co-developed by Shanghai AI Lab and Concordia AI.

본 문서가 개방성과 안전 사이의 모든 긴장을 해소하는 것은 아니다. 그보다는 이러한 긴장을 헤쳐 나가기 위한 최초의 포괄적이고 증거 기반의 토대를 제공한다. 프론티어 오픈 웨이트 공개가 가속화됨에 따라 위험 관리 모범 사례와 표준이 시급히 필요하다. 우리는 연구자, 개발자, 정책 입안자, 시민사회가 본 프레임워크를 토대로 오픈 웨이트 AI 거버넌스의 과학과 실천을 발전시켜 나가기를 요청한다.

This document does not resolve every tension between openness and safety. Rather, it provides the first comprehensive, evidence-based foundation for navigating these tensions. As frontier open-weight releases accelerate, risk management best practice and standards are urgently needed. We invite researchers, developers, policymakers, and civil society to build on this framework and advance the science and practice of open-weight AI governance.

프레임워크 개요

Framework Overview

Frontier Open-Weight AI Risk Management Framework는 널리 이용 가능한 오픈 웨이트 범용 AI 모델과 관련된 고유하고 복잡한 위험에 대응하기 위해 설계되었다. Shanghai AI Lab과 Concordia AI의 Frontier AI Risk Management Framework 2.0 [1](이하 Framework 2.0)을 보완하기 위해 개발된 본 프레임워크는 개발자와 더 넓은 오픈 웨이트 생태계가 선제적 위험 관리를 수행할 수 있도록 실행 가능한 프로토콜을 제공하는 데 맞춰져 있다. 또한 오픈소스 커뮤니티를 위한 기술적 안전 지침을 수립함으로써 United Nations Independent International Scientific Panel on AI가 권고한 AI의 기회, 위험, 영향에 대한 증거 기반 평가(assessment)와도 부합한다 [2]. UN Panel은 다른 주요 과학적 합의 노력 [3, 4]과 함께 이중 용도 역량 위험을 관리해야 할 시급한 필요성을 강조한다. 아울러 TC260과 같은 주요 국가 표준 기구는 오용을 방지하기 위해 오픈소스 모델 개발자와 오픈소스 커뮤니티 간 협력을 강화하여 위험 공개에 관한 규칙과 책임, 명확히 정의된 금지 용도, 명확화된 보안 의무를 강화할 것을 권고한다 [5].

The Frontier Open-Weight AI Risk Management Framework is designed to address the unique and complex risks associated with widely available open-weight general-purpose AI models. Developed as a complement to the Shanghai AI Lab and Concordia AI's Frontier AI Risk Management Framework 2.0 [1] (hereinafter referred to as Framework 2.0 ), it is tailored to empower developers and the broader open-weight ecosystem with actionable protocols for proactive risk management. By establishing technical safety guidelines for the open source community, it also aligns with the evidence-based assessment of opportunities, risks and impacts of AI recommended by the United Nations Independent International Scientific Panel on AI [2]. The UN Panel, together with other major scientific consensus efforts [3, 4], emphasizes the urgent need to manage dual-use capability risks. In addition, leading national standards bodies such as TC260 recommend closer collaboration between open-source model developers and open-source communities to strengthen rules and responsibilities for risk disclosure, clearly defined prohibited uses, and clarified security obligations to prevent misuse [5].

본 프레임워크는 위험 식별, 위험 임계값, 위험 분석, 위험 평가(evaluation), 위험 완화, 위험 거버넌스의 6단계 수명주기를 중심으로 구성된다. 이 6단계 구조는 Framework 2.0에 제시된 프로토콜 체계를 그대로 따른다. 본 프레임워크는 각 단계에서 해당 위험 관리 단계를 오픈 웨이트 공개에 적용한다. Framework 2.0의 많은 프로토콜은 개발자가 배포에 대한 통제권을 보유한다고 가정한다. 예를 들어 접근을 제한하거나, 사용을 모니터링하거나, 공개를 철회할 수 있는 능력이 그것이다. 오픈 웨이트 공개는 이러한 통제 수단을 근본적으로 분산시켜, 감독 및 완화 역량을 원 개발자로부터 다운스트림 생태계로 이전시킨다. 본 프레임워크는 어떤 프로토콜이 이러한 개발자 측 통제 조치에 의존하는지 식별하고, 그러한 의존으로 인해 오픈 웨이트 공개에서 프로토콜이 작동하지 않게 되는 지점을 표시하며, 개발자 측 통제에 의존하지 않는 조정된 접근법을 명시한다.

This framework is structured around a six-stage lifecycle: risk identification, risk thresholds, risk analysis, risk evaluation, risk mitigation, and risk governance. This six-stage structure mirrors the set of protocols laid out in the Framework 2.0 . At each stage, this framework applies the corresponding risk management stages to open-weight release. Many protocols in the Framework 2.0 assume that the developer retains control over deployment, for example the ability to gate access, monitor use, or roll back a release. Open-weight release fundamentally decentralizes these control levers, moving the capacity for oversight and mitigation from the original developer to the downstream ecosystem. The framework identifies which protocols rely on these developer-side control measures, flags where this reliance breaks the protocol for open-weight releases, and specifies an adapted approach that does not depend on developer-side control.

이러한 단계별 조정이 필요한 이유는, 오픈 웨이트 모델이 혁신 가속, 접근성 확대, 견고한 외부 안전성 평가 촉진 등 상당한 편익을 제공하는 한편, 바로 이러한 특성이 고유한 거버넌스 과제를 초래하기 때문이다. 즉, 원 개발자는 다운스트림 사용을 통제하고 모니터링할 수 없으며, 안전장치는 더 쉽게 제거될 수 있고, 악의적 행위자는 오픈 웨이트 모델을 유해한 목적으로 미세조정할 수 있다. 본 문서는 이러한 과제와 그에 수반되는 상충관계를 검토한다. 본 문서는 확정적인 해답을 제시하지는 않으나, 공공 안전과 보안을 훼손하지 않으면서 개방성의 편익을 실현할 수 있는 방안을 이해하는 방향으로 나아가고자 한다.

This stage-by-stage adaptation is necessary because, while open-weight models offer substantial benefits, such as accelerating innovation, expanding access, and fostering robust external safety evaluations, these very same features introduce distinct governance challenge the original developers cannot control and monitor in downstream use; safeguards can be removed more easily; and malicious actors can fine-tune open-weight models for harmful purposes. This document explores these challenges and the tradeoffs they involve. It does not offer definitive answers, but works toward understanding how the benefits of openness might be realized without compromising public safety and security.

프론티어 오픈 웨이트 범용 AI의 정의 및 범위

Definition & Scope of Frontier Open-Weight General-Purpose AI

본 프레임워크는 프론티어 AI 모델 위험 관리 접근법을 오픈 웨이트 범용 AI 모델 중 좁은 하위 집합, 즉 위험 관련 영역에서의 역량이 현재 프론티어에 근접하거나 이에 필적하는 모델에 적용한다. 오픈 웨이트에 대한 정의와 거버넌스 메커니즘은 아직 초기 단계에 있으며, 어떤 위험 관리 접근법이 필요한지에 대한 합의도 존재하지 않는다 [6]. 따라서 이 범위를 정확히 정의하는 것이 중요하다. 거버넌스의 관심은 가중치를 공개적으로 배포하는 것이 가장 중대한 위험과 편익을 수반하는 사례에 집중되어야 하며 [7], 더 넓은 개방형 생태계에 마찰을 부과해서는 안 되기 때문이다.

This framework applies a frontier AI model risk management approach to a narrow subset of open-weight general-purpose AI models: those whose capabilities in risk-relevant domains approach or match the current frontier. The definitions and governance mechanisms for open weights are still nascent, and there is no consensus about what risk management approaches are needed [6]. It is therefore important to precisely define this scope, because governance attention should focus on instances where openly releasing weights has the most consequential risks and benefits [7], without imposing frictions on the broader open ecosystem.

오픈 웨이트 모델이란 파라미터를 공개적으로 다운로드할 수 있는 모델을 말한다. 공개된 프론티어 모델은 흔히 통칭하여 '오픈소스'로 불리지만, 대부분의 경우 공개 범위에 학습 파이프라인이나 데이터셋이 포함되지 않으므로(즉, 완전히 개방된 것이 아니므로) '오픈 웨이트'로 규정되어야 한다 [3]. 가중치만 공개하는 것으로도 '개방형 공개(open release)'의 정의를 충족하기에 충분하다 [8].

An open-weight model is one whose parameters are publicly available for download. While publicly released frontier models are often colloquially called 'open source', most of these models should be characterized as 'open-weight' as the release does not include the training pipeline or datasets [3] (i.e. they are not fully open). Releasing weights alone is sufficient to meet the definition of an 'open release' [8].

AI 개방성에 대해 단일하게 합의된 정의는 없으나, 인정받는 접근법으로는 Open Source Initiative의 Open Source AI Definition [9]과 Linux Foundation의 Model Openness Framework [10]가 있다. 두 접근법 모두 개방성을 어떤 모델 구성요소가 어떤 라이선스하에 공개되는지에 따라 정의되는 스펙트럼으로 취급한다. 본 프레임워크는 이러한 의미에서, 즉 이분법적 속성이 아닌 스펙트럼으로서 개방성의 위험과 편익을 논의한다.

While there is no single agreed definition of AI openness, recognized approaches include the Open Source Initiative's Open Source AI Definition [9] and the Linux Foundation's Model Openness Framework [10], both of which treat openness as a spectrum defined by what model components are released and under what licenses. This framework discusses the risks and benefits of openness in this sense, as a spectrum rather than a binary property.

오픈 웨이트 공개는 단방향적이다 [4, 11]. 어떤 독점 모델이든 나중에 개방될 수 있지만, 오픈 웨이트 모델은 소급하여 폐쇄될 수 없다. 이러한 비대칭성은 오픈 웨이트 위험 관리를 규정하는 특징 중 하나이다.

Open-weight releases are one-directional [4, 11]. Any proprietary models can subsequently be opened, but open-weight models cannot be retroactively closed. This asymmetry is one of the defining features of open-weight risk management.

오픈 웨이트 범용 AI의 편익

Benefits of Open-Weight General-Purpose AI

오픈 웨이트 모델의 위험 관리는 AI 개방성이 상당한 편익을 제공하며, 이러한 편익이 공유 범위(모델의 가중치만 공개되는지, 아니면 학습 데이터, 학습 코드, 문서까지 공개되는지)에 따라 달라진다는 인식에서 출발해야 한다. International AI Safety Report 2026에 따르면, 이러한 편익은 가중치를 공개적으로 배포하는 데 따른 추가 위험보다 클 수 있다 [3]. 본 프레임워크는 이러한 상충관계가 다수의 다운스트림 배포자에게 가장 중대한 영향을 미치는 경우, 즉 프론티어 오픈 웨이트 모델을 다룬다.

Risk management of open-weight models should start with a recognition that AI openness provides substantial benefits, and that these benefits depend on how much is shared (whether only the model's weights are open, or also its training data, training code, and documentation). As the International AI Safety Report 2026 states, these benefits may outweigh the additional risk of releasing weights openly [3]. This framework addresses the case in which that tradeoff is most consequential for a wide number of downstream deployers: frontier open-weight models.

오픈 웨이트 공개의 편익은 크게 네 가지 범주로 나뉜다. 첫째는 투명성과 감독이다. 개방성은 외부 행위자가 프론티어 AI 모델의 특성을 면밀히 조사하고 검증할 수 있게 한다. 둘째는 AI 연구 촉진으로, 특히 AI 안전 조직과 학술 기관에서의 연구를 촉진한다. 셋째는 모델에 대한 접근의 확대 및 민주화를 통한 폭넓은 도입과 혁신이다. 넷째 범주는 편익 공유와 권력 분산이다. 오픈 웨이트는 AI를 개발·평가·거버넌스하고 그로부터 편익을 얻을 수 있는 역량을 소수의 강대국과 랩을 넘어 분산시킨다.

The benefits of open-weight release fall into four broad categories. The first is transparency and oversight : openness can enable external actors to scrutinize and verify properties of frontier AI models. The second is facilitating AI research, especially among AI safety organizations and academic institutions. The third benefit is wider adoption and innovation through expanded and democratized access to the model. The fourth category includes benefit-sharing and diffusion of power : open weights distribute the capacity to develop, evaluate, govern, and benefit from AI beyond a small set of powerful countries and labs.

투명성과 감독

Transparency and Oversight

오픈 웨이트 모델은 폐쇄형 가중치 모델과 달리 외부 책임성의 적용을 받는다. 투명성 측면의 편익은 다음과 같다.

Open-weight models are subject to external accountability in a way that closed-weight models are not. Transparency benefits include:

독립적 검증: 개발자 외부의 연구자가 모델과 그 부수 구성요소를 감사하여 버그, 편향, 개발자의 주장과 실제 동작 간의 불일치를 확인할 수 있다 [12, 13].

Independent scrutiny: researchers outside the developer can audit a model and its accompanying components for bugs, biases, and discrepancies between developer claims and actual behavior [12, 13].

평가자 풀 확대: 개방형 공개는 프론티어 모델에 대한 감독을 시민사회, 규제기관, 다운스트림 개발자, 연구 커뮤니티로 직접 확장한다. 이렇게 확대된 평가자 풀은 중대한 안전 결함을 식별할 뿐 아니라 유익한 활용을 위한 모범 사례를 정립할 수도 있다 [3, 13].

Broader evaluator pool: open release directly extends oversight over frontier models to civil society, regulators, downstream developers, and the research community. This broader pool can not only identify critical safety flaws, but also set best practices for beneficial applications [3, 13].

현실적인 레드티밍: 레드팀은 공격자가 악용할 수 있는 것과 동일한 공개 도구를 사용하여 적대적 공격을 시뮬레이션할 수 있으므로, 블랙박스 탐색보다 더 현실적으로 공격을 모사할 수 있다 [12].

Realistic red-teaming: red teams can simulate adversarial attacks using the same publicly available tooling that adversaries might exploit, enabling more realistic emulation of attacks than black-box probing allows [12].

AI 연구 촉진

Facilitating AI research

오픈 웨이트는 프론티어 AI 및 AI 안전 연구의 진입 장벽을 낮춘다. 오픈 웨이트를 통해 다음이 가능해진다.

Open weights lower the barriers for frontier AI and AI safety research. They enable:

정렬 및 해석가능성 연구: 일부 해석가능성 연구와 프론티어 정렬 연구는 모델 파라미터와 패턴에 대한 직접 접근을 필요로 하며, 이는 애플리케이션 프로그래밍 인터페이스 (API)만으로는 제공되지 않는다 [12].

Alignment and interpretability research: some interpretability research and frontier alignment research requires direct access to model parameters and patterns, which API interfaces alone do not provide [12].

과학적 재현성: 개방형 공개는 프론티어 AI 연구에 대한 독립적 동료 검토와 재현을 가능하게 하여, 역량 및 안전 특성에 관한 개발자의 주장을 검증할 수 있게 한다 [8, 14]. 다만 기반 데이터셋과 학습 코드 없이 오픈 웨이트만으로는 학습 과정 전체를 종단 간(end-to-end)으로 재현할 수 없다는 점을 인정한다.

Scientific reproducibility: open release enables independent peer review and replication of frontier AI work, allowing to verify developer claims about capabilities and safety properties [8, 14]. We acknowledge that open weights alone do not allow for full end-to-end training reproducibility without the underlying datasets and training code.

누적적 발전: 개방형 공개는 자원이 부족한 연구자도 기존 시스템을 기반으로 연구를 진행할 수 있게 하여 누적적인 과학 발전을 뒷받침한다 [3].

Cumulative progress: open release allows less well-resourced researchers to build upon existing systems, supporting cumulative scientific progress [3].

도입과 혁신

Adoption and Innovation

오픈 웨이트는 AI가 유용하게 배포될 수 있는 맥락을 확장한다. 오픈 웨이트는 다음을 개선한다.

Open weights expand the contexts in which AI can be usefully deployed. They improve:

방어 역량: 방어자는 오픈 웨이트 모델을 자체 인프라에서 점검·조정·실행하여 취약점 연구와 사고 대응에 활용할 수 있으며, 이를 통해 대응 속도를 높이고 소수의 폐쇄형 제공자에 대한 의존도를 줄일 수 있다 [15, 16, 17].

Defensive capabilities: defenders can inspect, adapt, and run open-weight models on their own infrastructure for vulnerability research and incident response, improving response speed and reducing dependence on a small number of closed providers [15, 16, 17]

다운스트림 개발 효율성: 오픈 웨이트는 개발자가 프론티어 역량을 기반으로 개발할 수 있게 하여, 새로운 애플리케이션 개발에 필요한 연산, 자본, 시간을 절감한다 [12, 18].

Downstream development efficiency: open weights allow developers to build on top of frontier capabilities, reducing the compute, capital, and time required to develop new applications [12, 18].

프라이버시 및 오프라인 배포: 오픈 웨이트는 민감 데이터가 특정 시설 내에 머물러야 하는 경우나 안정적인 인터넷 연결을 이용할 수 없는 경우에 온디바이스 및 로컬 배포를 가능하게 한다 [3, 12].

Privacy and offline deployment: open weights enable on-device and local deployment for cases where sensitive data must remain on specific premises, or where reliable internet connectivity is unavailable [3, 12].

소외된 사용자를 위한 현지화: 오픈 웨이트는 독점 개발자가 우선순위를 두지 않을 수 있는 저자원 언어, 지역적 맥락, 전문 직무 과업에 맞게 모델을 미세조정하는 것을 용이하게 한다 [3].

Localization for underserved users: open weights make it easier to fine-tune models for low-resource languages, regional contexts, and specialized professional tasks that proprietary developers might not prioritize [3].

권력 분산과 편익 공유

Diffusion of Power and Benefit-sharing

오픈 웨이트는 AI를 개발·거버넌스하고 그로부터 편익을 얻을 수 있는 역량을 소수의 기존 주도 기업을 넘어 분산시킨다.

Open weights distribute the capacity to develop, govern, and benefit from AI beyond a small set of incumbents.

시장 집중 완화: 오픈 웨이트는 진입 장벽을 낮추고 경쟁을 촉진하며 개발자 커뮤니티를 확대함으로써, AI 역량이 자원이 풍부한 소수 기업에 집중되는 현상을 견제한다 [12, 15].

Market deconcentration: open weights lower barriers to entry, foster competition, and broaden the developer community, countering the concentration of AI capability in a small number of well-resourced firms [12, 15].

디지털 격차 해소: 개방형 공개는 개발도상 지역의 공동체가 프론티어 AI에 접근하고 이를 연구·조정할 수 있게 하여, 디지털 격차를 해소하고 그렇지 않았다면 배제되었을 AI 개발에 대한 전 지구적 참여를 가능하게 한다 [3, 19, 20, 21].

Bridging the digital divide: open release allows communities in developing regions to access, study, and adapt frontier AI, addressing the digital divide and enabling global participation in AI development that would otherwise be foreclosed [3, 19, 20, 21].

탈중앙화된 거버넌스: 오픈 웨이트 공개는 AI의 개발·평가·거버넌스 방식에 실질적인 영향력을 행사하는 행위자의 범위를 넓혀, 프론티어 랩의 관점을 넘어서는 다양한 관점을 반영한 탈중앙화된 완화 전략과 감독을 뒷받침한다 [13].

Decentralized governance: open weight releases expand the set of actors with meaningful influence over how AI is developed, evaluated, and governed, supporting decentralized mitigation strategies and oversight that reflect perspectives beyond those of frontier labs [13].

이러한 개방성의 편익은 오픈 웨이트 공개가 왜 중요하며 AI 안전과 보안의 향상을 포함하여 그토록 큰 잠재력을 지니는지를 설명해 준다. 그러나 이러한 편익만으로는 특정 프론티어 모델의 가중치를 공개적으로 배포해야 하는지, 그리고 어떻게 배포해야 하는지가 결정되지 않는다. 이 질문이 위험 관리 수명주기의 출발점이다. 본 프레임워크의 나머지 부분에서는 수명주기의 6단계를 차례로 다루며, 각 단계에서 개방성과 그 한계 위험을 비교·형량한다.

These benefits of openness explain why open-weight release matters and holds so much potential, including for improving AI safety and security. However, they do not by themselves determine whether and how any specific frontier model's weights should be openly released. That question is the starting point of the risk management lifecycle. The rest of this framework works through the six lifecycle stages, weighing openness against its marginal risks at each stage.

위험 식별

Risk Identification

위험 식별은 위험을 발견하고 인지하며 기술하는 과정이다. 위험 관리에 관한 국제 표준인 IEC/ISO 31010 [22]은 증거 기반 검토와 체계적 전문가 검토를 모두 다루며, 어떤 방법을 사용하든 '위험을 식별할 때 인적·조직적 요인을 충분히 고려하는 것이 중요하다'고 명시한다. 범용 AI 시스템의 경우, International AI Safety Report 2026은 위협 모델링과 위험 분류체계를 가장 확립된 식별 방법으로 제시한다 [3].

Risk identification is the process of finding, recognizing, and describing risks. The IEC/ISO 31010 [22] international standard on risk management covers both evidence-based reviews and systematic expert review, and specifies that irrespective of the method used, 'it is important that due recognition is given to human and organizational factors when identifying risk'. For general-purpose AI systems, the International AI Safety Report 2026 identifies threat modeling and risk taxonomies as the most established identification methods [3].

본 절은 Framework 2.0이 프론티어 범용 AI 모델에 대해 식별한 오용 및 사고 위험을 오픈 웨이트 공개가 어떻게 증폭하거나 변화시키는지 기술한다 [1]. 통제 상실 위험이나 시스템적 위험은 의도적으로 다루지 않는데, 이는 오픈 웨이트 공개가 독점적 공개에 비해 이러한 위험을 악화시킨다는 실질적인 증거가 없기 때문이다.

This section describes how open-weight release amplifies or alters the misuse and accident risks that Framework 2.0 identifies for frontier general-purpose AI models [1]. It deliberately does not cover loss-of-control or systemic risks, since there is no substantial evidence that open-weight release exacerbates these relative to proprietary release.

프론티어 오픈 웨이트 범용 AI(GPAI) 모델에 대한 위험 식별은 매우 중요하다. 이러한 모델은 위험에 기여하는 여러 특성을 보이기 때문이다. 즉, 오픈 웨이트 공개는 되돌리기 어렵거나 불가능하고, 모델은 탈중앙화된 배포를 통해 광범위한 사용자에게 도달하며, 그 역량은 점점 더 프론티어 수준에 위치하고 있다. 또한 탈중앙화된 공개는 오픈 웨이트 모델의 실제 확산, 사용, 영향을 추적하기 더 복잡하게 만들어 모든 위험을 식별하는 일을 더욱 어렵게 한다 [6]. 본 버전의 위험 목록은 현재의 증거 수준을 반영한다. 이 분류체계는 새로운 위험이 등장함에 따라 갱신될 것이며, 향후 오픈 웨이트 공개로 인해 통제 상실 위험과 시스템적 위험이 증폭된다는 증거가 나타나면 이를 추가할 것이다.

Risk identification for frontier open-weight GPAI models is crucial, because these models exhibit several of the contributing characteristics of risk: open-weight release is difficult or impossible to reverse, models reach a wide audience through decentralized distribution, and their capabilities increasingly sit at the frontier. Decentralized release also makes it more complicated to track the real-world spread, usage, and impact of open-weight models, which makes identifying all of their risks more challenging [6]. The list of risks in this version reflects the current state of the evidence. The taxonomy will be updated as new risks emerge, and loss-of-control and systemic risks will be added if future evidence shows that they are amplified by open-weight release.

오용 위험

Misuse Risks

개발자의 가시성 상실: 가중치가 공개적으로 배포되면 개발자는 모델의 최종 사용을 관찰하거나 추적할 수 없게 된다. 개발자는 배포를 모니터링하거나, 남용 패턴을 탐지하거나, 특정 오용 사례의 출처를 규명할 수 없으며, 이로 인해 유해한 활용을 사전에 방지하기도, 사후에 시정하기도 더 어려워진다 [2, 3]. 위험은 광범위한 행위자가 콘텐츠 필터와 같은 내장 안전장치를 우회하고 악의적 용도로 모델을 미세조정(Fine-Tuning)할 수 있다는 점이다 [23]. 배포에 대한 가시성이 없으면 개발자는 이러한 일이 언제 발생하는지 알 방법이 없으며, 그 결과 남용 위험이 증가한다.

Loss of visibility for developers: Once weights are openly released, developers lose the ability to observe or trace the model's ultimate use. They cannot monitor deployments, detect patterns of abuse, or attribute specific instances of misuse back to a source, which makes harmful applications both harder to prevent and harder to remedy after the fact [2, 3]. The risk is that a broad range of actors can circumvent built-in safeguards, such as content filters, and fine-tune models for malicious applications [23]. Without visibility into deployment, developers have no way of knowing when this occurs, thereby increasing the risk of abuse.

자원이 풍부한 악의적 행위자의 진입 장벽 완화: 오픈 웨이트 모델은 더 넓은 범위의 행위자가 감독 없이 악의적 목적을 위해 기존 역량을 증강하도록 할 수 있다 [24]. 배포 비용이 낮은 경우, 오픈 웨이트 모델을 피해를 위한 용도로 전용하는 데 필요한 노력도 그만큼 줄어든다 [25]. 그러나 프론티어 수준에서는 장벽이 더 높다. 가장 큰 오픈 웨이트 모델을 서비스하고 미세조정하는 데에는 상당한 연산과 기술 전문성이 필요하므로, 프론티어 오픈 웨이트 모델의 경우 이 위험은 자원이 풍부한 행위자에게 집중된다.

Lowering the barriers for well-resourced malicious actors: Open-weight models may enable a wider range of actors to augment their existing capabilities for malicious purposes and without oversight [24]. Where deployment costs are low, the effort required to repurpose open-weight models for harm falls accordingly [25]. However, at the frontier, the barrier is higher: since substantial compute and technical expertise are needed to serve and fine-tune the largest open-weight models, this risk is concentrated among well-resourced actors for frontier open-weight models.

변조 가능성(tamperability): 오픈 웨이트 모델은 맞춤화가 가능하므로 악의적 행위자가 안전 기능을 제거할 수 있다 [26]. 최근 연구에 따르면 오픈 웨이트 모델에 대한 이러한 악의적 미세조정은 위험한 활용을 가능하게 할 수 있다 [27, 28, 29]. 악의적으로 미세조정된 버전이 일단 존재하면 이는 추가로 유포될 수 있으므로, 단 한 번의 수정만으로도 안전장치가 손상된 모델이 다수의 사용자 손에 들어갈 수 있다.

Tamperability: Since open-weight models are customizable, malicious actors can strip out safety features [26]. Recent research shows that such malicious fine-tuning of open-weight models can enable dangerous applications [27, 28, 29]. Once a maliciously fine-tuned version exists, it can be further disseminated, so a single instance of modification can put a model with compromised safeguards in the hands of a large number of users.

강제 가능한 AI 콘텐츠 라벨링의 부재: 오픈 웨이트 공개는 AI 생성 콘텐츠가 신뢰할 수 있는 출처 표지를 갖추도록 보장하는 능력을 근본적으로 약화시킨다. 독점 애플리케이션 프로그래밍 인터페이스 (API) 제공자는 추론(Inference) 계층에서 워터마크, 메타데이터 태그 또는 콘텐츠 자격증명(content credentials)을 삽입할 수 있는 반면, 오픈 웨이트 모델은 이러한 장치 없이 로컬에서 실행될 수 있으며, 모델 가중치에 내장된 라벨링 메커니즘은 미세조정, 가중치 편집 또는 추론 시점 수정을 통해 제거되거나 우회될 수 있다 [30]. 이는 오용 위험을 직접적으로 증폭시킨다. 악의적 행위자는 탐지 가능한 서명 없이 대량의 합성 텍스트, 이미지, 오디오 또는 비디오를 생성할 수 있으며, 이로 인해 플랫폼, 팩트체커, 최종 사용자가 AI 생성 허위 정보, 딥페이크, 피싱 자료를 진본 콘텐츠와 구별하기가 상당히 어려워진다. 결과적으로 이는 대규모 설득 및 유해한 조작 캠페인의 비용을 낮추고 도달 범위를 넓히는 한편, 사고 후 책임 귀속과 규제 집행도 복잡하게 만든다.

Absence of enforceable AI content labeling: Open-weight release fundamentally undermines the ability to ensure that AI-generated content carries reliable provenance markers. Whereas proprietary API providers can embed watermarks, metadata tags, or content credentials at the inference layer, open-weight models can be run locally without any such instrumentation, and any labeling mechanisms built into the model weights can be stripped or circumvented through fine-tuning, weight editing, or inference-time modification [30]. This directly amplifies misuse risks: malicious actors can generate large volumes of synthetic text, images, audio, or video without any detectable signature, making it substantially harder for platforms, fact-checkers, and end users to distinguish AI-generated disinformation, deepfakes, and phishing materials from authentic content. In turn, this lowers the cost and increases the reach of large-scale persuasion and harmful manipulation campaigns, while also complicating post-incident attribution and regulatory enforcement.

사고 위험

Accident Risks

안전 메커니즘의 의도치 않은 저하: 정렬된 모델의 안전 가드레일은 악의적 의도가 없더라도 미세조정 과정에서 약화될 수 있다. 무해하고 흔히 사용되는 데이터셋도 미세조정에 사용될 때 안전 정렬을 의도치 않게 저하시키는 것으로 나타났다. 따라서 모델의 초기 정렬은 맞춤형 미세조정 이후 반드시 유지되는 것이 아니며, 이는 현재의 인프라로는 충분히 대응하지 못하는 새로운 안전 위험을 초래한다 [31].

Unintended degradation of safety mechanisms: Aligned models' safety guardrails can be eroded during fine-tuning even without malicious intent: benign and commonly used datasets have been shown to inadvertently degrade safety alignment when used in fine-tuning. A model's initial alignment is therefore not necessarily preserved after custom fine-tuning, introducing new safety risks that current infrastructures fall short of addressing [31].

결함의 전파: 소수의 개방형 기반 모델이 다운스트림 애플리케이션의 상당 부분의 기저에 놓이는 경우, 내재된 편향, 적대적 취약점, 배포 후 모니터링을 회피하는 능력 등 해결되지 않은 결함이 공유 구성요소 전반에 퍼져 상관된 연쇄적 실패를 일으킨다 [4, 24, 32]. 호스트가 수정 사항을 일괄적으로 적용할 수 있는 독점 모델과 달리, 오픈 웨이트 업데이트는 다운스트림 개발자가 자발적으로 채택해야만 효과가 있으며, 이들이 채택한다는 보장은 없다.

Propagation of flaws: When a small number of open base models sit under a large share of downstream applications, unresolved flaws such as embedded biases, adversarial vulnerabilities, or the ability to game post-deployment monitoring are distributed across shared components, producing correlated and cascading failures [4, 24, 32]. Unlike proprietary models where a host can universally roll out a fix, open-weight updates only work if downstream developers voluntarily adopt them, and there is no guarantee that they will.

위험 임계값

Risk Thresholds

위험 임계값은 수용 불가능한 위험에 대한 명확한 경계이다. 위험 임계값은 모델 공개 및 접근에 관한 결정뿐 아니라 완화 및 거버넌스에 관한 결정도 좌우한다 [1, 33]. 위험 임계값의 개발은 국제 AI 거버넌스에서 자주 언급되는 우선순위였으나, 오픈 웨이트 모델에 특화된 위험 임계값은 아직 구체화되지 않았다 [34]. UN Preliminary Report는 공유되고 표준화된 위험 임계값이 시급히 필요하다고 주장한다 [2]. 그러나 개방성은 새로운 거버넌스 접근법을 요구한다. 가중치가 공개되면 완전 폐쇄형 독점 모델에 적용 가능한 통제 수단의 상당수가 더 이상 적용되지 않기 때문이다 [35].

Risk thresholds are clear boundaries for unacceptable risks. They determine decisions about model release and access, as well as mitigations and governance [1, 33]. While the development of risk thresholds has been a frequently stated priority in international AI governance, risk thresholds specific to open-weight models have not yet been articulated [34]. The UN Preliminary Report argues that shared and standardized risk thresholds are urgently needed [2]. But openness demands new governance approaches, since many of the controls available for fully closed proprietary models no longer apply once weights are released [35].

본 절은 Frontier AI Risk Management Framework 2.0의 레드라인과 옐로라인을 채택한다. '레드라인'은 수용 불가능한 결과이며, '옐로라인'은 안전 및 보안 조치를 강화하기 위한 조기 경보 지표이다. 여기에는 사이버 공격, 생물학적 위협, 대규모 설득 및 유해한 조작, 통제 상실 위험 등 공공 안전과 국가안보를 위협할 수 있는 여러 핵심 영역에 걸친 영역별 레드라인 명세가 포함된다. 자세한 내용은 표 2.1~2.4를 참조한다 [1]. 가중치가 공개되면 배포 측 완화조치를 대부분 사용할 수 없으므로, 오픈 웨이트 모델의 경우 안전 여유(margin of safety)를 다르게 설정해야 한다 [36].

This section adopts the red and yellow lines from the Frontier AI Risk Management Framework 2.0 . 'Red lines' are unacceptable outcomes; 'yellow lines' are early-warning indicators for escalating safety and security measures. These include domain-specific red line specifications across several critical areas that could threaten public safety and national security, including cyber offense, biological threats, large-scale persuasion and harmful manipulation, and loss-of-control risks. For details, see Tables 2.1 to 2.4 [1]. Because deployment-side mitigations are largely unavailable once weights are released, the margin of safety has to be set differently in the case of open-weight models [36].

이러한 오픈 웨이트 특화 안전 여유를 보정하기 위해, 본 프레임워크는 잠재적 피해의 가능성과 심각도를 함께 추정할 수 있게 하는 네 가지 상호 연결된 분석 차원, 즉 배포 환경(Deployment Environment), 위협 원천(Threat Source), 실현 역량(Enabling Capability), 사회적 회복력(Societal Resilience)을 활용한다.

To calibrate this open-weight-specific margin of safety, this framework employs four interconnected analytical dimensions that together allow us to estimate the likelihood and severity of potential harm: Deployment Environment, Threat Source, Enabling Capability, and Societal Resilience.

배포 환경(E)

Deployment Environment (E)

이 차원은 AI 모델이 배포되는 운영 맥락과 제약 조건을 의미한다. 그 예로는 배포 영역, 운영 파라미터, 규제 환경, 사용자 인구통계, 인프라 의존성, 이용 가능한 감독 메커니즘 등이 있다. 배포 환경의 변화는 AI 모델의 역량이 동일하게 유지되더라도 그 위험 프로파일을 크게 바꿀 수 있다.

This dimension refers to the operational context and constraints within which the AI model is deployed. Examples include deployment domain, operational parameters, regulatory environment, user demographics, infrastructure dependencies, and available oversight mechanisms. Changes in the deployment environment can significantly alter an AI model's risk profile, even if its capabilities remain the same.

오픈 웨이트 파운데이션 모델은 탈중앙화된 방식으로 유포되고 채택되므로, 배포 환경과의 상호작용에서 비롯되는 위험을 평가하기가 특히 복잡하다. 오픈 웨이트 모델의 경우 운영 맥락이 매우 다양할 수 있다. 누구나 가중치를 다운로드하여 미세조정하고, 의료, 금융, 또는 규제되지 않는 개인 프로젝트와 같은 다양한 영역에, 그리고 서로 다른 규제 환경과 사용자 인구통계에 걸쳐 배포할 수 있다. 이는 상호 연결된 취약점을 만들어 낸다. 인프라 의존성이나 감독 메커니즘의 변화를 추적하기가 더 어려워지므로, 수정된 버전이 핵심 시스템에 내장될 경우 연쇄적 실패로 이어질 수 있기 때문이다. 반면 독점 모델은 일반적으로 API와 같은 통제된 채널을 통해 배포되므로, 제공자가 실제 다운스트림 사용 사례에 대해 제한된 시야만을 갖더라도 일관된 파라미터를 강제하고 사용을 모니터링할 수 있다.

Since open-weight foundation models are disseminated and adopted in a decentralized way, it is particularly complex to assess risks from their interactions with their deployment environment. With open-weight models, the operational context can vary widely: anyone can download the weights, fine-tune them, and deploy them across domains like healthcare, finance, or unregulated personal projects, and across different regulatory environments and user demographics. This creates interconnected vulnerabilities, since changes in infrastructure dependencies or oversight mechanisms are harder to track, potentially leading to cascading failures if a modified version is embedded in a critical system. Proprietary models, by contrast, are typically deployed through controlled channels such as APIs, allowing providers to enforce consistent parameters and monitor usage, even though their view of actual downstream use cases remains narrow.

오픈 웨이트 모델에는 중앙집중식 배포 후 통제 수단이 없으므로, 동일한 이중 용도 역량이라도 오픈 웨이트로 공개될 경우 완화되지 않은 오용으로 이어질 확률이 더 높다.

Because open-weight models lack centralized post-deployment controls, the same dual-use capability in an open-weight release carries a higher probability of unmitigated misuse.

따라서 공개 전 역량 평가 트리거는 더 보수적으로 설정해야 한다. 독점 모델은 내장된 안전장치와 제한된 접근이 위험이 확대되기 전에 그 일부를 흡수하므로 더 높은 위험 임계값을 허용할 수 있다(다만 이는 효과적인 내부 거버넌스를 전제로 한다). 반면 오픈 웨이트 모델은 위험 관리의 부담을 다운스트림의 사용자와 커뮤니티로 전가한다.

Consequently, pre-release capability evaluation triggers need to be set more conservatively. Proprietary models can tolerate higher risk thresholds, since built-in safeguards and restricted access absorb some risk before it escalates (though this assumes effective internal governance). Open-weight models instead shift the burden of risk management downstream to users and communities.

위협 원천(T)

Threat Source (T)

위협 원천은 AI 모델과의 상호작용을 통해 유해한 결과를 촉발할 수 있는 근원 또는 행위 주체로 정의된다. 그 예로는 외부 행위자(악의적 사용자, 적대 세력), 내부 요인(모델 오정렬, 학습 데이터 편향), 운영 요인(인적 오류, 시스템 통합 실패), 그리고 복잡한 AI-환경 상호작용에서 발생하는 창발적 행동 등이 있다.

Threat source is defined as the origin or agent that could trigger harmful outcomes through interactions with the AI model. Examples include external actors (malicious users, adversaries), internal factors (model misalignment, training data biases), operational factors (human error, system integration failures), and emergent behaviors arising from complex AI-environment interactions.

오픈 웨이트 모델은 이러한 각 범주 전반에 걸쳐 위협 원천의 범위를 넓힌다. 외부 행위자는 모델을 수정하고 악용할 수 있는 접근 권한을 더 쉽게 얻을 수 있으며, 커뮤니티 미세조정은 예측 불가능성을 더하는 창발적 행동을 유발하고, 중앙집중식 통제가 없으면 다양한 배포 환경 전반에서 발생하는 운영 실패를 예측하기가 더 어렵다. 원칙적으로 독점 모델은 위협 원천이 더 제한적이다. 제공자가 사용을 모니터링하고, 접근 속도를 제한하며, 오용된 계정을 해지할 수 있기 때문이다. 그러나 실제로는 이러한 대비가 그다지 명확하지 않다. 미세조정 API는 호스팅된 모델에서도 안전 가드레일을 무력화할 수 있으며, 폐쇄형 시스템의 사용자 대면 인터페이스 자체가 오용의 경로가 되어 왔다 [33].

Open-weight models widen the set of threat sources across each of these categories: external actors can more easily gain access to modify and exploit the model; community fine-tuning introduces emergent behaviors that add unpredictability; and operational failures across varied deployment settings are harder to anticipate without centralized control. In principle, proprietary models have more limited threat sources, since providers can monitor usage, rate-limit access, and revoke misused accounts. The contrast is less clean in practice, however: fine-tuning APIs can override safety guardrails even in hosted models, and user-facing interfaces on closed systems have themselves been vectors for misuse [33].

위협 원천 차원에 대해 위험 임계값을 보정하려면, 어떤 행위자가 프런티어 오픈 웨이트 역량을 현실적으로 활용할 수 있는지 파악해야 한다. 관련된 행위자 유형은 최소 네 가지이다.

To calibrate a risk threshold against the threat source dimension, we must know which actors can realistically make use of frontier open-weight capabilities. There are at least four relevant types of actor:

일반 사용자는 가중치를 수정하지 않으며, 기존 추론 프레임워크, 공개된 탈옥(Jailbreak) 기법, 기타 기성 우회 도구에 의존함.

Ordinary users do not modify weights, relying on existing inference frameworks, published jailbreaks, and other off-the-shelf bypass tools.

숙련된 개발자는 단일 노드 연산과 공개적으로 이용 가능한 저차원 적응(LoRA), 미세조정, 모델 편집 도구를 사용함.

Skilled developers use single-node compute and publicly available LoRA, fine-tuning, and model-editing tools.

전문 팀은 전체 미세조정, 모델 편집, 에이전트 엔지니어링, 시스템 수준 최적화를 수행할 수 있는 엔지니어링 역량을 보유함.

Professional teams have the engineering capacity for full fine-tuning, model editing, agent engineering, and system-level optimization.

자원이 풍부한 행위자는 기술적 전문성, 독점 데이터, 그리고 개발자 팀에 필적하는 재정 및 연산 자원을 보유함.

Well-resourced actors possess technical expertise, proprietary data, as well as financial and compute resources comparable to a developer team.

어느 한 계층을 따로 보는 것보다 이들 계층 간의 상호작용이 더 중요하다. 자원이 적은 사용자는 어려운 수정을 직접 수행할 필요가 없다. 전문 팀이나 자원이 풍부한 행위자가 안전장치를 제거하고 안전하지 않은 파생 모델을 재공개하면, 일반 사용자가 이를 다운로드하여 바로 실행할 수 있기 때문이다.

The interaction between these tiers matters more than any tier in isolation. Low-resource users do not need to perform difficult modifications themselves, since a professional team or well-resourced actor can strip safeguards and re-release an unsafe derivative that ordinary users can then download and run directly.

단 한 번의 오픈 웨이트 공개로 모델은 일부 행위자는 허용하고 다른 행위자는 배제하는 메커니즘 없이 모든 계층에 동시에 노출된다. 이것이 오픈 웨이트 모델의 역량 임계값을 동급 독점 모델보다 낮게 설정해야 할 수 있는 이유이다. 독점 모델은 위협을 걸러내는 게이트키핑에 의존하여 더 높은 역량 임계값을 허용할 수 있으나, 이는 블랙박스 배포에서만 드러나는 취약점을 간과할 수 있다. 반면 오픈 모델은 커뮤니티 주도의 위협 식별로부터 이점을 얻을 수 있으며, 이를 통해 집단적 안전 노력에 따라 시간이 지나면서 역량 임계값을 상향 조정할 수 있을 것이다.

A single open-weight release exposes a model to every tier at once, with no mechanism to admit some actors and exclude others, which is why capability thresholds for open-weight models may need to sit lower than for proprietary equivalents. Proprietary models can tolerate higher capability thresholds by relying on gatekeeping to filter threats, though this may overlook vulnerabilities that only surface in black-box deployments. Open models, on the other hand, could benefit from community-driven threat identification, which may allow capability thresholds to be adjusted upward over time through collective safety efforts.

실현 역량(C)

Enabling Capability (C)

실현 역량은 모델이 추가적인 안전장치 없이 배포될 때 특정 위험 시나리오를 가능하게 하는 AI 모델의 핵심 기능적 능력을 의미한다. 여기에는 과학적 추론, 코딩, 계획 수립과 같은 의도된 역량과, 규모나 학습으로부터 발생할 수 있는 창발적 역량이 모두 포함된다. 특히 병목 역량(bottleneck capability), 즉 그 존재 여부가 특정 유해한 결과의 실현 가능 여부를 가장 직접적으로 결정하는 역량에 주목한다.

Enabling capability refers to the core functional abilities of the AI model that make specific risk scenarios possible when the model is deployed without additional safeguards. This includes both intended capabilities such as scientific reasoning, coding, and planning, and emergent capabilities that may arise from scale or training. Particular attention is paid to bottleneck capabilities-those whose presence or absence most directly determines whether a given harmful outcome can be realized.

오픈 웨이트 모델의 경우, 실현 역량은 공개된 상태의 모델이 아니라 다운스트림의 자원이 풍부한 행위자가 미세조정을 통해 모델로부터 추출할 수 있는 역량을 기준으로 평가해야 한다. 반면 독점 모델은 시스템 프롬프트, 거부 학습, 모니터링이 갖추어진 상태에서 제공자가 의도한 대로 운영되는 배포 시스템의 역량을 기준으로 평가할 수 있다. 따라서 오픈 웨이트 위험 평가는 가중치가 가능하게 하는 것의 상한(upper envelope)(즉, 최악의 시나리오)을 추적해야 한다.

For open-weight models, enabling capability has to be assessed not against the model as released, but against the capability that a downstream well-resourced actor can extract from it through fine-tuning. Proprietary models, by contrast, can be assessed against the capability of the deployed system as the provider intends it to run, with system prompts, refusal training, and monitoring in place. Open-weight risk assessment therefore has to track the upper envelope of what the weights make possible (i.e. worst-case scenario).

독점 모델이 (배포된 상태의) 역량이 특정 수준을 초과할 때 특정 악의적 사용 임계값을 넘는다면, 오픈 웨이트 모델은 그보다 낮은 수준의 (공개된 상태의) 역량에서 동일한 임계값을 넘은 것으로 간주해야 한다. 이는 가중치가 공개되면 배포 환경(E)이 더 가변적이고 허용적으로 변하고, 더 넓은 범위의 행위자가 모델을 수정할 수 있게 되면서 위협 원천(T)이 확대되기 때문이다. 실제로 이는 오픈 웨이트 공개에서 위험한 역량으로 간주해야 할 기준을 낮춘다. 즉, 독점 배포 환경에서는 임계값보다 안전하게 낮은 수준에 머무를 역량도 배포 환경과 잠재적 위협 원천의 위험성이 더 높을 때에는 임계값을 넘을 수 있다.

If proprietary models cross a certain malicious use threshold when their (as-deployed) capability exceeds a given level, open-weight models should be treated as having crossed the same threshold at a lower level of (as-released) capability. This is because Deployment Environment (E) becomes more variable and permissive once weights are public, and Threat Source (T) expands as a wider set of actors can modify the model. In practice, this lowers the bar for what should count as a dangerous capability in an open-weight release: capabilities that would sit safely below the threshold under proprietary deployment can cross it when the deployment environment and potential threat sources are more risky.

사회적 회복력(R)

Societal Resilience (R)

사회적 회복력은 AI로 인한 피해를 견디고 그로부터 회복하는 사회의 역량이다. 사회적 회복력에 대한 평가(assessment)는 다면적이어야 하며, 오정보 탐지에 관한 공교육 프로그램(예: 사용자에게 비판적 사고와 사실 확인 기술을 가르쳐 조작에 대한 취약성을 줄이는 광범위한 디지털 리터러시 이니셔티브), 공격-방어 균형을 변화시키는 사이버 보안 인프라의 발전(예: 견고한 프로토콜, AI 지원 위협 탐지를 통한 발전), 강화된 생물안보 조치(예: AI 기반 생명공학 오용을 방지하기 위한 제공자의 의무적 DNA 서열 검사) 등의 요인을 포함해야 한다 [4, 37].

Societal resilience is a society's capacity to withstand and recover from AI-induced harms. The assessment of societal resilience should be multifaceted, incorporating factors such as public education programs on misinformation detection (e.g., widespread digital literacy initiatives that teach users critical thinking and fact-checking skills to reduce their vulnerability to manipulation), advancements in cybersecurity infrastructure that shift the offense-defense balance (e.g., through robust protocols, AI-assisted threat detection), and enhanced biosecurity measures (e.g., mandatory DNA sequence checks by providers to prevent AI-enabled bioengineering misuse) [4, 37].

오픈 웨이트 공개는 폐쇄형 배포로는 불가능한 방식으로 사회적 회복력(R)을 강화할 수 있다. 모델 가중치를 방어자의 손에 직접 쥐여 줌으로써, 공개는 현지화된 방어, 더 빠른 대응, 크라우드소싱 기반 안전 도구, 중앙집중식 인프라에 대한 의존도 감소를 가능하게 한다. 그러나 이것이 순위험을 성공적으로 낮추는지는 이러한 방어적 적응의 속도와 범위가 오픈 웨이트 역량이 향상되고 위협 행위자가 이에 접근하는 속도를 앞지를 수 있는지에 달려 있다.

Open-weight releases can strengthen societal resilience (R) in ways that closed deployments cannot. By placing model weights directly in the hands of defenders, open release enables localized defenses, faster responses, crowdsourced safety tools, and reduced dependency on centralized infrastructure. However, whether this successfully lowers net risk depends on whether the pace and reach of these defensive adaptations can outpace the speed at which open-weight capabilities improve, and threat actors gain access to them.

종합하면, 본 프레임워크는 각 차원별로 개별 검사를 두기보다 이들 차원을 결합한 총체적 판단을 통해 위험 임계값을 설정할 것을 권고한다. 배포 환경(E), 위협 원천(T), 실현 역량(C)은 특정 오픈 웨이트 공개가 초래하는 위험 노출 수준을 결정하며, 사회적 회복력(R)은 그 노출이 수용 불가능해지기 전에 사회가 안전하게 흡수할 수 있는 위험 수준을 결정한다. E, T, C가 함께 R이 흡수할 수 있는 수준을 넘어설 때 임계값을 넘은 것이며, 이는 동일한 공개 상태의 역량이라도 공개 시점에 이를 수용하는 사회의 회복력에 따라 위험 임계값보다 높을 수도, 낮을 수도 있음을 의미한다.

Taken together, the framework recommends setting risk thresholds through a holistic judgment based on these dimensions in combination, rather than having a test for each dimension. Deployment Environment (E), Threat Source (T), and Enabling Capability (C) set the level of risk exposure that a given open-weight release generates, while Societal Resilience (R) sets the level of risk that a society can safely absorb before that exposure becomes unacceptable. A threshold is crossed when E, T, and C together outpace what R can absorb, which means that the same as-released capability can sit above or below the risk threshold depending on the resilience of the receiving society at the time of release.

위험 분석

Risk Analysis

위험 분석은 AI가 옐로라인(yellow lines)을 넘었는지, 즉 안전 조치의 상향이 필요한 조기 경보 지표를 보였는지를 판단하기 위해 AI 개발 수명주기 전반에 걸쳐 수행해야 한다. 본 보고서는 AI 개발자가 중요한 배포 결정에 참고할 수 있도록 개발 전 및 배포 전 분석을 수행하고, 차세대 시스템의 안전한 개발을 이끌 수 있도록 지속적인 배포 후 모니터링을 수행할 것을 권고한다. 아래 하위 절에서는 오픈 웨이트 공개가 분석의 각 단계에서 위험 프로파일을 어떻게 복잡하게 만드는지 살펴본다. 가장 중요한 점은 배포 전 분석이 폐쇄형 가중치 모델을 위해 설계된 평가(evaluation) 관행을 그대로 가져오는 대신, 오픈 웨이트 공개의 고유한 위험 요인을 고려해야 한다는 것이다 [11]. 배포 후 모니터링은 오픈 웨이트 모델의 버전이 확산되고 나면 추적 가능성이 제한된다는 점에서 제약을 받는다 [38].

Risk analysis should be conducted throughout the entire AI development lifecycle to determine whether the AI has crossed yellow lines, i.e. displayed the early warning indicators that require safety measures to be escalated. We recommend that AI developers conduct pre-development and pre-deployment analyses to inform critical deployment decisions, as well as continuous post-deployment monitoring to guide the safe development of next-generation systems. The subsections below highlight how open-weight release complicates the risk profile at each stage of analysis. Most importantly, pre-deployment analysis must consider the distinct risk factors of open-weight release, rather than importing evaluation practices designed for closed-weight models [11]. Post-deployment monitoring is constrained by the limited traceability of open-weight models once their versions spread [38].

개발 전

Pre-development

오픈 웨이트 공개를 위한 개발 전 위험 분석은 가중치가 공개된 후 모델의 다운스트림 위험 프로파일을 형성하며 공개 이후에는 수정할 수 없는 설계 및 학습 단계의 결정에 초점을 맞추어야 한다. 모델 개발 파이프라인의 이 초기 단계에서는 다음 두 가지 기법이 핵심적이다.

Pre-development risk analysis for open-weight release should focus on design and training-time decisions that will shape the model's downstream risk profile once the weights are public and that cannot be revised after release. Two techniques are central at this initial stage of the model development pipeline:

학습 데이터 큐레이션: 사전 학습 데이터나 다운스트림 미세조정에 포함된 적대적 콘텐츠는 안전 정렬을 훼손할 수 있다. 학습 텍스트를 반복적이고 체계적으로 큐레이션하면, 개발자가 공격에 어떤 기법과 절차가 사용될지 모르는 경우에도 모델의 탈옥 취약성이 감소하는 것으로 나타났다 [39].

Training data curation: adversarial content in pre-training data or in downstream fine-tuning can compromise safety alignment. Iterative and structured curation of training texts has been shown to reduce models' susceptibility to jailbreaks, even when the developers do not know what techniques and procedures the attack will involve [39].

예상 안전 격차(anticipated safety gap): 개발자는 안전장치가 온전한 모델과 안전장치가 제거된 모델 간의 위험한 역량 차이를 모델링해야 한다. 증거에 따르면 이 격차는 모델 규모가 커질수록 확대되며, 이는 목표 규모와 안전 학습 투자에 관한 개발 전 선택이 (안전장치가 적용된) 학습된 상태의 역량만이 아니라 예상 안전 격차에 근거해야 함을 의미한다 [40].

Anticipated safety gap: Developers should model the difference in dangerous capabilities between a model with intact safeguards and one that has been stripped of them. Evidence shows that this gap widens with model scale, meaning that pre-development choices about target scale and safety training investment have to be based on the anticipated safety gap, not just the as-trained capability (with safeguards) [40].

배포 전

Pre-deployment

오픈 웨이트 공개를 위한 배포 전 위험 분석을 수행할 때, 개발자는 단일 배포 시스템이 아니라 가능한 다운스트림 모델 변형의 분포를 추론해야 한다. 다운스트림 행위자가 공개 후 모델을 미세조정하고 수정할 수 있기 때문이다. 이를 다루는 분석은 크게 두 범주로 나뉜다.

When conducting pre-deployment risk analysis for open-weight release, developers must reason about a distribution of possible downstream model variants rather than a single deployed system, since downstream actors can fine-tune and modify the model after release. Two broad categories of analysis address this:

최악의 경우 위험 분석 기법

Worst-case risk analysis techniques

모델 변조 공격 시뮬레이션: 변조 공격은 악의적 미세조정, 가중치 편집, 잠재 활성화 변경 등을 통해 공개된 모델을 직접 수정하여 중대한 결과를 초래하는 영역에서 최대 역량을 이끌어내는 것을 말한다. 표준적인 입력-출력 평가(evaluation)는 최악의 경우 행동의 하한만을 나타낼 수 있는 반면, 변조 시뮬레이션은 다운스트림 행위자가 가중치로부터 실제로 추출할 수 있는 것을 시험함으로써 더 엄밀한 상한을 제공한다 [41]. 예를 들어, 최근 연구에서는 오픈 웨이트 모델을 생물학적 오용 및 사이버 오용에 맞게 조정한 뒤, 이러한 역량을 오픈 웨이트 및 폐쇄형 가중치 기준 모델과 비교하여 이러한 유형의 변조로 인해 추가되는 위험을 추정하였다 [23].

Simulating model tampering attacks: Tampering attacks involve modifying a released model directly, whether through malicious fine-tuning, weight edits, or latent activation changes, to elicit maximum capabilities in high-consequence domains. Standard input-output evaluations can only indicate the lower bound of worst-case behavior, whereas tampering simulations provide tighter upper bounds by testing what a downstream actors could actually extract from the weights [41]. For example, in recent research, open-weight models have been tailored for biological and cyber misuse, in order to compare these capabilities against open- and closed-weight baselines and estimate the added risk from this kind of tampering [23].

전면 접근 감사: 변조는 모델의 직접적인 수정을 수반하므로, 오픈 웨이트 시스템에 대한 감사에는 가중치와 내부 상태에 대한 전면적인 접근이 필요하다 [42]. 적대적 미세조정 하에서의 최악의 경우 역량 평가는 오픈 웨이트 공개를 위한 필수 단계로 취급해야 한다 [41].

Full-access audits: Because tampering involves direct modification of the model, audits of open-weight systems require full access to weights and internal states [42]. Worst-case capability evaluations under adversarial fine-tuning should be treated as a necessary step for open-weight release [41].

최악의 경우 평가(evaluation) 대상으로서의 변조 저항성(tamper-resistance): 오픈 웨이트 개발자는 시스템 수준의 안전장치에 의존할 수 없으므로, 최악의 경우 분석은 다운스트림 행위자가 가중치 수준의 안전장치에 가할 수 있는 개입의 전체 범위를 포괄해야 한다. 여기에는 미세조정, 조향(steering), 모델 편집, 가지치기(pruning), 양자화, 증류, 모델 병합, 백도어 삽입이 포함된다. 현재의 기성 안전장치는 일반적으로 이 범위 전반에서 실패하며, 이로 인해 변조 저항성은 오픈 웨이트 모델 위험 관리의 핵심적인 미해결 기술 과제 중 하나가 되고 있다 [6, 43].

Tamper-resistance as a worst-case evaluation target: Because open-weight developers cannot rely on system-level safeguards, worst-case analysis has to cover the full range of interventions that a downstream actor could apply to weight-level safeguards, including fine-tuning, steering, model editing, pruning, quantization, distillation, model merging, and backdoor insertion. Current off-the-shelf safeguards typically fail across this range, which makes tamper-resistance one of the central open technical challenges for open-weight model risk management [6, 43].

한계 위험 분석(Marginal risk analysis) 기법

Marginal risk analysis techniques

기준 역량 비교: 오픈 웨이트 공개는 실제 "한계 위험"을 분리해 내기 위해 기존 도구 및 독점 모델과 비교하여 평가(evaluation)해야 한다. 오픈 모델이 이미 다른 곳에서 저렴하고 쉽게 접근 가능한 역량을 단순히 재현하는 데 그친다면, 그 순증가 위험은 미미하다 [7]. 이러한 한계 위험 관점은 오픈 웨이트 안전성에 관한 논쟁을 해소하는 데 도움이 되지만, 현재 대부분의 평가(evaluation)는 여전히 이러한 기준에 비추어 모델을 체계적으로 측정하지 못하고 있다 [24].

Baseline capability comparison: Open-weight releases should be evaluated against existing tools and proprietary models to isolate their true "marginal risk." If an open model merely replicates capabilities that are already cheap and accessible elsewhere, its net added risk is minimal [7]. While this marginal risk lens helps resolve debate over open-weight safety, most current evaluations still fail to measure models systematically against these baselines [24].

평가 격차와 위험 진화: 공개 시점의 기준 비교만으로는 오픈 웨이트 공개가 다운스트림에서 얼마나 큰 피해를 초래할 수 있는지에 대한 질문이 해결되지 않는다. DeepSeek-R1 공개 사례는 모델이 탈옥에 취약한 상태로 남아 있다면 향상된 추론 역량이 오용을 실질적으로 더 용이하게 만들고, 다운스트림 미세조정이 안전 보호 장치를 더욱 훼손할 수 있음을 보여 준다 [44]. 프론티어 모델이 시험 환경과 실제 배포를 점점 더 잘 구별하고 평가(evaluation)의 허점을 악용함에 따라, 배포 전 안전성 시험 자체도 수행하기가 더 어려워졌다 [3]. 두 문제 모두 명시적인 델타 평가 트리거(delta evaluation triggers)를 통해 해결할 수 있다. 개발자는 학습 데이터, 사후 학습 방법, 모델 아키텍처, 도구 사용 및 에이전트 역량, 또는 공개 방식에 중대한 변경이 발생할 때마다 이전의 안전성 평가(assessment)를 그대로 적용하는 대신 영향을 받는 구성 요소를 재시험해야 한다.

Evaluation gap and risk evolution: Baseline comparison at the point of release does not settle the question of how much harm an open-weight release could cause downstream. The DeepSeek-R1 release illustrates that if a model remains vulnerable to jailbreak, enhanced reasoning makes misuse more practically feasible, and downstream fine-tuning can further compromise safety protections [44]. Pre-deployment safety testing has itself become harder to conduct, as frontier models increasingly distinguish between test settings and real-world deployment and exploit loopholes in evaluations [3]. Both problems can be addressed by explicit delta evaluation triggers. Developers should re-test the affected components whenever a material change occurs in training data, post-training methods, model architecture, tool-use and agent capabilities, or the release mode, rather than defaulting to prior safety assessments.

한계 위험 분석(Marginal risk analysis)을 통해 폐쇄형 소스 프론티어 대비 공개 모델의 역량에 맞추어 위험 완화 수준을 조정할 수 있다. 프론티어 폐쇄형 가중치 모델의 역량을 초과하는 공개에는 가장 집중적인 공개 전 평가(evaluation), 제3자 감사, 지속적인 공개 후 모니터링이 요구된다. 프론티어와 동등한 수준의 공개에는 표준화된 평가(evaluation) 프로토콜과 공유된 안전 지침이 필요하다. 프론티어보다 상당히 낮은 수준의 공개에는 간소화된 평가(evaluation), 커뮤니티 및 업계 자율 거버넌스와 같은 경량 조치만으로 충분하다.

Marginal risk analysis allows risk mitigation to be calibrated to the release's capability relative to the closed-source frontier. Releases that exceed frontier closed-weight capabilities warrant the most intensive pre-release evaluation, third-party audit, and continuous post-release monitoring. Releases at frontier parity require standardized evaluation protocols and shared safety guidance. Releases well below the frontier only warrant lighter-touch measures such as simplified evaluation and community and industry self-governance.

배포 후

Post-deployment

오픈 웨이트 공개의 모니터링은 고유한 제약을 받는다: 가중치가 다운로드되고 나면 개발자가 모델이 어떻게 사용·조정·재배포되고 있는지 관찰할 수 있는 중앙 지점이 존재하지 않으며, 이로 인해 다운스트림 사용은 사실상 분산화되고 모델은 회수가 불가능해진다 [45, 46]. 일부 신흥 기법은 공개된 모델에 식별 신호를 임베딩하여 이 문제를 완화하려 한다. 이러한 신호는 생성 시점의 워터마크 형태이거나, 파생 모델을 그 출처까지 추적할 수 있게 하는 핑거프린트 형태를 취한다. 다만 두 신호 모두 폐쇄형 API 환경보다 오픈 웨이트 환경에서 유지하기가 더 어렵다 [47, 48]. 이러한 신흥 기법이 있더라도 오픈 웨이트 모델의 배포 후 모니터링은 방법론적으로 여전히 미성숙한 상태이며, 이는 개발자들 스스로도 인정하는 격차이다 [49].

Monitoring of open-weight releases is uniquely constrained: once weights are downloaded, there is no centralized point through which the developer can observe how the model is being used, adapted, or redistributed, which makes downstream usage effectively decentralized, and the model impossible to retract [45, 46]. Some emerging techniques attempt to mitigate this by embedding identifying signals in the released model, either as generation-time watermarks or as fingerprints that allow derivatives to be traced back to their source, though both signals are harder to sustain in the open-weight setting than in the closed-API setting [47, 48]. Even with these emerging techniques, post-deployment monitoring for open-weight models remains methodologically underdeveloped, a gap acknowledged by developers themselves [49].

간접 및 대리 모니터링 기법: 개발자가 다운스트림 사용을 직접 관찰할 수 없는 경우, 간접 신호를 활용할 수 있다. 예를 들어 유사한 독점 시스템에서 발생하는 애플리케이션 프로그래밍 인터페이스 (API) 남용(다운로드된 오픈 웨이트 변형 모델의 오용 패턴을 추론하기 위함), 공개적으로 호스팅되는 파생 모델에 대한 기술적 모니터링, 생태계 전반에 걸친 위험 조기 경보 및 사고 대응 공유 메커니즘 등이 이에 해당한다. 이러한 기법이 가시성 격차를 해소하지는 못하지만, 위험 관리 프로세스에서 다룰 오용 유형을 드러낼 수 있다.

Indirect and proxy monitoring techniques: Where developers cannot directly observe downstream use, they can draw on indirect signals, such as API abuse on comparable proprietary systems (to infer patterns of misuse in downloaded open-weight variants), technical monitoring of publicly hosted derivatives, and shared risk early-warning and incident-response mechanisms across the ecosystem. These techniques do not close the visibility gap, but they can surface classes of misuse for the risk management process.

위험 평가(evaluation)

Risk Evaluation

이 절에서는 위험 수준에 따라 모델을 세 가지 구역으로 분류하는 접근법을 제시한다. 녹색 구역(표준 조치로 안전하게 배포 가능), 황색 구역(강화된 안전장치 및 승인 필요), 적색 구역(개발 및 배포 제한 등 특별 조치 필요)이 그것이다. 위험이 수용 가능한 수준에 도달할 때까지 반복적인 위험 감소 조치를 시행할 것을 권고한다.

This section outlines an approach that involves classifying models into three zones based on their risk level: green zone (safe to deploy with standard measures), yellow zone (requiring enhanced safeguards and authorization), and red zone (requiring extraordinary measures such as development and deployment restrictions). We recommend iterative risk-reduction measures until risks reach acceptable levels.

일반적인 프론티어 AI 위험 관리 프로세스와 마찬가지로, 이러한 구역 분류는 어떤 완화 조치와 거버넌스 프로토콜이 필요한지를 직접 결정한다. 오픈 웨이트 공개의 주요 차이점은 황색 구역에 있다. 오픈 웨이트 모델의 평가(evaluation)에서 핵심 과제는 안전장치의 내구성이다. 황색 구역 위험을 관리하는 데 통상 사용될 수 있는 제한적 접근 및 통제된 배포 접근법의 상당수가 가중치가 공개적으로 배포되는 순간 무력화되기 때문이다. 따라서 배포 결정은 이러한 제약을 고려해야 한다.

As in the general frontier AI risk management process, this zone classification directly determines what mitigation measures and governance protocols are required. The main difference for open-weight releases lies in the yellow zone. A critical challenge in the evaluation of open-weight models is the durability of safeguards, since many of the restricted access and controlled deployment approaches that can typically be used to manage yellow-zone risks become obsolete once weights have been publicly released. Therefore, deployment decisions have to account for this constraint:

잔여 위험 평가는 안전장치의 내구성에 좌우된다. 가중치가 공개되고 나면 안전 학습이 계속 적용되는 유일한 완화 수단이 되므로, 잔여 위험은 공개 후 모델이 추가로 학습될 때 해당 학습이 유지되는지에 크게 좌우된다. 안전 학습은 소수의 유해한 학습 예시만으로도 무력화될 수 있다 [31]. 공격자는 이러한 예시를 직접 수집할 필요조차 없는데, 정렬된 모델에 프롬프트를 입력하여 모델 스스로 예시를 생성하게 할 수 있기 때문이다 [29]. 모델이 유해한 요청을 거부하거나 위험한 지식을 망각하도록 만드는 현재의 방법은 몇 단계의 미세조정만으로도 제거되는 경우가 많다 [43]. 이러한 방어 수단을 평가(assessment)하는 데 사용되는 평가(evaluation) 방법 또한 검토자가 안전장치를 실제보다 더 견고한 것으로 간주하도록 오도할 수 있다 [50]. 내구성 있는 안전장치를 구축하고 이를 엄밀하게 평가(evaluation)하는 일은 오픈 웨이트 모델 안전성에서 여전히 미해결 기술 과제로 남아 있다 [6]. 따라서 오픈 웨이트 모델의 잔여 위험 추정치는 통제된 API 뒤에 유지되는 모델에 대한 동일한 추정치보다 더 넓은 불확실성을 수반하며, 이러한 불확실성은 추정치가 보고되고 이후 단계에서 활용되는 방식에 반영되어야 한다.

Residual risk assessment depends on safeguard durability. Once weights are released, safety training is the only mitigation that continues to apply, so residual risk depends largely on whether that training will survive when the model is further trained after release. Safety training can be undone with a small number of harmful training examples [31]. An attacker does not even need to collect those examples, because the aligned model can be prompted to generate them itself [29]. Current methods for making models refuse harmful requests or forget dangerous knowledge can often be removed with a few steps of fine-tuning [43]. The evaluation methods used to assess these defenses can also mislead reviewers into treating safeguards as more durable than they are [50]. Building durable safeguards and evaluating them rigorously remain among the open technical problems in open-weight model safety [6]. Residual risk estimates for open-weight models therefore carry wider uncertainty than the same estimates for models kept behind a controlled API, and this uncertainty should be reflected in how the estimate is reported and used in later stages.

개발자는 다양한 배포 옵션을 고려해야 한다. 단계적 공개, 검증된 연구자 및 감사자를 위한 구조화된 접근, 승인된 사용자를 위한 통제된 다운로드는 무제한 가중치 공개의 위험을 전부 감수하지 않으면서도 외부 검증, 고역량 모델에 대한 폭넓은 접근 등 개방성의 여러 이점을 유지한다 [51, 52]. 관건은 공개 여부 자체보다는 어떤 공개 경로가 적절한지인 경우가 많다. GLM-5.3 공개는 이를 실제로 보여 주는 사례이다. 이중 용도 위험을 근거로, 검증된 보안 파트너가 먼저 통제된 환경에서 모델을 평가(evaluation)하고 이후 더 넓은 접근과 API 제공이 뒤따르도록 접근이 구조화되었으며, 전체 가중치는 안전성 평가와 공개 준비가 완료된 후에야 공개되었다 [53]. 궁극적으로 개발자는 맥락을 고려하여 오픈 공개로 인한 추가 위험과 추가 이익을 비교 형량해야 한다. 동일한 모델이라도 행위자마다 위험 허용도, 생태계, 검토 중인 구체적 공개 메커니즘에 따라 서로 다른 결론에 도달할 것이기 때문이다 [24].

Developers should consider a range of deployment options. Staged release, structured access for vetted researchers and auditors, and controlled download for approved users preserve many of the benefits of openness, such as external scrutiny and wider access to capable models, without incurring the full risk of unrestricted weight release [51, 52]. The relevant question is often which release channel is appropriate rather than whether to release at all. The GLM-5.3 release illustrates this in practice: citing dual-use risks, access was structured so that vetted security partners evaluated the model in controlled settings first, with broader access and API availability following, and full weights were published only once safety evaluations and release preparations were complete [53]. Ultimately, developers should take context into account and weigh the added risk of open release against the added benefit, since different actors will reach different conclusions about the same model based on their risk tolerance, ecosystem, and the specific release mechanism under consideration [24].

이러한 고려 사항은 단일 공개에 적용되는 것이지만, 개별 공개가 각각은 수용 가능해 보이더라도 연속적인 공개에 걸친 작은 위험 증가가 시간이 지남에 따라 누적되어 전체 위험의 상당한 증가로 이어질 수 있다 [3]. 따라서 평가(evaluation) 실행 방안은 오픈 웨이트 공개에 특화하여 설계되어야 하며 [11], 개발자는 누적된 역량 추세로 인해 공개에 적절한 임계값이 변화했는지를 주기적으로 검토해야 한다.

These considerations apply to a single release, but small increases in risk across successive releases can compound over time into substantial increases in total risk, even when each release looks acceptable on its own [3]. Evaluation practices should therefore be designed specifically for open-weight releases [11], and developers should periodically review whether cumulative capability trends have shifted the appropriate threshold for release.

각 구역의 위험 처리 전략은 오픈 웨이트의 경우에 맞게 조정되어야 한다.

The risk treatment strategy in each zone should be adapted for the open-weight case:

구역 분류결정 및 처리 전략
녹색 구역 (대체로 수용 가능)

전면적 오픈 웨이트 공개

  • 기반 모델과 잠재적인 공개 후 수정본(예: 검열 해제 또는 악의적으로 미세조정된 변형 모델) 모두에 대해 잔여 위험이 대체로 수용 가능한 수준으로 유지됨.
  • 전면적 오픈 웨이트 공개를 진행함. 기본 안전 실행 방안, 모델 문서화, 가용한 피드백 채널을 통한 공개 후 영향 모니터링이 요구됨.
황색 구역 (감내 가능)

제한적 및/또는 단계적 공개

  • 오픈 웨이트 개발자(모델 개발 수명주기 전반에 걸쳐)와 호스팅 플랫폼이 업스트림에서 일련의 완화 조치를 시행하는 경우에만 위험이 감내 가능함.
  • 단계적 또는 점진적 공개, 검증된 연구자 및 외부 감사자를 위한 구조화된 접근, 특정 사용 사례에 대한 게이트형 접근, 또는 가중치 공개를 평가(evaluation)하는 동안의 API 기반 호스팅 등 다양한 대안 중 하나에 따라 공개를 진행함.
적색 구역 (수용 불가)

공개 중단

  • 모델이 영역별 레드라인(red lines)1을 넘는 경우, 재평가(re-evaluation) 시까지 공개를 중단하거나 연기함.
  • 오픈 웨이트 모델이 공개 후 적색 구역으로 재분류되는 경우, 오픈 웨이트 공개는 되돌릴 수 없으므로 완화는 생태계 수준의 대응으로 전환되어야 함.
Zone ClassificationDecision & Treatment Strategy
Green Zone (Broadly Acceptable)

Full open-weight release

  • Residual risk remains broadly acceptable for both the base model and potential post-release modifications (e.g., uncensored or maliciously fine-tuned variants).
  • Proceed with full open-weight release. Requires baseline safety practices, model documentation, and post-release impact monitoring via available feedback channels.
Yellow Zone (Tolerable)

Restricted and/or staged release

  • Risks are tolerable only when a set of mitigation measures are implemented upstream by open-weight developers (throughout the model development lifecycle) and by hosting platforms.
  • Release proceeds under one of a spectrum of alternatives, including staged or gradual release, structured access for vetted researchers and external auditors, or gated access for specific use cases or hosting via API while weight release is evaluated.
Red Zone (Unacceptable)

Suspension of release

  • Release is suspended or postponed whenever a model crosses domain-specific red lines1 pending re-evaluation.
  • If an open-weight model is reclassified as Red Zone after release, mitigation must shift to ecosystem-level responses, as open-weight release cannot be reversed.

위험 평가(evaluation) 결정은 가중치가 공개되고 나면 되돌리기 어렵다. 이러한 모델은 임의로 수정되고, 감독 없이 사용되며, 비가역적으로 확산될 수 있으므로, 이 단계는 이후의 위험 완화 및 위험 거버넌스 단계를 규정한다 [6]. 배포 계층에서의 사용 중 통제가 불가능하므로, 오픈 웨이트 모델의 위험 완화는 공개 전에 효력을 발휘하거나 가중치가 배포된 후에도 계속 작동하는 조치에 집중해야 한다. 위험 거버넌스는 원 개발자를 넘어, 모든 오픈 공개가 만들어 내는 다운스트림 변형 모델의 생태계로까지 확장되어야 한다.

Risk evaluation decisions are difficult to reverse once weights are released. As these models can be modified arbitrarily, used without oversight, and spread irreversibly, this stage shapes the risk mitigation and risk governance stages that follow [6]. Risk mitigation for open-weight models must concentrate on measures that take effect before release or continue to operate once weights are distributed, since in-use controls at the deployment layer are not available. Risk governance must extend beyond the original developer to the ecosystem of downstream variants that any open release produces.

위험 완화

Risk Mitigation

이 절에서는 오픈 웨이트 AI를 위한 완화 조치를 개발 전 단계부터 배포 후 단계에 이르는 모델 수명주기에 대응시킨다. 이는 위험 완화가 여러 지점에서 이루어져야 한다는 견해로 수렴하는 최근 분류 체계 [34, 54, 55]의 구조를 반영한 것이다. 이 절은 오픈 웨이트 모델과 폐쇄형 가중치 모델 간의 핵심적 차이를 중심으로 구성된다. 즉, 오픈 웨이트 공개는 통상 배포 계층에서 작동하는 통제의 대부분을 제거하므로, 완화 부담은 업스트림인 사전 학습 단계로, 그리고 외부의 더 넓은 생태계로 이동한다.

This section maps mitigation measures for open-weight AI onto the model lifecycle, from pre-development through post-deployment. This mirrors the structure of recent taxonomies [34, 54, 55], which converge on the view that risk mitigation must occur at multiple points. The section is organized around a central difference between open-weight and closed-weight models: because open-weight release removes most of the controls that typically operate at the deployment layer, the mitigation burden moves upstream to pre-training and outward to the broader ecosystem.

이 지점에서 본 프레임워크는 Framework 2.0 [1]과 가장 뚜렷하게 구별된다. 해당 문서에서 황색 구역의 위험 완화 도구는 사용자 KYC 메커니즘, API에 대한 콘텐츠 입력 및 출력 제한, 모델의 배포 장소와 방식에 대한 감독에 의존한다. 이 세 가지 기법은 모두 개발자가 사용자와 모델 간 인터페이스에 대한 통제를 유지하는 것을 전제로 하는데, 바로 이것이 오픈 웨이트 공개로 상실되는 부분이다.

This is where this framework departs most sharply from the Framework 2.0 [1]. In that document, the yellow zone risk mitigation toolkit relies on user KYC mechanisms, content input and output restrictions on APIs, and oversight of where and how models are deployed. All three techniques depend on the developer retaining control of the interface between users and the model, which is precisely what is lost with open-weight release.

개발 전 단계

Pre-development stage

개발 전 단계의 완화 조치는 가중치가 존재하기 전에 작동하므로 고유한 지속성을 지닌다. 애초에 학습되지 않은 역량은 다운스트림 사용자가 재활성화할 수 없기 때문이다. 여기서 가장 유력한 수단은 학습 데이터 큐레이션이며, 최근 근거는 이것이 오픈 웨이트 공개에 활용할 수 있는 가장 강력한 방어 계층 중 하나임을 시사한다.

Pre-development mitigations act before the weights exist, which makes them uniquely durable: a capability that was never learned cannot be reactivated by a downstream user. Training data curation is the leading candidate here, and recent evidence suggests it is one of the strongest layers of defense available for open-weight release.

학습 데이터에서 유해 콘텐츠를 걸러내는 것은 현재 가용한 방어 수단 중 가장 지속적인 것 중 하나로 보인다. 최근 연구에 따르면 필터링된 데이터로 사전 학습된 모델은 학습 후에 패치된 모델보다 적대적 미세조정에 훨씬 강하게 저항하며, 무관한 과업의 성능 저하도 없다 [56, 57, 58].

Filtering hazardous content out of training data appears to be one of the most durable defenses currently available. Recent studies show that models pretrained on filtered data resist adversarial fine-tuning far more strongly than models patched after training, with no cost to performance on unrelated tasks [56, 57, 58].

데이터 큐레이션은 완전한 방어 수단이 아니다. 검색 또는 도구 증강을 통해 추론 시점에 유해 정보가 제공되는 경우, 데이터 큐레이션은 필터링된 모델이 아는 내용을 제한할 뿐 주입된 위험 정보를 모델이 활용하는 것까지 막지는 못한다 [57]. 또한 어떤 학습 콘텐츠가 어떤 역량으로 이어지는지, 그리고 무엇을 필터링할지 식별하는 신뢰할 만한 방법을 어떻게 확장할지는 아직 연구로 규명되지 않았다 [54]. 이러한 한계로 인해 위험 완화는 데이터 큐레이션에만 의존하기보다 심층 방어(defense in depth)를 채택해야 한다.

Data curation is not a complete defense. When hazardous information is supplied at inference time through retrieval or tool augmentation, data curation limits what the filtered model knows but does not prevent it from using dangerous information that is fed in [57]. Research has also not yet established which training content leads to which capabilities, or how to scale reliable methods for identifying what to filter [54]. Due to these limits, risk mitigation should employ defense in depth, rather than relying on data curation alone.

개발 단계

Development stage

사전 학습이 완료되면 위험 완화는 학습된 모델에 적용하는 기법으로 전환된다. 오픈 웨이트 모델의 경우, 이러한 안전장치는 가중치가 공개된 후에도 견고성을 유지하려면 적대적 미세조정을 견뎌 내야 한다. 이러한 제약으로 인해 이 분야의 연구 대부분은 변조 저항성 미세조정(tamper-resistant fine-tuning)에 초점을 맞추며, 이와 함께 안전성을 모델 또는 그 런타임 환경에 보다 깊이 내재화하려는 일련의 신흥 방법들도 연구되고 있다.

Once pre-training is complete, risk mitigation shifts to techniques that are applied to the trained model. For open-weight models, any such safeguard must survive adversarial fine-tuning to remain robust once weights are public. Due to this constraint, most research in this area focuses on tamper-resistant fine-tuning, alongside a set of emerging methods that aim to embed safety more deeply in the model or its runtime environment.

변조 저항성 미세조정. 점점 늘어나고 있는 일군의 완화 기법은 안전장치를 모델에 보다 깊이 내재화하여, 이를 제거하려면 몇 단계의 미세조정보다는 전면 재학습에 더 가까운 노력이 필요하도록 만드는 것을 목표로 한다 [43, 59, 60].

Tamper-resistant fine-tuning. A growing family of mitigation techniques aim to embed safeguards more deeply in the model, so that removing them requires efforts more comparable to full retraining than to a few steps of fine-tuning [43, 59, 60]. The

International AI Safety Report 2026은 이러한 연구 흐름을 유망하지만 (현재까지는) 견고하게 달성하기 어려운 것으로 평가한다 [3]. 특히 '언러닝(unlearning)' 기법은 유해 지식을 제거하기보다 은폐하는 것으로 나타났으며, 최첨단 방법조차 단 10개의 무관한 예시로 모델을 미세조정하거나 활성화 공간의 특정 방향을 편집하는 것만으로 무력화되었다 [61]. 언러닝이 성공하더라도, 맥락 내 학습(in-context learning) 능력이 강한 모델에서는 제거된 지식이 프롬프트를 통해 다시 주입될 수 있으므로 충분하지 않은 것으로 보인다 [62]. 보다 최근의 연구는 사전 학습 단계에서 선택된 역량을 공개 시 제외할 수 있는 모듈로 분리하는 방식을 시도하고 있으나, 이는 아직 소규모에서만 입증되었다 [63].

International AI Safety Report 2026 characterizes this line of work as promising but (so far) challenging to achieve robustly [3]. In particular, 'unlearning' techniques have been shown to obfuscate hazardous knowledge rather than remove it, and state-of-the-art methods have been broken by fine-tuning models on as few as ten unrelated examples or by editing specific directions in activation space [61]. Even successful unlearning appears insufficient in models with strong in-context learning, since removed knowledge can be reintroduced through prompts [62]. More recent work attempts to separate selected capabilities into modules during pre-training that can be withheld at release, though this has so far been demonstrated only at small scale [63].

스캐폴딩 기반 방법. 이는 프롬프트에 악의적 의도가 있는지 선별하고, 응답이 사용자에게 도달하기 전에 안전 위반 여부를 검사하는 가드 모델(guard model)과 같은 부가적 안전장치이다. 가중치를 보유한 누구나 이를 손쉽게 비활성화하거나 우회할 수 있지만, 이러한 방법은 여전히 우발적 오용을 방지하고, 정교하지 않은 행위자를 억지하며, 다운스트림 개발자에게 자체 안전 시스템 구축의 출발점을 제공하는 데 도움이 된다 [54].

Scaffolding-based methods. These are add-on safeguards, such as guard models that screen prompts for malicious intent and check responses for safety violations before they reach the user. Anyone with the weights can trivially disable or bypass them, but they still help prevent accidental misuse, deter unsophisticated actors, and give downstream developers a starting point for their own safety systems [54].

암호학 및 하드웨어 기반 방법. 파라미터 수준 암호화, GPU 측 키 관리와 같은 초기 단계의 접근법은 승인된 복호화 단계가 완료된 경우에만 모델을 수정하거나 실행할 수 있도록 할 것이다 [64]. 최근의 안전 연구는 AI 모델에 대한 검증 가능한 수학적 보안 경계를 탐구하고 있다 [65]. 이러한 방향은 오픈 웨이트 위험 완화에 개념적으로 유망하지만, 아직 프론티어 모델 규모에서는 입증되지 않았다.

Cryptographic and hardware-based methods. Nascent approaches such as parameter-level encryption and GPU-side key management would let a model be modified or run only when an authorized decryption step is completed [64]. Recent safety research explores verifiable mathematical security boundaries for AI models [65]. These directions are conceptually promising for open-weight risk mitigations but have not yet been demonstrated at frontier model scale.

배포 단계

Deployment stage

배포 그 자체도 위험 완화 지점이다. 오픈 웨이트 공개는 철회할 수 없으므로, 이 단계에서는 특히 두 가지 선택, 즉 어떤 공개 채널을 사용할 것인가와 가중치와 함께 어떤 문서를 공개할 것인가가 중요하다.

Deployment is itself a risk mitigation point. Because open-weight release cannot be revoked, two choices at this stage matter especially: which release channel to use, and what documentation to release alongside the weights.

공개 전략은 하나의 스펙트럼상에 위치한다. 배포 선택지는 완전히 폐쇄된 API 접근부터 완전한 오픈 웨이트까지 다양하며, 그 사이에 게이트형 접근이나 연구자 전용 접근과 같은 중간 지점이 존재한다 [51]. 단계적 공개는 접근을 점진적으로 개방하는 것으로, 개발자와 방어자가 각 단계에서 활용 확산 양상을 모니터링할 수 있게 한다 [16, 54, 66].

Release strategy sits on a spectrum. Deployment options range from fully closed API access to fully open weights, with intermediate points such as gated or researcher-only access [51]. Staged release involves opening access gradually and lets developers and defenders monitor uptake at each step [16, 54, 66].

가중치와 함께 공개되는 문서는 독립적 검토를 가능하게 한다. 상세한 모델카드, 기술 보고서, 평가(evaluation) 데이터는 외부 연구자가 시스템과 그 다운스트림 영향을 연구하는 데 필요한 맥락을 제공한다 [54]. 모범 사례의 예로는 기술 보고서, 벤치마크, 가중치와 함께 안전 분류기를 공개하는 것 [67]과 동료 검토 [44, 68] 등이 있다.

Documentation released alongside weights enables independent scrutiny. Detailed model cards, technical reports, and evaluation data give external researchers the context needed to study a system and its downstream effects [54]. Examples of best practices include releasing a safety classifier alongside a technical report, benchmarks, and weights [67], as well as peer review [44, 68].

배포 후 단계

Post-deployment stage

가중치가 공개되고 나면, 초점은 다운스트림 변형 모델 생태계의 위험을 모니터링하고 완화하는 것으로 이동한다.

Once weights are released, focus shifts to monitoring and mitigating the risks in an ecosystem of downstream model variants:

모델 기원 기법. 여기에는 변형 모델이 어떤 기반 모델에서 파생되었는지 추론하여 모델의 계보를 복원하는 방법 [69]과, 수정 이후에도 복제본을 식별할 수 있도록 모델 가중치에 워터마크를 삽입하는 방법 [70]이 포함된다. 두 방법 모두 어느 정도의 노력을 들이면 무력화될 수 있지만, 익명 오용의 비용을 높이고 사후 귀속(post-hoc attribution)을 뒷받침한다 [54]. 보완적 연구로는 오픈 모델 생태계 자체를 지도화하여, 공개 저장소를 검색 가능한 아틀라스로 매핑함으로써 속성 예측, 파생 모델 탐지 등의 다운스트림 응용을 지원하는 방안이 제안되었다 [71].

Model provenance techniques. Methods include recovering a model's heritage by inferring which base model a variant descends from [69] and watermarking model weights so that copies can be identified even after modification [70]. Both can be defeated with some effort, but they raise the cost of anonymous misuse and support post-hoc attribution [54]. Complementary work proposes charting the open-model ecosystem itself, mapping public repositories into a searchable atlas that supports downstream applications, such as attribute prediction and detecting derived models [71].

데이터 기원(Data Provenance) 기법은 AI 생성 콘텐츠를 그 출처까지 추적한다. 인지할 수 없는 워터마크와 메타데이터 표준을 통해 연구자는 오픈 웨이트 모델에서 생성된 것을 포함한 AI 생성 콘텐츠의 확산을 연구할 수 있다. 이러한 기법 역시 제거될 수 있지만, 이미 실무에서 유용하게 쓰이고 있으며 생태계 전반에서 점차 채택되고 있다 [54].

Data provenance techniques trace AI-generated content back to its source. Imperceptible watermarks and metadata standards let researchers study the spread of AI-generated content, including from open-weight models. These can also be removed, but they are already useful in practice and are gradually being adopted across the ecosystem [54].

유통 플랫폼은 생태계 수준 접근 통제의 자연스러운 지점이 된다. 개발자가 더 이상 접근을 중개하지 않으므로, 고객 확인(know-your-customer) 조치와 사용 모니터링(Usage Monitoring)은 외부의 유통 플랫폼과 다운스트림 배포자로 이동하며, 이들이 남아 있는 주요 수단이다 [54].

Distribution platforms become the natural point for ecosystem-level access controls. Because the developer no longer mediates access, know-your-customer measures and usage monitoring shift outward to distribution platforms and downstream deployers, which are the main remaining levers [54].

위험 거버넌스

Risk Governance

위험 거버넌스 단계의 주된 목표는 위험 관리 프로세스 전반이 엄격하게 이행되고, 지속적으로 모니터링되며, 변화하는 위협과 역량에 맞추어 정기적으로 조정되도록 보장하는 조직 구조, 감독 메커니즘, 책임성 프레임워크를 수립하는 것이다. 국제 위험 관리 표준은 어떤 평가(assessment) 방법을 사용하든 위험을 식별하고 기술할 때 인적·조직적 요인을 적절히 고려해야 한다고 강조한다 [22]. 가중치가 공개되고 나면 거버넌스를 책임지는 조직 단위는 더 이상 단일 개발자가 아니라 가치사슬 전반에 분산된 행위자 집합이 된다. 중국 사이버 보안 국가기술위원회 260(TC260)의 AI 안전 거버넌스 프레임워크 2.0은 이 문제를 직접 다룬다. 이 프레임워크는 오픈소스 생태계에 더 강력한 안전 조치가 필요하다고 주장하며, 모델 제공자와 오픈소스 커뮤니티가 공동 규칙을 마련하고, 다운로드한 모델에 수반되는 위험과 보안 책임을 사용자에게 고지하며, 오픈 웨이트 모델의 금지된 용도를 명시할 것을 요구한다 [5]. Partnership on AI도 유사한 결론에 도달하여, 모델 제공자, 어댑터(adapter), 호스팅 서비스, 다운스트림 애플리케이션 개발자를 관련 당사자로 열거하는데, 이들은 각기 다른 위치를 차지하며 활용 가능한 수단도 서로 다르다 [34].

The primary objective of the risk governance stage is to establish organizational structures, oversight mechanisms, and accountability frameworks that ensure the entire risk management process is rigorously implemented, continuously monitored, and regularly adapted to evolving threats and capabilities. International risk management standards emphasize that regardless of the assessment methods used, human and organizational factors must be given due recognition when identifying and describing risks [22]. Once weights are released, the organizational unit responsible for governance is no longer a single developer, but a distributed set of actors along the value chain. China's National Technical Committee 260 on Cybersecurity (TC260) AI Safety Governance Framework 2.0 addresses this directly: it argues that the open-source ecosystem should have stronger safety measures, calling model providers and open-source communities to develop shared rules, to inform users of the risks and security responsibilities that come with a downloaded model, and to specify prohibited uses of open-weight models [5]. The Partnership on AI reaches a similar conclusion, listing model providers, adapters, hosting services, and downstream application developers as relevant parties, each of whom occupies a distinct position with different levers available [34].

내부 거버넌스

Internal Governance

Framework 2.0의 내부 거버넌스 절은 개발자 자체의 프로세스, 즉 위험 위원회, 검토 위원회, 내부 책임성 체계에 초점을 맞춘다 [1]. 오픈 웨이트 공개의 경우에도 이러한 메커니즘은 여전히 필요하지만, 개발자의 내부 통제가 공개 이후 모델을 미세조정하거나 호스팅하거나 재배포하는 행위자에게까지 미치지 못하므로 더 이상 충분하지 않다.

The internal governance section in Framework 2.0 concentrates on the developer's own processes: risk committees, review boards, and internal accountability lines [1]. For open-weight releases, these mechanisms remain necessary, but they are no longer sufficient, since the developer's internal controls do not reach the actors who fine-tune, host, or redeploy the model after release.

개발자 측 내부 거버넌스는 여전히 토대가 된다. EU AI 법의 실천 강령과 같은 규제는 시스템적 위험이 있는 오픈 라이선스 범용 AI(GPAI) 모델의 제공자에게 모델 평가(evaluation) 수행, 적대적 시험 실시, 중대 사고의 추적 및 보고, 사이버 보안 보호 유지를 요구한다 [72]. 산업계 주도의 지침은 개발 프로세스를 문서화하고, 평가(evaluation) 프레임워크를 공유하며, 다른 이들이 활용할 수 있는 오픈 라이선스 산출물을 공개할 것 [73], 그리고 내부 감사와 문서화를 통해 실패, 성능 표류(performance drift), 안전하지 않은 행동을 모니터링할 것 [74]을 강조한다. 그 밖의 제안들은 개발자가 자체 조직 내에 오픈소스 거버넌스 위원회를 설치하고, 공개 전 보안 위험 평가를 수행하며, 비상 대응 계획을 마련할 것을 권고한다 [75].

Developer-side internal governance remains the foundation. Regulation such as the EU AI Act's Code of Practice requires providers of open-license GPAI models with systemic risk to conduct model evaluations, run adversarial testing, track and report serious incidents, and maintain cybersecurity protections [72]. Industry-led guidance emphasizes documenting development processes, sharing evaluation frameworks, and releasing openly licensed artifacts that others can build on [73], as well as using internal audits and documentation to monitor failures, performance drift, and unsafe behavior [74]. Other proposals recommend that developers establish open source governance committees, conduct pre-release security risk assessments, and prepare emergency response plans within their own organizations [75].

가치사슬의 하류에서도 동등한 내부 프로세스가 필요하다. 개발자 측 통제는 가중치와 함께 이전되지 않으므로, 모델 어댑터, 호스팅 서비스, 다운스트림 배포자는 각자의 역할에 맞게 조정된 자체 거버넌스 구조를 갖추어야 한다 [34]. EU AI 법의 실천 강령은 개발자와 다운스트림 제공자 간의 경계를 다음과 같이 구체화한다. 즉, 다운스트림 수정자가 가한 수정이 범용 AI 모델의 범용성, 역량 또는 시스템적 위험을 유의미하게 변화시키는 경우, 해당 수정자는 그 모델의 '제공자'가 된다 [76].

Equivalent internal processes are needed further down the value chain. Model adapters, hosting services, and downstream deployers each need their own governance structures adapted to their role, since developer-side controls do not travel with the weights [34]. The EU AI Act's Code of Practice operationalizes the boundary between developer and downstream provider thus: a downstream modifier becomes the 'provider' of a general-purpose AI model once modifications significantly change its generality, capabilities, or systemic risk [76].

책임성에 관한 불확실성은 여전히 거버넌스 공백으로 남아 있다. 분산된 내부 거버넌스가 갖추어지더라도, 오픈 웨이트 모델이 공개 이후 유해한 목적으로 수정되었을 때 누가 책임을 지는지는 아직 정립되지 않았다 [3]. 본 프레임워크는 이를 미해결 과제로 다루며, 다음 소절에서 다루는 투명성 및 외부 감독 메커니즘은 부분적으로 이 문제에 대응하기 위해 설계되었다.

Uncertainty over accountability remains a governance gap. Even with distributed internal governance in place, it is not yet settled who bears responsibility when open-weight models are modified for harmful purposes after release [3]. This framework treats this as an open question, and the transparency and external oversight mechanisms in the following subsection are partly designed to address this.

투명성과 사회적 감독

Transparency and Social Oversight

오픈 웨이트는 공개되어 있으므로, 외부 행위자는 폐쇄형 공개에서는 불가능한 방식으로 모델을 점검하고 평가하며 취약점을 식별할 수 있다. 이로써 투명성은 그 자체로 하나의 거버넌스 메커니즘이 된다.

Because open weights are public, external actors can inspect, evaluate, and identify vulnerabilities in ways that closed release does not allow. This makes transparency a governance mechanism in its own right.

오픈 웨이트는 폐쇄형 공개로는 뒷받침할 수 없는 작업을 외부 행위자가 수행할 수 있게 한다. 일부 연구는 개방성이 AI 안전과 단지 양립 가능한 것을 넘어 이를 촉진한다고 주장해 왔다. 편향과 보안 결함이 더 빨리 드러나고 수정되며, 평가(evaluation)는 개발자 커뮤니티 전반의 검토를 거쳐 신뢰성을 얻고, 공개된 코드는 외부 감사를 위한 검증 가능한 증거를 제공한다는 것이다 [77, 78]. 그러나 이러한 이점은 자동으로 주어지지 않으며, 생태계가 발견 사항에 대응할 역량과 조율 능력을 갖추고 있는지에 달려 있다.

Open weights let outside actors do work that closed release cannot support. Some scholarship has argued that openness is not merely compatible with AI safety but conducive to it: bias and security flaws surface and are patched sooner, evaluations gain credibility through review across the developer community, and open code provides verifiable evidence for external auditing [77, 78]. This upside, however, is not automatic, and depends on the ecosystem having the skills and coordination to act on findings.

모니터링 및 공개 의무는 프론티어 모델의 내부 추론 과정으로까지 확대되어야 한다. 프론티어 모델은 최종 출력에서 완전히 관찰되지 않으며 길고 여러 차례에 걸친 에이전트형 멀티턴 대화 전반에서 지속될 수 있는 확장된 내부 추론과 숙고에 점점 더 의존하고 있다. 이로 인해 기만적 정렬, 즉 모델이 내부적으로는 유해한 의도를 형성하면서도 외부로 드러나는 출력은 순응적으로 유지되는 시나리오가 발생할 여지가 커진다 [79, 80]. 따라서 모델카드 및 시스템 카드는 확장된 내부 추론의 활성화 여부, 적용된 안전 모니터링 메커니즘의 유형(즉, 전체 추론 사슬을 점검하는지 아니면 최종 출력만 점검하는지), 그리고 모니터링이 다루지 못하는 잔여 위험을 공개해야 한다.

Monitoring and disclosure obligations need to extend to frontier models' internal reasoning processes. Frontier models are increasingly relying on extended internal reasoning and deliberation that are not fully observable in final outputs, and that can be sustained across long, multi-turn agentic interactions. This creates greater scope for deceptive alignment-scenarios where a model internally formulates a harmful intent while its outward-facing outputs remain compliant [79, 80]. Model and system cards should therefore disclose whether extended internal reasoning is enabled, the type of safety-monitoring mechanism applied (i.e., whether the full reasoning chain is inspected, or just the final output), and the residual risk that monitoring does not address.

모델 가중치 및 추론 호스팅 플랫폼은 실제로 감독이 이루어지는 장소이다. HuggingFace, GitHub, ModelScope와 같은 플랫폼은 모델카드, 기술 보고서, 평가(evaluation) 데이터를 검색하고 다운로드할 수 있는 곳이자, 연구자, 감사자, 시민사회가 공개 이후 시스템을 점검할 수 있는 곳이다 [81]. 그러나 플랫폼 감독에는 한계가 있다. 원본 모델에 대한 사용 제한이 플랫폼에 재업로드된 파생 모델에서 안정적으로 유지되지 않기 때문이다 [38]. 공개 전 감사자에 대한 완전한 접근 제공, 점진적으로 더 큰 집단으로 확대하는 단계적 공개 등 개발자 측의 보완적 실행 방안은 광범위하게 이용 가능해지기 전에 결함을 드러내는 데 도움이 될 수 있다 [3].

Model weight and inference hosting platforms are where oversight actually happens. Platforms such as HuggingFace, GitHub, and ModelScope are the places where model cards, technical reports, and evaluation data are searchable and downloadable, and where researchers, auditors, and civil society can inspect a system after release [81]. Platform oversight, however, has limits: use restrictions for original models are not reliably preserved in derivatives re-uploaded to the platforms [38]. Complementary practices at the developer end, including full auditor access before release and staged release to progressively larger groups, can help surface flaws before wide availability [3].

각주

Notes

1Framework 2.0의 사이버 공격 위험, 생물학적 위험, 화학 안전 위험, 대규모 설득 및 유해한 조작 위험, 통제 상실 위험에 대한 레드라인 명세는 2.2절을 참조한다. ↩

1See section 2.2. for the red line specifications for cyber offense risks, biological risks, chemical safety risks, large-scale persuasion and harmful manipulation risks, and loss of control risks in Framework 2.0 . ↩