송경호KYUNGHO DAVID SONG

TRANSLATION · 자동번역

OpenAI, 「프론티어 AI의 민주적 거버넌스: 연방 프레임워크 청사진」

Democratic Governance of Frontier AI: A blueprint for a federal framework

Democratic Governance of Frontier AI: A blueprint for a federal framework 원문 표지
원문 표지
원문 보기 (PDF) (새 창)2026년 6월 2일자 PDF 전문.

인공지능을 성공적으로 활용하는 국가가 21세기의 과학적·경제적·지정학적 궤적을 형성할 것이다. AI는 과학적 발견을 가속하고, 경제적 기회를 확대하며, 국가안보를 강화하고, 한때 해결 불가능해 보였던 문제의 해결을 도울 수 있다. 동시에, 점점 더 유능해지는 AI 시스템은 사이버 공격, 생물학적 오용, 자율성, 정렬 및 그 밖의 국가안보 위협에 대한 우려를 불러일으키는 능력을 보이기 시작하고 있다. 오늘날의 시스템에서는 재귀적 자기 개선(recursive self-improvement, RSI)의 초기 징후, 즉 AI 개발 자체가 AI에 의해 가속되는 현상도 관찰된다. 우리는 이로 인해 개발자 간, 그리고 국가 간 경쟁 압력이 높아지고, 기존 기관이 대응할 역량을 갖추지 못한 거버넌스 과제가 생겨날 것으로 예상한다. RSI가 출현함에 따라, 사회는 AI 개발의 궤적을 형성하고 그것이 인간의 이익에 봉사하도록 보장할 방법을 필요로 하게 될 것이다.

The countries that successfully harness artificial intelligence will shape the scientific, economic, and geopolitical trajectory of the 21st century. AI can accelerate scientific discovery, expand economic opportunity, strengthen national security, and help solve problems that once seemed unsolvable. At the same time, increasingly capable AI systems are beginning to demonstrate abilities that raise concerns about cyber offense, biological misuse, autonomy, alignment, and other threats to national security. We also see early signs of recursive self-improvement (RSI) in today's systems: where AI development is itself accelerated by AI. We expect this to increase competitive pressures among developers and nations, and create governance challenges that existing institutions are not equipped to address. As RSI emerges, societies will need ways to shape the trajectory of AI development and ensure that it serves human interests.

민주주의 국가는 혁신을 공적 책임성, 투명성, 독립적 감독, 그리고 대의 정부를 통한 경로 수정 능력과 결합함으로써 강력한 AI가 책임 있게 개발되도록 보장할 수 있는 독보적인 위치에 있다. 그러나 효과적인 거버넌스를 위해서는 프론티어 역량이 어떻게 진화하고 있는지, AI가 국가안보에 어떤 영향을 미치고 있는지, 그리고 변화하는 위험 양상이 추가적인 국내 안전장치, 국제 공조 또는 그 밖의 예방 조치를 정당화하는지에 대한 가시성이 필요하다. 이러한 이해를 구축하려면 프론티어 AI를 평가(evaluation)하고, 역량의 진화를 모니터링하며, 정책 입안자에게 신뢰할 수 있는 정보를 제공할 수 있는 기관을 설립해야 한다.

Democracies are uniquely positioned to ensure that powerful AI is developed responsibly by coupling innovation with public accountability, transparency, independent oversight, and the ability to course-correct through representative government. But effective governance requires visibility into how frontier capabilities are evolving, how AI is impacting national security, and whether changing risk profiles warrant additional domestic safeguards, international coordination, or other precautionary measures. Building that understanding necessitates creating institutions capable of evaluating frontier AI, monitoring how capabilities evolve, and providing policymakers with reliable information.

AI의 중요성이 점점 커짐에 따라, 규칙, 안전장치, 책임성 메커니즘을 궁극적으로 결정해야 하는 주체는 단독으로 행동하는 민간 기업이 아니라 민주적 정부다. 우리는 AI 혁신의 속도에 관한 결정을 어느 한 랩, 기업 또는 특수 이익 집단에 맡겨서는 안 된다고 본다. 그 대신, 이러한 선택은 민주적 절차를 통해 이루어져야 하며, 프론티어 역량, 위험 완화 조치, 사회적 회복력, 지정학적 고려 사항에 대한 탄탄한 이해에 기반해야 한다.

As AI becomes increasingly important, democratic governments-not private companies acting alone-must ultimately determine the rules, safeguards, and accountability mechanisms. Our view is that decisions about the pace of AI innovation should not be left to any one lab, company, or special interest group. Instead, these choices should be made through democratic processes and informed by a robust understanding of frontier capabilities, risk mitigation measures, societal resilience, and geopolitical considerations.

이러한 맥락에서, 우리는 미국이 글로벌 거버넌스 형성에 기여할 수 있는 특히 유리한 위치에 있다고 믿는다. 미국 연방정부는 기밀 정보에 대한 접근, 사이버 보안 및 화학·생물·방사능·핵(CBRN) 방어에 관한 전문성, 보안 컴퓨팅 환경, 국제 파트너와의 공조 능력 등 어떤 민간 기업도 재현할 수 없는 고유한 역량을 보유하고 있다. 또한 프론티어 안전 프레임워크의 여러 구성 요소가 오늘날 미국에 이미 존재한다.

In this context, we believe that the United States is particularly well positioned to help shape global governance. The US federal government possesses unique capabilities that no private company can replicate, including access to classified intelligence, expertise in cybersecurity and chemical, biological, radiological, and nuclear (CBRN) defense, secure computing environments, and the ability to coordinate with international partners. And many building blocks of a frontier safety framework already exist in the US today.

프론티어 개발자(frontier developer)들은 이미 백악관의 자발적 약속을 채택하고, 배포 전 평가를 위해 AI 표준혁신센터(Center for AI Standards and Innovation, CAISI)와 협력해 왔다. 미국 기업들은 또한 유럽연합(European Union) 인공지능법(AI Act) 실천 강령에 서명하고 영국 AI 보안연구소(AI Security Institute)와 협력하는 등 국제적으로도 공조해 왔다. 각 주는 캘리포니아주 SB 53, 뉴욕주 RAISE Act, 일리노이주 SB 315를 포함하여 프론티어 AI 거버넌스에 대한 조화된 접근법을 개발하기 시작했으며, 최근 백악관의 첨단 인공지능 혁신 및 보안 증진(Promoting Advanced Artificial Intelligence Innovation and Security)에 관한 행정명령은 중요한 진전이다. 이제 미국 연방정부는 이러한 토대 위에서 기술 자체와 함께 진화할 수 있는 지속 가능한 연방 프레임워크를 구축해야 한다.

Frontier developers have already adopted White House voluntary commitments and partnered with the Center for AI Standards and Innovation (CAISI) for pre-deployment evaluations. US companies have also coordinated internationally, signing onto the European Union's AI Act Code of Practice and partnering with the United Kingdom's AI Security Institute. States have started developing harmonized approaches to frontier AI governance that include California's SB 53, New York's RAISE Act, and Illinois's SB 315, and the White House's recent executive order on Promoting Advanced Artificial Intelligence Innovation and Security is an important step forward. The US federal government must now build on that foundation and create a durable federal framework capable of evolving alongside the technology itself.

범용 인공지능(artificial general intelligence)이 모든 인류에게 혜택을 주려면, 세계에는 자발적 약속, 개별 기업의 정책, 고립된 규제 개입 이상의 것이 필요하다. 기술이 발전함에 따라 적응할 수 있는 조화된 법적 프레임워크와 지속 가능한 기관이 필요하다. 그러한 프레임워크는 다음을 충족해야 한다.

If artificial general intelligence is going to benefit all of humanity, the world needs more than voluntary commitments, individual company policies, and isolated regulatory interventions. It needs harmonized legal frameworks and durable institutions capable of adapting as technology advances. That framework should:

국가안보와 공공 안전에 대한 프론티어 위험에 대응해야 한다. 모든 프론티어 안전 프레임워크의 일차적 목표는 첨단 범용 AI 시스템이 초래하는 가장 심각한 위험을 완화하는 것이어야 한다. 여기에는 사이버 및 화학·생물·방사능·핵(CBRN) 위협, RSI의 진전, 그리고 파국적 결과로 이어질 수 있는 통제 상실 시나리오와 관련된 위험이 포함된다.

Address frontier risks to national security and public safety. The primary goal of any frontier safety framework should be to mitigate the most severe risks posed by advanced general-purpose AI systems. These include risks related to cyber and CBRN threats, RSI progress, and loss-of-control scenarios that could result in catastrophic outcomes.

민주적 거버넌스를 증진해야 한다. 사회가 프론티어 AI 위험을 관리하는 방식에 관한 결정은 단독으로 행동하는 민간 기업이 아니라 대의 정부를 통해 이루어져야 한다. 프론티어 안전 거버넌스는 투명성, 공적 책임성, 독립적 감독, 법치라는 자유 사회의 강점을 반영해야 한다.

Advance democratic governance. Decisions about how society manages frontier AI risks should be made through representative government, not by private companies acting alone. Frontier safety governance should reflect the strengths of free societies: transparency, public accountability, independent oversight, and the rule of law.

투명성을 촉진해야 한다. 정부, 연구자, 기업, 대중은 프론티어 AI가 어떻게 개발, 평가, 배포되는지에 관한 신뢰할 수 있는 정보를 필요로 한다. 투명성은 책임성을 창출하고, 독립적 검증을 뒷받침하며, 정책 결정이 증거에 기반하도록 보장하는 데 기여한다.

Promote transparency. Governments, researchers, businesses, and the public need reliable information about how frontier AI is developed, evaluated, and deployed. Transparency creates accountability, supports independent scrutiny, and helps ensure that policy decisions are informed by evidence.

혁신을 보호해야 한다. 프론티어 안전 프레임워크는 스타트업, 연구자, 그리고 프론티어 역량을 기반으로 개발하는 개발자에게 불필요한 장벽을 만들지 않으면서 가장 중대한 결과를 초래하는 위험에 초점을 맞춰야 한다. 프레임워크는 오늘날의 산업 구조를 법으로 고착시키지 않으면서 위험을 줄여야 한다.

Protect innovation. A frontier safety framework should focus on the highest-consequence risks without creating unnecessary barriers for startups, researchers, and developers building on top of frontier capabilities. It should reduce risk without locking today's industry structure into law.

적응형 기관을 구축해야 한다. AI는 빠르게 발전하고 있으며, 프론티어 거버넌스는 기술과 함께 진화할 수 있어야 한다. 정책 입안자는 시간이 지남에 따라 학습하고, 실험하고, 새로운 증거를 반영하며, 기준을 갱신할 수 있는 기관을 설립해야 한다.

Build adaptive institutions. AI is advancing rapidly, and frontier governance must be capable of evolving alongside the technology. Policymakers should create institutions that can learn, experiment, incorporate new evidence, and update standards over time.

프론티어 안전 프레임워크를 이행하려면 여러 층위의 정부 조치와 국제 협력이 필요하다. 각 주는 조화된 프론티어 안전법을 개발함으로써 민주주의의 실험실 역할을 계속할 수 있다. 미국 연방정부는 그러한 토대 위에서 프론티어 시스템을 평가하고, 신흥 위험을 식별하며, AI를 어떻게 규율해야 하는지에 관한 결정에 정보를 제공할 수 있는 기관을 설립해야 한다. 그리고 AI가 더욱 강력해짐에 따라, 정책 입안자는 더 광범위한 사회적 회복력을 구축하기 위한 범정부 계획을 필요로 하게 될 것이다.

Implementing a frontier safety framework will require action at multiple levels of government, as well as international cooperation. States can continue serving as laboratories of democracy by developing harmonized frontier safety laws. The US federal government should build on that foundation by creating institutions capable of evaluating frontier systems, identifying emerging risks, and informing decisions about how AI should be governed. And as AI becomes more powerful, policymakers will need a whole-of-government plan to build broader societal resilience.

본 청사진은 이러한 목표를 달성하기 위한 세 가지 축으로 구성된 전략을 제시한다. 1) 주 차원의 프론티어 안전법에 반영된 새로운 합의를 활용하는 국가 프레임워크를 구축하고, 2) 프론티어 AI 안전을 담당하는 미국 연방정부의 핵심 기관으로서 CAISI를 강화하며, 3) 프론티어 AI가 제기하는 국가안보 및 공공 안전 과제에 대응하기 위해 정부 전반에 걸쳐 더 광범위한 회복력 계획을 추진하는 것이다.

This blueprint outlines a three-part strategy for achieving those goals: 1) building a national framework that leverages the emerging consensus reflected in state frontier safety laws; 2) strengthening CAISI as the US federal government's primary institution for frontier AI safety; and, 3) mobilizing a broader resilience plan across government to address the national security and public safety challenges posed by frontier AI.

1. 역연방주의(reverse federalism)를 통한 국가 프레임워크 구축

1. Building a national framework through reverse federalism

각 주는 AI 정책의 소중한 실험실 역할을 해 왔으며, 현재 프론티어 안전에 관해 형성되고 있는 합의를 이루는 여러 아이디어를 개발하고 시험하는 데 기여해 왔다. 그러나 AI의 역량이 점점 강화됨에 따라, 가장 중요한 프론티어 안전 과제는 국가적, 그리고 종종 국제적 범위를 갖게 될 것이다. 정책 입안자는 그러한 토대 위에서 오늘날 형성되고 있는 합의를 포괄적인 연방 프레임워크로 발전시켜야 한다.

States have been valuable laboratories for AI policy, helping to develop and test many of the ideas that now form an emerging consensus on frontier safety. As AI becomes increasingly capable, however, the most important frontier safety challenges will be national-and often international-in scope. Policymakers should build on that foundation and turn today's emerging consensus into a comprehensive federal framework.

이 접근 방식을 우리는 역연방주의라 부른다. 이 방식에서는 각 주가 먼저 공통의 법적 프레임워크를 개발하고 다듬어 모델을 만들었으며, 이제 의회가 이를 국가 차원에서 채택해야 한다. 캘리포니아주의 SB 53, 뉴욕주의 RAISE Act, 일리노이주의 SB 315는 프론티어 AI 거버넌스의 핵심 요소에 관해 의미 있는 합의가 형성되었음을 보여준다. 이들 프레임워크는 공통의 요건을 공유하고, 국제적 접근 방식과도 부합하며, 연방 입법을 위한 실질적인 출발점이 된다.

This approach, which we call reverse federalism , allowed states to develop and refine common legal frameworks first, creating models that Congress should now adopt at the national level. California's SB 53, New York's RAISE Act, and Illinois's SB 315 demonstrate that a meaningful consensus has emerged around the core elements of frontier AI governance. These frameworks share common requirements, align with international approaches, and provide a practical starting point for federal legislation.

정책 입안자는 이러한 합의를 토대로 강력한 안전장치와 규제 확실성을 모두 제공하는 국가 프론티어 안전 프레임워크를 수립해야 한다. 이 프레임워크는 최소한 다음을 포함해야 한다.

Policymakers should build on this consensus by establishing a national frontier safety framework that provides both robust safeguards and regulatory certainty. At a minimum, that framework should include:

심각한 위험에 대한 평가(evaluation) 및 완화. 기업은 사이버, 화학·생물·방사능·핵, 통제 상실, 오정렬, RSI를 향한 진전과 관련된 위험에 대해 프론티어 역량을 평가하고, 적절한 안전장치를 시행하며, 잔여 위험이 적절하게 관리되고 있는 이유를 설명해야 한다. 위험 평가와 완화 조치는 모델의 배포 맥락에 맞게 조정되어야 한다.

Severe risk evaluations and mitigations. Companies should evaluate frontier capabilities for risks related to cyber, CBRN, loss of control, misalignment, and progress towards RSI; implement appropriate safeguards; and explain why any residual risks are appropriately managed. Risk assessments and mitigations should be tailored to the model's deployment context.

투명성 요건. 기업은 공개 프론티어 안전 프레임워크와 투명성 보고서를 발간해야 한다. 여기에는 심각한 위험을 평가하고, 안전장치를 시행하며, 배포 결정을 내리고, RSI를 향한 진전을 책임 있게 추적하는 방식을 기술해야 한다. 이때 보안, 영업비밀, 독점 정보를 보호하기 위한 적절한 민감정보 가림 처리를 할 수 있다.

Transparency requirements . Companies should publish public frontier safety frameworks and transparency reports describing how they evaluate severe risks, implement safeguards, make deployment decisions, and responsibly track progress towards RSI, with appropriate redactions to protect security, trade secrets, and proprietary information.

독립적 평가(assessment) 및 감사. 대형 프론티어 개발자(large frontier developer)는 매년 독립적인 제3자를 선임하여 프론티어 안전 요건의 규정 준수 여부를 감사받아야 한다. 감사 대상에는 개발자의 프론티어 AI 프레임워크 이행, 내부 통제, 거버넌스 구조가 포함된다. 이러한 감사는 관할권 간 상호운용 가능한 감사를 가능하게 하는 공통 기준에 기반해야 한다.

Independent assessment and auditing. Large frontier developers should annually retain an independent third party to audit compliance with frontier safety requirements, including implementation of the developer's frontier AI framework, internal controls, and governance structures. These audits should be underpinned by a set of common standards that allow for interoperable audits across jurisdictions.

치명적 안전 사고(critical safety incident)의 탐지 및 보고. 기업은 배포된 모델과 관련된 치명적 안전 사고를 보고해야 한다. 여기에는 프론티어 안전 프레임워크가 다루는 위험과 관련된 사고, 위험한 모델 행동, 민감한 모델 가중치에 대한 무단 접근이 포함된다.

Critical safety incident detection and reporting. Companies should report critical safety incidents involving deployed models, including incidents related to risks covered by the frontier safety framework, dangerous model behavior, or unauthorized access to sensitive model weights.

모델 가중치 보안 요건. 기업은 공개되지 않은 모델 가중치를 보호하기 위해 사이버 보안 및 내부자 위협 방지 조치를 시행해야 한다.

Model weight security requirements. Companies should implement cybersecurity and insider-threat protections to secure unreleased model weights.

내부 고발자 보호. 직원이 심각한 위험, 안전 실패, 치명적 안전 사고 또는 법률 위반에 관한 신빙성 있는 우려를 회사 경영진, 규제 당국 또는 기타 적절한 당국에 보고하는 경우 보복으로부터 보호받아야 한다.

Whistleblower protections. Employees should be protected from retaliation when reporting credible concerns about severe risks, safety failures, critical safety incidents, or violations of law to company leadership, regulators, or other appropriate authorities.

실질적인 책임성 메커니즘. 기업은 투명성, 보고, 안전 의무를 준수하지 않을 경우 집행 가능한 제재를 받아야 한다.

Meaningful accountability mechanisms. Companies should face enforceable consequences for failing to comply with transparency, reporting, and safety obligations.

책임 프레임워크는 심각한 피해(severe harm)에 대한 책임성을 유지해야 하며, 책임을 일괄적으로 면제하는 면책 조항(safe harbor)을 두어서는 안 된다.

Liability frameworks should preserve accountability for severe harms and should not provide blanket safe harbors from responsibility.

SB 53, RAISE, SB 315에 반영된 요건은 연방 프론티어 안전 입법의 토대가 되어야 하며, 그 종착점이 되어서는 안 된다. 정책 입안자는 CAISI에 공식적인 역할을 부여하고, 연방 차원의 평가(evaluation) 및 평가(assessment) 역량을 강화하며, 아래에서 설명하는 보다 광범위한 회복력 조치를 추진함으로써 이를 넘어서야 한다. 이러한 포괄적인 연방 프레임워크가 마련되면, 정책 입안자는 동일한 프론티어 안전 위험을 규제하려는 주법을 연방법으로 선점(preempt)해야 한다. 이를 통해 강력한 안전장치와 규제 확실성을 결합한 단일 국가 프레임워크를 만들 수 있다. 각 주는 청소년 보호, 전력 및 환경 정책, AI 교육 및 리터러시 등 프론티어 안전 이외의 분야에서 민주주의의 실험실 역할을 계속해야 한다.

The requirements reflected in SB 53, RAISE, and SB 315 should serve as the foundation for federal frontier safety legislation-not its endpoint. Policymakers should build beyond them by establishing a formal role for CAISI, strengthening federal evaluation and assessment capabilities, and advancing the broader resilience measures described below. With this comprehensive federal framework in place, policymakers should also preempt state laws that seek to regulate the same frontier safety risks, creating a single national framework that combines strong safeguards with regulatory certainty. States should continue serving as laboratories of democracy in areas beyond frontier safety, including youth protection, electricity and environmental policy, and AI education and literacy.

2. 강력한 기관을 통한 안전 강화

2. Strengthening safety through strong institutions

AI의 역량이 점점 강화됨에 따라, 미국은 프론티어 AI를 평가하고, 신흥 위험을 모니터링하며, 정책 입안자에게 독립적인 기술 자문을 제공하는 신뢰받는 기관을 필요로 하게 될 것이다. RSI는 인간이 첨단 AI의 궤적을 이해하고, 이끌고, 형성하는 능력을 유지할 수 있는지라는 근본적인 거버넌스 문제를 악화시킨다. 이로 인해 RSI는 향후 10년간 가장 중대한 결과를 초래할 수 있는 프론티어 안전 문제가 될 가능성이 있다. 그러나 현재 정책 입안자는 RSI의 진전 상황, 안전장치가 그 속도를 따라가고 있는지 여부, 향후 정책 결정에 어떤 지표를 활용해야 하는지에 대해 제한적인 가시성만을 갖고 있다. CAISI와 같은 기관은 이러한 격차를 해소하는 데 기여할 수 있다.

As AI becomes increasingly capable, the US will need a trusted institution responsible for evaluating frontier AI, monitoring emerging risks, and providing policymakers with independent technical advice. RSI exacerbates the fundamental governance question of whether humans can retain the ability to understand, guide, and shape the trajectory of advanced AI: making it potentially the most consequential frontier safety issue of the coming decade. Yet policymakers currently have limited visibility into RSI progress, whether safeguards are keeping pace, or what indicators should inform future policy decisions. An institution like CAISI can help close that gap.

정책 입안자는 CAISI를 강화하여 프론티어 AI 평가(evaluation), 표준 개발, 독립적 평가(assessment) 인증, 그리고 정부 내 및 국제 파트너와의 조정을 담당하는 세계 최고의 기관으로 육성해야 한다. CAISI의 임무는 정책 입안자가 국가안보, 국제 조정, 안전장치의 적정성, AI 개발 속도에 관해 정보에 입각한 결정을 내리는 데 필요한 정보와 분석을 제공하는 것이어야 한다. 특히 RSI를 향한 진전을 이해하고, 그 진전에 대한 신뢰할 수 있는 측정 방법을 개발하며, 정부가 대응에 필요한 정보를 확보하도록 보장하는 데 우선순위를 두어야 한다. 역량이 발전함에 따라, CAISI는 신흥 위험과 거버넌스 수요가 보다 명확해질 때 새로운 책임을 맡을 수 있도록 유연성과 적응성을 유지해야 한다.

Policymakers should strengthen CAISI and build it into the world's premier institution for frontier AI evaluation, standards development, independent assessment certification, and coordination across government and with international partners. Its mission should be to provide the information and analysis that policymakers need to make informed decisions about national security, international coordination, the adequacy of safeguards, and the pace of AI development. Particular priority should be given to understanding progress toward RSI, developing reliable measurements of that progress, and ensuring that governments have the information needed to respond. As capabilities advance, CAISI should remain flexible and adaptable, with the ability to take on new responsibilities as emerging risks and governance needs become clearer.

동시에 정책 입안자는 새로운 기관을 구축하는 데 따르는 어려움에 대해 현실적인 시각을 가져야 한다. 당면한 우선 과제는 CAISI의 기술 전문성, 운영 역량, 기관 신뢰도를 확보하는 것이어야 한다. 새로운 책임은 점진적으로 도입되어야 하며, 이를 성공적으로 수행하는 데 필요한 인력, 인프라, 자금, 권한이 함께 제공되어야 한다. 어떤 프레임워크든 그 실효성은 궁극적으로 실제로 어떻게 설계되고, 자원이 배분되며, 집행되는지에 달려 있다. 우리는 이러한 세부 사항이 정책 입안자, 업계, 기술 전문가 간의 지속적인 협의를 통해 다듬어질 것으로 예상한다. 이하의 권고안은 모든 이행 세부 사항을 규정하기보다는 기관 설계를 위한 지도 원칙을 제시한다. 또한 정책 입안자를 지원하는 동시에 민간 부문이 기대하는 속도, 엄밀성, 기술적 정교함을 유지할 수 있는 기관을 구축하기 위한 단계적 접근 방식을 제안한다.

At the same time, policymakers should be realistic about the challenges of building a new institution. Their immediate priority should be developing CAISI's technical expertise, operational capacity, and institutional credibility. New responsibilities should be introduced incrementally and paired with the personnel, infrastructure, funding, and authorities necessary to execute them successfully. The effectiveness of any framework will ultimately depend on how it is designed, resourced, and executed in practice, and we expect those details to be refined through continued engagement among policymakers, industry, and technical experts. The recommendations that follow suggest guiding principles for institutional design rather than prescribing every implementation detail and propose a phased approach to building an institution capable of supporting policymakers while also maintaining the speed, rigor, and technical sophistication expected by the private sector.

CAISI의 기반 구축. CAISI가 중대한 새로운 책임을 맡기에 앞서, 정책 입안자는 CAISI가 성공하는 데 필요한 자원, 권한, 제도적 지원을 갖추도록 보장해야 한다. 정책 입안자는 다음을 수행해야 한다.

Build CAISI's foundation. Before CAISI can take on significant new responsibilities, policymakers must ensure that it has the resources, authorities, and institutional support necessary to succeed. Policymakers should:

CAISI의 법적 승인 및 예산 책정. 명확한 법적 권한을 갖춘 상설 기관으로 CAISI를 설립하고, 프론티어 모델 평가(evaluation) 수행, 안전 표준 개발, 제3자 평가 기관 인증, 국가안보 및 과학 기관과의 조정, 국제 파트너와의 조정에 충분한 예산을 확보해야 한다.

Authorize CAISI and appropriate funding. Establish CAISI as a permanent institution with clear statutory authorities and sufficient funding to conduct frontier model evaluations, develop safety standards, certify third-party assessors, and coordinate with national security and scientific agencies, as well as with international partners.

CAISI의 권한 격상 및 정부 지원 조정. CAISI 기관장은 미국 상무부 장관(US Secretary of Commerce) 또는 기타 내각급 고위 관료에게 직접 보고해야 한다. 또한 백악관(White House)은 연방정부 전반의 부처와 기관으로부터 인력, 자원, 전문성, 운영 지원을 조정해야 한다.

Elevate CAISI's authority and coordinate government support. The CAISI Director should report directly to the US Secretary of Commerce or another senior Cabinet-level official, and the White House should coordinate staffing, resources, expertise, and operational support from departments and agencies across the federal government.

유연한 채용 권한 및 공공 복무 경로 제공. CHIPS for America에서 활용하는 것과 유사한 채용 권한을 도입하여 CAISI가 기술 인재를 신속하게 채용하고 경쟁력 있는 보수를 제공할 수 있도록 해야 한다. 아울러 경험 있는 AI 연구자, 엔지니어, 안전 전문가가 정부에서 한시적으로 근무할 수 있는 경로를 마련해야 한다.

Provide flexible hiring authorities and public-service pathways. Adopt hiring authorities similar to those used by CHIPS for America, allowing CAISI to recruit technical talent quickly and offer competitive compensation, while creating pathways for experienced AI researchers, engineers, and safety experts to serve temporary tours of duty in government.

국가안보 전문성 및 데이터 동원. 국가안보 및 과학 관련 부처와 기관이 CAISI와 협력하여 해당 분야의 평가(evaluation)를 지원하도록 지시해야 한다. 또한 CAISI의 위험 평가(assessment) 및 완화 역량을 강화하기 위해 사이버, 화학·생물·방사능·핵, 기타 국가안보 분야와 관련된 인력과 데이터를 즉시 제공하도록 해야 한다.

Mobilize national security expertise and data. Direct national security and scientific departments and agencies to support evaluations in these domains in coordination with CAISI and immediately make available personnel and data related to cyber, CBRN, and other national security domains to bolster CAISI's ability to assess and mitigate risks.

기밀 연산 접근 확보. CAISI는 프론티어 모델 평가(evaluation)를 수행할 수 있는 기밀 컴퓨팅 환경에 접근할 수 있어야 한다. 이는 전용 인프라, 기관 간 파트너십, 또는 정부 기관이나 상업 제공업체와의 공식 협약 중 어느 방식을 통해서든 확보할 수 있다.

Secure access to classified compute . CAISI should have access to classified computing environments capable of conducting frontier model evaluations, whether through dedicated infrastructure, interagency partnerships, or formal agreements with agencies or commercial providers.

의무적 평가(evaluation) 절차 마련. CAISI가 충분한 기술 전문성과 운영 역량을 갖추게 되면, 정책 입안자는 가장 역량이 높은 프론티어 모델이 공개 출시 전에 CAISI 평가(evaluation)를 받도록 의무화해야 한다. 이러한 평가(evaluation)는 프론티어 역량, 관련 안전장치 및 완화 조치의 효과성, 그리고 그에 따른 배포 시스템의 위험 프로파일을 평가(assess)해야 한다. 이 요건은 가장 역량이 높은 시스템에 한정하여 좁게 적용되어야 하며, 후속 모델 버전이 언제 재평가(reevaluation)를 받아야 하는지에 대한 명확한 기준을 설정함으로써 반복적 배포(iterative deployment)를 허용해야 한다. CAISI의 역할은 평가(evaluation)를 수행하고 완화 조치를 권고하는 것이어야 하며, 배포를 승인하거나 차단하는 것이어서는 안 된다. 개발자는 배포 결정에 대한 책임을 계속 지고, 평가(evaluation) 결과와 그에 대한 대응 방식을 공개해야 하며, 투명성 및 보고 요건을 통해 책무성을 유지해야 한다.

Create a mandatory evaluation process. Once CAISI has sufficient technical expertise and operational capacity, policymakers should require the most capable frontier models to undergo a CAISI evaluation before public release. These evaluations should assess frontier capabilities, the effectiveness of associated safeguards and mitigations, and the resulting risk profile of the deployed system. The requirement should be narrowly targeted at the most capable systems and should allow for iterative deployment by establishing clear thresholds for when subsequent model versions require reevaluation. CAISI's role should be to conduct evaluations and recommend mitigations-not to approve or block deployments. Developers should remain responsible for deployment decisions, publicly disclose evaluation findings and how they responded, and remain accountable through transparency and reporting requirements.

정책 입안자는 또한 평가(evaluation)가 법으로 정한 기한 내에 완료되도록 하고, 평가(evaluation) 절차가 반복적 배포라는 유익한 과정을 저해하지 않도록 보장해야 한다. CAISI가 처리 능력, 하드웨어, 인력 또는 기타 제약으로 인해 정해진 기간 내에 평가(evaluation)를 완료하지 못하는 경우, 개발자는 불이익 없이 배포할 수 있어야 한다. 기업은 또한 CAISI 검토 이전 또는 검토와 병행하여 신뢰할 수 있는 제3자 평가 기관, 독립 연구자, 레드팀(red-teamers), 테스트 파트너와 자유롭게 모델을 공유할 수 있어야 한다. 견고한 평가(evaluation) 생태계는 단일 기관이 관문 역할을 하는 것이 아니라 다양한 전문성의 원천을 필요로 한다.

Policymakers should also ensure that evaluations are completed within a defined statutory timeline and that the evaluation process does not disincentivize the beneficial process of iterative deployment. If CAISI fails to complete an evaluation within the defined time period due to bandwidth, hardware, personnel, or other constraints, developers should be permitted to deploy without penalty. Companies should also remain free to share models with trusted third-party evaluators, independent researchers, red-teamers, and testing partners before or alongside CAISI review. A strong evaluation ecosystem requires multiple sources of expertise rather than a single institutional gatekeeper.

독립적 기술 평가(assessment) 지원. 배포를 계기로 하는 평가(evaluation)만으로는 프론티어 역량이 시간에 따라 어떻게 발전하는지에 대해 정부가 충분한 가시성을 확보하지 못할 수 있다. 따라서 정책 입안자는 CAISI가 독립적 기술 평가(assessment)를 위한 표준을 개발하고, 자격을 갖춘 제3자 평가 기관에 대한 인증 절차를 수립하며, AI 자체를 활용하는 방식을 포함하여 이러한 검토를 수행할 수 있는 보다 폭넓은 생태계 구축을 지원하도록 지시해야 한다. 정책 입안자는 또한 특정 역량 임계값을 넘는 프론티어 개발자가 CAISI 인증을 받은 기관이 수행하는 독립적 기술 평가(assessment)를 정기적으로 받도록 의무화해야 한다.

Support independent technical assessments. Deployment-triggered evaluations alone may not provide governments with sufficient visibility into how frontier capabilities evolve over time. Policymakers should therefore direct CAISI to develop standards for independent technical assessments, establish a certification process for qualified third-party assessors, and help build a broader ecosystem capable of conducting these reviews, including by using AI itself. Policymakers should also require frontier developers above specified capability thresholds to undergo periodic independent technical assessments conducted by CAISI-certified organizations.

이러한 평가(assessment)의 초기 우선순위는 RSI를 향한 진전, 고역량(Highly capable) 내부 배포, 프론티어 모델 보안, 내부 모니터링 실행 방안, 그리고 관련 안전장치의 효과성에 대해 정책 입안자에게 지속적인 가시성을 제공하는 것이어야 한다. RSI는 향후 10년간 프론티어 안전 및 거버넌스를 규정하는 핵심 과제가 될 수 있으나, 현재 정책 입안자는 RSI를 향한 진전을 측정하거나 그 함의를 이해할 신뢰할 수 있는 방법을 갖추지 못하고 있다. 따라서 CAISI는 프론티어 개발자, 학계 연구자, 국가안보 기관, 국제 파트너와 협력하여 RSI를 측정하고 어떤 거버넌스가 효과적인지 평가(assess)하기 위한 방법론, 벤치마크, 지표를 신속하게 개발해야 한다. AI 개발 속도를 고려할 때, 우리는 CAISI가 RSI를 시급한 우선순위로 다룰 것을 권장한다.

An initial priority for these assessments should be providing policymakers with ongoing visibility into progress toward RSI, highly capable internal deployments, frontier model security, internal monitoring practices, and the effectiveness of associated safeguards. RSI may become the defining frontier safety and governance challenge of the coming decade, yet policymakers currently lack reliable ways to measure progress toward it or to understand its implications. CAISI should therefore work with frontier developers, academic researchers, national security agencies, and international partners to rapidly develop methodologies, benchmarks, and indicators for measuring RSI and assessing what governance works. Given the pace of AI development, we encourage CAISI to treat RSI as an urgent priority.

이러한 작업을 토대로, CAISI는 독립적 기술 평가(assessment)를 위한 공통 표준을 개발하고, RSI 진전과 안전장치를 장기적으로 모니터링할 수 있는 보다 폭넓은 생태계 조성을 지원해야 한다. 프론티어 개발자는 적절한 RSI 관련 측정치를 CAISI와 공유해야 하며, 자격을 갖춘 제3자 평가 기관은 CAISI가 개발한 방법론을 활용하여 해당 측정치를 정기적으로 평가해야 한다. 기술 평가(assessment) 결과는 CAISI에 제공되어야 하며, CAISI는 이 정보를 활용하여 정책 입안자가 진전 상황을 이해하고, 완화 조치가 그 속도를 따라가고 있는지 평가하며, AI 진전의 함의와 추가적인 안전장치나 정책 대응이 필요한지에 관해 국가안보 기관 및 국제 파트너와 조정하도록 지원해야 한다.

Building on this work, CAISI should develop common standards for independent technical assessments and support the creation of a broader ecosystem capable of monitoring RSI progress and safeguards over time. Frontier developers should share appropriate RSI-related measurements with CAISI, and qualified third-party assessors should periodically evaluate those measurements using CAISI-developed methodologies. Technical assessment findings should be provided to CAISI, which should use this information to help policymakers understand progress, assess whether mitigations are keeping pace, and coordinate with national security agencies and international partners on the implications of AI progress and whether additional safeguards or policy responses may be warranted.

정책 입안자는 또한 평가(assessment) 생태계 자체의 구축을 지원하는 데 필요한 자원과 권한을 CAISI에 부여해야 한다. CAISI는 평가(evaluation), 기술 평가(assessment), 감사 역량을 개발하는 신생 평가 기관, 학술 센터, 기술 기관에 보조금, 협력 협약, 기타 형태의 지원을 제공할 수 있는 권한을 부여받아야 한다.

Policymakers should also assign CAISI the resources and authorities necessary to help build the assessment ecosystem itself. CAISI should be authorized to provide grants, cooperative agreements, and other forms of support to emerging assessment organizations, academic centers, and technical institutions developing evaluation, technical assessment, and auditing capabilities.

3. 범정부 회복력 전략의 추진

3. Mobilizing a whole-of-government resilience strategy

강력한 기관은 필요하지만 충분하지는 않다. 어떠한 평가(evaluation) 절차, 평가(assessment) 체제, 또는 단일 기관도 모든 위험을 제거할 수는 없다. AI의 역량이 점점 높아짐에 따라, 민주주의 사회는 방어 역량, 공공 기관, 사회적 회복력이 AI와 함께 향상되도록 보장해야 할 것이다.

Strong institutions are necessary, but they are not sufficient. No evaluation process, assessment regime, or single organization can eliminate every risk. As AI becomes increasingly capable, democratic societies will need to make sure that defensive capabilities, public institutions, and societal resilience improve alongside them.

따라서 프론티어 AI는 국가안보, 공중보건, 사이버 보안, 과학, 외교, 경제 관련 기관 간의 조정은 물론 국제 파트너와의 조정을 필요로 하는 국가적 우선 과제로 다루어져야 한다. 정책 입안자는 위험을 줄이는 데 그치지 않고, 새로운 과제에 대응하고 변화하는 여건에 적응하며 AI의 혜택을 계속 누릴 수 있는 사회의 역량을 강화하는 회복력 전략을 추진해야 한다.

Frontier AI should therefore be treated as a national priority requiring coordination across national security, public health, cybersecurity, scientific, diplomatic, and economic agencies, as well as with international partners. Policymakers should pursue a resilience strategy that not only reduces risk, but also strengthens society's capacity to respond to emerging challenges, adapt to changing conditions, and continue benefiting from AI.

**프론티어 AI 안전에 관한 협력 및 국제 조정을 촉진한다.** 프론티어 위험은 어느 한 기관이나 국가가 단독으로 대응해서는 해결되지 않는다. 정책 입안자는 프론티어 개발자가 위협 인텔리전스, 평가(evaluation) 방법론, 사고로부터 얻은 교훈, 모범 사례의 공유를 포함하여 안전 관련 사안에 대해 협력할 수 있도록 법적 확실성을 제공해야 한다. 민주주의 국가들은 또한 상호 호환 가능한 안전 프레임워크, 정보 공유를 위한 신뢰할 수 있는 채널, 중대 사고에 대한 조정된 대응을 마련하기 위해 함께 노력해야 한다. 특히 RSI를 향한 진전을 평가(evaluation)하고 책임 있게 소통하기 위한 공동 접근법을 개발하는 데 우선순위를 두어야 한다. 이 영역에서 공동의 측정 방식과 투명성이 부족하면 개발자 간 경쟁 압력이 심화되고, 추가적인 안전장치가 언제 필요한지 판단하기가 더 어려워질 수 있기 때문이다. 새롭게 형성되고 있는 AI 안전 연구소 네트워크는 이러한 공동의 기술적 이해를 구축하는 데 기여하고, 추가적인 안전장치가 필요해질 경우 조정된 행동의 토대를 제공할 수 있다. 장기적으로 이 네트워크는 합의된 안전장치가 효과적으로 이행되고 있는지를 정부가 평가(assess)하는 데 필요한 공동의 방법론, 기술 전문성, 신뢰 구축 조치를 마련하는 데 기여할 수 있다.

Facilitate collaboration and international coordination on frontier AI safety. Frontier risks will not be addressed by any one organization or country acting alone. Policymakers should provide legal certainty that allows frontier developers to collaborate on safety-related issues, including sharing threat intelligence, evaluation methodologies, incident learnings, and best practices. Democratic nations should also work together to develop compatible safety frameworks, trusted channels for information sharing, and coordinated responses to serious incidents. Particular priority should be given to developing shared approaches for evaluating and responsibly communicating progress toward RSI, where a lack of shared measurements and transparency could intensify competitive pressures among developers and make it more difficult to determine when additional safeguards are warranted. The emerging network of AI safety institutes could help build this shared technical understanding and provide a foundation for coordinated action if additional safeguards become necessary. Over time, the network could help build the shared methods, technical expertise, and confidence-building measures needed for governments to assess whether agreed safeguards are being implemented effectively.

**미국의 연산 우위를 보호한다.** 첨단 AI 역량은 최첨단 반도체와 대규모 컴퓨팅 인프라에 대한 접근에 달려 있다. 정책 입안자는 수출 통제를 강화하고, 알려진 허점을 보완하며, 미국의 주도권을 유지하는 데 필요한 연산, 에너지, 인프라에 투자해야 한다. 전략적 연산 용량은 국가안보상 필요할 때 미국이 프론티어 AI 시스템을 평가(evaluate)하고, 관리하며, 배포할 수 있는 능력을 제공할 것이다. 첨단 연산 분야의 주도권 유지는 경제 및 국가안보상의 우선 과제일 뿐만 아니라 프론티어 안전 전략이기도 하다.

Protect America's compute advantage . Advanced AI capabilities depend on access to leading-edge semiconductors and large-scale computing infrastructure. Policymakers should strengthen export controls, close known loopholes, and invest in the compute, energy, and infrastructure needed to maintain US leadership. Strategic compute capacity would give the US the ability to evaluate, govern, and deploy frontier AI systems when national security demands it. Maintaining leadership in advanced compute is not only an economic and national security priority-it's also a frontier safety strategy.

**평가(evaluation)를 거치지 않은 프론티어 AI 시스템의 도입을 제한한다.** 연방 기관은 공인된 안전성 평가를 거치지 않은 프론티어 AI 시스템을 정부 소유 시스템 및 기기에서 사용하는 것을 금지해야 한다. 이러한 평가(evaluation)는 기반 모델만 따로 떼어 평가하는 것이 아니라, 관련 안전장치와 통제를 포함하여 실제 배포된 상태의 시스템을 평가(assess)해야 한다. 각 기관은 또한 민감한 정부 업무 환경에서 평가(evaluation)를 거치지 않은 프론티어 모델에 의존하는 제품 및 서비스의 조달을 금지해야 한다. 정부 내에 배포되는 프론티어 시스템이 적절한 보안 및 안전 기준을 충족하도록 보장하려면 신뢰할 수 있는 평가(evaluation) 절차가 필수적이다.

Restrict the adoption of unevaluated frontier AI systems. Federal agencies should prohibit the use of frontier AI systems that have not undergone a recognized safety evaluation on government-owned systems and devices. These evaluations should assess systems as deployed, including associated safeguards and controls, rather than the underlying model in isolation. Agencies should also prohibit procurement of products and services that rely on unevaluated frontier models in sensitive government contexts. Trusted evaluation processes are essential to ensuring that frontier systems deployed within government meet appropriate security and safety standards.

**방어 역량이 공격 역량보다 더 빠르게 확대되도록 보장한다.** 프론티어 AI는 방어자와 공격자 모두를 강화할 것이다. 정책 입안자는 위협이 어디에서 비롯되든 오용의 결과를 줄일 수 있도록 AI 기반 생물방어, 사이버 보안, 핵심 기반시설 보호, 신속 대응 시스템에 투자해야 한다. OpenAI의 Cyber Action Plan은 첨단 AI가 신뢰할 수 있는 방어자로 하여금 위협을 더 일찍 식별하고, 더 신속하게 대응하며, 핵심 시스템을 더 효과적으로 보호하도록 지원함으로써 회복력을 강화할 수 있는 방식의 사례를 제시한다. AI는 사회를 보호하는 기관과 시스템을 강화하여 역량과 함께 회복력도 성장하도록 보장해야 한다.

Ensure defensive capabilities scale faster than offensive capabilities. Frontier AI will strengthen both defenders and attackers. Policymakers should invest in AI-enabled biodefense, cybersecurity, critical infrastructure protection, and rapid response systems that reduce the consequences of misuse regardless of where threats originate. OpenAI's Cyber Action Plan provides examples of how advanced AI can strengthen resilience by helping trusted defenders identify threats earlier, respond faster, and protect critical systems more effectively. AI should strengthen the institutions and systems that protect society, ensuring that resilience grows alongside capability.

**향후의 회복력 과제에 대비한다.** 프론티어 AI 거버넌스는 역량이 발전함에 따라 계속 진화할 것이다. 우리는 Industrial Policy for the Intelligence Age에서 AI 신뢰 인프라, 모델 격리 플레이북(model-containment playbooks), 신흥 사이버 및 생물학적 위험에 대응하는 안전 시스템, 국제 조정을 위한 새로운 접근법 등 사회적 회복력을 강화하기 위한 몇 가지 잠재적 접근법을 제시하였다. 정책 입안자는 관련 기관에 이러한 제안 및 기타 제안의 실현 가능성, 비용, 편익, 이행상의 과제를 평가(evaluate)하고, 추가적인 권한이나 자원이 필요할 수 있는 영역을 파악하도록 지시해야 한다. 오늘날 회복력 있는 기관을 구축하는 것은 향후 거버넌스 과제가 대두될 때 민주주의 사회가 적응하는 데 도움이 될 것이다.

Prepare for future resilience challenges. Frontier AI governance will continue evolving as capabilities advance. In Industrial Policy for the Intelligence Age , we outlined several potential approaches to strengthening societal resilience, including AI trust infrastructure, model-containment playbooks, safety systems for emerging cyber and biological risks, and new approaches to international coordination. Policymakers should direct relevant agencies to evaluate the feasibility, costs, benefits, and implementation challenges associated with these and other proposals, and identify where additional authorities or resources may be required. Building resilient institutions today will help democratic societies adapt as future governance challenges emerge.

민주적 거버넌스를 위한 기관 구축

Building the institutions for democratic governance

프론티어 AI는 21세기 경제적, 과학적, 지정학적 힘의 균형을 형성하는 데 영향을 미칠 것이다. 민주주의 사회가 프론티어 역량이 기존 프레임워크를 앞지르기 전에 점점 더 높은 역량을 갖춘 AI 시스템을 관리하는 데 필요한 기관을 구축할 수 있는 시간은 점점 줄어들고 있다. 주(州)들은 새롭게 형성되고 있는 프론티어 안전 기준선의 확립에 기여해 왔다. 이제 정책 입안자는 그 토대 위에서 국가 프레임워크를 수립하고, CAISI를 미국 연방정부의 중추적인 프론티어 AI 기관으로 강화하며, 보다 폭넓은 회복력 전략을 추진해야 한다.

Frontier AI will help shape the balance of economic, scientific, and geopolitical power in the 21st century. Democratic societies have a narrowing window to build the institutions needed to govern increasingly capable AI systems before frontier capabilities outpace existing frameworks. States have helped establish an emerging frontier safety baseline. Policymakers should now build on that foundation by creating a national framework, strengthening CAISI as the US federal government's primary frontier AI institution, and mobilizing a broader resilience strategy.

프론티어 AI는 전 지구적 기술이므로, 민주주의 국가들은 또한 기술 기관을 강화하고, 상호 호환 가능한 거버넌스 접근법을 개발하며, 신흥 위험에 대한 대응을 조정하기 위해 함께 노력해야 한다. 여기에 제시된 프레임워크는 프론티어 AI 거버넌스에 관한 최종 결론으로 의도된 것이 아니다. AI는 빠르게 발전하고 있으며, 여러 중요한 질문이 여전히 해결되지 않은 채 남아 있다. 그 목표는 민주주의 사회가 점점 더 높은 역량을 갖춘 AI 시스템을 이해하고, 이에 적응하며, 이를 관리하는 데 필요한 기관, 표준, 회복력을 구축하는 것이다.

Because frontier AI is a global technology, democratic nations must also work together to strengthen technical institutions, develop compatible governance approaches, and coordinate responses to emerging risks. The framework outlined here is not intended to be the final word on frontier AI governance. AI is advancing rapidly, and many important questions remain unresolved. The goal is to build the institutions, standards, and resilience needed for democratic societies to understand, adapt to, and govern increasingly capable AI systems.