TRANSLATION · 자동번역
OpenAI, 「AI의 다음 단계를 위한 표준 만들기」
Building standards for the next phase of AI

AI의 다음 단계를 위한 표준 구축
Building standards for the next phase of AI
우리의 사명은 인공일반지능이 모든 인류에게 혜택을 주도록 하는 것이다. 최근 샘 올트먼(Sam Altman)과 야쿠프 파호츠키(Jakub Pachocki)가 밝힌 바와 같이, 우리는 이 사명을 향한 업무의 우선순위를 다음 세 가지 주요 목표에 따라 정한다.
Our mission is to ensure that artificial general intelligence benefits all of humanity. As outlined recently by Sam Altman and Jakub Pachocki, we prioritize our work towards this mission with three main goals:
자동화된 AI 연구자를 구축하고, 이를 활용해 정렬 문제를 반복적으로 개선하며, 사람들이 자기 개선 루프의 일부로 계속 남을 수 있는 방안을 찾음으로써 AI 발전의 다음 시기를 헤쳐 나간다.
Navigate the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem, and finding ways for people to remain part of the self-improvement loop.
매우 지능적인 기계가 가능하게 하는 과학적 진보와 경제 성장의 혜택을 제공한다.
Deliver the benefits of scientific progress and economic growth that very intelligent machines enable.
개인용 AGI를 통해 모든 사람이 개인으로서 역량을 강화할 수 있도록 한다.
Empower everyone individually with a personal AGI.
AI는 우리 자신의 연구와 엔지니어링을 가속하고 있으며, AI 기반 연구는 나비에-스토크스(Navier-Stokes) 밀레니엄 문제를 포함한 수학 분야의 진전으로 이어졌다. 이러한 진전은 나머지 두 목표에도 큰 가능성을 지니며, 의학 분야의 중요한 발견, 폭넓게 접근 가능한 의료, 그리고 전 세계 소규모 기업과 개인 창업자의 경제적 역량 강화로 이어질 수 있다.
AI is accelerating our own research and engineering, and AI-enabled research has led to advances in mathematics, including the Navier-Stokes Millennium Problem. This progress holds great promise for our other two goals, which could lead to important discoveries in medicine, broadly accessible health care, and economic empowerment for small businesses and individual entrepreneurs everywhere.
AI는 여러 기업과 국가에 걸쳐 발전하고 있으며, 분야 전반의 진전은 모두가 마주하는 기회와 과제를 변화시킨다. 다른 혜택과 더불어, 역량 있고 정렬된 AI는 방어를 강화하고, 정렬 연구를 진전시키며, 사람들이 AI 개발의 다음 단계를 이해하고 이끌도록 도움으로써 우리가 이 전환기를 헤쳐 나가는 데 중요한 부분이 될 것이다.
AI is advancing across many companies and countries, and progress across the field changes the opportunities and challenges facing everyone. Alongside its other benefits, capable, aligned AI will be an important part of how we navigate this transition—strengthening defenses, advancing alignment research, and helping people understand and guide the next stages of AI development.
이 전환기를 안전하게 헤쳐 나가려면 정렬 연구가 이러한 역량의 발전 속도를 따라가야 하며, 그래야 우리와 다른 이들이 구축하는 시스템이 인간의 가치와 정렬되고 인간의 통제 아래 머물 수 있다. 이는 AI 시스템이 AI 연구개발 자체의 더 많은 부분을 맡게 되는 경우를 포함하여, 더 높은 역량과 자율성을 갖출수록 점점 더 중요해진다. 지속적인 AI 발전을 안전하고 유익하게 만들려면 정렬 연구의 진전과 함께, 랩과 국가 전반에 걸쳐 개발을 이끌 공유된 표준이 모두 필요하다.
Navigating this transition safely requires alignment research to keep pace with these capabilities so that the systems we and others build remain aligned with human values and under human control. This becomes increasingly important as AI systems grow more capable and autonomous, including as they take on more of AI research and development itself. Making continued AI progress safe and beneficial will require both advances in alignment research and shared standards to guide development across labs and countries.
RSI
RSI
자동화된 AI 연구에는 다양한 수준의 인간 감독이 수반될 수 있다. AI 시스템이 후속 세대 AI를 개발하는 작업의 더 많은 부분을 맡게 되면, 사람이 계속 관여하더라도 재귀적 자기 개선(RSI) 과정을 점점 더 주도할 수 있게 된다. 이 과정이 더 자동화될수록 AI 발전 속도는 급격히 가속될 수 있다.
Automated AI research can involve varying degrees of human supervision. As AI systems take on more of the work of developing successive generations of AI, they can increasingly drive a process of recursive self-improvement (RSI), even while people remain involved. As this process becomes more automated, the pace of AI progress could accelerate rapidly.
우리는 자동화된 AI 연구가 사람들의 삶을 직접적으로 향상시키는 모델을 만들어낼 것이라고 믿는다. 이는 첨단 지능의 비용을 낮추어 전 세계 사람들이 혜택을 누리게 할 수 있다. 자동화된 연구는 또한 우리가 정렬을 크게 개선하고 점점 더 역량이 높아지는 AI에 대한 방어 체계를 구축하는 데에도 도움이 될 수 있다. 자동화된 AI 연구자는 자동화된 AI 안전 연구자가 될 수도 있기 때문이다. 더 높은 역량을 갖추고 정렬된 시스템은 핵심 기반시설을 보호하고, 위험한 AI 에이전트를 방어하며, 새로운 보호 조치를 개발하는 데 도움이 될 수 있다.
We believe automated AI research will yield models that directly enhance people’s lives. It can bring down the cost of advanced intelligence so that people worldwide can benefit. Automated research could also help us substantially improve alignment and build defenses against increasingly capable AI—an automated AI researcher can also be an automated AI safety researcher. More capable, aligned systems could help secure critical infrastructure, defend against dangerous AI agents, and develop new protective measures.
완전히 자율적인 RSI는 오늘날 일어나고 있지 않으며, 이를 안전하게 수행할 수 있게 되기 전까지는 추진해서는 안 된다. 진행 여부와 방식은 인간의 통제를 유지할 수 있는 우리의 능력, 그리고 혜택과 위험에 관한 충분한 정보에 기반한 민주적 선택에 달려 있어야 한다. 적절한 주의와 신중함 없이 수행된다면, RSI는 인간이 AI 개발에 대한 실질적 통제를 상실하고 더 이상 이해하지 못하는 연구 과정에 대해 감독을 제공할 수 없게 되는 결과를 초래할 수 있다. 그 결과 AI는 더 위험해지고, 덜 정렬되며, 전반적으로 사람들에게 위협이 될 수 있다. 우리가 공개한 Hugging Face 사고는 RSI의 직접적인 결과는 아니지만, 견고한 안전장치와 정렬 없이는 훨씬 더 심각해질 수 있는 위험 유형을 미리 보여주는 사례이다.
Fully autonomous RSI is not happening today, and we should not pursue it unless and until it can be done safely. Whether and how to proceed must depend on our ability to preserve human control and on informed democratic choices about the benefits and risks. Done without appropriate care and caution, RSI could result in humans losing practical control over AI development, unable to provide oversight on research processes they no longer understand. From here, AI could become more dangerous, less aligned, and, on the whole, a danger to people. The Hugging Face Incident we disclosed, while not a direct result of RSI, is a preview of the kinds of risks that could become much more severe without robust safeguards and alignment.
국제 표준
International standards
프론티어 AI 개발에서 안전 및 보안 실행 방안에 관한 국제 표준은 프론티어의 발전 속도를 조절하는 데 있어 정렬 연구 그 자체만큼 중요할 수 있다. 표준은 고품질 증거에 대한 공유된 정의와 기술적 안전장치의 엄격성에 대한 합의된 기준선을 만들어낼 수 있다. 요컨대, 표준은 "파국적 AI 위험의 완화에서 바람직한 모습이란 무엇인가?"라는 질문에 답하는 데 도움이 된다.
International standards for safety and security practices in frontier AI development may be as important to pacing the frontier as alignment research itself. Standards can create shared definitions of high-quality evidence and agreed-upon baselines for the rigor of technical safeguards. In short, they help us answer the question, “What does good look like in the mitigation of catastrophic AI risk?”
Center for AI Standards and Innovation(CAISI), 주(州) 법률, AI에 관한 연방 프레임워크와 같은 기존의 민주적 제도는 물론, 새로운 형태의 민관 파트너십도 모두 이에 기여할 수 있다. 그러나 AI 개발과 배포는 여러 국가에서 이루어지고 있고, 도입은 전 세계적으로 일어나고 있으며, 그 영향은 어떤 시점에 어떤 방식으로든 모든 사람이 경험하게 될 가능성이 높다.
Existing democratic institutions like the Center for AI Standards and Innovation (CAISI), state laws, and a federal framework for AI can all help with this, as well as new forms of public-private partnerships. But AI development and deployment is happening in multiple countries, adoption is occurring globally, and its impacts will likely be experienced by everyone in some way on some timeline.
따라서 몇 가지 핵심 과제를 해결하기 위해서는 표준 개발을 위한 국제적 노력이 필요하다.
International efforts to develop standards are thus needed to solve some key challenges:
파편화 — 국가별로 상이한 평가(evaluation), 보고 요건, 사고 정의는 서로 충돌할 수 있으며, 이로 인해 증거를 비교하고, 새롭게 나타나는 역량을 이해하며, 국경을 넘는 위험에 대응하기가 더 어려워질 수 있다.
Fragmentation —Evaluations, reporting requirements, and incident definitions by different nations could conflict, making it harder to compare evidence, understand emerging capabilities, and respond to risks that cross borders.
집단행동 — 각국이 독자적으로 행동하면 어떤 국가도 원하지 않는 결과가 초래될 수 있다. RSI는 AI 연구 자체를 가속할 수 있는 능력이 있으며, 이는 진전을 이해하고, 위험을 평가하며, 의미 있는 인간 감독을 유지하는 우리의 집단적 능력을 넘어설 가능성이 있다.
Collective action —Each nation acting independently can produce outcomes that no nation wants. RSI has the ability to accelerate AI research itself, potentially beyond our collective ability to understand progress, assess risks, and maintain meaningful human oversight.
불균등한 역량 — 프론티어 개발 활동과 관련 전문성은 전 세계에 고르게 분포되어 있지 않다. 이는 위의 두 문제를 모두 심화시킨다.
Uneven capacity —The activity of frontier development and related expertise is not evenly distributed across the world. This accentuates both of the problems above.
이러한 과제는 개방형 모델과 폐쇄형 모델 모두에 적용된다.
These challenges apply to both open and closed models.
분명히 하자면, 자동화된 AI 연구나 기타 첨단 역량을 추구하는 모든 AI 랩은 자기 책임의 기본 원칙과 기존 법률에 따라 이를 안전하게 수행할 책임성을 져야 한다. 표준에 대한 우리의 근거는 권력 집중을 피하고 더 나은 실질적 결과를 도출하는 데 뿌리를 두고 있다. 표준은 랩 외부의 더 많은 이해관계자가 이 기술이 어떻게 전개되어야 하는지에 대해 발언할 수 있는 방법을 제공하며, 특정 랩의 구체적인 실행 방안과 관계없이 신뢰할 수 있는 가시적인 원칙 체계를 제공한다. 또한 당사자들이 협력하여 위의 과제에 대응한다면 더 나은 결과를 얻을 가능성이 높다.
To be clear, any AI lab that pursues automated AI research or other advanced capabilities must take accountability for doing so safely, in accordance with basic principles of self-responsibility and existing laws. Our rationale for standards is rooted in avoiding the concentration of power, and producing better practical outcomes. Standards provide a way for more stakeholders outside of the labs to have a say in how this technology should unfold, and a visible set of principles that can be relied on irrespective of the specific practices of any particular lab. And we will likely get better results if parties collaborate to address the challenges above.
이러한 이유로 우리는 미국이 RSI를 포함한 프론티어 AI에 관한 글로벌 기술 표준을 개발하기 위해 전 세계 국가들과 함께 협력하는 노력을 주도해야 한다고 믿는다.
That is why we believe the United States should lead an effort to work together with countries around the world to develop global technical standards for frontier AI, including for RSI.
이 구상은 시간이 지남에 따라 상당히 발전할 것으로 예상되지만, 두 가지 측면은 필수적일 것이다.
While we expect this concept to evolve substantially over time, two aspects will be essential.
(1) 상호 보완적인 국가 및 국제 프론티어 표준을 촉진하는 메커니즘
(1) A mechanism that facilitates complementary national and international frontier standards
이를 달성하는 한 가지 방법은 호주, 캐나다, 독일, 프랑스, 케냐, 일본, 한국, 싱가포르, 인도, 영국 등에 이미 설립된 AI 안전 연구소들로 이루어진 신흥 네트워크를 활용하여, CAISI와 각국 산업 단체를 통해 표준 설정을 촉진하는 것이다. 이때 특히 (1) 역량 벤치마크로 측정되는 프론티어 AI 모델 및 개발자, (2) RSI를 포함한 자동화된 AI 연구의 혜택-위험 관리에 초점을 맞춘다. 미국은 CAISI가 2024년에 공공 기관들을 모아 AI 측정, 평가(evaluation) 및 과학 분야에서 협력하도록 출범시킨 International Network for Advanced AI Measurement, Evaluation, and Science를 토대로 이를 발전시킬 수 있다.
One way of accomplishing this would be to leverage the emerging network of AI safety institutes—such as those already established in Australia, Canada, Germany, France, Kenya, Japan, Korea, Singapore, India, and the United Kingdom—to facilitate standard setting through the CAISI and national industry bodies, with a specific focus on (1) frontier AI models and developers, as measured by capability benchmarks; and (2) benefit-risk management for automated AI research, including RSI. The United States can build upon CAISI’s creation of the International Network for Advanced AI Measurement, Evaluation, and Science in 2024, bringing together public institutions to cooperate on AI measurement, evaluation, and science.
이 노력을 통해 개발된 표준은 역량 측정 및 평가(evaluation), 위험 평가, 안전장치의 충분성에 관한 공통의 기술적 기반을 제공할 것이다. 이러한 기술 표준은 AI 모델에 대한 인허가, 의무적 출시 전 심사, 또는 승인 요건이 아니다. 이러한 표준을 자국 법체계에 반영할지 여부와 그 방식은 각국 정부가 결정할 것이다.
Standards developed by this effort would provide a common technical foundation for capability measurement and evaluation, risk assessment, and safeguard sufficiency. These technical standards would not be licenses, mandatory prerelease review, or approval requirements for AI models. National governments would decide whether and how to incorporate these standards into their own legal systems.
이 작업은 또한 개방형 모델 및 폐쇄형 모델 개발자, 독립적인 기술 전문가, 학계와의 협의를 통해 경쟁적인 AI 생태계를 뒷받침해야 한다. 공통 표준은 투명하게 개발되어야 한다. 또한 신규 진입자나 오픈 웨이트(open-weight) 개발자가 경쟁하기 더 어려워지는 경우를 포함하여, 특정 기업, 국가 또는 비즈니스 모델에 유리하게 작용하지 않도록 설계되어야 한다.
This work should also support a competitive AI ecosystem by consulting open model and closed model developers, independent technical experts, and academia. Common standards should be developed transparently and designed so that they do not advantage particular companies, countries, or business models, including by making it harder for new entrants or open-weight developers to compete.
우리가 제안한 바와 같이, 이 접근 방식은 항공 및 금융 안정과 같은 분야에서 교훈을 얻을 수 있다. 이들 분야에서 각국은 국가 권한을 포기하지 않고도 공통 기술 표준과 신뢰할 수 있는 협력 채널을 개발해 왔다. 또한 이 접근 방식은 국제표준화기구(ISO), Frontier Model Forum, Agentic AI Foundation, Open Secure AI Alliance 등 기존 및 신생 표준 기구와 긴밀히 협력해야 한다. 아울러 국제 표준을 실제 AI 평가(assessment)와 연결하는 실용적인 명세를 개발하고 있는 Appia Foundation과 같은 이행 중심 조직과도 긴밀히 협력해야 한다.
As we have suggested, this approach can draw lessons from areas such as aviation and financial stability, where countries have developed common technical standards and trusted channels for cooperation without giving up national authority. It should also work closely with established and newer standards bodies such as ISO, the Frontier Model Forum, Agentic AI Foundation, and the Open Secure AI Alliance, as well as implementation focused organizations, like the Appia Foundation, which is developing practical specifications that connect international standards with real-world AI assessments.
(2) 더 나은 집단행동을 위한 공통 측정 및 사고 보고 프로토콜
(2) Common measurements and incident reporting protocols for better collective action
국제 AI 표준은 AI 연구에서 증가하는 자율성과 재귀적 자기 개선을 관리하는 데 특히 중요할 것이다. 구체적으로 다음 사항에 관한 표준이 포함될 수 있다.
International AI standards will be particularly crucial in managing increasing autonomy in AI research and recursive self-improvement. Specifically, these could include standards for:
RSI 관련 AI 진전 및 AI 기업 내부에서 이루어지는 자율적 연구 규모의 평가(evaluation). 연구 가속화에 관한 우리의 최근 보고서는 이러한 노력에 대한 초기 기여임.
Evaluation of RSI-relevant AI progress and the amount of autonomous research happening within an AI company. Our recent report on research acceleration is an initial contribution to this effort.
자동화된 AI 연구에 대한 인간 감독. 어떤 종류의 자동화된 AI 연구 프로세스가 즉각적인 인간 검토를 촉발해야 하는지를 포함함.
Human oversight over automated AI research, including what kinds of automated AI research processes should trigger immediate human review.
정렬 및 자동화된 AI 연구 관련 문제에 대한 사고 분류, 추적, 보고 및 대응. 공통 사고 심각도 수준 및 보고 임계값 등을 포함함. 우리의 오정렬 보고 프레임워크는 초기 기여임.
Incident classification, tracking, reporting, and responding for alignment and automated AI research issues, such as common incident severity levels and reporting thresholds. Our misalignment reporting framework is an early contribution.
이러한 표준에 더하여, 우리는 전 세계 핵심 기반시설 운영자와 정부가 보안 통신 채널을 구축하는 것이 중요하다고 믿는다. 이러한 채널을 통해 국가안보 우려 사항, 새롭게 나타나는 취약점과 위협, 그리고 빠르게 발전하는 프론티어 AI 안전 분야의 모범 사례를 공유할 수 있다. 이러한 분야에서 미국과 중국 간의 대화는 긍정적인 진전이 될 것이며, 예정된 회담은 시의적절한 시점에 열린다.
In addition to these standards, we believe it will be important for critical infrastructure operators and governments worldwide to establish secure channels of communication to share national security concerns, emerging vulnerabilities and threats, and best practices in the fast-evolving field of frontier AI safety. Dialogue between the United States and China in these areas would be a positive step, and upcoming talks are happening at an opportune time.
미국이 주도해야 한다
The United States should lead
AI 개발 속도를 조절하는 것은 미리 정해진 속도를 유지하는 것을 의미하지 않는다. 기술적으로 이는 정렬 연구와 그 연구의 배포가 역량보다 앞서 나가도록 보장하는 것이다. 사회적으로 이는 표준, 제도, 협력을 활용하여 산업 네트워크, 사회적 관계, 시장의 힘을 증폭함으로써 포지티브섬(positive-sum) 결과를 만들어 내는 것이다. 최근 사이버 방어에 대한 집단행동 촉구는 후자의 한 사례이다.
Pacing AI development is not about maintaining a predetermined speed. Technically, it is about ensuring that alignment research and deployment of that research stay ahead of capabilities. Societally, it is about the use of standards, institutions, and collaboration to amplify networks of industry, societal relationships, and market forces to produce positive sum outcomes. The recent call for collective action on cyber defense is an example of the latter.
미국은 주도하기에 유리한 위치에 있다. 미국의 AI 산업은 기술 프론티어에 있으며, 미국은 여전히 금융, 무역, 국방, 기술, 정보 시스템과 같은 핵심 분야의 글로벌 네트워크에서 특권적 위치를 점하고 있기 때문이다. 지금 주도하는지 여부에 따라 미국이 글로벌 AI 체계를 형성할지, 아니면 파편화되고 불균등하며 갈등으로 점철된 체계가 주변에 자리 잡는 것을 지켜보게 될지가 결정될 것이다. 이는 또한 첨단 AI가 미국과 동맹국들이 이미 보유한 네트워크를 강화할지를 결정할 것이다. 주도하지 못하면 이러한 네트워크가 약화될 수 있다.
The United States is well positioned to lead because its AI industry is at the technical frontier, and it still stands in a privileged global network position in critical areas such as finance, trade, defense, technology, and information systems. Leading now will determine whether the United States shapes the global AI framework or watches a fragmented, uneven, and conflict-ridden system take hold around it. This will also determine whether advanced AI strengthens the networks that the United States and its allies already have; failing to lead may weaken them.
지정학적 경쟁은 단지 누가 기술적으로 앞서는가에 관한 것만이 아니라 AI 도입과 확산을 둘러싼 것이기도 하다. 후자는 점점 더 현실적인 협력과 합리적인 운영 규칙을 이끄는 쪽에 의해 결정될 수 있다. 이러한 협력과 규칙은 전 세계 기업과 사회가 이 기술에 자신들의 미래를 걸고자 할 때 원하게 될 것이다.
Geopolitical competition will not just be about who is ahead technically, but also over AI adoption and diffusion. Increasingly, the latter may be determined by whoever is driving realistic cooperation and sensible rules of the road that businesses and societies everywhere will want if they are going to bet their futures on this technology.
실질적인 국제 협력으로 연결된 강력한 국가 거버넌스는 더 강력한 안전장치, 지속적인 혁신, AI 혜택에 대한 폭넓은 접근으로 나아가는 길을 제공한다.
Strong national governance, connected through practical international cooperation, offers a path to stronger safeguards, continued innovation, and broad access to the benefits of AI.