TRANSLATION · 자동번역
앤트로픽 책임 있는 스케일링 정책(RSP) 3.4판
Anthropic Responsible Scaling Policy, Version 3.4

서론
Introduction
책임 있는 스케일링 정책(RSP)은 첨단 AI 시스템이 초래하는 파국적 위험을 관리하기 위한 당사의 자발적 프레임워크이다. 이 정책은 당사가 위험을 식별하고 평가하는 방식과 AI 개발 및 배포에 관한 의사결정 방식을 규정한다. 또한 세계 전체의 관점에서, 당사 모델의 편익이 그 비용을 상회하도록 하기 위한 방식을 정한다. 당사는 RSP를 처음부터 지속적으로 개정되는 문서로 의도해 왔다. AI 역량과 위험에 대해 더 많이 알게 되고, 기술적 안전 조치를 개발·개선하며, 사회에 대한 위험이 여러 개발자의 행동에 좌우되는 생태계에서 경험을 쌓아감에 따라 RSP를 계속 개정할 것이다.
Our Responsible Scaling Policy (RSP) is our voluntary framework for managing catastrophic risks from advanced AI systems. It establishes how we identify and evaluate risks, how we make decisions about AI development and deployment, and, from the perspective of the world at large, how we aim to make sure that the benefits of our models exceed their costs. We have always intended for our RSP to be a living document. We will continually update the RSP as we learn more about AI capabilities and risks, develop and refine technical safety measures, and gain more experience navigating an ecosystem in which the risks to society depend on the actions of many developers.
이번 세 번째 개정판의 주요 구성 요소는 다음과 같다.
The major components of this third iteration are as follows:
당사의 업계 전반 안전 권고(Recommendations for industry-wide safety)는 AI 역량이 급속히 발전하는 기간 동안 파국적 위험을 안정적으로 낮게 유지하려면 업계 전반 차원에서 무엇이 필요한지를 제시한다. 당사는 이를 역량 임계값과 각 임계값에 필요하다고 판단하는 완화 조치를 대응시킨 표로 정리한다. 또한 당사가 기업으로서 계획한 완화 조치도 함께 수록하며, 이는 본 정책의 다른 절과 관련 문서에서 가져온 것이다.
Our recommendations for industry-wide safety outline what it would take, at an industry-wide level, to keep catastrophic risks reliably low through a period of rapid advances in AI capabilities. We lay this out in a table that maps capability thresholds to the mitigations we believe they call for. We also include our planned mitigations as a company, which are drawn from other sections of this policy and associated artifacts.
이러한 접근 방식은 집단행동 문제에서 비롯된, 이전 RSP로부터의 변화이다. AI로 인한 파국적 위험의 전체 수준은 단일 개발자가 아니라 여러 AI 개발자의 행동에 따라 결정된다. 이전 RSP에서 당사는 다른 프론티어 AI 개발자가 같은 조치를 취하는지와 관계없이, 당사 모델의 절대적 위험 수준을 수용 가능한 수준으로 낮추는 완화 조치를 이행하기로 약속했다. 그러나 사회적 관점에서 중요한 것은 생태계 전체에 대한 위험이다. 한 AI 개발자가 안전 조치를 이행하기 위해 개발을 중단하는 동안 다른 개발자들이 강력한 완화 조치 없이 AI 시스템의 훈련과 배포를 계속한다면, 세계는 오히려 덜 안전해질 수 있다. 보호 조치가 가장 취약한 개발자가 속도를 주도하게 되고, 책임 있는 개발자는 안전 연구를 수행하고 공익을 증진할 능력을 잃게 될 것이기 때문이다. 이러한 상황은 아직 발생하지 않았지만, 발생 가능성이 충분히 높아 보이므로 당사는 이에 대비하고자 한다.
This approach represents a change from our previous RSP, driven by a collective action problem. The overall level of catastrophic risk from AI depends on the actions of multiple AI developers, not just one. Our previous RSP committed to implementing mitigations that would reduce our models' absolute risk levels to acceptable levels, without regard to whether other frontier AI developers would do the same. But from a societal perspective, what matters is the risk to the ecosystem as a whole. If one AI developer paused development to implement safety measures while others moved forward with training and deploying AI systems without strong mitigations, that could result in a world that is less safe-the developers with the weakest protections would set the pace, and responsible developers would lose their ability to do safety research and advance the public benefit. Although this situation has not yet arisen, it looks likely enough that we want to prepare for it.
이에 따라 당사는 이제 기업으로서의 계획, 즉 다른 기업의 행동과 관계없이 달성할 것으로 예상하는 계획을 보다 야심 찬 업계 전반 권고와 분리한다. 당사는 모범 사례 제시, 미해결 기술 문제 해결, 업계 단체를 통한 옹호 활동, 정책 옹호 활동을 병행하여 업계 전반 권고를 진전시키고자 한다. 그러나 이 권고를 일방적으로 따르겠다고 약속할 수는 없다.
We now separate our plans as a company-those which we expect to achieve regardless of what any other company does-from our more ambitious industry-wide recommendations. We aspire to advance the latter through a mixture of example-setting, addressing unsolved technical problems, advocacy through industry groups, and policy advocacy. But we cannot commit to following them unilaterally.
프론티어 안전 로드맵(Frontier Safety Roadmap)은 RSP에 새로 도입된 요건이다. 이 로드맵은 보안, 정렬, 안전장치, 정책 전반에서 진전을 이루기 위한 당사의 구체적 계획을 기술한다. 로드맵에 제시된 목표는 야심 차면서도 달성 가능하도록 설정되며, 당사가 RSP의 과거 성과로 여기는 일종의 강제 기제(forcing function) 역할을 하도록 의도되었다. 이 목표는 확정적 약속이 아니라, 당사가 진전 상황을 공개적으로 평가하는 기준이 되는 공개 목표이다.
Frontier Safety Roadmaps are a new requirement under our RSP. These will describe our concrete plans for making progress across Security, Alignment, Safeguards, and Policy. Goals described in the Roadmaps are intended to be ambitious, yet achievable-providing the kind of forcing function that we consider to be a past success of our RSP. These are not hard commitments but rather public goals against which we will openly grade our progress.
위험 보고서(Risk Report)도 새로 도입된 요건이다. 위험 보고서는 발행 시점 기준으로 당사 모델의 안전 특성에 관한 상세한 정보를 제공한다. 이 보고서는 모델 역량을 기술하는 데 그치지 않는다. 역량, 위협 모델(Threat model)(모델이 위협을 초래할 수 있는 구체적 방식), 현재 시행 중인 위험 완화 조치가 어떻게 맞물리는지에 대한 당사의 판단을 다루고, 전체 위험 수준에 대한 평가(assessment)를 제공한다. 또한 모델의 훈련 또는 배포에 따르는 위험이 그에 상응하는 세계에 대한 편익으로 정당화되는지에 관한 당사의 추론을 반영한다. 위험 보고서는 온라인으로 공개되며, 예컨대 당사의 훈련 방법이나 협력 기관에 관한 민감한 세부 사항을 보호하기 위해 일부 민감정보 가림 처리가 적용된다. 아래에서 상술하는 바와 같이, 당사는 위험 보고서를 신뢰할 수 있는 독립적 외부 당사자의 검토에도 부치고자 한다.
Risk Reports are another new requirement. Risk Reports will provide detailed information on the safety profile of our models at the time of publication. They will go beyond describing model capabilities, addressing our thinking on how capabilities, threat models (the specific ways that models might pose threats), and active risk mitigations fit together, providing an assessment of the overall level of risk. These reports will reflect our reasoning as to whether we believe the risks of training or deploying our models are justified by their corresponding benefits to the world. They will be published online, with some redactions to protect sensitive details about, for example, our training methods and organizations with whom we work. As detailed below, we also aim to subject Risk Reports to review by credible, independent external parties.
마지막으로, 거버넌스 약속은 이전 RSP와 마찬가지로 내부 및 외부 책임성을 증진하기 위한 것이다.
Finally, our governance commitments are intended to promote internal and external accountability, similar to those in our previous RSP.
RSP는 당사의 전반적인 안전 접근 방식의 일부에 불과하다. 예를 들어, 본 정책은 파국적 위험에 초점을 맞추지만 당사가 중요하게 여기는 위험이 이것만은 아니다. 다른 우려 사항은 당사의 이용 정책(Usage Policy)과 사회적 영향 연구에서 다룬다. 또한 RSP가 일부 규제 요건을 충족하는 데 활용될 수는 있으나, 포괄적으로 설계된 것은 아니다. 당사는 RSP를 당사가 직면한 모든 의무를 다루도록 확장하기보다는, 당사가 가장 우선시하는 파국적 위험에 대응하기 위한 가장 핵심적인 조치에 집중시키고자 한다.1 규제 요건이 RSP의 적용 범위를 넘어서거나 이와 다른 경우, 당사는 별도 문서를 통해 이를 다룰 것이다.
Our RSP is only one part of our overall approach to safety. For instance, although this policy focuses on catastrophic risks, they are not the only risks we consider important-our Usage Policy and societal impacts research address other concerns. Further, t he RSP may serve some regulatory requirements, but it is not designed to be comprehensive. We want to keep it focused on our most central measures for addressing the catastrophic risks we prioritize most, rather than expand it to address every obligation we face.1 Where regulatory requirements exceed or differ from what the RSP covers, we will address them through separate documents.
1. 업계 전반 안전 권고(Recommendations for industry-wide safety)
1. Our Recommendations for Industry-Wide Safety
이 절은 AI 역량이 급속히 발전하는 기간 동안 파국적 위험을 안정적으로 낮게 유지하려면 업계 전반 차원에서 무엇이 필요한지에 대한 당사의 권고를 제시한다. 당사는 이를 3열 표로 정리한다. 왼쪽 열은 강화된 완화 조치가 필요한 역량 임계값을 제시한다. 가운데 열은 당사가 계획한 완화 조치를 개괄하며, 그 상세 내용은 프론티어 안전 로드맵과 본 정책의 다른 절에 기술되어 있다. 오른쪽 열은 각 임계값에 대한 업계 전반 안전 권고를 기술한다.
This section outlines our recommendations for what it would take, at an industry-wide level, to keep catastrophic risks reliably low through a period of rapid advances in AI capabilities. We lay this out in a three-column table. The left column identifies capability thresholds that would call for heightened mitigations. The middle column provides an overview of our planned mitigations, which we have set forth more fully in our Frontier Safety Roadmap and other sections of this policy. The right column describes our recommendations for industry-wide safety at each threshold.
당사의 기업 차원 계획(가운데 열)과 업계 전반 권고(오른쪽 열)를 구분하는 것은 단일 AI 개발자가 업계 전반의 안전을 보장하는 데 한계가 있음을 반영한다. 특히 당사는 오른쪽 열의 업계 전반 권고를 일방적이고 무조건적으로 준수하겠다고 약속할 수 없다. 그러나 이 권고는 당사 업무의 중요한 측면을 이끌어 갈 것이다.
The distinction between our plans as a company (middle column) and our industry-wide recommendations (right column) reflects the limitations of any single AI developer's ability to ensure safety across the industry. In particular, we cannot unilaterally and unconditionally commit to staying in line with the industry-wide recommendations in the right column. However, these recommendations will drive important aspects of our work:
당사는 이 권고를 위험 완화 계획 수립과 공공 정책 업무의 지침으로 삼는다. 당사는 모범 사례 제시, 미해결 기술 문제 해결, 업계 단체를 통한 옹호 활동, 정책 옹호 활동을 병행하여 이 권고를 진전시키기 위해 노력할 것이다.
We use these recommendations as the north star for our risk mitigations planning as well as our public policy work. We will strive to advance these recommendations through a mixture of example-setting, addressing unsolved technical problems, advocacy through industry groups, and policy advocacy.
당사는 또한 다른 관련 AI 개발자들도 같은 조치를 취하고 있다고 확신할 수 있는 시나리오에서 이 권고를 준수하기 위한 일련의 경쟁사 조건부 약속(Competitor-contingent commitments)을 채택했다(부록 A 참조).
We have also adopted a set of competitor-contingent commitments (see Appendix A ) aimed at staying in line with these recommendations in scenarios where we can be confident that other relevant AI developers are doing the same.
AI가 급속히 발전하고 있는 현 시점에서, 당사는 어떤 평가(evaluation)를 통해 위험 임계값 초과 여부를 판단할지, 또는 안전을 달성하기 위해 어떤 위험 완화 조치가 필요할지를 사전에 매우 구체적으로 제시할 수 없다. 따라서 당사의 업계 전반 안전 권고는 AI 안전 수준(AI Safety Levels)이 아니라, 안전성을 강력하게 입증하는 분석과 논증을 요구하는 방식으로 구성되어 있다(자세한 내용은 부록 B 참조). 이 방식은 위험 임계값을 평가하는 방법과 안전을 달성하고 논증하는 방법에 유연성을 부여한다. 그러나 한 행위자가 생각하는 바람직한 위험 평가 및 완화와 다른 행위자의 생각이 크게 다를 수 있다는 과제를 낳는다.
At this point in AI's rapid development, we cannot presently give highly specific advance detail on what evaluations will determine whether risk thresholds have been passed, or what risk mitigations will be needed to achieve safety. Our recommendations for industry-wide safety are thus structured around requiring analysis and arguments making a strong case for safety, rather than AI Safety Levels (more in Appendix B ). This leaves flexibility in how risk thresholds are evaluated and how safety is achieved and argued for. But it creates a challenge: one actor's view of what constitutes good risk assessment and mitigation may be very different from another's.
궁극적으로, 이 권고를 이행하는 가장 좋은 방법은 모든 관련 프론티어 AI 개발자를 제3자가 거버넌스하는 방식일 가능성이 높다. 이 제3자는 어떤 개발자가 위험 분석을 제공하고 자사 시스템의 안전성에 대한 논증을 제시해야 하는지를 결정하고, 그러한 논증 중 어떤 것이 적절한지를 판단한다.2 이러한 거버넌스가 국가 규제의 형태를 띠는 경우, 각국은 바닥으로의 경쟁을 피하기 위해 증거 기준을 포함한 거버넌스를 조화시키도록 노력해야 한다. 단기적으로는 독립 기관(표준 제정 기관, 감사 기관 등)이 이러한 논증을 검토하고, 자발적 메커니즘을 통해 민간 AI 개발자에게 높은 품질 기준을 적용·집행할 수 있을 것이다.
Ultimately, the best way for these recommendations to be implemented is likely via governance of all relevant frontier AI developers by third parties that determine which developers need to provide risk analyses and make arguments for the safety of their systems, and determine which such arguments are adequate.2 To the extent this takes the form of national regulation, different countries should attempt to harmonize their governance, including standards of evidence, to avoid a race to the bottom. In the shorter run, independent bodies (standards-setting organizations, auditors, etc.) might review such arguments and enforce high quality standards for private AI developers via voluntary mechanisms.
당사는 AI 역량, 위협 모델, 위험 완화에 대해 더 많이 알게 됨에 따라 업계 전반 안전 권고가 크게 발전할 것으로 예상한다. 당사는 이 권고가 시간이 지남에 따라 점점 더 구체화되기를 바란다.
We expect that the recommendations for industry-wide safety will evolve significantly, as we learn more about AI capabilities, threat models, and risk mitigations. We hope these recommendations will become increasingly specific over time.
| 역량 또는 사용 임계값 | 완화 조치—당사의 기업 차원 계획3 | 완화 조치—야심 찬 업계 전반 권고 |
|---|---|---|
| 비신규(non-novel) 화학·생물무기 생산. 기초적인 기술 배경(예: STEM 분야 학사 학위)을 가진 개인 또는 집단이 파국적 손해를 초래할 심각한 잠재력을 지닌 화학 및/또는 생물무기를 제조·획득하고 배치하는 것을 상당히 도울 수 있는 능력을 갖춘 AI 시스템. | 당사는 ASL-3 보호 조치를 유지하거나 개선할 것이다. 여기에는 최소한 당사의 초기 Constitutional Classifiers만큼 견고한 분류기 가드, 분류기 가드 적용을 면제받는 신뢰할 수 있는 사용자에 대한 접근 통제, 탈옥(Jailbreak) 위협을 지속적으로 평가하기 위한 레드티밍·버그 바운티·위협 인텔리전스, 그리고 다수의 주목할 만한 보안 통제가 포함된다. 세부 사항은 변경될 수 있으나, 당사는 시간이 지나도 동등하거나 더 견고한 조치를 유지할 것이며 관련 업데이트를 위험 보고서를 통해 공개할 것이다. 당사는 오른쪽 열의 기준을 지속적으로 충족할 것으로 예상하지만, 공격자가 끊임없이 적응하며 변화하는 환경에 대해서는 보장할 수 없다. | 프론티어 개발자는 개별 사용자와 비교적 소규모 팀이 제품 접점(product surfaces)의 사용이나 모델 가중치 탈취를 통해 파국적 피해를 초래할 가능성이 크게 높아지지 않을 것이라는 강력한 논증을 제시해야 한다. 이를 위해서는 다음이 필요할 가능성이 높다:
|
| 신규(novel) 화학·생물무기 생산. 현재 파국적 피해 잠재력을 지닌 화학·생물무기의 신규 개발에 대한 주된 장벽이 되고 있는 희소한 인간 전문성을 기능적으로 대체할 수 있는 AI 시스템.4 즉, 자원이 풍부한 팀5 이 해당 모델을 사용하여, 그렇지 않았다면6 소수7 의 세계 최고 수준 전문가 중 한 명을 영입해야만 가능했을 종단 간(end-to-end) 작용제 설계 및 배치(해당되는 경우 작용제 설계, 검증 및 확인, 제제화, 살포 포함)를 달성할 수 있는 경우를 말한다. | 당사는 최소한 ASL-3 보호 조치(앞 행 참조)만큼 강력한 보호 조치를, 이 위협의 가장 유력한 경로를 포괄하는 확장된 AI 잠재 사용 사례 집합에 적용할 것이다. 또한 당사는 가장 우려되는 구체적 위협 경로를 식별하고, 그러한 위협에 대한 조기 탐지 및 대응을 위한 정책 권고를 마련하여 이를 정책 입안자들과 공유할 것이다. | 프론티어 개발자는 위협 행위자가 제품 접점(product surfaces)의 사용이나 모델 가중치 탈취를 통해 왼쪽 열에서 논의된 유형의 파국적 피해를 초래할 가능성이 크게 높아지지 않을 것이라는 강력한 논증을 제시해야 한다. 이를 위해서는 앞 행과 유사한 조치가 필요하되, 더 높은 기준—즉 자원과 인력이 충분한 위협 행위자조차도 모델을 안정적으로 탈옥하거나 모델에 대한 무단 접근 또는 변경(탈취되거나 변조된 모델 가중치를 통한 경우 포함)을 통해 파국적 피해를 초래할 가능성이 낮을 정도의 수준—이 요구될 가능성이 높다. 이는 대체로 RAND SL4에 상응하는 보안을 의미할 것이나, 여기에 제시된 업계 전반 안전 권고를 집행하는 신뢰할 만한 거버넌스 체제에 구속되지 않는, 가장 강력하고 개연성 있는 위협 행위자의 역량에 따라 달라진다. |
| 고위험 환경에서의 정렬되지 않은(misaligned) AI 시스템. 높은 수준으로 의존되고 민감한 자산에 광범위하게 접근할 수 있으며, 자율적·목표 지향적 운용과 책략(subterfuge)에 대한 중간 수준의 역량을 갖춘 AI 시스템—이러한 AI 시스템이 (해당 목표를 지향하도록 지시받는 경우, 의도적으로든 비의도적으로든) 추후 전 지구적 파국의 가능성을 비가역적이고 실질적으로 높이는 사보타지를 수행할 수 있는 경우를 말한다. 단기적으로 이 가능성은 주요 AI 기업 내부에서 광범위하게 사용되며 후속 시스템의 훈련 및 배포 방식과 그 안전성을 평가하는 데 사용되는 증거를 조작할 기회를 가진 AI 시스템에 가장 크게 해당될 가능성이 높다. 장기적으로는 정부 및 기타 고위험 환경에 배포된 AI 시스템에도 이 가능성이 적용될 수 있다. | 당사는 당사 AI 시스템의 역량과 성향의 현황, 당사의 모니터링 실행 방안, 그리고 전반적인 위험 수준을 위험 보고서에 상세히 기술할 것이다. 당사는 오른쪽 열의 기준을 지속적으로 충족할 수 있을 것으로 예상하지만, 보장할 수는 없다. 이는 테스트를 탐지하고 조작하는 능력을 점점 더 갖추게 될 수 있는, 계속 진화하는 기술이기 때문이다. | 프론티어 개발자는 AI 시스템이 추후 전 지구적 파국의 가능성을 비가역적이고 실질적으로 높이는 사보타지를 수행하지 않을 것이라는 강력한 논증을 제시해야 한다. 이 논거는 위험이 단지 개연성 있는 수준일 때 처음 요구되는 경우라면 초기에는 비교적 단순하고 역량의 한계에 크게 의존할 수 있다. 위험을 배제하기가 더 어려워짐에 따라, 이 논거는 다음의 조합을 포함하게 될 가능성이 높다:
|
| 핵심 영역에서의 자동화된 연구개발(R&D). 빠른 진전이 국제 안보에 대한 위협 및/또는 전 지구적 세력 균형의 급격한 교란을 초래할 수 있는 영역(예: 에너지, 로봇공학, 무기 개발, AI 자체)에서 대규모 최상위 인간 연구자 팀의 작업을 완전히 자동화하거나 그 밖의 방식으로 극적으로 가속할 수 있는 AI 시스템. 당분간 당사의 평가(evaluation)는 특히 AI 연구개발(R&D)에 초점을 맞출 것인데, 이 영역은 AI 시스템의 현재 강점이 발휘되기 쉬운 영역일 가능성이 높고 다른 영역의 역량보다 평가하기가 더 용이하기 때문이다. 또한 AI 연구개발(R&D)만으로도 AI 역량 향상이 가속되어, 위에 열거된 모든 위협(및 그 이상)이 매우 빠르게 전개되는 지경에 이를 수 있다. 당사는 (1) 당사 모델이 경쟁력 있는 비용(즉, 5배 이내)으로 당사의 Research Scientist 및 Research Engineer 전원을 완전히 대체할 수 있거나, (2) AI 연구개발(R&D)의 자동화와 관련되었을 가능성이 높은 이유로 AI 진보 속도의 '극적 가속(Dramatic acceleration)'이 발생했다고 판단하는 경우, 이 임계값이 충족된 것으로 간주할 것이다. 당사는 다음의 경우 시나리오 (2)가 발생한 것으로 간주할 것이다: (a) AI 연구개발(R&D)에 대한 AI의 유의미한 기여가 없는 상태에서 당사가 예상할 진보 속도 및 당사가 관찰한 가장 빠른 장기적 진보9 속도 모두와 비교하여, AI 종합 역량의 진보 속도8가 두 배가 되는 것을 관찰하거나 예상하고, (b) 이러한 두 배 증가가 연구 및/또는 엔지니어링의 자동화에 상당 부분 기인한다고 볼 개연성이 있는 경우(다른 요인, 예컨대 인원 증가, 연산 또는 전반적 생산성 향상이 아니라), 그 결과 AI 진보 추세가 지속되면 훨씬 더 큰 가속으로 이어질 가능성이 높아 보이는 경우이다. 이 역량 임계값은 당사의 고역량(Highly capable) 모델 정의(3.6절 참조)를 반영하기 위한 것이다. 이 임계값에 대한 완화보다 요구 수준이 낮은 버전의 완화를 촉발하는, 더 이른 단계의 및/또는 측정이 더 용이한 임계값을 추가하는 것이 합리적일 수 있다. | 당사는 다음을 수행할 것이다:
| 프론티어 개발자는 다음에 대한 강력한 논증을 제시해야 한다:
|
| Capability or usage threshold | Mitigations-our plan as a company3 | Mitigations-ambitious industry-wide recommendations |
|---|---|---|
| Non-novel chemical/biological weapons production. AI systems with the ability to significantly help individuals or groups with basic technical backgrounds (e.g., undergraduate STEM degrees) create/obtain and deploy chemical and/or biological weapons with serious potential for catastrophic damages. | We will maintain or improve on our ASL-3 protections , which include classifier guards at least as robust as our initial Constitutional Classifiers; access controls for trusted users with exemptions to classifier guards; red-teaming, bug bounties, and threat intelligence for continually assessing the threat of jailbreaks; and a number of noteworthy security controls. Specifics may change, but we will maintain equally or more robust measures over time and will publish updates in our Risk Reports. We expect to continuously meet the criteria in the right column, although we cannot make guarantees about an evolving landscape with continually adaptive attackers. | A frontier developer should make a strong argument that individual users and relatively small teams will not become significantly more likely to cause catastrophic harm via their usage of product surfaces or via theft of model weights. This will likely require:
|
| Novel chemical/biological weapons production. AI systems that can functionally substitute for the scarce human expertise that is currently the primary barrier to novel development of chemical and biological weapons with potential for catastrophic harm.4 That is, a well-resourced team5 could, using the model, accomplish the end-to-end agent design and deployment (including, as relevant, agent design, verification and validation, formulation, and dissemination) that would otherwise6 require recruiting one of a small number7 of world-leading specialists. | We will apply protections at least as strong as our ASL-3 protections (see previous row) to an expanded set of potential use cases for AI, covering the most likely vectors for this threat. Additionally, we will identify the most concerning specific threat pathways, create policy recommendations for early detection and response for such threats, and share this content with policymakers. | A frontier developer should make a strong argument that threat actors will not become significantly more likely to cause the sort of catastrophic harm discussed in the lefthand column via their usage of product surfaces or via theft of model weights. This will likely require similar measures to those from the previous row, but to a higher standard-to the point where even well-resourced and -staffed threat actors would be unlikely to reliably jailbreak models or cause catastrophic harm via unauthorized access to or modification of models (including via stolen or modified model weights). This would likely mean security roughly in line with RAND SL4, but it depends on the capabilities of the strongest and most plausible threat actors that are not bound by a credible governance regime enforcing the recommendations for industry-wide safety outlined here. |
| Misaligned AI systems in high-stakes settings. AI systems that are highly relied on and have extensive access to sensitive assets as well as moderate capacity for autonomous, goal-directed operation and subterfuge-such that it is plausible these AI systems could (if directed toward this goal, either deliberately or inadvertently) carry out sabotage leading to irreversibly and substantially higher odds of a later global catastrophe. In the near term, this possibility will likely be most applicable to AI systems that are extensively used within major AI companies, with the opportunity to manipulate how their successor systems are trained and deployed as well as the evidence used to assess their safety. Down the line, this possibility may come to apply to AI systems deployed within government and other high-stakes settings. | We will detail the state of our AI systems' capabilities and propensities, our monitoring practices, and the overall level of risk in our Risk Reports. We expect to continually be able to meet the criteria in the right column, although we cannot make guarantees about an evolving technology that may increasingly have the ability to detect and manipulate testing. | A frontier developer should make a strong argument that AI systems will not carry out sabotage leading to irreversibly and substantially higher odds of a later global catastrophe. This case may initially be relatively simple and rely heavily on capability limitations, if it is first required when the risk is merely plausible. As risk becomes harder to rule out, this case will likely include some combination of:
|
| Automated R&D in key domains. AI systems that can fully automate, or otherwise dramatically accelerate, the work of large, top-tier teams of human researchers in domains where fast progress could cause threats to international security and/or rapid disruptions to the global balance of power-for example, energy, robotics, weapons development, and AI itself. For now, our evaluations will focus specifically on AI R&D, as this domain likely plays to AI systems' current strengths and is more tractable to assess than capabilities in other domains. Additionally, AI R&D alone could cause acceleration in AI capabilities improvements, to the point where all of the threats listed above (and more) develop very quickly. We will consider this threshold to be met if we determine that either (1) our models would be able to fully substitute for our entire set of Research Scientists and Research Engineers, at competitive costs (i.e., within a factor of 5); or (2) there is 'dramatic acceleration' of the pace of AI progress for reasons that likely relate to the automation of AI R&D. We would consider scenario (2) to have occurred where (a) we observe or expect double the rate of progress8 in AI aggregate capabilities compared to both the rate we'd expect and the fastest rate of extended progress9 we've observed in the absence of significant AI contributions to AI R&D and (b) it is plausible that this doubling is substantially attributable to the automation of research and/or engineering (as opposed to other factors, such as increased headcount, compute, or general productivity), such that continuation of the trend in AI progress seems likely to lead to even greater acceleration. This capability threshold is intended to reflect our definition of highly capable models (see Section 3.6 ). It may be sensible to add earlier, and/or easier-to-measure, thresholds that trigger less demanding versions of the mitigations for this threshold. | We will:
| A frontier developer should make a strong argument that:
|
2. 프론티어 안전 로드맵
2. Frontier Safety Roadmap
당사는 위험 완화를 개선하기 위한 야심차지만 달성 가능한 목표를 제시하는 프론티어 안전 로드맵을 유지할 것이다. 이 로드맵은 회사로서 당사의 진척 상황을 기록하고 시간이 지남에 따라 기준을 높여 나가는 역할을 한다. 이 로드맵을 유지하고 그에 대해 보고하는 것은 책임 있는 스케일링 정책에 따른 당사 업무의 일부이다. 로드맵은 모든 정규직 직원과 이사회(Board) 및 장기 이익 신탁(LTBT)에 공유되며, 일부 내용을 삭제한 형태로 공개될 것이다. 당사는 목표 달성 여부에 관한 업데이트를 제공하고, 목표를 달성하면 새로운 목표를 설정할 것이다.
We will maintain a Frontier Safety Roadmap laying out ambitious but achievable goals for improving our risk mitigations-charting our progress as a company and raising the bar over time. Maintaining and reporting on this Roadmap is part of our work under the RSP. It will be shared with all full-time employees as well as our Board of Directors (Board) and Long-Term Benefit Trust (LTBT), and published in redacted form. We will provide updates on whether we achieve the goals, and set new goals when we do.
당사의 프론티어 안전 로드맵은 변경될 수 있다. 일부 변경은 핵심 위험을 가장 잘 완화하는 방법에 대한 당사의 이해가 발전한 것을 반영하는 데 불과할 수 있다. 그러나 당사는 단지 목표를 달성할 수 없다는 이유만으로 목표를 덜 야심찬 방향으로 수정하는 상황을 피하기 위해 노력할 것이다. 이러한 기대치를 설정함으로써, 당사는 그렇지 않으면 적절한 우선순위와 자원을 배정하기 어려운 업무에 대해 강제 기제(forcing function)를 만들고자 한다. 이러한 업무는 회사 여러 부문의 협력(경우에 따라서는 희생)을 필요로 하며, 당면한 경쟁적·상업적 우선순위와 상충할 수 있기 때문이다. 프론티어 안전 로드맵을 공개하는 것은 AI 안전에 관한 업계 및 정책 논의 전반에 정보를 제공하는 데에도 도움이 될 수 있다.
Our Frontier Safety Roadmap is subject to change. Some changes may simply reflect our evolving understanding of how best to mitigate key risks. However, we will strive to avoid situations where we revise the goals in a less ambitious direction simply because we are unable to achieve them. By establishing this expectation, we hope to create a forcing function for work that would otherwise be challenging to appropriately prioritize and resource, as it requires collaboration (and in some cases sacrifices) from multiple parts of the company and can be at cross-purposes with immediate competitive and commercial priorities. Publishing our Frontier Safety Roadmap may also help inform broader industry and policy discussions on AI safety.
당사의 현행 프론티어 안전 로드맵은 anthropic.com/responsible-scaling-policy/roadmap 에서 확인할 수 있다. 과거 로드맵도 해당 링크에서 계속 열람할 수 있도록 할 것이다.
Our current Frontier Safety Roadmap is available at anthropic.com/responsible-scaling-policy/roadmap . We will also keep past Roadmaps available at that link.
3. 위험 보고서
3. Risk Reports
당사는 당사 시스템의 위험과, 그러한 위험에 비추어 AI 개발 및 배포를 지속할지 여부를 어떻게 결정했는지를 논의하는 위험 보고서를 공개할 것이다. 위험 보고서는 시스템 카드와 상당 부분 내용이 겹치지만, 당사는 위험에 대한 종합적인 평가(assessment)를 제시하기 위한 구조와 절차를 추가하고 있다.
We will publish Risk Reports discussing the risks of our systems and how we have made determinations about whether to continue AI development and deployment in light of the risks. These have significant content in common with system cards, but we are adding additional structure and process aimed at presenting our overall assessments of risk.
3.1. 범위 및 시기
3.1. Scope and Timing
범위. 위험 보고서는 특정 기준일(Coverage date) 시점의 Anthropic 모델 및 행위의 위험을 다루며, 기준일은 보고서 공개일로부터 30일 이전을 넘지 않는다.10 위험 보고서는 기준일 시점에 공개 배포된 모든 모델을 다루며, 기준일 시점에 내부 배포된 모델 중 보고서 공개 시점까지 당사가 (1) 고위험 환경에서의 오정렬(High-stakes misalignment) 또는 자동화된 연구개발과 관련된 위험을 초래할 수 있고, 그 위험이 (2) 이전 위험 보고서가 다룬 모델들이 초래하는 위험을 상당히 초과한다고 판단한 모델도 다룬다. 당사가 내부 모델을 이와 같이 분류하는 데에는 다양한 이유가 있을 수 있으나, 여기에는 최소한 당사가 대규모의 완전 자율적 연구를 위해 배포하고 있는 모든 내부 모델이 포함된다.
Scope. A Risk Report will cover the risks of Anthropic's models and actions as of a given coverage date, which will be no more than 30 days prior to the publication of the report.10 It will cover all publicly deployed models as of the coverage date, as well as any internally deployed models as of the coverage date that, by the time of the report's publication, we have determined (1) could pose risks related to high-stakes misalignment or automated R&D that (2) significantly exceed those posed by models covered by a prior Risk Report. While there are a variety of reasons we might classify an internal model this way, this will-at a minimum-include any internal models that we are deploying for large-scale, fully autonomous research.
위 설명에 부합하는 모델을 이하 '적용 대상 모델(In-scope models)'로 약칭한다. 당사는 일반적인 논의에 기여하기 위한 목적 등으로 위험 보고서에 추가 모델을 자발적으로 포함할 수도 있으나, 그러한 포함이 아래의 약속을 확대하지는 않는다.
Models fitting the above description are abbreviated below as ' in-scope models . ' We may also voluntarily include additional models in a Risk Report, e.g., to contribute to general discourse, but such inclusion does not expand the commitments below.
시기. 당사는 3~6개월마다 위험 보고서를 공개할 것이다. 시스템 카드와 달리 위험 보고서는 새로운 모델 공개 시마다 공개되지 않는다는 점에 유의해야 한다.
Timing. We will publish a Risk Report every 3-6 months. Note that unlike system cards, Risk Reports will not be published with each new model release.
정기 외 업데이트(Off-cycle updates). 위험 보고서 공개와는 별도로, 당사는 다음의 경우 개별 모델의 관련 위험에 대한 분석(예: 해당 모델의 역량과 성향이 이전 분석에 어떤 영향을 미치거나 이를 어떻게 변화시키는지)을 공개할 것이다:
Off-cycle updates. Separate from our publication of Risk Reports, we will publish an analysis of an individual model's relevant risks (e.g., how the model's capabilities and propensities affect or change prior analyses) in the following circumstances:
당사가 화학·생물학 무기 생산, 고위험 환경에서의 오정렬(High-stakes misalignment) 또는 자동화된 연구개발과 관련된 위험을 공개적으로 분석한 (2) 모든 모델(예: 이전 위험 보고서, 시스템 카드 또는 기타 공개 자료에서)보다 (1) 상당히 더 높은 역량을 지녔다고 판단한 모델을 공개 배포하는 경우.
When we publicly deploy a model that we determine is (1) significantly more capable than (2) all models for which we have publicly analyzed risks related to chemical/biological weapons production, high-stakes misalignment, or automated R&D (e.g., in a prior Risk Report, System Card, or other public artifact).
당사가 (1) 고위험 환경에서의 오정렬(High-stakes misalignment) 또는 자동화된 연구개발과 관련된 위험을 초래할 수 있고, 그 위험이 (2) 당사가 그러한 위험을 공개적으로 분석한 모든 모델(예: 이전 위험 보고서, 시스템 카드 또는 기타 공개 자료에서)의 위험을 상당히 초과하는 내부 배포 모델을 보유하고 있다고 판단한 날로부터 30일 이내.
Within 30 days of determining that we have an internally deployed model that (1) could pose risks related to high-stakes misalignment or automated R&D that (2) significantly exceed those of all models for which we have publicly analyzed such risks (e.g., in a prior Risk Report, System Card, or other public artifact).
3.2. 위험 보고서에 대한 일반적 기대 사항
3.2. General Expectations for Risk Reports
당사가 위험 보고서에 접근하는 방식은 다음과 같은 원칙에 따른다:
Several principles guide how we approach Risk Reports:
당사는 위험 보고서가 당사 시스템의 위험과 그에 대한 당사의 대비태세를 당사가 어떻게 보고 있는지에 대해 직접적이고 솔직하며 유익한 정보를 제공하도록 하고자 한다.
We intend for our Risk Reports to be direct, candid, and informative about how we see the risks of our systems and our state of preparedness for them.
특히 당사는 다른 개발자의 AI 모델을 고려할 때 전체 생태계 위험에 대한 당사의 한계 기여도가 상대적으로 제한적일 수 있더라도, 특정 모델이 절대적 기준에서 상당한 위험을 초래한다고 보는 경우 이를 인정할 것이다.
In particular, we will acknowledge when we view certain models as posing significant risks in absolute terms, even if our marginal contribution to overall ecosystem risk may be relatively limited when taking other developers' AI models into account.
당사는 위험의 근거를 조사하고(예: 역량 평가를 통해), 그 결과를 공유하는 데 상당한 노력을 기울일 것이다.
We will put significant effort into investigating (for example, via capability evaluations) the case for risk, and into sharing what we find.
위험 보고서에 당사가 시행 중인(또는 곧 시행할 계획인) 위험 완화가 기술되어 있는 경우, 당사는 향후 실행 방안을 그 기술 내용에 부합하도록 유지하거나, 주목할 만한 변경 및 이탈 사항을 추적하고 보고할 것이다(일반적으로 후속 위험 보고서를 통해). 당사는 (일시적 변경이 아닌) 지속적인 변경이 위험 수준을 크게 높이지 않도록 하기 위해 적극적으로 노력해야 한다.
When a Risk Report describes risk mitigations we have in place (or plan to implement shortly), we will keep our future practices in line with this description or track and report noteworthy changes and deviations (generally via subsequent Risk Reports). We should make a strong attempt to ensure that ongoing (as opposed to temporary) changes do not significantly increase the level of risk.
3.3. 내용
3.3. Contents
사실 정보. 당사는 파국적 위험을 어떻게 식별하고, 평가하고, 완화하는지 기술할 것이다. 위험 보고서는 다음 사항을 문서화한다:
Factual information. We will describe how we identify, evaluate, and mitigate catastrophic risks. A Risk Report will document the following:
위협 모델 식별: 당사가 평가하는 파국적 위험(즉, 위협 모델)을 결정하는 기준.
Threat model identification: Our criteria for determining which catastrophic risks (i.e., threat models) we assess.
위협 모델 명세: 관련 위협 모델(최소한 위에서 논의한 위협 모델을 포함함).
Threat model specification: The relevant threat models (which will, at a minimum, include those discussed above ).
관련 모델 역량 및 행동에 관한 증거(평가(evaluation) 포함): 각 적용 대상 모델에 대해, (내부적으로, 그리고 적절한 경우 외부 당사자가 수행한) 역량 평가 및 정렬 평가, 그 결과, 그리고 (적절한 경우) 당사가 위험 수준을 평가(assessment)할 때 고려한 기타 증거.
Evidence (including evaluations) about relevant model capabilities and behaviors: For each in-scope model, capability and alignment evaluations (conducted internally and by external parties as appropriate), their results, and (as appropriate) other evidence we considered in assessing the level of risk.
위험 완화: 각 적용 대상 모델에 대해, 기준일 현재 보안, 배포 안전장치 및 정렬 영역 전반에 걸쳐 당사가 시행한 완화 조치와 그 효과성에 대한 논의.
Risk mitigations: For each in-scope model, the mitigations we have implemented as of the coverage date across security, deployment safeguards, and alignment domains, along with discussion of their effectiveness.
추가 관련 요소: 당사의 위험 분석에 중요한 기타 모든 고려 사항.
Additional relevant factors: Any other considerations material to our risk analysis.
위험 분석. 당사는 특정 위협 모델과 전반적 위험 수준 모두에 관한 당사의 추론과 결론을 제시할 것이다. 당사의 분석에는 다음이 포함된다:
Risk analyses. We will provide our reasoning and conclusions regarding both specific threat models and overall risk levels. Our analyses will include:
위협별 위험 평가: 각 위협 모델에 대해, 당사는 잔여 절대 위험, 즉 당사의 완화 조치를 반영한 후 남는 위험을 분석할 것이다. 또한 당사가 업계 전반 안전 권고(제1절 참조)상의 관련 임계값을 넘었다고 판단하는지, 그리고 (해당되는 경우) 그에 상응하는 위험 완화 기준을 충족하고 있다고 판단하는지에 대해서도 논의할 것이다.
Threat-specific risk assessment: For each threat model, we will analyze remaining absolute risk-i.e., the leftover risk after accounting for our mitigations. We will also discuss whether we believe we've crossed relevant thresholds in our recommendations for industry-wide safety (see Section 1 ), and (as relevant) whether we believe we're meeting the risk mitigation standards corresponding to them.
전반적 위험 평가: 당사는 전반적 위험 평가를 제시할 것이다.
Overall risk assessment: We will provide an overall risk assessment.
위험-편익 판단: 당사는 식별된 위험이 그에 상응하는 편익에 의해 정당화된다고 판단하는지, 그리고 그렇다면 그 이유는 무엇인지 설명할 것이다.
Risk-benefit determination: We will explain whether, and if so why, we believe the identified risks are justified by corresponding benefits.
향후 전망: 당사는 시간 경과에 따라 관련 위험을 지속적으로 모니터링하고 완화하기 위한 계획을 개략적으로 제시할 것이다.
Looking forward: We will outline our plans for continuing to monitor and mitigate the relevant risks over time.
과거 위험 보고서 및 결정에 대한 검토. 당사는 다음 사항을 다룰 것이다:
Review of past Risk Reports and decisions. We will address:
위험 완화 실행 방안의 변경: 해당 기간 동안 당사의 위험 완화 실행 방안이 직전 위험 보고서에서 논의한 내용으로부터 (일시적인 경우를 포함하여) 이탈하거나 변경된 주목할 만한 사례, 그리고 그것이 전반적 위험 수준에 미치는 영향.
Changes in risk mitigation practices -noteworthy cases in which our risk mitigation practices deviated (including temporarily) or changed from what we discussed in our previous Risk Report over the relevant period, and their implications for the overall level of risk.
(위험 보고서 사이에 이루어져) 위험 보고서에서 달리 검토되지 않았을 적용 대상 모델을 내부 배포하기로 한 결정. 당사는 이러한 결정이 어떻게 이루어졌는지, 그리고 그 이후 새로 드러난 주목할 만한 정보에 비추어 볼 때 해당 결정이 합리적으로 보이는지 논의할 것이다.
Decisions to internally deploy in-scope models that would not otherwise be reviewed in a Risk Report (because they happened in between Risk Reports). We will discuss how these decisions were made and whether they appear reasonable in light of any noteworthy new information that has come to light since then.
당사의 프론티어 안전 로드맵 변경 사항 및 당사가 목표를 달성하지 못한 모든 사례.
Changes to our Frontier Safety Roadmap and any cases where we failed to meet our goals.
한계 위험 및 생태계 분석. 당사와 같은 AI 시스템이 업계 전반에 초래하는 절대적 위험 수준이 높다고 판단하고, 부분적으로 한계 위험 분석(Marginal risk analysis)에 근거하여 진행 결정을 정당화하는 경우,11 당사는 다음 사항을 추가로 다룰 것이다:
Marginal risk and ecosystem analysis. If we determine that the absolute level of risk being imposed industry-wide by AI systems such as ours is high, and are justifying our decision to move forward based partly on a marginal risk analysis,11 we will additionally address the following:
경쟁 환경 분석: 당사의 현재 및 향후 모델 역량과 위험 완화가 관련 경쟁사의 그것과 어떻게 비교되는지에 관해 당사가 파악하고 있는 내용.
Competitive landscape analysis: What we know about how our current and future model capabilities and risk mitigations compare to those of relevant competitors.
위험 평가에서의 역할: 이러한 비교가 당사의 위험 평가에 어떻게 반영되었는지.
Role in risk assessment: How these comparisons factored into our risk assessment.
편익 분석: 기존 모델을 계속 유지하거나 프론티어 역량을 발전시키는 데 따르는 편익(있는 경우). 여기에는 당사의 사명 및 AI 안전 연구와 정책 개발에 기여할 수 있는 당사의 능력과 관련된 고려 사항이 포함된다.
Benefits analysis: The benefits, if any, of continuing to maintain our existing models or of advancing frontier capabilities, including considerations related to our mission and our ability to contribute to AI safety research and policy development.
옹호 활동: 관련 위험에 대한 대중의 인식을 높이고 적절한 규제 조치를 장려하기 위해 당사가 취한 조치. 여기에는 정책 입안자 및 다른 AI 개발자와의 교류가 포함된다.
Advocacy efforts: The steps we took to raise public awareness of the relevant risks and to encourage appropriate regulatory action, including our engagement with policymakers and other AI developers.
당사는 각 적용 대상 모델에 대해 위의 평가(assessment)를 수행할 것이다. 중복을 피하기 위해 당사는 유사한 모델을 개별적으로 분석하기보다는 묶어서 분석할 가능성이 높으며, 그러한 그룹화에 대해서는 적절한 근거를 제시할 것이다.
We will conduct the assessments above with respect to each in-scope model. To avoid redundancy, we will likely analyze similar models collectively rather than individually, with appropriate justification for any such groupings.
3.4. 절차
3.4. Procedures
초기 평가(assessment) 및 초안 작성: 당사의 내부 분야별 전문가가 위험 평가를 수행하고 위험 보고서 초안을 작성한다.
Initial assessment and drafting: Our internal subject matter experts will conduct risk assessments and draft the Risk Report.
검토 및 피드백: 당사는 보고서에 대해 포괄적인 내부 피드백을 요청하며, 잠재적인 방법론적 약점, 분석상의 공백, 또는 추가적인 증거나 명확화가 필요한 영역을 식별하는 데 중점을 둔다. 당사는 이 피드백을 보고서 자체를 개선하거나 다듬는 데 활용할 수도 있다. 또한 당사는 일반적으로 관련 전문성을 갖춘 신뢰할 수 있는 외부 당사자로부터도 피드백을 구할 것이다.
Review and feedback: We will solicit comprehensive internal feedback on the report, focusing on identifying potential methodological weaknesses, analytical gaps, or areas requiring additional evidence or clarification. We may also use this feedback to improve or refine the report itself. We will usually also seek feedback from trusted external parties with relevant expertise.
경영진 승인: 위험 보고서는 내부 피드백 및 확보 가능한 외부 피드백과 함께 최종 검토 및 승인을 위해 CEO와 책임 있는 스케일링 책임자(RSO)에게 송부된다. CEO와 RSO는 위험 평가의 적정성과 후속 배포 또는 개발 계획에 관해 최종 결정을 내린다.
Executive approval: The Risk Report, along with the internal feedback and any available external feedback, will be sent to the CEO and Responsible Scaling Officer (RSO) for final review and approval. The CEO and RSO will make the ultimate determination regarding the adequacy of the risk assessment and any downstream deployment or development plans.
거버넌스 통지: 위험 보고서가 승인되면 CEO와 RSO는 자신들의 결정, 그 근거가 된 위험 보고서, 그리고 내부 피드백을 이사회 및 장기 이익 신탁(LTBT) 모두에 신속하게 공유한다.
Governance notification: Following approval of a Risk Report, the CEO and RSO will promptly share their decision(s), the underlying Risk Report, and internal feedback with both the Board and the LTBT.
한계 위험 분석이 당사의 논거에서 중요한 경우의 수정 절차: 한계 위험 분석(이전 절 참조)이 진행 결정에 주요한 역할을 하는 경우, (CEO와 RSO만이 아니라) 이사회와 장기 이익 신탁(LTBT)의 위험 보고서에 대한 명시적 승인이 요구된다.
Modified process when marginal risk analysis is important to our case. In the event that marginal risk analysis (see previous section) plays a major role in a decision to move forward, explicit approval of the Risk Report by the Board and LTBT (rather than just the CEO and RSO) will be required.
3.5. 공개 및 민감정보 가림 처리
3.5. Publication and Redactions
당사는 위험 보고서의 공개본을 공개할 것이다. 당사는 보고서의 공개본 또는 일반 보안 등급의 Anthropic 전 직원에게 공유되는 보고서에서 민감정보 가림 처리를 최소화하는 것을 목표로 한다. 당사가 자료를 민감정보 가림 처리할 수 있는 사유는 다음을 포함하되 이에 국한되지 않는다:
We will publish a public version of our Risk Report. We will aim to minimize redactions to the public version of the report or to the version of the report shared with all regular-clearance Anthropic employees. Reasons we may redact material include but are not limited to:
법적 규정 준수: 수출 통제 규정, 국가안보상 제한, 또는 제3자와의 계약상 의무 등 정보 공개에 관한 법적 의무를 준수하기 위함.
Legal compliance: To comply with legal obligations on disclosing information, such as export control regulations, national security restrictions, or contractual obligations with third parties.
지식재산권 보호: 당사 모델 및 훈련 방법론의 기술적 세부 사항, 영업비밀, 또는 기타 기밀 사업 정보를 포함한 독점 정보를 보호하기 위함.
Intellectual property protection: To protect proprietary information, including technical details of our models and training methodologies, trade secrets, or other confidential business information.
공공 안전 고려: 피해를 야기하는 데 악용될 수 있는 정보를 공개하지 않음으로써 공공 안전을 보호하기 위함.
Public safety considerations: To protect public safety by not disclosing information that could be exploited to cause harm.
프라이버시: 개인의 사적 프라이버시를 보호하기 위함.
Privacy: To protect the personal privacy of individuals.
당사는 보고서 공개본에서 이루어진 각 민감정보 가림 처리의 존재 사실을 공개하고, 그러한 민감정보 가림 처리에 대해 간략한 근거를 제시하는 것을 목표로 할 것이다. 다만 많은 경우 이는 불가피하게 매우 개괄적인 수준에 그칠 것이다.
We will disclose the existence of each redaction made in the public version of the report and aim to give a brief justification for such redactions, though in many cases this will necessarily be very high-level.
3.6. 외부 검토
3.6. External Review
당사는 위험 보고서에 대해 포괄적이고 공개적인 외부 검토를 받는 관행을 마련하기 위해 노력할 것이다. 이는 당사 위험 보고서의 비공개본(아래에서 논의하는 바와 같이 민감정보 가림 처리가 없거나 최소화된 버전)을 제공받아 이에 대한 포괄적인 논평을 공개할 하나 이상의 제3자 기관과 협력하는 것을 의미한다. 논평은 당사 추론의 품질, 당사 위험 평가의 타당성, 전반적 위험 수준, 그리고 공개본에 대해 당사가 수행한 민감정보 가림 처리가 합리적이고 적절한지 등의 주제를 다룰 것이다.
We will work toward a practice of seeking comprehensive, public external review on our Risk Reports. This means working with one or more third-party organizations that will receive private versions of our Risk Reports (unredacted or with minimal redactions, as discussed below) and publish comprehensive commentary on them. Commentary will address topics including the quality of our reasoning, the validity of our risk assessments, the overall level of risk, and whether the redactions we've made for the public version are reasonable and appropriate.
당사의 의도는 외부 검토자의 판단이 당사 직원뿐 아니라 대중의 관점에서도 상당한 무게를 갖도록 하는 것이다. 그러나 이러한 종류의 관행을 위한 확립된 기관이나 절차는 존재하지 않으며, 당사는 이를 하나의 실험으로서 접근하고 있다.
Our intent is for external reviewers' judgments to carry significant weight in the eyes of the public as well as our employees. But there are no well-established organizations or procedures for this sort of practice, and we are approaching it as an experiment.
최소한 당사는 위험 보고서가 고역량 모델을 다루고 상당한 수준으로 민감정보 가림 처리된 경우에는 언제든지, 최소 한 명의 외부 검토자와 함께 전체 외부 검토 절차(아래에 기술)를 완료할 것이다. 이는 다음과 같이 정의된다:
At a minimum, we will complete a full external review process (described below) with at least one external reviewer anytime a Risk Report covers highly capable models and is significantly redacted, defined as follows:
제1절에 기술된 자동화된 AI 연구개발 임계값을 넘는다고 당사가 결론 내린 모델은 '고역량' 모델이다.
A model is ' highly capable' if we conclude that it crosses the threshold for automated AI R&D described in Section 1 .
'상당한 수준으로 민감정보 가림 처리된'이란 합리적인 외부 안전 연구자가 전반적 위험 수준을 평가(evaluation)하는 데 중요하다고 여길 정보가 민감정보 가림 처리로 누락되어, 공개본만 읽은 독자가 당사의 결론에 동의하는지를 의미 있게 평가(assessment)할 수 없는 경우를 의미한다. RSO, CEO, 이사회 또는 장기 이익 신탁(LTBT) 중 어느 한쪽이라도 보고서가 이 설명에 해당한다고 판단하는 경우, 해당 보고서는 상당한 수준으로 민감정보 가림 처리된 것으로 간주된다. 민감정보 가림 처리되지 않은 보고서는 다수의 직원에게 공유되며, 이들은 공개본이 이 설명에 해당한다고 판단할 경우 우려를 제기할 수 있다는 점에 유의해야 한다.
'Significantly redacted' means that the redactions omit information a reasonable external safety researcher would consider important in evaluating the overall level of risk, such that a reader of only the public version could not meaningfully assess whether they agree with our conclusions. A report shall be deemed significantly redacted if, in the judgment of the RSO, CEO, Board, or LTBT, it meets this description. Note that unredacted reports will be shared with a large number of employees, who will be in a position to raise concerns if they believe the public version meets this description.
또한 당사는 장기 이익 신탁(LTBT)의 요청이 있을 경우, 아래에 기술된 절차에 따라 위험 보고서 또는 그 일부 절에 대해 공개 또는 비공개 외부 검토를 실시할 것이다.
In addition, upon the LTBT's request, we will conduct a public or private external review of our Risk Report or sections thereof, subject to the procedures outlined below.
3.6.1. 외부 검토자 선정
3.6.1. Selecting external reviewers
당사는 다음 요건을 갖춘 외부 검토자를 선정할 것이다:
We will select external reviewers that:
위험한 AI 역량 및 성향에 대한 평가(evaluation)와 관련하여 상당한 경험과 전문성을 보유할 것. 특히 그러한 평가(evaluation)가 오해를 불러일으킬 수 있는 잠재적 방식(예: 정렬 위장(alignment faking))에 대해 잘 알고 있는 것이 중요하다.
Have significant experience and expertise regarding evaluations for dangerous AI capabilities and propensities. It's particularly important that they be knowledgeable about potential ways such evaluations might be misleading (for example, alignment faking ).
Anthropic이 승인할 만한 논평을 작성하는 데 치중하기보다는 위험에 대한 평가(assessment)를 솔직하게 밝힐 가능성이 높도록 하는 평판상 및 기타 유인을 가질 것. 예를 들어, 외부 검토 주체는 그 수익, 평판 및 성공이 전적으로 Anthropic 및 유사 기업과의 지속적인 협력에 달려 있는 팀이어서는 안 된다.
Have reputational and other incentives making them likely to be candid about their assessment of risks, rather than focused on writing comments that Anthropic will approve of. For example, external review parties should not be teams whose revenue, reputation and success depend entirely on Anthropic and similar companies continuing to work with them.
Anthropic과 관련하여 이해충돌이 없을 것. 최소한 검토 기관 자체는 Anthropic에 대해 재정적 이해관계를 가져서는 안 되며, 검토 수행에 참여하는 개인과 해당 기관 내 보고 체계상 그들의 상급자는 Anthropic에 대해 재정적 이해관계를 갖거나 Anthropic 소속 인원과 긴밀한 개인적 관계(즉, 가족 관계, 연인 관계 또는 동거 관계)를 가져서는 안 된다.
Do not have conflicts of interest with respect to Anthropic. At a minimum, a reviewing organization itself may not have a financial interest in Anthropic; and the individuals involved in conducting the review, as well as anyone above them in the reporting chain within their organization, may not have a financial interest in Anthropic or close personal relationships with anyone at Anthropic (i.e., family relationships, romantic relationships, or shared living arrangements).
외부 검토자를 선정할 때 당사는 이사회와 협의하고 장기 이익 신탁(LTBT)의 승인을 받을 것이다.
In selecting external reviewers, we will consult with the Board and obtain the approval of the LTBT.
3.6.2. 시기 및 접근
3.6.2. Timing and access
외부 검토 절차에서는 위험 보고서를 이사회와 장기 이익 신탁(LTBT)에 제출한 후 1주일 이내에 동일한 보고서를 하나 이상의 외부 검토자에게 공유한다. 당사는 외부 검토자에게 보고서 수령 후 30일 이내에 이에 대한 공개 논평을 제공해 줄 것을 요청할 것이다. 당사는 이사회/장기 이익 신탁(LTBT)의 검토 이전에 전체 외부 검토가 완료되는 절차를 마련하기 위해 노력할 것이다(그리고 향후 이를 요구할 수도 있다).
The external review process will involve sharing the Risk Report with one or more external reviewers within one week of submitting the same report to our Board and LTBT. We will ask the external reviewers to provide public commentary on our report within 30 days of receipt. We will try to work toward a process that involves the full external review being completed prior to Board/LTBT review (and may require this later).
위험 보고서의 모든 절은 최소 한 명의 외부 검토자에게 공유되지만, 당사는 각 외부 검토자의 주제별 전문성에 따라 검토 절차를 여러 외부 검토자에게 나누어 맡기기로 할 수 있다. 외부 검토 목적상 위험 보고서에 대한 민감정보 가림 처리는 법적 금지 사항을 준수하거나 당사의 법적 권리를 유지하는 데 필요한 경우로 한정된다.12 당사는 외부 검토를 수행하는 주체의 후속 질문에 답변하는 데에도 일정 시간을 투입할 것으로 예상한다.
All sections of the Risk Report will be shared with at least one external reviewer, but we may choose to split the review process across different external reviewers based on their subject matter expertise. For purposes of external review, the only redactions to the Risk Report will be those necessary to comply with legal prohibitions or to maintain our legal rights.12 We expect that we will also invest some time in answering follow-up questions from parties doing external review.
3.6.3. 외부 검토의 내용
3.6.3. Contents of external review
외부 검토는 다음 사항을 다룬다:
The external review will address:
정보의 충분성: 위험 보고서가 식별된 위험을 평가(assessment)하는 데 충분한 정보를 담고 있는지 여부;
Adequacy of information: Whether the Risk Report contains sufficient information to assess the identified risks;
분석의 엄밀성: 위험 보고서의 추론 및 분석의 견고성;
Analytical rigor: The strength of the Risk Report's reasoning and analysis;
이견 영역: 외부 검토자가 위험 보고서의 핵심 주장 중 어느 것에라도 동의하지 않는지 여부, 그리고 그러한 경우 이견의 이유; 및
Areas of disagreement: Whether the external reviewer disagrees with any of the Risk Report's key claims and, if so, the reasons for any such disagreements; and
위험 감소 권고: 식별된 위험을 추가로 줄이기 위한 권고 사항.
Risk reduction recommendations: Recommendations for further reducing identified risks.
외부 검토자는 또한 민감정보 가림 처리된 내용 자체의 공개는 피하면서 당사의 민감정보 가림 처리 결정을 평가(evaluation)할 것이다. 특히 검토는 다음 사항을 다룬다:
The external reviewer will also evaluate our redaction decisions while avoiding disclosure of the redacted content itself. In particular, the review will cover:
민감정보 가림 처리의 범위: 민감정보 가림 처리의 일반적 성격과 범위;
Redaction scope: The general nature and scope of redactions;
민감정보 가림 처리의 근거: 외부 검토자가 공개적으로 명시된 민감정보 가림 처리 사유에 대체로 동의하는지 여부, 그리고 해당되는 경우 이견의 이유;
Redaction justification: Whether the external reviewer generally agrees or disagrees with the publicly stated reasons for the redactions and, if relevant, the reasons for any disagreements;
균형 판단: 민감정보 가림 처리가 Anthropic의 정당한 이익과 투명성에 대한 사회의 이익 사이에서 합리적인 균형을 이루고 있는지 여부; 및
Balancing test: Whether the redactions strike a reasonable balance between Anthropic's legitimate interests and society's interest in transparency; and
중대성: 공개 보고서의 민감정보 가림 처리 중 어느 것이라도 보고서의 주장에 대한 외부 검토자의 실질적 이견과 중대한 관련이 있는지 여부.
Materiality: Whether any of the redactions in the public report are material to any of the external reviewer's substantive disagreements with the report's claims.
공개 논평. 당사는 외부 검토자에게 위 주제에 관한 검토 결과를 서면 보고서로 기록하여 공개해 줄 것을 요청할 것이다. 외부 검토자는 기밀 정보(예: 기밀 지식재산권, 국가안보 관련 사항, 또는 모델 아키텍처, 비용, 규모 등 독점적 세부 사항)를 공개하지 않을 의무를 지지만, 그 외에는 위험 보고서 또는 외부 검토와 관련한 Anthropic의 행위에 대한 우려를 포함하여 공개할 수 있는 내용에 제한을 받지 않는다.
Public comments. We will ask the external reviewer to memorialize its findings on the topics above in a written report that is made public. External reviewers will be bound by obligations not to disclose confidential information (e.g., confidential intellectual property, matters of national security, or proprietary details such as model architecture, cost, or size), but beyond that will not be restricted in what they can publish, including concerns about the Risk Report or Anthropic's conduct in connection with the external review.
4. 거버넌스
4. Governance
당사는 내부 및 외부 책임성을 증진하기 위해 다음의 거버넌스 조치를 이행할 것을 약속한다.
We commit to the following governance measures to promote internal and external accountability.
책임 있는 스케일링 책임자: 당사는 이 정책의 이행을 책임지는 지정 직원인 책임 있는 스케일링 책임자(RSO) 직위를 유지할 것이다. RSO의 직무에는 다음이 포함되나 이에 국한되지 않는다: (1) 필요에 따라 이 정책의 개정을 제안하는 것; (2) 당사의 위험 평가에 근거하여 관련 모델 개발 또는 배포 결정을 승인하는 것; (3) 주요 계약(예: 배포 파트너십)이 이 정책에 부합하는지 검토하는 것; (4) 충분한 자원 배분을 포함하여 이 정책의 이행을 감독하는 것; (5) 잠재적 미준수 사례에 대한 보고를 접수하고 처리하는 것; 그리고 (6) 정책의 해석 및 적용에 관한 판단을 내리는 것.
Responsible Scaling Officer: We will maintain the position of RSO, a designated member of staff who is responsible for the implementation of this policy. The RSO's duties will include (but are not limited to): (1) as needed, proposing updates to this policy; (2) approving relevant model development or deployment decisions based on our risk assessments; (3) reviewing major contracts (e.g., deployment partnerships) for consistency with this policy; (4) overseeing the implementation of this policy, including the allocation of sufficient resources; (5) receiving and addressing reports of potential instances of noncompliance; and ( 6) making judgment calls on policy interpretation and application.
장기 이익 신탁: 당사는 모델 훈련, 역량 평가(evaluation), 완화 조치, 위험 분석을 포함하여 위험 보고서와 관련된 계획 및 진행 상황을 장기 이익 신탁(LTBT)에 정기적으로 보고할 것이다.
Long Term Benefit Trust: We will regularly brief the LTBT on plans and developments related to our Risk Reports, including model training, capability evals, mitigations, and risk analyses.
내부 투명성: 당사는 민감정보 가림 처리되지 않은 최종 위험 보고서를 다수의 Anthropic 직원(최소 200명)에게 공유할 것이다. 당사는 민감정보 가림 처리를 최소화한 위험 보고서를 일반 보안 등급의 Anthropic 전 직원에게 공유할 것이다.
Internal transparency: We will share final, unredacted Risk Reports with a large number of Anthropic employees (at least 200). We will share minimally-redacted Risk Reports with all of Anthropic's regular-clearance staff.
미준수 보고: 당사는 Anthropic 직원이 이 정책의 잠재적 미준수에 관해 익명 또는 실명으로 보고서를 제출할 수 있는 절차를 유지할 것이다. 직원은 보고서 수신자로 RSO, 그리고 RSO에게 보고하지 않는 최소 한 명의 임원을 포함하여 둘 이상의 선택지를 갖는다. 보고서를 접수하면 당사는 신속하게 조사하고, 사실로 확인될 경우 적절하고 비례적인 시정 조치를 취하며, 보고 내용과 조사 결과를 문서화할 것이다. 당사는 사실 확인 여부와 관계없이 잠재적 미준수 보고에 관해 분기별로 이사회에 현황을 보고할 것이다. 보고가 (1) 사실로 확인되고 (2) 중대한 안전 위험과 관련된다고 판단하는 경우, 당사는 이를 이사회에 신속히 통지할 것이며 이를 공개적으로 알릴 수도 있다. 마지막으로, 당사는 보고자를 보복으로부터 보호할 것이며, 보고가 RSO의 행위에 관한 것인 경우 최소 한 명의 수신자는 이사회 구성원이어야 한다.
Noncompliance reporting: We will maintain a process for Anthropic staff to submit anonymous or identified reports regarding potential noncompliance with this policy. Staff will have more than one option for who receives these reports, including the RSO, and at least one executive who does not report to the RSO. When we receive a report, we will promptly investigate, take appropriate and proportional corrective action if it is substantiated, and document the report and our findings. We will provide quarterly updates to the Board regarding reports of potential noncompliance, whether substantiated or not. If we determine that a report is (1) substantiated and (2) involves a material safety risk, we will promptly notify the Board and we may provide public notice of the same. Finally, we will protect reporters from retaliation, and where a report concerns the conduct of the RSO, at least one recipient will be a member of the Board.
직원 계약: 당사는 직원, 입사 지원자 또는 전 직원이 Anthropic에 관한 안전 우려를 공개적으로 제기하는 것을 방해하거나 단념시킬 수 있는 방식으로 계약상 비방 금지 의무를 부과하지 않을 것이다. 당사가 비방 금지 조항이 포함된 계약을 제시하는 경우, 해당 조항은 안전 우려의 제기를 막지 않으며, 해당 조항의 존재 사실에 대한 공개도 막지 않는다.
Employee agreements: We will not impose contractual non-disparagement obligations on employees, candidates, or former employees in a way that could impede or discourage them from publicly raising safety concerns about Anthropic. If we offer agreements with a non-disparagement clause, that clause will not preclude raising safety concerns, nor will it preclude disclosure of the existence of that clause.
내부 검토: 당사는 이 정책의 이행 현황에 대해 정기적으로 내부 검토를 실시할 것이다.
Internal review: We will regularly conduct an internal review of our implementation of this policy.
절차적 규정 준수 검토: 당사는 대략 연 1회, 이 정책의 주요 절차적 약속을 준수했는지 평가하는 제3자 검토를 의뢰할 것이다. 이 검토는 실질적 결과가 아니라 절차적 규정 준수에 초점을 둔다.
Procedural compliance review: On approximately an annual basis, we will commission a third-party review that assesses whether we adhered to this policy's main procedural commitments. This review will focus on procedural compliance, not substantive outcomes.
정책 변경: 책임 있는 스케일링 정책(RSP)의 변경은 CEO와 RSO가 제안하고, 이사회가 LTBT와의 협의를 거쳐 승인한다. 당사가 RSP를 개정하는 경우, 개정본을 시행일 이전 또는 시행일 당일에 공개하고 이전 초안과의 차이점을 변경 이력(Change Log)에 기록할 것이다. 당사는 RSP의 현행본을 당사 웹사이트에 게시할 것이다.
Policy changes: Changes to the RSP will be proposed by the CEO and RSO, and approved by the Board in consultation with the LTBT. If we update the RSP, we will publicly share the updated version prior to or on its effective date and will record the differences from the prior draft in the Change Log. We will maintain the current version of the RSP on our website.
부록
Appendices
부록 A: 경쟁사 관련 약속
Appendix A: Commitments Related to Competitors
이 약속들은 필연적으로 고수준이며 제한적이다. 많은 경우 당사는 해당 시나리오가 적용되는지 판단할 만큼 충분한 정보를 갖지 못할 것이며, 불확실성에 대처하기 위해 최선의 판단을 내려야 할 것이다. 그러나 다른 관련 AI 개발자들이 안전을 우선시하고 그렇게 하고 있음을 알아볼 수 있게 입증하는 데 투자하는 한(당사가 그렇게 하고자 하는 것처럼), 이와 같은 약속은 안전 측면에서 의도치 않은 '바닥으로의 경쟁'을 피하는 데 도움이 될 수 있다. 또한 아래 약속은 당사가 다른 상황에서 모델의 훈련 또는 배포를 자제하는 등의 예방적 조치를 취하는 것을 배제하지 않는다. 당사 모델로 인한 위험을 완화하는 것은 당사의 최우선 과제이며, 당사는 아래에서 다루지 않는 경우에도 모델의 안전성 수준을 개선하기 위해 개발 및/또는 배포의 중단을 적극적으로 고려할 것이다.
These commitments are necessarily high-level and limited. In many cases, we will not have enough information to determine that the relevant scenario applies and will have to use our best judgment to deal with uncertainty. But to the extent that other relevant AI developers prioritize safety and invest in legible demonstrations that they are doing so-as we intend to-commitments like these may help avoid an inadvertent 'race to the bottom' on safety. Further, the commitments below do not preclude us from taking cautionary action, such as refraining from training or deploying models, in other circumstances. Mitigating the risks from our models is a top priority for us, and we would strongly consider pausing development and/or deployment to improve the safety profiles of our models even in cases not covered below.
| 시나리오 | 약속 |
|---|---|
| Anthropic이 선도하는 경우. 당사가 고역량13 모델을 개발했거나 곧 개발할 예정이며, 다른 어떤 경쟁사도 그러한 모델을 곧 개발하지 않을 것이라는 명확한 증거가 있음. | 당사는 업계 전반 안전 권고(섹션 1 참조)에 따라 파국적 위험이 억제되어 있다는 강력한 논증을 요구할 것이다. 당사는 이를 달성하기 위해 필요에 따라 AI 개발 및 배포를 지연할 것이며, 이는 당사가 상당한 우위를 더 이상 점하고 있지 않다고 판단할 때까지 유지된다. |
| 경쟁사가 강력한 안전 조치를 갖춘 경우. 고역량 프론티어 모델을 개발했거나 곧 개발할 모든 경쟁사가 업계 전반 안전 권고(섹션 1 참조)의 취지에 부합하게 파국적 위험이 억제되어 있다는 강력한 논증을 제시할 수 있다는 강력한 증거가 있음. | 당사는 고역량 프론티어 모델에 대해, 해당 경쟁사들의 전반적인 위험 감소 태세를 평가하기 위한 최선의 노력에 근거하여 파악할 수 있는 한, 그 태세와 동등하거나 이를 상회하는 수준을 충족할 것이다. 이를 달성할 수 있을 때까지 당사는 필요에 따라 AI 개발 및 배포를 지연할 것이다. |
| 전반적 수준 향상. 경쟁사가 다음과 같은 위험 완화 조치를 이행했다는 강력한 증거가 있음: (1) 당사의 유사한 완화 조치에 비해 당사가 우선시하는 위험의 감소 측면에서 상당한 개선을 나타내며, (2) 당사가 경쟁사와 비슷한(또는 더 적은) 노력이나 비용으로 이행할 수 있음. | 당사는 해당 성과 기준을 충족하거나 상회하기 위해 상당한 노력을 기울일 것이다. 다만 이 시나리오에서 반드시 AI 개발 및 배포를 지연하지는 않을 것이다. |
| Scenario | Commitment |
|---|---|
| Anthropic in the lead. We have developed or will imminently develop a highly capable13 model; and we have clear evidence that no other competitor will soon develop such a model. | We will require a strong argument that catastrophic risk is contained, along the lines of our recommendations for industry-wide safety (see Section 1). We will delay AI development and deployment as needed to achieve this, until and unless we no longer believe we have a significant lead. |
| Competitors have strong safety measures. We have strong evidence that all competitors who have developed, or will soon develop, a highly capable frontier model are able to make strong arguments that catastrophic risk is contained, in the spirit of our recommendations for industry-wide safety (see Section 1). | For our highly capable frontier models, we will meet or exceed the overall risk reduction posture of these competitors, as far as we can tell based on our best efforts to assess that posture. Until we are able to do so, we will delay AI development and deployment as needed to achieve this. |
| General upleveling. We have strong evidence that a competitor has implemented a risk mitigation that: (1) represents a significant improvement on reduction of our prioritized risks relative to our analogous mitigations; and (2) we could implement at comparable (or lower) effort or cost to our competitor. | We will make a significant effort to meet or exceed that performance standard. However, we will not necessarily delay AI development and deployment in this scenario. |
부록 B: ASL에 관한 참고 사항
Appendix B: Notes on ASLs
RSP의 이전 판에서는 요구되는 통제의 구체적 목록과 함께 'AI 안전 수준'을 정의했다. 당사는 현재의 위험 완화 수준, 즉 기존 AI 모델에 대해 유지하고 있는 완화 조치를 지칭하고 구별하기 위해 여전히 이 개념을 사용한다. (예를 들어, 당사의 최초 위험 보고서도 이 구분을 사용한다.) 그러나 향후 수준의 AI 역량에 필요한 위험 완화를 정의할 때, 구체적인 통제 목록을 제시하는 것은 지나치게 경직적이라는 점을 확인했으며, 대신 AI 개발자가 자사 시스템의 위험 수준에 관해 어떤 종류의 논증을 제시해야 하는지(그리고 어떤 종류의 행위자를 다루어야 하는지)에 초점을 맞추는 방식을 선호한다.
Earlier editions of our RSP defined 'AI Safety Levels' with specific lists of required controls. We still use this concept to refer to, and distinguish between, present levels of risk mitigations-those that we maintain for existing AI models. (For example, our initial Risk Report uses this distinction.) However, when defining the risk mitigations needed for future levels of AI capability, we have found that providing a specific list of controls is overly rigid, and we instead prefer to focus on what sort of argument an AI developer should make (and what sorts of actors it should address) regarding the risk level from its systems.
변경 이력
Changelog
2023년 9월 19일 (RSP v1.0)
September 19, 2023 (RSP v1.0)
RSP-2023 (일명 RSP v1.0):
RSP-2023 (aka RSP v1.0):
최초 버전.
Initial version.
2024년 10월 15일 (RSP v2.0)
October 15, 2024 (RSP v2.0)
RSP-2024: 이번 개정은 적절한 안전장치를 이행하지 않는 한 모델을 훈련하거나 배포하지 않는다는 약속을 유지하면서, AI 위험을 평가하고 관리하기 위한 보다 유연하고 세분화된 접근 방식을 도입한다. 주요 개선 사항으로는 안전장치를 상향해야 하는 시점을 나타내는 새로운 역량 임계값, 모델 역량과 안전장치의 적절성을 평가(evaluation)하기 위한 정교화된 절차(안전 사례 방법론에서 착안함), 그리고 내부 거버넌스 및 외부 입력을 위한 새로운 조치가 포함된다. 가장 주목할 만한 변경 사항은 아래와 같다.
RSP-2024: This update introduces a more flexible and nuanced approach to assessing and managing AI risks while maintaining our commitment not to train or deploy models unless we have implemented adequate safeguards. Key improvements include new capability thresholds to indicate when we should upgrade our safeguards, refined processes for evaluating model capabilities and the adequacy of our safeguards (inspired by safety case methodologies), and new measures for internal governance and external input. We describe the most notable changes below.
ASL 정의 변경: 'ASL'이라는 용어는 이제 기술적·운영적 안전장치의 묶음을 지칭한다(이전에는 모델도 지칭했다). 또한 역량 임계값과 요구 안전장치(Required Safeguards)라는 새로운 개념을 도입했다. 이 변경을 통해 광범위한 모델 범주가 아니라 특정 역량에 기반하여 안전장치를 보다 표적화된 방식으로 적용할 수 있다.
ASL definition changed: The term 'ASL' now refers to groups of technical and operational safeguards (it previously also referred to models). We also introduced the new concepts of Capability Thresholds and Required Safeguards. This change allows for more targeted application of safeguards based on specific capabilities, rather than broad model categories.
ARA 임계값을 점검 지점으로 전환: 기존의 자율 복제 및 적응(ARA) 임계값을 자율 AI 역량에 대한 '점검 지점(checkpoint)'으로 대체했다. 이 점검 지점에 도달하면 더 높은 안전 기준이 자동으로 발동되는 대신, 모델 역량에 대한 추가 평가가 이루어지고 더 강력한 안전장치의 준비가 가속화된다. 당사는 이전에 잠재적 위협에 대한 이해를 높이는 동안 일정한 임계값을 설정하려는 취지에서 이러한 역량을 안전장치 강화의 발동 요건으로 간주했다. 현재 당사는 이러한 역량이 당초 고려했던 수준에서는 ASL-3 기준을 필요로 하지 않을 것이라고 판단한다.
ARA threshold now a checkpoint: We replaced our previous autonomous replication and adaption (ARA) threshold with a 'checkpoint' for autonomous AI capabilities. Rather than triggering higher safety standards automatically, reaching this checkpoint will prompt additional evaluation of the model's capabilities and accelerate our preparation of stronger safeguards. We previously considered these capabilities as a trigger for increased safeguards, motivated by an attempt to establish some threshold while we developed a better sense of potential threats. We now believe that these capabilities - at the levels we initially considered - would not necessitate the ASL-3 standard.
AI 연구개발(R&D) 임계값 추가: AI 개발을 상당히 진전시킬 수 있는 AI 시스템에 대한 새로운 임계값을 추가했다. 이러한 역량은 AI의 급속하고 예측 불가능한 발전으로 이어져 신흥 위험을 평가하고 대응하는 당사의 능력을 앞지를 수 있으며, 다른 분야의 연구개발을 자동화할 수 있는 능력에 대한 조기 경보 신호가 될 수도 있다.
AI R&D threshold added: We added a new threshold for AI systems that can significantly advance AI development. Such capabilities could lead to rapid, unpredictable advances in AI, potentially outpacing our ability to evaluate and address emerging risks, and may also serve as an early warning sign for the ability to automate R&D in other domains.
역량 임계값에 대한 시험: 사전에 지정된 평가(evaluation)를 사용하는 대신, 이제는 모델이 역량 임계값으로부터 충분히 떨어져 있다는 적극적 논증(affirmative case)을 요구한다. 사전에 정의된 시험은 신흥 위험을 놓치거나 실제 우려 임계값에 비해 지나치게 보수적일 수 있다. 당사의 가장 정확한 시험은 자주 바뀌기 때문에, 이사회가 평가(evaluation)를 사전 승인하는 것보다 이 새로운 접근 방식을 사용하는 것이 더 실용적이다.
Testing for Capability Thresholds: Rather than using prespecified evaluations, we now require an affirmative case that models are sufficiently far from Capability Thresholds. Predefined tests may miss emerging risks or be overly conservative relative to the actual threshold of concern. Our most accurate tests change frequently enough that it is more practical to use this new approach than to have our Board pre-approve evaluations.
평가 주기 조정: 종합 평가(assessment) 주기를 유효 연산(Effective Compute) 4× 또는 사후 학습을 통한 성능 향상의 누적 6개월로 조정했다(이전에는 3개월이었다). 3개월 주기에서는 팀들이 보다 종합적인 시험과 방법론 개선보다 잦은 평가(evaluation) 수행을 우선시할 수밖에 없었다.
Adjusted evaluation cadence: We adjusted the comprehensive assessment cadence to 4× Effective Compute or six months of accumulated post-training enhancements (this was previously three months). We found that a three-month cadence forced teams to prioritize conducting frequent evaluations over more comprehensive testing and improving methodologies.
덜 규정적인 평가 방법론: 이전 시험 방법론의 일부 세부 사항(예: 역량 이끌어내기(elicitation)에 연산의 1% 사용, 6× 버퍼 설정)을 보다 일반적인 요건, 즉 (a) 잠재적 적대자의 예상 노력 수준에 상응하고 (b) 추가적인 스케일링과 연구 발전이 동일한 과업에서의 모델 역량 및 성능에 어떤 영향을 미칠지에 대한 비공식적 추정치를 제공하라는 요건으로 대체했다. 구체적인 방법론은 새로운 연구 발전이 도입되면 시대에 뒤처질 수 있다는 점을 확인했다. 여전히 지향하는 목표이기는 하나, 평가 과학은 현재 모델과 역량 임계값 사이에 요구해야 할 정확한 버퍼에 관해 확신 있는 예측을 할 만큼 아직 성숙하지 않았다.
Less prescriptive evaluation methodology: We have replaced some specifics in our previous testing methodology (e.g., using 1% of compute for elicitation or creating a 6× buffer), with more general requirements to (a) match expected efforts of potential adversaries and (b) provide informal estimates of how further scaling and research developments will impact model capabilities and performance on the same tasks. We have found that specific methodologies may become outdated when new research developments are introduced. Although still an aspirational goal, the science of evaluations is not currently mature enough to make confident predictions about the precise buffer we should require between current models and a Capability Threshold.
보다 결과 중심적인 안전장치 요건: ASL-3 안전장치 요건을 덜 규정적이고 보다 결과 중심적으로 개정했다. 구체적인 운영적·기술적 안전장치를 상세히 기술하는 대신, 이제는 전반적인 보안 또는 배포 기준과 이를 충족하기 위한 요건을 명시한다. 이는 위험과 가능한 안전장치에 대한 이해가 향상됨에 따라 안전장치를 보다 유연하게 조정할 수 있도록 하기 위함이다.
More outcome-focused safeguard requirements: We have updated our ASL-3 safeguards requirements to be less prescriptive and more outcome-focused. Rather than detailing specific operational and technical safeguards, we now specify the overall security or deployment standards and requirements for meeting them. This is to allow us to adapt our safeguards more flexibly as our understanding of risks and possible safeguards improves.
ASL-3 및 ASL-2 보안 위협 모델 명확화: ASL-3 보안 기준의 대상 범위에 포함되는 행위자와 제외되는 행위자를 명확히 했다. 또한 ASL-2 보안 기준에서 대규모 공격 및 증류 공격으로부터 보호한다는 약속을 삭제했다. 증류는 더 높은 역량을 가진 모델에 대해서는 여전히 우려 사항이지만, ASL-2 안전장치 하에 보관되는 모델은 아직 잠재적으로 유해한 역량 임계값에 도달하지 않았다.
Clarified ASL-3 and ASL-2 security threat models: We have clarified which actors are in and out of scope for the ASL-3 Security Standard. We also removed the commitment to protect against scaled attacks and distillation attacks from the ASL- 2 Security standard. While distillation remains a concern for more capable models, models stored under ASL- 2 safeguards have not yet reached potentially harmful Capability Thresholds.
신뢰할 수 있는 사용자 대상 배포 요건 명확화: 배포 맥락에 따라 서로 다른 수준의 안전장치를 허용하도록 ASL-3 배포 기준을 개정했다. 일반 접근 시스템에 대해서는 여전히 집중적인 레드티밍 통과를 요구한다. 내부 사용, 안전성 시험, 그리고 충분히 신뢰할 수 있는 사용자 대상 배포에 대해서는 그 대신 접근 통제와 모니터링의 조합을 요구할 것이다.
Clarified requirements for deployments with trusted users: We have updated the ASL-3 Deployment Standard to allow for different levels of safeguards based on deployment context. For any general access systems, we still require passing intensive red-teaming. For internal use, safety testing and deployments to sufficiently trusted users, we will instead require a combination of access controls and monitoring.
새로운 역량 보고서 및 안전장치 보고서: 역량 보고서와 안전장치 보고서(Safeguards Report)를 도입했다. 모델 역량에 관한 이용 가능한 모든 증거를 종합하면 의사결정자에게 전반적인 위험 수준에 대한 보다 완전한 그림을 제공하고, 당사의 작업에 대한 피드백을 구하는 역량이 향상될 것으로 기대한다.
New Capability and Safeguards Reports: We have introduced Capability Reports and Safeguard Reports. We expect that aggregating all the available evidence about model capabilities will provide decision makers with a more complete picture of the overall level of risk and improve our ability to solicit feedback on our work.
내부 및 외부 책임성: 이전의 '절차적 약속'에 여러 변경을 가했다. 여기에는 책임 있는 스케일링 책임자(Responsible Scaling Officer)의 직무 확대, 역량 및 안전장치 평가(assessment)에 대한 내부 비판과 외부 전문가 입력 추가, 내부 거버넌스 관련 새로운 절차, 그리고 과거 역량 보고서 및 안전장치 보고서의 개요, RSP 관련 업데이트, 향후 계획을 위한 공개 페이지 유지가 포함된다.
Internal and external accountability: We have made a number of changes to our previous 'procedural commitments.' These include expanding the duties of the Responsible Scaling Officer; adding internal critique and external expert input on capability and safeguard assessments; new procedures related to internal governance; and maintaining a public page for overviews of past Capability and Safeguard Reports, RSP-related updates, and future plans.
2025년 3월 31일 (RSP v2.1)
March 31, 2025 (RSP v2.1)
RSP-2025 : 이번 업데이트는 어떤 역량 임계값이 현행 ASL-3 기준을 넘어서는 강화된 안전장치를 요구하게 되는지를 명확히 한다. 주요 변경 사항은 다음과 같다.
RSP-2025 : This update clarifies which Capability Thresholds would require enhanced safeguards beyond our current ASL-3 standards. The key changes include:
새로운 역량 임계값 : 화학·생물·방사능·핵(CBRN) 개발과 관련된 새로운 역량 임계값을 추가했으며, 이는 중간 수준의 자원을 보유한 국가 프로그램의 개발 역량에 상당한 업리프트를 제공할 수 있는 역량을 정의한다. 또한 기존 AI 연구개발 역량 임계값을 두 개의 별개 수준(초급 수준 AI 연구 업무를 완전히 자동화하는 능력, 그리고 유효 스케일링 속도의 극적 가속을 유발하는 능력)으로 세분화하고, 이에 상응하는 요구 안전장치에 대한 추가적인 세부 내용을 제시했다.
New Capability Thresholds : We have added a new capability threshold related to CBRN development, which defines capabilities that could substantially uplift the development capabilities of moderately resourced state programs. We have also disaggregated our existing AI R&D capability thresholds, separating them into two distinct levels (the ability to fully automate entry-level AI research work, and the ability to cause dramatic acceleration in the rate of effective scaling) and provided additional detail on the corresponding Required Safeguards.
반복적 약속 : 새로운 요구 안전장치 묶음으로 상향할 때마다 역량 임계값을 재평가한다는 일반적 약속을 채택했다. ASL-N 모델을 개발할 때까지 ASL-N+1 평가(evaluation)를 정의한다는 약속은 유지하지 않기로 결정했다. 역량 임계값은 본래 이산적인 수준으로 묶여 있지 않으므로 그러한 접근 방식은 불필요한 복잡성을 더하기 때문이다. 그 대신 안전장치를 상향할 때마다 역량 임계값 목록 전체를 재검토하기로 약속하는 것이 더 실용적이고 합리적이라고 판단한다.
Iterative Commitment : We have adopted a general commitment to reevaluate our Capability Thresholds whenever we upgrade to a new set of Required Safeguards. We have decided not to maintain a commitment to define ASL-N+1 evaluations by the time we develop ASL-N models; such an approach would add unnecessary complexity because Capability Thresholds do not naturally come grouped in discrete levels. We believe it is more practical and sensible instead to commit to reconsidering the whole list of Capability Thresholds whenever we upgrade our safeguards.
2025년 5월 14일 (RSP v2.2)
May 14, 2025 (RSP v2.2)
ASL-3 보안 : 이번 업데이트는 고도화된 내부자와 국가에 포섭된 내부자 모두를 ASL-3 보안 기준의 대상에서 제외한다. 이전에는 '고도로 정교한 국가에 포섭된 내부자'만 명시적으로 제외되었다. ASL-3 보안 기준에 상응하는 모델 역량과 위협 모델은 두 집단 모두에 대한 보호를 정당화하지 않는다. CBRN-3 위협 모델은 다수의 사용자가 보호되지 않은 모델에 접근하는 상황을 수반하며(이는 모델 도난보다는 범용 탈옥을 통해 발생할 가능성이 더 높다), 모델 도난을 실행할 수 있는 비교적 소수의 직원은 위험 수준에 유의미한 영향을 미치지 않는다. AI R&D-4의 경우, 위협 모델은 일반적으로 모델 가중치 도난에 의존하지 않으며, 그 대신 AI 시스템이 자율적인 내부 사보타지에 관여하는 상황을 수반한다.
ASL-3 Security : This update excludes both sophisticated insiders and state-compromised insiders from the ASL-3 Security Standard. Previously, only 'highly sophisticated state-compromised insiders' were explicitly excluded. The model capabilities and threat models corresponding with the ASL-3 Security Standard do not warrant protection against either group: the CBRN-3 threat models entail large numbers of users having access to unguarded models (which is more likely to occur through a universal jailbreak than via model theft), and the relatively small number of employees who might be capable of model theft does not significantly affect the risk level. For AI R&D-4, the threat models generally do not depend on model weight theft and instead entail AI systems engaging in autonomous internal sabotage.
2026년 2월 24일 (RSP v3.0)
February 24, 2026 (RSP v3.0)
이번 업데이트는 RSP를 전면적으로 재작성한 것이다. 변경 사항의 요약과 그 배경이 된 사고에 대해서는 여기를 참조하라.
This update is a comprehensive rewrite of our RSP. For a summary of changes and the thinking behind them, see here .
2026년 4월 2일 (RSP v3.1)
April 2, 2026 (RSP v3.1)
이번 개정은 다음 사항을 다룬다. (1) 자동화된 연구개발 역량 임계값을 운영화하는 방식, (2) 위험 보고서에 대한 내부 피드백을 활용하는 방식, (3) 부록 A에 기술된 약속이 발동되지 않는 경우에도 개발 또는 배포의 중단을 고려할 수 있다는 점. 이러한 변경은 대부분 명확화의 성격을 띠며, 당사는 이를 실질적 내용의 중대한 변경으로 보지 않는다. 변경 (1)은 역량 임계값의 운영화에 대한 추가 논의를 반영한 것으로, 근본적인 의도를 더 잘 반영하기 위한 일부 실질적 변경을 수반한다. 이번 업데이트에는 문체나 명확성을 위한 경미한 수정도 포함된다.
This revision addresses the following points: (1) how we operationalize the Automated R&D capability threshold; (2) how we use internal feedback on Risk Reports; and (3) that we may consider pausing development or deployment even where the commitments described in Appendix A are not triggered. These changes are mostly clarificatory in nature; we don't see them as significant changes to substance. Change (1) reflects further discussion of our operationalization of the capability threshold, and involves some substantive changes to make it better reflect our underlying intent. This update also includes minor edits for style or clarity.
2026년 4월 29일 (RSP v3.2)
April 29, 2026 (RSP v3.2)
이번 업데이트는 장기 이익 신탁(LTBT)이 위험 보고서에 대한 외부 검토를 요청할 수 있도록 승인하고, 장기 이익 신탁에 당사의 외부 검토자 선정을 승인할 권한을 부여하며, 장기 이익 신탁에 정기적으로 브리핑을 제공해야 한다는 요건을 공식화한다.
This update authorizes the LTBT to request external review of Risk Reports, gives the LTBT the power to approve our selection of external reviewers, and formalizes a requirement that we provide the LTBT with regular briefings.
2026년 5월 26일 (RSP v3.3)
May 26, 2026 (RSP v3.3)
이번 업데이트는 (1) 신규 화학·생물 무기 생산에 대한 임계값을 우려 대상 위협 모델을 더 잘 반영하도록 개정하고, (2) 개별 모델의 위험에 관한 정기 외 업데이트 접근 방식을 정교화하며, (3) 경미한 용어 변경을 가한다.
This update (1) revises our threshold for novel chemical/biological weapons production to better track the threat model of concern; (2) refines our approach to off-cycle updates regarding the risks of individual models; and (3) makes minor terminology changes.
2026년 7월 8일 (RSP v3.4)
July 8, 2026 (RSP v3.4)
이번 업데이트는 다섯 가지 변경을 가한다.
This update makes five changes:
논의 과정에서 제기된 추가 쟁점을 고려하여 자동화된 연구개발 역량 임계값을 개정한다. 특히 AI 발전의 전반적 속도는 일정하거나 둔화되고 있지만, 그 속도가 첨단 AI 도구가 없었을 경우보다 극적으로 빠르다고 추정되는 경우에 임계값을 넘은 것으로 간주할지가 쟁점이었다. 당사는 이를 임계값을 넘은 것으로 간주하지 않을 것이다. 이 경우에는 (AI 외적 요인에 의한 감속이 AI 주도 요인에 의한 가속을 계속 상쇄한다면) 추세가 가속되기보다는 지속될 것으로 예상할 강력한 논거가 있을 수 있기 때문이다. 이 임계값은 극적인 재귀적 자기 개선의 시작을 포착하기 위한 것이며, 운영화하기 어려운 것으로 드러났다.
It revises the Automated R&D capability threshold in light of further issues that have come up in discussion - particularly the question of whether we'd consider the threshold to be crossed if the overall rate of AI progress were constant or slowing, but we estimated that it was dramatically faster than it would be in the absence of advanced AI tools. We would not: in this case there could be a strong argument for expecting the trend to continue rather than accelerate (if deceleration from non-AI factors continued to offset acceleration from AI-driven factors). This threshold is intended to capture the onset of dramatic recursive self-improvement, and has proven difficult to operationalize.
민감정보 가림 처리가 전혀 되지 않은 위험 보고서를 일반 보안 등급을 보유한 Anthropic 전 직원이 아니라 최소 200명의 Anthropic 직원과 공유하도록 요구한다. 후자 집단에게는 민감정보 가림 처리를 최소화한 위험 보고서를 계속 공유할 것이다. 다만 특히 회사의 지속적인 성장을 고려할 때, 당사의 위험 평가에 중요한 동시에 더 엄격한 내부 구획화가 필요할 만큼 매우 민감한 정보가 일부 존재할 수 있다.
It now requires that fully unredacted Risk Reports be shared with at least 200 Anthropic employees, rather than with all regular-clearance Anthropic staff. We will continue to share minimally-redacted Risk Reports with this latter group, but there may be some information which is both material to our risk assessment and highly sensitive to the point of meriting greater internal compartmentalization, especially in light of the company's ongoing growth.
위험 보고서의 범위를 조정하여, 해당 보고서 공개일로부터 최대 30일 이전의 특정 기준일 시점을 기준으로 Anthropic의 모델과 활동을 다루도록 한다. 당사는 위험 보고서를 시스템 카드보다 긴 주기로 작성하고 수개월에 걸쳐 유효하도록 하면서도, 철저성과 커버리지 측면에서 시스템 카드보다 높은 기준을 적용하는 것을 목표로 한다. 이번 변경으로 Anthropic 활동에 관한 매우 최근의 업데이트를 촉박하게 반영하지 않고도 이 기준을 충족하기가 더 쉬워질 것으로 예상한다.
It adjusts the scope of Risk Reports to cover Anthropic's models and activities as of a given coverage date up to 30 days prior to that report's publication. We aim to hold our Risk Reports to a higher standard of thoroughness and coverage than our system cards while operating on a longer cadence and staying applicable over several months, and expect this change to make it easier to meet this standard without having to incorporate very recent updates to Anthropic's activities on short notice.
위험 보고서의 공개본에서 민감정보 가림 처리를 하는 경우 그 사실을 개략적인 수준에서 공개하도록 요구한다. 당사의 이전 위험 보고서는 이미 이 기준을 충족한다.
It requires us to publicly disclose, at a high level, when we make redactions in the public version of a Risk Report. Our previous Risk Report already meets this standard.
위험 보고서에 대한 외부 검토에서 여러 외부 검토자가 민감정보 가림 처리가 되지 않은 위험 보고서의 서로 다른 섹션을 각각 검토할 수 있음을 명확히 한다. 단, 민감정보 가림 처리가 되지 않은 보고서의 모든 부분이 최소 한 명의 외부 검토자에 의해 평가되어야 한다.
It clarifies that external review of our Risk Reports can involve multiple external reviewers reviewing different unredacted sections of the Risk Report, so long as all parts of the unredacted report are evaluated by at least one external reviewer.
이 밖에 경미한 오탈자 및 서식 수정도 포함된다.
It also contains minor typo and formatting corrections.
각주
Notes
1당사 RSP에서 사용하는 '파국적 위험'은 일반적으로 실존적 위협이나 전 지구적 시스템의 근본적 불안정화와 같이, 첨단 AI로 인해 발생할 수 있는 가장 심각한 잠재적 피해의 위험을 의미한다. 당사는 이 용어를 특정 법령상의 정의가 아닌 일반적 의미로 사용한다. California SB 53 등의 법률이 이 용어나 유사한 용어를 특정 임계값과 함께 정의하는 경우, 당사는 별도의 규정 준수 프레임워크를 통해 해당 요건을 다룬다. ↩
1'Catastrophic risk' as used in our RSP refers generally to risks of the most severe potential harms from advanced AI, such as existential threats or fundamental destabilization of global systems. We use this term in its plain meaning rather than adopting any specific statutory definition. Where laws such as California SB 53 define this or similar terms with specific thresholds, we address those requirements in separate compliance frameworks. ↩
2AI 개발자는 광범위한 범주의 모델을 포괄하는 단일 분석을 제공할 수 있으며, 이 경우 출시할 때마다 새로운 분석이 필요하지 않다는 점에 유의해야 한다. 또한 어떤 AI 개발자가 그러한 분석을 제공해야 하는지를 결정할 때에는 소규모 AI 개발자가 불필요한 규정 준수 부담을 지지 않도록 노력해야 한다. ↩
2Note that an AI developer might provide a single analysis covering a broad category of models, such that there isn't a new analysis needed for each release. Additionally, determinations of which AI developers need to provide such analysis should be made with an effort to spare smaller AI developers from unnecessary compliance burden. ↩
3이 열은 본 정책의 다른 절 및 관련 산출물에서 도출된 약정을 요약한 것이다. 이는 개요로 읽어야 하며, 별도의 계획이나 추가적인 계획을 나타내는 것으로 해석해서는 안 된다. ↩
3This column summarizes commitments drawn from other sections of this policy and associated artifacts. It should be read as an overview, not as indicating any separate or additional plans. ↩
4특히 COVID-19에 필적하거나 그보다 심각한 결과를 초래하는 사건을 일으킬 잠재력을 지닌 무기를 말한다. ↩
4In particular, weapons with the potential to cause events with consequences comparable to or worse than those of COVID-19. ↩
5예를 들어, 수백만 달러의 자금을 활용할 수 있고 세계 최상위 수준 프로그램 출신의 최근 박사학위 취득자들의 지원을 받는 프로그램을 말한다. 우리는 실제 위협 행위자에게 현실적으로 가능한 유형의 팀에 초점을 둔다. ↩
5For example, a program with millions of dollars available and support from recent PhD’s from top-tier international programs. We are focused on the sorts of teams that would be realistic for real-world threat actors. ↩
6예: 2023년 시점의 최고 수준 AI 모델에만 접근할 수 있는 세계. ↩
6E.g., in a world with access only to the best AI models as of 2023. ↩
8"진전 속도를 두 배로 높인다"는 것은 "기준선(baseline) 상황에서 2년 동안 이루어질 진전을 1년 만에 이루는 것"을 의미한다. 예를 들어, 기준선 진전이 연산의 3× 규모 확대와 알고리즘 효율성의 3× 개선(즉, 9× "유효 규모 확대(effective scaleup)")을 수반한다면, "진전 속도를 두 배로 높인다"는 것은 대략 81× 유효 규모 확대에 해당한다. 이는 "연구자의 생산성을 두 배로 높인다"는 개념과 같지 않은데, 입력을 두 배로 늘린다고 해서 반드시 진전 속도가 두 배가 되는 것은 아니기 때문이다. ↩
8“Double the rate of progress” means “as much progress in one year as one would see in two years at baseline.” For example, if baseline progress involved a 3× scaleup in compute and a 3× improvement in algorithmic efficiency (for a 9× “effective scaleup”), “double the rate of progress” would entail something like an 81× effective scaleup. This is not the same idea as “doubling researchers’ productivity,” since doubling inputs does not necessarily double the rate of progress. ↩
10위험 보고서에는 기준일 이후의 Anthropic 모델 및 위험 대비태세에 관한 정보가 포함될 수 있으나, 그러한 정보의 완전성을 보장하지는 않는다. ↩
10A Risk Report may include information about Anthropic's models and risk preparedness more recent than the coverage date, but does not guarantee completeness about such information. ↩
11'한계 위험 분석(Marginal risk analysis)'이란 다른 AI 시스템이 불가피하게 초래하는 위험을 고려할 때 특히 당사 시스템이 초래하는 위험이 상대적으로 더 낮다고 주장하는 것을 의미한다. ↩
11By ' marginal risk analysis , ' we mean arguing that the risks imposed by our systems in particular are relatively lower when keeping in mind the risks unavoidably posed by other AI systems. ↩
12예를 들어, 당사는 어떤 정보를 공유할 경우 해당 정보를 기밀로 취급할 수 있는 당사의 법적 권리가 위태로워진다면 그 정보를 민감정보 가림 처리할 수 있다. 이는 흔치 않은 상황일 것이다. 이는 정보가 민감하다는 이유만으로, 또는 유출 위험을 줄이기 위해 당사가 정보를 민감정보 가림 처리한다는 의미가 아니다. ↩
12For example, we may redact information if sharing it would endanger our legal right to treat it as confidential. This would be an uncommon situation. It does not mean we would redact information merely because it is sensitive or to reduce the risk of a leak. ↩