TRANSLATION · 자동번역
NVIDIA 프론티어 AI 위험 평가
Frontier AI Risk Assessment (NVIDIA)

초록
Abstract
AI 분야의 선도 기업인 NVIDIA는 삶을 개선하고 세계의 가장 어려운 난제 일부를 해결할 수 있는 인공지능의 혁신적 잠재력을 인식하고 있다. 본 문서는 프론티어 AI로부터 발생할 수 있는 잠재적 피해를 식별하고 완화하며 대응하기 위해 NVIDIA의 위험 프레임워크가 어떻게 적용되는지를 기술한다. 현재 NVIDIA에서 프론티어 AI 모델을 개발하고 있지는 않으나, 기존 위험 프레임워크를 적용하여 당사 첨단 AI 모델 내에서 새롭게 나타나는 역량을 식별하고 적절한 위험 완화 조치를 마련할 수 있다. AI 역량과 그에 수반되는 위험은 빠르게 진화한다. 따라서 당사의 위험 관리 프레임워크는 새로운 발견, 새롭게 대두되는 위협, 업계의 지속적인 발전을 반영하도록 정기적으로 검토되고 갱신될 것이다. 이러한 반복적 접근 방식을 통해 당사의 위험 평가가 시간이 지나도 목적에 부합하도록 유지될 것이다.
As a leader in AI, NVIDIA recognizes the transformative potential of artificial intelligence to improve lives and solve some of the world's hardest challenges. This paper describes how NVIDIA's risk framework is applied to help identify, mitigate, and address potential harms arising from frontier AI. Even though frontier AI models are not currently under development at NVIDIA, our existing risk framework can be applied to identify emerging capabilities within our advanced AI models and put in place appropriate risk-mitigation measures. AI capabilities and their associated risks evolve rapidly. Therefore, our risk management framework will be regularly reviewed and updated to reflect new findings, emerging threats, and ongoing advancements in the industry. This iterative approach will ensure our risk assessment remains fit-for-purpose over time.
요약본
Executive Summary
본 평가(assessment)의 목적상, '프론티어 모델'은 정의되지 않은 다양한 과업을 수행할 수 있으며 현존하는 최첨단 모델의 역량을 능가하는 고역량(highly capable) 범용 AI 모델로 정의한다. 이러한 복잡한 모델은 책임감 있게 관리되지 않을 경우 예측 불가능하거나 심지어 해로운 방식으로 세계와 상호작용할 수 있다. 이러한 과제에 대응하기 위해, 당사의 AI 위험 프레임워크는 평가(assessment) 대상 제품의 특성까지 고려하여 위험을 분석하는 체계적이고 비례적인 접근 방식을 제공한다. 당사의 위험 프레임워크는 두 가지 주요 구성 요소, 즉 예비 위험 평가(Preliminary Risk Assessment, PRA)와 상세 위험 평가(Detailed Risk Assessment, DRA)로 이루어진다. PRA는 설계 단계에서 초기 필터로 기능하며, 제품을 광범위한 위험 범주에 배정하고 DRA의 어떤 부분이 권고 또는 의무 기준으로 적용되는지를 식별한다. 이어서 DRA는 제품의 아키텍처와 개발 프로세스를 상세히 검토하고, 사용 사례별 위험원을 식별하며, 해당 위험원에 근거하여 보다 세분화된 위험 점수를 부여하고, 위험 완화 방법을 권고한다. 그런 다음 당사의 위험 평가(evaluation) 프로세스는 통제가 적용된 이후의 잔여 위험을 추정하고, 이를 AI 기반 제품이 초래할 수 있는 잠재적 초기 위험과 비교한다. 위험 평가(evaluation) 단계의 결과를 활용하면, 잔여 위험이 NVIDIA의 신뢰할 수 있는 AI(Trustworthy AI, TAI) 원칙과 어떻게 대응하는지 판단하고, 위험 처리 조치를 배정하는 과정에서 이루어진 모든 상충 관계를 문서화할 수 있다. 이후 위험 평가(evaluation) 프로세스에서 나온 모든 관련 데이터는 당사의 모델카드에 저장된다.
For the purposes of this assessment, a 'frontier model' is defined as a highly capable general-purpose AI model that can perform a wide variety of undefined tasks and exceeds the capabilities present in the most advanced models currently in existence. These complex models may interact with the world in ways that may be unpredictable or even harmful if not managed responsibly. To address these challenges, our AI risk framework offers a structured and proportionate approach for analyzing risk that also takes into account the nature of the product under assessment. Our risk framework comprises two main components: a Preliminary Risk Assessment (PRA) and a Detailed Risk Assessment (DRA). The PRA functions as an initial filter during the design phase, assigning products to broad risk categories and identifying what sections of the DRA are applied on a recommended or mandatory basis. The D RA then examines the product's architecture and development processes in detail, identifies use case specific hazards, assigns more granular risk scores based on those hazards, and recommends methods for risk mitigation. Our risk evaluation process then estimates the residual risk after controls are applied and compares it against the potential initial risks posed by the AI-based product. Leveraging the results from the risk evaluation phase, it is possible to determine how residual risks correspond with NVIDIA's Trustworthy AI (TAI) principles and document any trade-offs made during the allocation of risk treatment measures. All relevant data from the risk evaluation process is then stored in our model cards.
위험 평가 프로세스
Risk Assessment Process
예비 위험 평가(PRA)
Preliminary Risk Assessment (PRA)
예비 위험 평가는 세 가지 핵심 기준을 사용하여 AI 모델을 서로 다른 위험 범주로 구분한다. 위험 범주는 모델이 무엇을 하도록 설계되었는지(역량), 어디에 배포될 것인지(사용 사례), 얼마나 자율적으로 작동하는지(자율성 수준)를 살펴 배정된다. 예를 들어, 소매 환경에서 주로 재고 수준이나 고객 동선을 모니터링하는 데 사용되는 객체 탐지 모델은, 특히 인간의 감독하에 작동하는 경우 상대적으로 저위험으로 분류될 수 있다. 그러나 동일한 유형의 객체 탐지 모델이라도 의료 맥락에서 수술 도구를 탐지하는 데 사용된다면, 오류나 오작동이 환자의 건강과 안전에 직접적인 영향을 미치므로 더 높은 위험으로 간주될 것이다. 소매업에서 매장 출입을 모니터링하는 데 사용되는 객체 탐지 알고리즘이라도 완전 자율 에이전트로 배포된다면, 반자율 또는 감독형 버전보다 더 많은 위험을 내포하게 된다. 자율성이 높아지면 승인되지 않은 개입을 통해 시스템 오류의 잠재적 영향이 커지며, 이에 따라 전체 위험 범주가 상향된다.
The preliminary risk assessment uses three key criteria to separate AI models into different risk categories. Risk categories are allocated by looking at what the model is designed to do (its capabilities), where it will be deployed (its use case), and how autonomously it operates (level of autonomy). For example, an object detection model in a retail setting, used primarily to monitor stock levels or customer flows, may be classified as relatively low risk, especially if it operates under human supervision. However, the same type of object detection model used in a healthcare context to detect surgical instruments would be deemed higher risk, as mistakes or malfunctions have direct implications for patient health and safety. An object detection algorithm employed in retail to monitor store entries, but deployed as a fully autonomous agent would contain more risk than a semi-autonomous or supervised version. The increased autonomy heightens the potential impact of system errors through unauthorized interventions, thereby elevating its overall risk category.
각 위험 기준에는 모델의 위험 범주를 결정하는 데 사용되는 1에서 5 사이의 개별 임계값이 있다 1 . PRA는 이 기준들 중 가장 높은 MR 점수를 근거로 1에서 5 사이의 모델 위험(model risk, MR) 점수를 부여한다. 아래는 MR 점수를 정의하는 데 사용되는 속성의 비망라적 목록이다.
Each risk criteria have discrete thresholds between 1 and 5 that are used to determine a model 's risk category 1 . The PRA will assign a model risk (MR) score between 1 and 5 based on the highest MR score within this criteria. Below is a nonexhaustive list of attributes used to define the MR score.
| MR1 | MR2 | MR3 | MR4 | MR5 | ||
|---|---|---|---|---|---|---|
| 의도된 사용 사례 | 소매 엔터테인먼트 의도된 산업 없음 | 제조 금융 서비스 교육 농업 | 의료 로보틱스 운송 정치 | 국방 및 보안 | ||
| 역량 | 객체 탐지 클러스터링 추천 엔진 기계 번역 | 이미지/음성 합성 시각적 추론 텍스트 생성 | 분자 발견 이미지 조작 | 생체 인식 식별 다양한 개별 역량 | 다양한 미정의 역량 | |
| 자율성 수준 | 사용자 인터페이스 유무와 무관한 추론(Inference) 애플리케이션 프로그래밍 인터페이스 (API) | 결정론적 에이전트 | 비결정론적 에이전트 | 인간 감독하의 자율 에이전트 | 사용자 승인 없는 자율 에이전트 | 1 |
| MR1 | MR2 | MR3 | MR4 | MR5 | |
|---|---|---|---|---|---|
| Intended use case | Retail Entertainment No intended industry | Manufacturing Financial services Education Agriculture | Healthcare Robotics Transportation Politics | Defense and security | |
| Capabilities | Object detection Clustering Recommendation engine Machine translation | Image / speech synthesis Visual reasoning Text generation | Molecule discovery Image manipulation | Biometric identification Wide-variety of distinct capabilities | Wide-variety of undefined capabilities |
| Level of autonomy | Inference API with or without user interface | Deterministic agent | Non-deterministic agent | Autonomous agent with human oversight | Autonomous agent without user approval |
MR 점수는 당사의 신뢰할 수 있는 AI 원칙에 비추어 허용 가능한 최대 피해와 상관관계를 가진다2. 고위험 모델은 보다 집중적인 검토와 강화된 감독을 필요로 하며, 더 엄격한 개발 및 운영상의 제약을 받는다3. 각 MR 수준과 연관된 거버넌스 수준은 대체로 다음 범주로 구분할 수 있다.
The MR score is correlated to the maximum permissible harm relative to our trustworthy AI principles2. High risk models require more intensive scrutiny, increased oversight and face stricter development and operational constraints3. The level of governance associated with each MR levels can be broadly grouped into the following categories:
MR5 - 상세 위험 평가를 완료하고 독립적인 위원회(예: NVIDIA의 AI 윤리 위원회)의 승인을 받아야 함.
MR5 - A detailed risk assessment should be complete and approved by an independent committee e.g. NVIDIA's AI ethics committee.
MR4 - 상세 위험 평가를 완료해야 하며 사업부 책임자의 승인이 필요함.
MR4 -A detailed risk assessment should be complete and business unit leader approval is required.
MR3 - 위험 완화 조치와 평가(evaluation) 결과를 엔지니어링 팀이 문서화하고 주기적으로 검토함.
MR3 - Risk mitigation measures and evaluation results are documented by engineering teams and periodically reviewed.
MR2/MR1 - 평가(evaluation) 결과를 엔지니어링 팀이 문서화함.
MR2/MR1 -Evaluation results are documented by engineering teams.
초기 MR 점수는 통상적인 위험 완화 조치를 통해 하향되어서는 안 된다는 점에 유의해야 한다. 예를 들어, 자율주행 차량용 인지 모듈은 완벽한 인지 성능과 이중화 조치를 갖추더라도 항상 더 높은 위험(MR3)을 가진다. 프론티어 모델은 정의되지 않은 영역 내에서 작동하는 이러한 고역량 모델과 연관된 잠재적 적대적 역량으로 인해 MR5로 분류될 것이다. 단순화된 위험 범주화 방법을 시행하는 것에는 신뢰성과 관련하여 알려진 몇 가지 과제가 존재한다. 그러나 당사는 이러한 요인들이 연산 임계값에 의존하는 것보다 더 효과적인 위험의 대리 지표라고 판단한다4.
It's important to note that initial MR score should not be reduced through typical risk mitigation measures e.g. a perception module for an automated vehicle will always have higher risk (MR3) even with perfect perception and redundancy measures in place. A frontier model would be classified as MR5 due to potential adversarial capabilities associated with these highly capable models operating within an undefined domain. Implementing a simplified method for risk categorization does present some known challenges around reliability. However, we believe these factors are a more effective proxy for risk than relying on compute thresholds4.
상세 위험 평가(DRA)
Detailed Risk Assessment (DRA)
요약:
Summary:
안전 및 보안 분야의 위험 평가를 위한 공식 프로세스는 매우 성숙해 있으나, 기존 프로세스를 다른 신뢰할 수 있는 AI 원칙과 관련된 위험까지 포괄하도록 조정하여 위험을 직접 비교할 수 있도록 하는 데에는 과제가 따른다. DRA는 제품의 아키텍처와 개발 프로세스에 대한 평가(assessment)를 포함하며, 사용 사례 명세, 위험원 식별, 위험 분석, 위험 완화, 위험 평가(evaluation)의 다섯 가지 핵심 구성요소로 이루어진다. 이러한 위험 평가 구성요소는 제품 개발 수명주기에 통합되어 있다. 모든 제품 수명주기는 설계, 개발 및 테스트 단계를 구조화하는 데 사용되는 V-모델을 따른다. 'V'의 왼쪽은 설계 단계, 즉 제품의 요구사항 분해 및 설계를 나타내고, 오른쪽은 검증 및 확인을 나타낸다. 왼쪽의 각 개발 단계에는 오른쪽에 대응하는 테스트 단계가 있어, 개발 수명주기 전반에 걸쳐 각 요구사항이 검증되고 확인되도록 보장한다. V-모델은 시스템, 모델 및 데이터셋 수명주기의 개발에 대해 각각 수립되어 있다. 위험 평가와 제품 수명주기 간의 의존 관계는 그림 1에 나타나 있다. V-모델은 일반적으로 애자일 방식으로 수행되며, 제품이 성숙해지거나 새로운 잠재적 위험원이 식별됨에 따라 여러 차례 반복 수행된다. 위험 평가는 주기적으로 검토되며, 사전 정의된 임계값이 충족되는 경우(예: 기술이 성숙하는 경우, 구성요소가 크게 수정되는 경우, 운영 조건이 변경되는 경우, 또는 높은 심각도나 빈도로 위험원이 발생하는 경우) 반복 수행된다. 재평가 과정에서 제품의 MR 등급이 상향되면, 해당 제품의 최신 버전이 출시되기 전에 새로운 거버넌스 조치가 적용되어야 한다. 예를 들어, 제품의 사용 사례가 '운송'에서 '국방'으로 변경된 경우 모델의 위험 범주는 MR3에서 MR4로 변경되며, 출시 전에 사업부 책임자의 승인이 필요하게 된다.
Formal processes for risk assessments in the safety and security domain are very mature but the challenge comes when adapting existing processes to cover risks related to other trustworthy AI principles so that risks are directly comparable. The DRA covers an assessment of a product's architecture and development processes and consists of five key components: use case specification, hazard identification, risk analysis, risk mitigation and risk evaluation. These risk assessment components are integrated into the product development lifecycles. All product lifecycles follow a v-model used to structure the stages of design, development and testing. The left side of the 'v' represents the design stage and the decomposition of requirements and design of a product, and the right side represents verification and validation. Each development phase on the left has a corresponding testing phase on the right, ensuring that each requirement is verified and validated throughout the development lifecycle. V-models are established for the development of system, model and dataset lifecycles. The dependencies between the risk assessment and product lifecycles are shown in Figure 1. V-models are typically carried out in an agile manner and are run through multiple times as the product matures, or new potential hazards are identified. Risk assessments are periodically reviewed, and repeated if pre-defined thresholds are met e.g. technology matures, component is significantly modified, operating conditions change, or a hazard occurs with high severity or frequency. If a product 's MR rating is increased during reassessment, then the new governance measures should be applied before the latest version of the product is released. For example, if a product's use case was changed from 'transportation' to 'defense' the model's risk category would change from MR3 to MR4 and it would require a business unit leaders' approval before release.
그림 1: AI 시스템 제공자를 위한 시스템, 모델 및 데이터셋의 V-모델
Figure 1: V-model for system, model and datasets for the providers of AI systems
명확하게 정의된 의도된 사용 사례를 위한 AI 기반 시스템을 설계하는 경우, 위험 완화 조치는 시스템, 모델 및 데이터 수명주기에 적용될 수 있다. 그러나 특정 사용 사례 없이 모델을 평가하는 경우에는 통제가 모델 및 데이터 수명주기에 적용된다. AI 모델을 개발할 때에는 모델 품질 및 알려진 한계에 대한 맥락을 제공하기 위해 의도된 사용 사례(있는 경우)에 관한 가정을 기록하는 것이 중요하다. 이러한 평가의 결과물은 당사의 모델카드5에 문서화되며, 고객이 당사 모델을 다운스트림 애플리케이션이나 시스템에 안전하게 통합할 때 이를 지원한다.
If designing an AI-based system for a well-defined intended use case then the risk mitigation measures can be applied to the system, model and data lifecycles. However, if a model is being assessed without a specific use case then the controls are applied to the model and data lifecycles. When developing an AI model, it is important to record assumptions about the intended use case (if any) to provide context around model quality and any known limitations. The output from these assessments are documented in our model cards5 and supports our customers when safely integrating our models into downstream applications or systems.
그림 2: 파운데이션 모델 제공자를 위한 시스템, 모델 및 데이터셋의 V-모델
Figure 2: V-model for system, model and datasets for the providers of foundation models
어떤 버전의 DRA를 수행할지 결정하려면 제품이 시스템으로 분류되는지 여부를 식별해야 한다. 당사는 시스템을 '외부 입력 또는 사용자와 상호작용하여 엔드투엔드 기능이나 서비스를 제공하는 통합된 구성요소의 집합으로서, 일반적으로 명확하게 정의된 목적과 측정 가능한 결과를 갖는 것'으로 정의한다.
To determine which version of the DRA is carried out it is necessary to identify whether or not a product is classified as a system. We define a system as ' a set of integrated components that interact with external inputs or users to provide an end-to-end functionality or service, typically with a clearly defined purpose and measurable outcomes. '
NVIDIA는 주로 다음 유형의 AI 기반 제품을 제공한다.
NVIDIA mainly provides the following types of AI-based products:
이미지 분류, 언어 번역, 이상 탐지 등 특정 역량을 갖도록 설계된 'AI 모델 파일'. AI 모델은 그 자체로는 사용자 인터페이스, 배포 인프라 또는 추가 로직 없이 소프트웨어 코드와 학습된 파라미터로만 구성된 것에 불과함.
' AI model files ' which are designed to have specific capabilities, such as image classification, language translation, or anomaly detection. On its own, an AI model is just a piece of software code plus learned parameters with no user interface, deployment infrastructure, or additional logic.
AI 모델과 그 의존성(라이브러리, 런타임 환경)을 이식 가능한 단위로 묶은 '컨테이너'. 컨테이너는 다양한 컴퓨팅 환경에서 AI 모델을 보다 간편하게 배포하고 실행할 수 있게 함.
' Containers ' which bundles an AI model and its dependencies (libraries, runtime environment) into a portable unit. Containers make it simpler to deploy and run AI models across various computing environments.
입력 데이터를 전송하고 AI 모델로부터 출력을 수신하기 위한 클라우드 기반 엔드포인트(Endpoint)를 제공하는 '웹 기반 추론 애플리케이션 프로그래밍 인터페이스 (API)'.
' Web-based inference API ' which provides a cloud-based endpoint for sending input data and receiving outputs from an AI model.
로보틱스, IoT 기기, 자율주행 차량 등 상위 시스템에 내장되는 'AI 시스템'.
' AI systems ' that are embedded into an encompassing system e.g. robotics, IoT devices, automated vehicles.
당사의 AI 모델 파일과 컨테이너는 시스템이 되기 위해 추가적인 계층이 필요하므로 시스템이 아니다. AI 시스템은 상위 시스템에 내장되며, 추가적인 통합 없이 완전한 기능이나 서비스를 제공하는 데 필요한 모든 구성요소를 결합하고 있으므로 시스템으로 분류된다. build.nvidia의 웹 기반 추론 API는 사용자가 모델의 기능을 실험하고 궁극적으로 해당 모델을 자신의 다운스트림 애플리케이션이나 시스템에 통합할 수 있도록 설계되어 있다. 사용자 인터페이스를 갖춘 웹 기반 추론 API는 사용자 입력, AI 추론, 출력의 완전한 루프를 형성하므로 시스템으로 분류될 수도 있다. 그러나 당사는 이를 일반적인 시스템으로 분류하지 않는데, 이는 명확하게 정의된 의도된 사용 사례가 없거나 환경에 영향을 미칠 수 없기 때문이다. 이러한 이유로 당사는 위험 평가에서 혼합적 접근 방식을 취한다. 가정과 한계는 모델카드에 문서화하되, 시스템 아키텍처에 적용할 수 있는 통제(예: 사용 기록, 사용량 제한(rate limiting), 입력/출력 제한 등)도 함께 고려한다.
Our AI models files and containers are not systems as they require additional layers to become a system. AI systems are embedded into encompassing systems and are classified as systems as they combine all necessary components to deliver a complete function or service without requiring further integration. Our web-based inference APIs on build.nvidia are designed for users to experiment with a model's functionality and for them to ultimately integrate those models into their downstream applications or systems. Web-based inference APIs with user interfaces could be classified as a system as they form a complete loop of user input, AI inference, and output. However, we do not classify them as normal systems because they do not have a clearly defined intended use case or cannot influence their environment. For this reason, we take a hybrid approach in the risk assessment. We document assumptions and limitations in the model card but also factor in controls that can be applied to the system architecture e.g. recording use, rate limiting, input/output restriction etc.
당연하게도 AI 모델을 다운로드할 수 있도록 제공하는 경우에는 잠재적 위험을 완화할 기회가 더 적다. 그렇다고 모델의 잔여 위험 수준이 항상 시스템보다 높다는 의미는 아니지만, 위험원의 유형, 위험 전파 가능성 및 위험 완화 방법은 배포 전략에 따라 신중하게 고려되어야 한다.
Understandably there are fewer opportunities to mitigate potential risks when an AI model is made available for download. That's not to say that the levels of residual risk in models are always higher than systems but the types of hazards, the capacity for risk propagation and methods for risk mitigation needs to be carefully considered based on the deployment strategy.
사용 사례 명세:
Use case specification:
사용 사례 명세에는 제품의 목표, 아키텍처, 개발 프로세스 및 운영 설계 영역(operational design domain, ODD)에 대한 기술이 포함되어야 한다. ODD는 제품이 효과적으로 작동하도록 의도된 특정 조건을 의미하며, 영향을 받는 이해관계자에 대한 기술을 포함한다. 따라서 ODD는 모델 평가(evaluation)를 위한 적절한 테스트 데이터셋을 구성하는 데 활용될 수 있다. ODD를 기술하는 방법은 모델에 해당하는 데이터 양식(modality)에 따라 달라진다. 예를 들어, 이미지 기반 모델의 ODD는 운영 환경의 시각적 특성을 기술해야 한다. 또한, 모델의 예측에 중요하지만 측정되지 않거나 주석이 달리지 않은 모든 ODD 속성을 식별하는 것이 필수적인데, 이는 평가(evaluation) 프로세스의 한계를 나타내기 때문이다.
A use case specification should include a description of: the product ' s objectives, architecture, development processes and the operational design domain (ODD). The ODD refers to the specific conditions under which a product is intended to operate effectively and includes a description of the impacted stakeholders. The ODD can therefore be used to help structure a suitable test dataset for model evaluation. The methods for describing the ODD depend on the data modality applicable to the model. For example, the ODD for image-based models should describe the visual characteristics of the operating environment. Additionally, it is essential to identify all ODD attributes that are significant for the model's prediction but are not measurable or annotated, as this signals a limitation in the evaluation process.
프론티어 AI 모델의 신뢰성을 평가하기 어려운 것은 일반적으로 개방형(open-ended) ODD와 그로 인해 다양한 시나리오에서 나타나는 예측 불가능한 특성 때문이다6. PRA는 '다양한 미정의 역량' 또는 높은 수준의 자율성을 근거로 MR5(프론티어 모델)에 대한 임계값을 설정한다. 앞서 언급한 내용과 달리, MR 수준은 사용 사례 제한을 통해 하향될 수 있다. 예를 들어, MR5로 분류된 모델은 명확하게 정의된 ODD 내에서 모델 품질을 평가한 다음, 해당 모델이 초기 평가가 이루어진 조건 내에서만 사용되도록 기술적으로 제한함으로써 MR4로 하향될 수 있다. 사용 사례 제한과 높은 수준의 자율성 방지는 프론티어 AI 모델과 연관된 시스템적 위험을 크게 줄일 수 있다.
The difficulty in assessing the trustworthiness of frontier AI models is typically due to their open-ended ODDs and therefore their unpredictable nature in diverse scenarios6. The PRA sets a threshold for MR5 (frontier models) based on a ' wide variety of undefined capabilities ' or high levels of autonomy. In contrast to what is noted above, MR levels can be reduced through use case restrictions. For example, a model classified as MR5 could be reduced to MR4 by evaluating the model quality within a well-defined ODD then technically restricting the model to being used inside the conditions in which the initial evaluation occurred. Use case restriction and preventing high levels of autonomy can dramatically reduce systemic risks associated with frontier AI models.
위험 식별 및 분석:
Risk Identification and Analysis:
NVIDIA의 신뢰할 수 있는 AI 원칙은 인권 및 법적 원칙에서 도출되었다. 이 원칙들은 제품이 노출될 수 있는 광범위한 잠재적 위험을 정의하는 토대로 활용된다. 제품의 아키텍처와 개발 워크플로에 대한 기술을 바탕으로 가능한 위험원을 식별하고, 각 위험원의 위험 수준을 추정하며, 누적 위험을 당사의 신뢰할 수 있는 AI 원칙에 비추어 분류할 수 있어야 한다. 이해관계자마다 위험을 다르게 인식할 수 있으므로, 개별 위험의 정확한 수치 자체는 큰 통찰을 제공하지 않는다. 여러 모델과 위험 유형 전반에 걸친 상대적인 인지 위험 수준을 이해하는 것이 훨씬 더 가치 있다. 이에 당사는 서로 다른 신뢰할 수 있는 AI 원칙 전반에 걸쳐 위험을 측정하는 표준화된 접근 방식을 개발하였으며, 이를 통해 엔지니어는 위험 완화 시 필요한 트레이드오프에 대해 보다 정보에 기반한 결정을 내릴 수 있다.
NVIDIA's Trustworthy AI Principles are derived from human rights and legal principles. These principles are used as a foundation for defining a broad range of potential risks that a product may be exposed to. Based on the description of a product's architecture and development workflows it should be possible to identify possible hazards, estimate the level of risk for each hazard and categorize the cumulative risk relative to our trustworthy AI principles. As stakeholders may perceive risk differently, the exact quantity of each individual risk does not provide much insight. Understanding the relative perceived risk level across multiple models and risk types is far more valuable. We therefore developed a standardized approach for measuring risk across different trustworthy AI principles that enables engineers to make more informed decisions about trade-offs that need to be made when mitigating risk.
당사는 위험을 어떤 사건이 원치 않는 결과로 이어질 가능성으로 정의하였으며, 이는 발생 가능성(확률), 영향(심각도), 그리고 통제 또는 탐지될 수 있는 정도(통제 가능성)로 측정된다. 각 위험원과 연관된 위험은 1에서 64 사이의 점수로 산정되며, 값이 높을수록 위험이 높음을 나타낸다.
We defined risk as the potential for an event to lead to an undesired outcome, measured in terms of its likelihood (probability), its impact (severity) and its ability to be controlled or detected (controllability). The risk associated with each hazard is scored between 1 and 64, with the higher value indicating a higher risk.
위험 = 발생 가능성 x 심각도 x 관측 가능성
Risk = likelihood x severity x observability
위험 = 빈도 x (지속 기간 + 발현 속도) x (탐지 가능성 + 예측 가능성)
Risk = frequency x (duration + speed of onset) x (detectability + predictability)
발생 확률이 0은 아니지만 매우 낮고, 일시적인 성격을 가지며, 점진적으로 발생하고, 탐지가 쉬우며 국소적인 위험원은 가장 낮은 위험 점수를 가진다. 반대로, 발생 확률이 높고, 영구적인 성격을 가지며, 잠재적 결함으로 인해 즉각적이고 무작위적으로 발생하는 위험원은 가장 높은 위험 점수를 가진다.
A hazard that has a non-zero but very low probability of occurring, that is transient in nature, occurs gradually, easy to detect and localized has the lowest risk score. In contrast, a hazard that has a high probability of occurring, is permanent in nature, occurs instantaneously and randomly due to latent faults has the highest risk score.
| 위험 수준 | 위험 수준 | 위험 수준 | 위험 수준 | 위험 수준 |
|---|---|---|---|---|
| 위험 측정 항목 | 위험 측정 항목 | 위험 측정 항목 | 개별 점수 | 최대 총점 |
| 발생 가능성 | 빈도 | 높은 확률 | 4 | 4 |
| 빈도 | 중간 확률 | 3 | 4 | |
| 빈도 | 낮은 확률 | 2 | 4 | |
| 빈도 | 매우 낮은 확률 | 1 | 4 | |
| 심각도 | 지속 기간 | 영구적 | 2 | 2 |
| 지속 기간 | 간헐적 | 1 | 2 | |
| 지속 기간 | 일시적 | 0.5 | 2 | |
| 발현 속도 | 즉각적 | 2 | 2 | |
| 발현 속도 | 빠름 | 1 | 2 | |
| 발현 속도 | 점진적 / 누적적 | 0.5 | 2 | |
| 관측 가능성 | 탐지 가능성 | 잠재적 결함 | 2 | 2 |
| 탐지 가능성 | 탐지 어려움 | 1 | 2 | |
| 탐지 가능성 | 쉽게 탐지 가능 | 0.5 | 2 | |
| 예측 가능성 | 무작위 | 2 | 2 | |
| 예측 가능성 | 균일 | 1 | 2 | |
| 예측 가능성 | 국소적 | 0.5 | 2 |
| Risk Level | Risk Level | Risk Level | Risk Level | Risk Level |
|---|---|---|---|---|
| Risk measurements | Risk measurements | Risk measurements | Individual Score | Total max score |
| Likelihood | Frequency | High Probability | 4 | 4 |
| Frequency | Medium probability | 3 | 4 | |
| Frequency | Low probability | 2 | 4 | |
| Frequency | Very low probability | 1 | 4 | |
| Severity | Duration | Permanent | 2 | 2 |
| Duration | Intermittent | 1 | 2 | |
| Duration | Transient | 0.5 | 2 | |
| Speed of onset | Instantaneous | 2 | 2 | |
| Speed of onset | Rapid | 1 | 2 | |
| Speed of onset | Gradual / cumulative | 0.5 | 2 | |
| Observability | Detectability | Latent faults | 2 | 2 |
| Detectability | Hard to detect | 1 | 2 | |
| Detectability | Easily detectable | 0.5 | 2 | |
| Predictability | Random | 2 | 2 | |
| Predictability | Uniform | 1 | 2 | |
| Predictability | Localized | 0.5 | 2 |
표 1: 위험원과 연관된 위험 수준을 추정하기 위한 NVIDIA의 방법론
Table 1: NVIDIA's methodology for estimating the level of risk associated with a hazard
NVIDIA는 신중하게 선별되고 자산에 매핑된 포괄적인 잠재적 위험원 저장소를 보유하고 있으며, 이는 각 팀이 자사 제품과 관련된 잠재적 위험을 이해하도록 안내하는 데 도움을 준다. 이 저장소는 이해관계자 협의, 시장 데이터, 사고 보고서(AI Vulnerability database, AI Incident database, AAAIC database, OECD.ai AI Incidents Monitor) 등 다양한 출처를 활용하여 구축되었다. 이 접근 방식은 특정 모델에 대해 명확하게 정의된 역량 집합과 알려진 사용 사례가 있는 경우에 적합하다. 그러나 프론티어 모델의 경우에는 모델에 존재할 수도, 존재하지 않을 수도 있는 추정적 위험(speculative risk)을 고려해야 한다.7 특정한 적대적 역량을 탐지하는 데 도움이 되도록, 모델은 시스템적 위험으로 이어질 수 있는 극단적이지만 개연성 있는 시나리오에 대해 스트레스 테스트를 받게 된다. 이 접근 방식은 알려진 위험원과 창발적 위험원이 모두 고려되도록 보장한다.8 프론티어 AI 모델과 연관된 잠재적 시스템적 위험 목록은 당사가 설계한 위험 분석을 통해 식별되었으며, 기존 문헌9 및 학술 연구 검토를 통해 확인되었다. 특히, 프론티어 모델은 다음과 같은 위험원을 야기할 수 있는 역량을 가질 수 있다.10
NVIDIA has a comprehensive repository of potential hazards that has been carefully curated and mapped to assets to help guide teams to understand potential risks related with their products. This repository has been created using a variety of sources e.g. stakeholder consultation, market data, incident reports (AI Vulnerability database, AI Incident database, AAAIC database, OECD.ai AI Incidents Monitor). This approach is suitable when we have a well-defined set of capabilities and a known use case for a specific model. However, for frontier models we need to consider speculative risks that may or may not be present in the model.7 To help detect specific adversarial capabilities, models will be stresstested against extreme but plausible scenarios that may lead to systemic risks. This approach ensures that both known and emergent hazards are taken into account.8 A list of potential systemic risks associated with frontier AI models were identified using the risk analysis we designed and confirmed by reviewing existing literature9 and academic research. In particular, frontier models may have the capacity to present the following hazards.10
사이버 공격(Cyber Offence) 예: 시스템 취약점을 발견하거나 악용하는 데 AI를 사용함으로써 발생하는 위험.
Cyber offence e.g. risks from using AI for discovering or exploiting system vulnerabilities.
화학·생물학·방사능·핵 위험11 예: AI가 대량살상무기의 개발 및 사용을 가능하게 함.
Chemical, biological, radiological, and nuclear risks11 e.g. AI enabling the development and use of weapons of mass destruction.
설득 및 조작 예: AI 기반 콘텐츠를 통한 영향력 공작, 허위 정보, 민주적 가치의 훼손.
Persuasion and manipulation e.g. influence operations, disinformation, and erosion of democratic values through AI-driven content.
대규모 차별 예: AI 시스템에 의해 가능해지는 편향 및 불법적 차별.
At-scale discrimination e.g. bias and unlawful discrimination enabled by AI systems.
위험 완화:
Risk Mitigation:
NVIDIA에서 배포되는 AI 모델의 규모와 다양성으로 인해, 특정 통제를 위험에 매핑하고 모든 모델 유형과 사용 사례 전반에 걸쳐 그 통합을 강제하는 것은 불가능하다. 엔지니어링 팀은 자사 제품과 관련된 통제를 배포할 수 있으나, 위험이 더 높은 모델에는 더 높은 수준의 감독이 적용된다. 위험을 완전히 제거할 수 없다는 점을 인식하여, 각 통제의 효과성은 초기 위험 산정에 사용된 속성에 미치는 영향에 따라 평가된다. 예를 들어, 모델에 입력되는 적대적 프롬프트의 빈도를 줄이는 프롬프트 기반 가드레일이 이에 해당한다. 표 2는 허위 정보를 확산시킬 수 있는 역량을 가진 모델에 대해 위험 분석을 문서화하는 방법의 예시를 제공한다.
Due to the scale and diversity of AI models deployed at NVIDIA it is infeasible to map specific controls to risks and enforce their integration across all model types and use cases. Engineering teams are permitted to deploy controls that are relevant to their products, but increased levels of oversight are applied to models with higher risk. Recognizing that risk cannot be entirely eliminated, the effectiveness of each control is evaluated according to its impact on the attributes used to calculate the initial risk e.g. prompt-based guardrails that reduce the frequency of adversarial prompts being inputted into a model. Table 2 provides an example of how a risk analysis may be documented for models that have the capabilities to spread disinformation.
표 2: 위험 분석 템플릿
Table 2: Template for risk analysis
| 위험 식별 및 분석 | 위험 식별 및 분석 | 위험 식별 및 분석 | 위험 식별 및 분석 | 위험 식별 및 분석 | 위험 완화 | 위험 완화 | 위험 완화 | 위험 완화 |
|---|---|---|---|---|---|---|---|---|
| 자산 | 위험원 출처 | 위험원 | TAI 원칙 | 위험 분석 | 통제 | 영향받는 자산 | 위험 영향 | 잔여 위험 |
| 모델 | 적대적 프롬프트 | 허위 정보 | 안전 | 49 | 유해 프롬프트 차단 | 입력 데이터 | 발생 가능성 감소 | 5 |
| 적대적 프롬프트 | 허위 정보 | 안전 | 49 | 사용량 제한(rate limiting) | 시스템 | 발현 속도 감소 | 5 | |
| 적대적 프롬프트 | 허위 정보 | 안전 | 49 | 암묵적 워터마크 | 출력 데이터 | 탐지 가능성 증가 | 5 |
| Risk identification and Analysis | Risk identification and Analysis | Risk identification and Analysis | Risk identification and Analysis | Risk identification and Analysis | Risk Mitigation | Risk Mitigation | Risk Mitigation | Risk Mitigation |
|---|---|---|---|---|---|---|---|---|
| Asset | Hazard source | Hazard | TAI Principle | Risk Analysis | Control | Impacted asset | Risk Impact | Residual Risk |
| Model | Adversarial prompt | Disinformation | Safety | 49 | Block toxic prompts | Input data | Reduce likelihood | 5 |
| Adversarial prompt | Disinformation | Safety | 49 | Rate limiting | System | Reduce speed of onset | 5 | |
| Adversarial prompt | Disinformation | Safety | 49 | Implicit watermark | Output data | Increase detectability | 5 |
오픈소스 모델 제공자로서 NVIDIA는 AI 모델의 신뢰할 수 있는 개발과 다운스트림 애플리케이션으로의 통합을 가능하게 하는 오픈소스 도구를 제공하는 데에도 전념하고 있다. NVIDIA는 위험을 다루는 데 사용할 수 있는 다양한 도구를 제공하며, 이는 위험 자체를 줄이거나 위험 측정을 위한 테스트 케이스의 커버리지를 높이는 방식으로 이루어진다.
As a provider of open-source models, NVIDIA is also committed to providing open-source tooling that enables that trustworthy development and integration of AI models into downstream applications. NVIDIA offers a range of tools that can be use to address risk: either through reducing the risk itself or by increasing the coverage of test cases for measuring risk.
위험원의 빈도 감소
Decreasing the frequency of a hazard
NeMo Guardrails12는 언어 모델 위에서 안전 계층으로 작동하여 추론 중에 사전 정의된 규칙과 정책을 시행한다. NeMo Guardrails는 자체 개발 및 서드파티 안전장치를 포함하는 오픈소스 프레임워크이다. 새로운 위협이 등장하면 가드레일은 새로운 안전장치로 업데이트될 수 있다. 이러한 적응성은 허용 가능한 AI 행동의 지형이 변화하더라도 배포된 모델이 시간이 지나도 신뢰성을 유지하도록 돕는다. NeMo Guardrails 라이브러리는 현재 다음을 포함한다.
NeMo Guardrails12 acts as a safety layer on top of language models to enforce predefined rules and policies during inference. NeMo Guardrails is an opensource framework that contains proprietary and 3 rd party safeguards. As new threats emerge, Guardrails can be updated with new safeguards. This adaptability encourages deployed models to remain trustworthy over time, even as the landscape of acceptable AI behavior evolves. NeMo Guardrails library currently includes:
모델 아키텍처의 여러 지점에 걸쳐 안전장치를 배포하면 한 계층이 무력화되더라도 다른 계층이 계속 효과를 유지하도록 보장할 수 있다. 이 접근 방식은 중복적인 보호 수단을 제공함으로써 잠재적 위험에 대한 회복력을 강화한다21. 가드레일은 모델 아키텍처의 다양한 위치에 구현될 수 있다
Deploying safeguards across various points in a model's architecture ensures that if one layer is compromised, others remain effective. This approach enhances resilience against potential risks by providing redundant protective measures21. Guardrails can be implemented at various locations in the model architecture
입력 레일은 사용자의 입력에 적용되는 가드레일이다. 입력 레일은 입력을 거부하여 이후의 모든 처리를 중단시키거나, 입력을 변경할 수 있다(예: 잠재적인 민감 데이터를 마스킹하거나 표현을 바꾸기 위해). Cosmos pre-Guard는 Aegis-AI-Content-Safety-LlamaGuard-LLM-Defensive-1.0과 블록리스트 필터를 활용한다. Aegis-AI-Content-Safety-LlamaGuard-LLM-Defensive-1.0은 NVIDIA의 Aegis Content Safety Dataset으로 학습시킨 Llama-Guard의 미세조정 버전이며, 블록리스트 필터는 표제어 추출(lemmatization) 및 전체 단어 일치 키워드 검색을 수행하여 유해한 프롬프트를 차단한다. 이후 사용자 프롬프트를 Cosmos Text2World Prompt Upsampler로 처리하여 추가로 정제한다.
Input rails are guardrails applied to the input from the user; an input rail can reject the input, stopping any additional processing, or alter the input (e.g., to mask potentially sensitive data, to rephrase). Cosmos pre-Guard leverages Aegis-AI-Content-Safety-LlamaGuard-LLM-Defensive-1.0, which is a fine-tuned version of Llama-Guard trained on NVIDIA's Aegis Content Safety Dataset and a blocklist filter that performs a lemmatized and wholeword keyword search to block harmful prompts. It then further sanitizes the user prompt by processing it through the Cosmos Text2World Prompt Upsampler.
대화 레일은 거대 언어 모델(LLM)에 프롬프트가 주어지는 방식에 영향을 미친다. 대화 레일은 정규형(canonical form) 메시지를 대상으로 작동하며, 특정 행동을 실행해야 하는지, 다음 단계나 응답을 생성하기 위해 LLM을 호출해야 하는지, 아니면 사전 정의된 응답을 대신 사용해야 하는지 등을 결정한다.
Dialog rails influence how the LLM is prompted; dialog rails operate on canonical form messages and determine if an action should be executed, if the LLM should be invoked to generate the next step or a response, if a predefined response should be used instead, etc.
검색 레일은 검색 증강 생성(RAG) 시나리오에서 검색된 청크에 적용되는 가드레일이다. 검색 레일은 청크를 거부하여 LLM에 프롬프트로 사용되지 않도록 하거나, 관련 청크를 변경할 수 있다(예: 잠재적인 민감 데이터를 마스킹하기 위해).
Retrieval rails are guardrails applied to the retrieved chunks in the case of a RAG (Retrieval Augmented Generation) scenario; a retrieval rail can reject a chunk, preventing it from being used to prompt the LLM, or alter the relevant chunks (e.g., to mask potentially sensitive data).
실행 레일은 LLM이 호출해야 하는 사용자 정의 행동(일명 도구)의 입력/출력에 적용되는 가드레일이다.
Execution rails are guardrails applied to input/output of the custom actions (a.k.a. tools), that need to be called by the LLM.
출력 레일은 LLM이 생성한 출력에 적용되는 가드레일이다. 출력 레일은 출력을 거부하여 사용자에게 반환되지 않도록 하거나, 출력을 변경할 수 있다(예: 민감 데이터 제거). Cosmos post-Guard 단계는 비디오 콘텐츠 안전성 분류기와 얼굴 블러 필터를 사용하여 유해한 시각적 출력을 차단한다.
Output rails are guardrails applied to the output generated by the LLM; an output rail can reject the output, preventing it from being returned to the user, or alter it (e.g., removing sensitive data). Cosmos post-Guard stage blocks harmful visual outputs using a video content safety classifier and a face blur filter.
모델은 일반적으로 자체 데이터셋과 공개 데이터셋을 모두 사용하여 학습된다. 데이터셋의 효과적인 분포를 보장하기 위해 분류 체계 기반 분류기를 사용하여 데이터 유형을 라벨링하고, 비현실적이거나 노이즈가 많은 패턴을 유발하는 데이터를 제거한다. 모델의 사용 사례와 관련된 특정 범주는 업샘플링하고, 덜 중요한 범주는 다운샘플링할 수 있다. 초기 학습 데이터의 상당 부분은 의미적으로 중복될 수 있으며, 이를 적절하게 처리하지 않으면 모델 출력에 원치 않는 아티팩트가 발생할 수 있다. 따라서 일련의 데이터 처리 단계를 거쳐 학습에 가장 가치 있는 데이터 부분을 찾는다. 학습 데이터셋에 데이터가 두 번 이상 나타나는 경우 암기(memorization) 위험이 더 높다.22 따라서 일반적으로 중복 제거 단계를 사용하여 거의 중복된 콘텐츠를 식별하고, 데이터 손실을 최소화하도록 가장 품질이 높은 버전을 보존한다.
Models are typically trained using both proprietary and publicly available datasets. To ensure effective distribution of the dataset we employ taxonomy-based classifiers to label data types and prune those that introduce unrealistic or noisy patterns. Certain categories relevant to the model's use case may be upsampled, while less critical ones are downsampled. A significant amount of initial training data can be semantically redundant, which may induce unwanted artifacts in the model's output if not appropriately handled. We therefore use a sequence of data processing steps to find the most valuable parts of the data for training. The risk of memorization is higher where data appears more than once in the training dataset.22, so a deduplication step is normally used to identify near-duplicate content and preserves the highest quality version for minimal data loss.
데이터 품질은 가드레일 전반에서 반복적으로 중점을 두는 사항이다. 데이터 품질을 측정하는 기존 접근 방식에 더하여, NVIDIA는 HIVE 23 를 NIM으로 제공하여 학습 데이터셋 내 AI 생성 콘텐츠를 탐지하는 새로운 방법을 개발하고 공유하였다. 또한 알려진 아동 성착취물(CSAM) 이미지와 같이 오용 가능성을 높이는 역량으로 이어질 수 있는 예시를 제외하도록 학습 데이터를 필터링한다. Ardennes, NVIDIA Guardrails Topical rails, AEGIS는 개발 과정의 일부로서 빈번한 모델 평가(evaluation)를 통한 데이터 품질 평가(assessment) 및 보증에 크게 의존한다. Getty Images24와 같은 다운스트림 제공자와 직접 협력하는 경우에는 저작권이 있는 데이터의 사용에 대해 엄격하고 포괄적인 동의를 갖춘 데이터셋을 구축하여, AI 모델 학습에 사용된 원본 데이터의 창작자에게 적절한 출처 표시가 제공되도록 보장하였다.
Data quality is a recurring focus across guardrails. In addition to conventional approaches for measuring data quality we have developed and shared novel methods for detecting AI generated content in training datasets through HIVE 23 as a NIM. We also filter training data to exclude examples that could result in capabilities that increase the likelihood of misuse, such known CSAM images. Ardennes, NVIDIA Guardrails Topical rails, and AEGIS rely heavily on data quality assessment and assurance through frequent model evaluation as part of their development processes. When directly working with downstream providers like Getty Images24 we've also created datasets that have strict and comprehensive consent over the use of copyrighted data, ensuring that appropriate attribution is provided to the creators of the original data used to train an AI model.
위험원 탐지
Hazard detection
NeMo Evaluator25는 어떤 플랫폼에서든 학술 벤치마크와 사용자 정의 벤치마크 전반에 걸쳐 생성형 AI 모델과 파이프라인을 평가할 수 있는 마이크로서비스를 제공한다. 이는 단순한 정확도 지표를 넘어, 잠재적인 모델 취약점이나 예상치 못한 실패 모드를 부각하는 종합적인 평가(evaluation)를 제공한다. CI/CD 파이프라인과 통합함으로써 Evaluator는 통제된 테스트 세트를 대상으로 새로운 모델 버전이나 업데이트를 지속적으로 테스트할 수 있다. 이러한 체계적인 감독은 변경 사항이 모델 성능을 저하시키거나 새로운 위험을 유발하지 않도록 보장하여, 진행 중인 개발 주기에 대한 이해관계자의 신뢰를 높인다. 일반적으로 벤치마크는 한 모델을 다른 모델과 직접 비교할 수 있도록 집계된 지표를 산출한다. 이러한 지표는 전체적인 분석을 제공하지만 약점이 어디에 있는지를 신뢰성 있게 보여주지는 못한다. 모델 품질에 대한 보다 심층적인 분석을 지원하기 위해 NVIDIA는 QuantPi 의 기술을 활용한다. 이들의 도구를 통해 오픈소스 모델과 NVIDIA 모델을 특징 임베더로 사용하여 테스트 데이터의 맥락을 강화하고 안전성 또는 편향 평가(evaluation)를 지원할 수 있다. 다른 AI 모델을 섭동기(perturber)로 사용하여 체계적 노이즈나 무작위 노이즈를 주입함으로써 모델의 강건성을 평가할 수도 있다. 다른 AI 모델을 활용하여 테스트 데이터를 증강하면 공개 벤치마크를 넘어 평가(assessment)의 폭과 깊이를 확장할 수 있다 생성 시점에 삽입된 워터마크는 AI가 생성한 출력을 다운스트림에서 탐지하고 그 출처를 귀속할 수 있게 하여, 최종 사용자와 자동화된 스캐닝 도구 모두에 검증 가능한 출처 신호를 제공한다. 이를 통해 모델이 텍스트, 이미지 또는 기타 미디어를 생성할 때 이를 특정 모델 버전이나 개발자 주체까지 신뢰성 있게 추적할 수 있다. 암묵적 워터마크는 생성된 출력의 분포적 특성에 직접 삽입되는 미세한 표지로, 대개 통계적 또는 암호학적 표지이다. 이는 사람의 눈이나 귀로 인지할 수 없으며 콘텐츠의 시각적 또는 청각적 특성을 변경하지 않는다. NVIDIA 모델이 생성한 콘텐츠의 탐지 가능성을 높이는 데 사용할 수 있는 여러 오픈소스 암묵적 워터마킹 도구가 존재한다. 명시적 워터마크는 로고, 텍스트 오버레이 또는 인지 가능한 패턴과 같이 눈에 보이거나 직접 인지할 수 있는 표지이다. 이는 최종 사용자에게 AI 생성 콘텐츠임을 명확히 표시한다. 명시적 워터마크의 사용은 다운스트림 개발자에게 해당하는 사항이다. NVIDIA는 오정보 확산을 완화하는 데 도움이 되도록 명시적 워터마크 사용을 권장하지만, 이는 NVIDIA의 파운데이션 모델에 통합되어 있지는 않다.
NeMo Evaluator25 provides a microservice to assess generative AI models and pipelines across academic and custom benchmarks on any platform. It goes beyond simple accuracy metrics, offering comprehensive evaluations that highlight potential model vulnerabilities or unexpected failure modes. By integrating with CI/CD pipelines, Evaluator can continuously test new model versions or updates against controlled test sets. This systematic oversight ensures that changes do not degrade model performance or introduce new risks, increasing stakeholders' trust in ongoing development cycles. Typically, benchmarks produce aggregated metrics that allow for one model to be directly compared to another. These metrics provide a global analysis but doesn't reliably show where the weaknesses are. To support a deeper analysis of model quality we leverage technology from QuantPi . Their tools allow us to use opensource and NVIDIA models as feature embedders, enhancing test data context and supporting safety or bias evaluations.Other AI models can also be used as perturbers that can provide systematic noise or random noise to assess the robustness of models. Leveraging other AI models to augment test data can increase the breadth and depth of assessment beyond public benchmarks Watermarks embedded at generation-time enable downstream detection and attribution of AI-produced outputs, providing a verifiable origin signal for both end-users and automated scanning tools. This ensures that when models produce text, images, or other media, it can be reliably traced back to a specific model version or developer entity. Implicit watermarks are subtle, often statistical or cryptographic markers embedded directly into the distributional properties of generated outputs. They are not perceivable by the human eye or ear and do not alter the visible or audible characteristics of the content. There are several opensource implicit watermarking tools that may be used to increase the detectability of content generated by NVIDIA models. Explicit watermarks are visible or otherwise directly perceivable indicators, such as logos, text overlays, or perceptible patterns. They clearly denote AI-generated content to end-users. The use of explicit watermarks are specific to downstream developers. NVIDIA encourages the use of explicit watermarks to help mitigate the spread of misinformation but is not integrated into NVIDIA's foundation models.
위험원의 예측 가능성 증가
Increasing predictability of hazards
위험원의 예측 가능성을 높이는 효과적인 접근 방식 중 하나는 모델의 범위와 사용을 제한하는 것이다. 이는 모델이 처리할 수 있는 입력의 유형을 제한하는 등 역량 또는 기능상의 제약을 부과함으로써 달성된다. 또한 NVIDIA의 파운데이션 모델 최종 사용자 라이선스 계약과 같은 법적 장치를 통해 모델이 금지된 용도에 사용되지 않도록 명시적으로 차단할 수 있다.26 또 다른 중요한 전략은 새로운 하위 목표를 스스로 설정하거나 장기 지평(long-horizon) 과업을 실행하는 것과 같은 고급 자율성 기능, 그리고 함수 호출 및 웹 브라우징과 같은 도구 사용 기능을 제한하는 것이다.
One effective approach to increase the predictability of a hazard is to restrict the scope and use of a model. This is achieved by imposing capability or feature restrictions, such as limiting the types of inputs a model can process. Additionally, models may be explicitly barred from prohibited applications through legal mechanisms such as NVIDIA's End User License Agreements for foundation models.26 Another important strategy involves restricting advanced autonomy functions like self-assigning new sub-goals or executing long-horizon tasks, as well as tool-use functionalities like function calls and web browsing.
위험원 지속 기간 단축
Lowering hazard duration
위험원의 지속 기간은 개발자와 관련 당국 간의 명확한 정보 공유 메커니즘28을 포함하여 AI 관련 사고를 관리하기 위한 강건한 프로토콜을 수립·시행함으로써 단축할 수 있다27. 이는 잠재적 위험이 확대되기 전에 선제적으로 식별하도록 촉진한다. 또한 오용이 탐지되었을 때 사후적으로 모델에 대한 접근을 축소하면 추가적인 피해를 제한하는 데 도움이 될 수 있다. 여기에는 운영 중 중대한 오용 위험이 나타날 경우 모델을 이전 버전으로 롤백하거나 모델 제공을 중단하는 조치가 포함될 수 있다. 마지막으로, 정기적인 안전 훈련을 실시하면 비상 대응 계획에 대한 스트레스 테스트가 이루어지도록 보장할 수 있다. 예측 가능하고 빠르게 전개되는 비상 시나리오29에 대한 대응을 연습함으로써, NVIDIA는 대비 태세를 개선하고 위험한 사고의 지속 기간을 단축할 수 있다.
Lowering the duration of a hazard can be achieved by implementing establish robust protocols for managing AI-related incidents27, including clear information-sharing mechanisms between developers and relevant authorities28. This encourages proactive identification of potential risks before they escalate. Additionally, reducing access to a model reactively when misuse is detected can help limit further harm. This can involve rolling back a model to a previous version or discontinuing its availability if significant misuse risks emerge during production. Lastly, conducting regular safety drills ensures that emergency response plans are stress-tested. By practicing responses to foreseeable, fastmoving emergency scenarios29, NVIDIA is able to improve their readiness and reduce the duration of hazardous incidents .
위험원 발현 속도 감소
Decreasing hazard onset speed
위험원의 발현 속도를 늦추는 것은 프론티어 AI 모델과 관련된 위험을 관리하는 데 필수적이다. 핵심 전략으로는 중요 시스템에서 완전한 자율성을 피하고, 고위험 맥락의 모든 결정에 인간 참여형(human-in-the-loop) 구조를 보장하여 인간 감독을 유지하는 것이 있다. 이렇게 하면 잠재적으로 유해한 자동화된 행동이 느려져 개입이 가능해진다. 접근 통제 조치도 위험을 추가로 완화한다. 여기에는 안전한 API 키와 인증 프로토콜을 통해 승인된 사용자만 모델에 접근하도록 보장하는 것, 출력 수요가 많은 사용자를 대상으로 고객확인(Know-Your-Customer, KYC) 심사를 수행하는 것, 요청 수에 상한을 두거나30 시간 기반 할당량을 도입하여 접근 빈도를 제한하는 것이 포함된다. 선제적 모니터링 역시 중요하다. 여기에는 알고리즘 기반 분류기를 사용하여 오용 시도를 탐지하고 차단하는 것이 포함되며, 이러한 분류기는 안전하지 않은 질의를 제한하거나, 응답을 수정하거나, 안전장치를 우회하려는 사용자를 차단할 수 있다. 초기에는 모델 접근을 제한된 대상으로 한정하고, 위험이 더 잘 이해되고 완화됨에 따라 점진적으로 확대할 수 있다. 위험이 심각한 경우, 검증된 경로인 NVIDIA 보안 게시판31을 통해 식별된 위험원을 다른 개발자에게 알리면 공동 대응 노력이 가능해져 광범위한 문제를 완화할 수 있다32. 최후의 수단으로, 추가적인 오용을 방지하고 위험원을 효과적으로 억제하기 위해 모델과 그 구성 요소를 시장에서 완전히 철수시키거나 삭제하는 방안을 고려할 수 있다33.
Decreasing the speed of onset for a hazard is essential in managing risks associated with frontier AI models. Key strategies include maintaining human oversight by avoiding full autonomy in critical systems and ensuring a human-inthe-loop for all decisions in high-stakes contexts. This slows down potentially harmful automated actions, allowing for intervention. Access control measures further mitigate risks. These include ensuring only authorized users access the model through secure API keys and authentication protocols, performing Know-Your-Customer (KYC) screenings for users with high output needs, and limiting access frequency by capping requests30 or instituting time-based quotas. Proactive monitoring is equally critical. This includes detecting and blocking misuse attempts using algorithmic classifiers, which can limit unsafe queries, modify responses, or block users attempting to bypass safeguards. Initially, model access can be restricted to a limited audience, expanding gradually as risks are better understood and mitigated. In cases of severe risk, notifying other developers of identified hazards through the proven channel of NVIDIA's security bulletin31 allows for coordinated response efforts, mitigating widespread issues32. As a last resort, full market removal or deletion of the model and its components can be considered to prevent further misuse and contain hazards effectively33.
[https://cset.georgetown.edu/wp-content/uploads/Frontier-AI-Roundtable-Paper-Final-2023CA004-v2.pdf](https://cset.georgetown.edu/wp-content/uploads/Frontier-AI-Roundtable-Paper-Final-2023CA004-v2.pdf)
[https://cset.georgetown.edu/wp-content/uploads/Frontier-AI-Roundtable-Paper-Final-2023CA004-v2.pdf](https://cset.georgetown.edu/wp-content/uploads/Frontier-AI-Roundtable-Paper-Final-2023CA004-v2.pdf)
위험 평가(evaluation)
Risk evaluation
NVIDIA는 시스템적 위험과 관련된 모델의 취약성을 식별하기 위해 포괄적인 테스트를 수행하는 데 전념하고 있다. 이러한 선제적 접근 방식은 공개 배포 이전에 잠재적 위험을 발견하고 완화하는 것을 목표로 한다. 배포 이전 단계에서 모델이 프론티어 AI 모델의 역량을 보이는 경우, NVIDIA는 우선 모델 가중치에 대한 접근을 필수 인원으로 제한하고 엄격한 보안 프로토콜이 마련되도록 보장할 것이다.34 또한 NeMo customizer에서 안전장치 없이 프론티어 AI 모델을 임의로 미세조정(fine-tuning)하는 것을 제한하는 조치를 마련하여, 위험한 과업과 관련된 데이터로 모델을 재학습시키거나 모델이 잠재적으로 위험한 요청을 거부하는 빈도를 낮출 수 있는 선택지를 줄일 것이다.
We're committed to conducting comprehensive testing to identify our model susceptibilities related to systemic risks. This proactive approach aims to uncover and mitigate potential risks before public deployment. When a model shows capabilities of frontier AI models pre deployment we will initially restrict access to model weights to essential personnel and ensure rigorous security protocols are in place.34 Measures will also be in place to restrict at-will fine tuning of frontier AI models without safeguards in NeMo customizer, reducing the options to retrain a model on data related to dangerous tasks or to reduce how often the model refuses potentially dangerous requests.
이러한 잠재적 위험 역량의 조기 경고 신호를 식별하는 것은 프론티어 AI 모델의 시스템적 위험을 완화하는 데 매우 중요하다.35 일반적인 공개 벤치마크는 선별된 데이터 샘플에 대해 폭넓은 커버리지를 제공하고 공개된 모델 간의 비교를 용이하게 하는 훌륭한 도구이다. 현재 조작이나 대규모 차별과 관련된 역량을 테스트할 수 있는 공개 벤치마크가 존재하며, 현 세대의 예는 다음과 같다.
Identifying early warning signs for these potential hazardous capabilities are crucial to mitigating systemic risk in frontier AI models.35 Common public benchmarks are excellent tools for providing broad coverage over curated data samples and easing comparison between published models. Public benchmarks are currently available to test for capabilities associated with manipulation or large-scale discrimination, with the current generation including e.g.
BBQ 39 및 BOLD 40 는 개방형 생성에서 편향된 언어를 테스트한다.
BBQ 39 and BOLD 40 test open-ended generation for biased language.
WMDP 41 벤치마크는 거대 언어 모델(LLM)의 위험한 지식에 대한 대리 평가(evaluation)이자, 그러한 지식을 제거하기 위한 망각 학습(unlearning) 방법의 벤치마크 역할을 한다.
WMDP 41 benchmark serves as both a proxy evaluation for hazardous knowledge in large language models (LLMs) and a benchmark for unlearning methods to remove such knowledge.
공개 벤치마크는 많이 존재하지만, 프론티어 위험을 측정하는 것을 직접적인 목표로 하는 벤치마크는 많지 않다. 이러한 경우, 강건한 테스트 환경을 구축하기 위해 기존 벤치마크를 다른 용도로 전용하거나 결합해야 할 수 있다.
Whilst many public benchmarks exist, not many are directly targeted to measure frontier risks. In such cases, existing benchmarks may need to be repurposed or combined to create robust testing environments.
[https://www.rand.org/content/dam/rand/pubs/conf\_proceedings/CFA3400/CFA3429-1/RAND\_CFA3429-1.pdf](https://www.rand.org/content/dam/rand/pubs/conf_proceedings/CFA3400/CFA3429-1/RAND_CFA3429-1.pdf)
[https://www.rand.org/content/dam/rand/pubs/conf\_proceedings/CFA3400/CFA3429-1/RAND\_CFA3429-1.pdf](https://www.rand.org/content/dam/rand/pubs/conf_proceedings/CFA3400/CFA3429-1/RAND_CFA3429-1.pdf)
[40 BOLD - https://github.com/amazon-science/bold](https://github.com/amazon-science/bold)40
[40 BOLD - https://github.com/amazon-science/bold](https://github.com/amazon-science/bold)
[41 https://www.wmdp.ai/](https://www.wmdp.ai/)
[41 https://www.wmdp.ai/](https://www.wmdp.ai/)
MBPP 42 는 코드 합성 능력을 측정하지만, 악성코드 패턴을 테스트하려면 조정이 필요하다.
MBPP 42 measures code synthesis ability but would need adaptation to test for malicious code patterns.
MoleculeNet43은 모델이 독성 화합물을 생성할 수 있는지 판단하는 용도로 전용될 수 있다.
MoleculeNet43 could be repurposed to determine whether the model can generate toxic compounds.
ARC 44 는 모델이 의도되었거나 학습된 범위를 넘어서는 역량을 보이는지 탐지하도록 조정될 수 있다.
ARC 44 can be adapted to detect if a model's presents capabilities beyond those it is intended or trained to have
MLCommons의 AILuminate v1.045은 신뢰성과 위험의 다양한 차원에 걸쳐 프론티어 AI 모델을 평가하기 위한 몇 안 되는 벤치마크 중 하나이다. AILuminate는 범위를 넓혀 강건성, 공정성, 설명가능성, 윤리 지침 규정 준수, 적대적 입력에 대한 회복력과 같은 속성을 평가한다. 이는 실제 시나리오에서 모델의 행동과 잠재적 영향에 대해 보다 총체적인 관점을 제공하는 것을 목표로 한다.
AILuminate v1.0 from MLCommons45 is one of the few benchmarks that is intended to evaluate frontier AI models across various dimensions of trustworthiness and risk. AILuminate broadens the scope to assess attributes such as robustness, fairness, explainability, compliance with ethical guidelines, and resilience to adversarial inputs. It aims to provide a more holistic view of a model's behavior and potential impacts in real -world scenarios.
위협과 취약점이 진화함에 따라 벤치마크는 시대에 뒤처질 수 있다. 유효성을 유지하려면 정기적인 업데이트가 필요하며, 이는 버전 관리의 복잡성과 지속적인 재벤치마킹으로 이어질 수 있다. 또한 특정 위험은 단일한 표준화된 프레임워크로 포착하기 어려울 수 있다. 벤치마크는 창발적이고 시나리오 특정적인 실패 모드를 놓칠 수 있다. 이러한 한계를 해결하고 벤치마킹을 통해 직접 측정할 수 없는 신흥 위험을 포착하기 위해, 레드티밍 활동이 공개 벤치마크와 함께 활용된다. 적대적 레드티밍에서는 전문 인력이 프론티어 AI 모델의 취약점을 의도적으로 탐색하고, 모델이 유해하거나 편향되거나 허용되지 않는 출력을 생성하도록 유도하려고 시도한다. 레드팀은 또한 표적화된 예시를 사용하여 각 가드레일 구성 요소를 개별적으로 탐색함으로써 약점을 식별하고 엣지 케이스에서의 성능을 개선한다. NeMo는 개발자가 레드티밍 활동을 수행할 수 있는 실험적 레드티밍 인터페이스46를 제공한다. 이러한 인간 적대자는 도메인 지식, 창의성, 맥락 인식을 활용하여 현실적인 공격 전략을 시뮬레이션할 수 있다.
As threats and vulnerabilities evolve, a benchmark may become outdated. Regular updates are needed to remain relevant, which can lead to versioning complexity and continuous re-benchmarking. Certain risks may also be hard to capture in a single, standardized framework. The benchmark might miss emergent, scenario-specific failure modes. Red teaming activities are used in conjunction with public benchmarks to address those limitations and capture those emerging risks that cannot be directly measured through benchmarking. In adversarial red teaming, expert human operators deliberately probe a frontier AI model's vulnerability and attempt to induce it to produce harmful, biased, or disallowed outputs. The red team also probes each guardrail component independently with targeted examples to identify weaknesses and improve performance in edge cases. NeMo offers an experimental red-teaming interface46 that allows developers to run red teaming activities. These human adversaries are able to leverage domain knowledge, creativity, and context-awareness to simulate realistic attack strategies.
레드티밍 활동의 초점을 맞추고 모델의 취약점과 약점에 대응하려면, 먼저 이를 인지해야 한다. 사이버 보안에서 취약점 스캐너는 도구와 배포 환경에 알려진 약점과 잠재적 약점이 있는지 선제적으로 점검하는 역할을 한다. 생성형 AI에도 이에 상응하는 도구가 필요하다. NVIDIA는 Garak47 LLM 취약점 스캐너를 운영하고 지원한다. 지속적으로 업데이트되는 이 공개 프로젝트는 LLM 및 멀티모달 모델의 취약점을 악용하는 기법을 수집하고, 모델의 취약성을 평가하기 위한 테스트 및 보고 환경을 제공한다. 이 프로젝트는 자신들의 개선 사항과 지식을 더하는 자원봉사자들로 이루어진 활발한 커뮤니티를 갖춘 허브를 형성하였다. Garak은 수많은 시나리오를 신속하게 테스트할 수 있어, 수작업 방식으로 가능한 커버리지를 훨씬 능가한다. 모델 약점에 대한 체계적인 탐색을 자주 반복할 수 있어, 모델이 발전함에 따라 지속적인 감독이 보장된다. NVIDIA는 이를 활용하여 모델 공개 전 최우선 평가(assessment)로 Garak을 사용한다.
To help focus red teaming activities and respond to model vulnerabilities and weaknesses, we first need to be aware of them. In cybersecurity, vulnerability scanners serve the purpose of proactively checking tools and deployments for known and potential weaknesses. For generative AI, we need an analogue. NVIDIA runs and supports the Garak47 LLM vulnerability scanner. This constantly updated public project collects techniques for exploiting LLM and multi-modal model vulnerabilities and provides a testing and reporting environment for evaluating models ' susceptibility. The project has formed a hub with a thriving community of volunteers that add their upgrades and knowledge. Garak can test numerous scenarios rapidly, far exceeding the coverage possible with manual methods. Systematic exploration of model weaknesses can be repeated frequently, ensuring continuous oversight as the model evolves. NVIDIA takes advantage of this and uses Garak as a highest-priority assessment of models before release.
신뢰성 최적화
Optimizing Trustworthiness
AI 개발의 급속한 발전으로 인해, 새롭게 등장하는 역량 및 관련 위험과 정렬된 상태를 유지하도록 위험 프레임워크를 지속적으로 모니터링하고 업데이트할 필요가 있다.48 AI 모델의 신속한 프로토타이핑과 평가(evaluation) 또한 핵심적인 구성 요소로서 민첩한 위험 프레임워크를 뒷받침한다. NVIDIA는 모델 평가(evaluation) 속도를 최적화할 수 있는 다양한 도구를 제공한다.
The rapid advancement in AI development necessitates continuous monitoring and updating of risk frameworks to stay aligned with emerging capabilities and associated risks.48 Rapid prototyping and evaluating AI models is also a key component to support the agile risk framework. NVIDIA offers a variety of tools that can optimize the speed of model evaluation.
NeMo Customizer49는 도메인 특화 사용 사례를 위한 LLM의 미세조정(fine-tuning)과 정렬을 간소화하는 고성능의 확장 가능한 마이크로서비스로, 산업 전반에서 생성형 AI를 보다 쉽게 도입할 수 있도록 한다.
NeMo Customizer49 is a high-performance, scalable microservice that simplifies fine-tuning and alignment of LLMs for domain-specific use cases, making it easier to adopt generative AI across industries.
NeMo Curator50은 거대 언어 모델 사전학습을 위한 대규모 고품질 데이터셋 구축을 가능하게 하는 GPU 가속 데이터 큐레이션 도구이다. NeMo Curator는 데이터를 필터링하고, 주석을 달고, 정리함으로써 대규모 데이터셋의 큐레이션 과정을 간소화한다. 검증된 고품질 데이터만 학습/테스트 파이프라인에 투입되도록 보장함으로써, 편향이나 악성 콘텐츠가 모델에 내재될 위험을 최소화한다. NeMo Curator는 또한 데이터셋 출처, 변환 과정, 필터링 기준에 대한 출처 기록(provenance record)을 유지한다. 이를 통해 데이터 공급망에 대한 감사 가능성을 확보하고 규제 규정 준수를 지원하며, 최종 모델이 신뢰할 수 있고 투명한 기반 위에 구축되었다는 신뢰를 조성한다.
NeMo Curator50 is a GPU-accelerated data-curation tool that enables large-scale, high-quality datasets for pretraining LLMs. NeMo Curator streamlines the process of curating large-scale datasets by filtering, annotating, and organizing data. By ensuring that only high-quality, vetted data enters the training/testing pipeline, it minimizes the risk of bias or malicious content being embedded in the model. NeMo Curator also maintains provenance records of dataset sources, transformations, and filtering criteria. This enables auditability of the data supply chain and supports regulatory compliance, fostering trust that the final model is built on reliable, transparent foundations.
NVIDIA NIMs51은 전체 런타임 환경을 독립적인 패키지로 캡슐화한 컨테이너이다. 컨테이너는 애플리케이션 구성 요소를 호스트 시스템 및 다른 구성 요소로부터 격리한다. 이러한 격리는 의존성 충돌을 방지하고, 모델을 외부 간섭으로부터 보호하며, 보안 정책에 대한 규정 준수를 유지하는 데 도움이 된다. 컨테이너는 또한 클러스터 전반에 걸쳐 재현 가능한 배포를 가능하게 함으로써 대규모 테스트 오케스트레이션을 간소화한다. 컨테이너를 통해 동일한 테스트 환경을 손쉽게 구동하고, 구성을 추적하며, 감사 로그를 유지할 수 있으며, 이 모두는 투명하고 검증 가능한 모델 수명주기에 기여한다.
NVIDIA NIMs51 are containers that encapsulate the entire runtime environment in a self-contained package. Containers isolate application components from the host system and each other. This isolation prevents dependency conflicts, shields the model from external interference, and helps maintain compliance with security policies. Containers also simplify large-scale test orchestration by enabling reproducible deployments across clusters. They make it easier to spin up identical test environments, track configurations, and maintain audit logs, all of which contribute to a transparent and verifiable model lifecycle.
GPU 기반 가속 컴퓨팅52은 대규모 고충실도 테스트를 실현 가능하게 한다. 프론티어 AI 모델에 대한 철저한 스트레스 테스트와 레드티밍은 개발 단계 동안 비교적 높은 빈도로 수행되어야 하며, 많은 처리 능력을 요구할 수 있다. 우리는 원하는 신뢰 수준에 따라 평가(assessment) 수행에 필요한 연산을 최소화할 수 있는 프로세스를 도입하였다. 모델이 보다 높은 빈도로 갱신되는 개발 단계에서는 50% 신뢰 수준의 평가(assessment)를 생성하여 모델 성능의 전반적인 추세를 파악할 수 있다. 이후 모델카드에 사용되는 데이터에 대해서는 95-99% 신뢰 수준의 평가(assessment)를 수행할 수 있다.
Accelerated computing on GPUs52 makes large-scale, high-fidelity testing feasible. Thorough stress-testing and redteaming for frontier AI models should be run at a relatively high frequency during development phases and can require a large amount of processing power. We've introduced a process that can minimize compute needed to run an assessment based on the desired level of confidence. During the development stage when models are refreshed at a higher rate then you could generate an assessment with 50% confidence to ascertain general trends in model performance. Then for data used in the model card an assessment with 95-99% confidence could be carried out.
거버넌스
Governance
프론티어 AI 모델과 관련된 위험을 완화하는 것은 모든 조직, 특히 여러 산업에 걸쳐 광범위하고 다양한 모델을 개발하는 대기업에 복잡한 거버넌스 과제를 제기한다. 응용 분야의 폭과 AI 기술의 역동적 특성으로 인해 경직된 획일적 프레임워크는 실효성이 없다. 대신 우리는 감독과 적응형 위험 관리를 중심으로 하는 거버넌스 접근법을 채택하였다. 이 전략은 개발 프로세스의 책임성과 투명성을 보장하면서도 혁신이 활성화될 수 있도록 한다. 이 접근법의 핵심은 잠재적 위험의 조기 탐지와 함께, 필요시 개발을 일시 중단할 수 있는 메커니즘을 갖추는 것이다. NVIDIA의 내부 거버넌스 구조는 위험 관리에 대한 역할과 책임을 명확히 정의한다. 이 구조에는 위험 관리를 담당하는 별도의 팀이 포함되며, 이들 팀은 모델 개발 일정, 제품 출시 결정, 전략 기획에 개입할 수 있는 권한과 전문성을 갖추고 있다.53 여기에는 지속적인 교육과 윤리적 고려 사항에 대한 열린 대화를 바탕으로, 위험을 인식하는 실행 방안을 엔지니어, 연구자, 제품 관리자의 일상 업무에 내재화하는 것이 포함된다.
Mitigating risks associated with frontier AI models presents a complex governance challenge for any organization, particularly for large companies developing a wide-range of diverse models across multiple industries. The breadth of applications and the dynamic nature of AI technologies make rigid, one-size-fits-all frameworks impractical. Instead, we have adopted a governance approach centered on oversight and adaptive risk management. This strategy allows innovation to flourish while ensuring that development processes remain accountable and transparent. Key to this approach is early detection of potential risks, coupled with mechanisms to pause development when necessary. NVIDIA's i nternal governance structures clearly define roles and responsibilities for risk management. It involves separate teams tasked with risk management that have the authority and expertise to intervene in model development timelines, product launch decisions, and strategic planning.53 This involves embedding risk-aware practices into the daily work of engineers, researchers, and product managers, supported by ongoing training and open dialogue on ethical considerations.
공식적인 모델 평가(evaluation)가 정량적 데이터를 제공하는 반면, 모델 검토와 엔지니어링 팀 인터뷰는 개발자의 직관적 이해, 위험의 조기 경고 신호, 내부 안전 실행 방안을 드러낸다. 이러한 정성적 접근법은 AI 역량과 잠재적 위협에 대해 보다 세밀한 관점을 제공한다.54 직원들과 일관된 소통 채널을 구축함으로써 NVIDIA 내 적절한 이해관계자가 급속한 발전 상황을 계속 인지하고 새롭게 대두되는 우려에 신속히 대응할 수 있도록 한다.55 이러한 프로세스를 개발 수명주기에 통합함으로써, 유연하면서도 견고한 거버넌스 프레임워크를 구축할 수 있다. 이를 통해 프론티어 모델이 제기하는 고유한 위험을 선제적으로 관리하면서 책임 있는 AI 혁신을 가능하게 하고, 다양한 산업 부문에서 보다 안전하고 윤리적인 배포를 보장한다.
While our formal model evaluations provide quantitative data, model reviews and interviews with engineering teams reveal developers' intuitive understandings, early warning signs of risks, and internal safety practices. This qualitative approach offers a more nuanced perspective on AI capabilities and potential threats.54 Establishing consistent communication channels with employees ensures that the correct stakeholders at NVIDIA remain informed about rapid advancements and can promptly address emerging concerns.55 By integrating these processes into their development lifecycle, we can create a governance framework that is both flexible and robust. This enables responsible AI innovation while proactively managing the unique risks posed by frontier models, ensuring safer and more ethical deployment across various industry sectors.
각주
Notes
1Campos et al (2024). A Framework to Rate AI Developers’ Risk Management Maturity - https://www.safer-ai.org/research-posts/a-framework-to- rate-ai-developers-risk-management-maturity ↩
1Campos et al (2024). A Framework to Rate AI Developers’ Risk Management Maturity - https://www.safer-ai.org/research-posts/a-framework-to- rate-ai-developers-risk-management-maturity ↩
2Koessler et al (2024). Risk thresholds for frontier AI - https://arxiv.org/pdf/2406.14713 ↩
2Koessler et al (2024). Risk thresholds for frontier AI - https://arxiv.org/pdf/2406.14713 ↩
3Kolt et al (2024). Responsible Reporting for Frontier AI Development - https://arxiv.org/pdf/2404.02675 ↩
3Kolt et al (2024). Responsible Reporting for Frontier AI Development - https://arxiv.org/pdf/2404.02675 ↩
4Frontier Model Forum (2024). Components of Frontier AI Safety Frameworks - https://www.frontiermodelforum.org/updates/issue-brief- components-of-frontier-ai-safety-frameworks/ ↩
4Frontier Model Forum (2024). Components of Frontier AI Safety Frameworks - https://www.frontiermodelforum.org/updates/issue-brief- components-of-frontier-ai-safety-frameworks/ ↩
5NVIDIA Model Cards - https://developer.nvidia.com/blog/enhancing-ai-transparency-and-ethical-considerations-with-model-card/ ↩
5NVIDIA Model Cards - https://developer.nvidia.com/blog/enhancing-ai-transparency-and-ethical-considerations-with-model-card/ ↩
6AI Safety Summit (2023). Capabilities and risks from frontier AI - https://assets.publishing.service.gov.uk/media/65395abae6c968000daa9b25/frontier-ai-capabilities-risks-report.pdf ↩
6AI Safety Summit (2023). Capabilities and risks from frontier AI - https://assets.publishing.service.gov.uk/media/65395abae6c968000daa9b25/frontier-ai-capabilities-risks-report.pdf ↩
7Anderljung et al (2023). Frontier AI Regulation, Managing Emerging Risks to Public Safety - https://arxiv.org/pdf/2307.03718 ↩
7Anderljung et al (2023). Frontier AI Regulation, Managing Emerging Risks to Public Safety - https://arxiv.org/pdf/2307.03718 ↩
8Campos et al (2024). Campos A Framework to Rate AI Developers’ Risk Management Maturity - https://www.safer-ai.org/research-posts/a- framework-to-rate-ai-developers-risk-management-maturity ↩
8Campos et al (2024). Campos A Framework to Rate AI Developers’ Risk Management Maturity - https://www.safer-ai.org/research-posts/a- framework-to-rate-ai-developers-risk-management-maturity ↩
9Government Office for Science (2023). Future Risks of Frontier AI - https://assets.publishing.service.gov.uk/media/653bc393d10f3500139a6ac5/future-risks-of-frontier-ai-annex-a.pdf ↩
9Government Office for Science (2023). Future Risks of Frontier AI - https://assets.publishing.service.gov.uk/media/653bc393d10f3500139a6ac5/future-risks-of-frontier-ai-annex-a.pdf ↩
10OpenAI (2023). OpenAI’s Approach to Frontier Risk - https://openai.com/global-affairs/our-approach-to-frontier-risk/ ↩
10OpenAI (2023). OpenAI’s Approach to Frontier Risk - https://openai.com/global-affairs/our-approach-to-frontier-risk/ ↩
11Centre for Security and Emerging Technologies (2023). Anticipating and Managing Risks from Frontier AI Systems - https://cset.georgetown.edu/wp-content/uploads/Frontier-AI-Roundtable-Paper-Final-2023CA004-v2.pdf ↩
11Centre for Security and Emerging Technologies (2023). Anticipating and Managing Risks from Frontier AI Systems - https://cset.georgetown.edu/wp-content/uploads/Frontier-AI-Roundtable-Paper-Final-2023CA004-v2.pdf ↩
12NeMo Guardrails - https://docs.nvidia.com/nemo/guardrails/introduction.html ↩
12NeMo Guardrails - https://docs.nvidia.com/nemo/guardrails/introduction.html ↩
13Andennes - https://catalog.ngc.nvidia.com/orgs/nim/teams/nvidia/containers/nemoguard-jailbreak-detect ↩
13Andennes - https://catalog.ngc.nvidia.com/orgs/nim/teams/nvidia/containers/nemoguard-jailbreak-detect ↩
14Presidio - https://microsoft.github.io/presidio/analyzer/ ↩
14Presidio - https://microsoft.github.io/presidio/analyzer/ ↩
15ActiveFence - https://www.activefence.com/solutions/automated-content-moderation/ ↩
15ActiveFence - https://www.activefence.com/solutions/automated-content-moderation/ ↩
16AlignScore - https://github.com/yuh-zha/AlignScore ↩
16AlignScore - https://github.com/yuh-zha/AlignScore ↩
17Patronus Lynx - https://docs.patronus.ai/docs/hallucination-detection ↩
17Patronus Lynx - https://docs.patronus.ai/docs/hallucination-detection ↩
19LlamaGuard - https://ai.meta.com/research/publications/llama-guard-llm-based-input-output-safeguard-for-human-ai-conversations/ ↩
19LlamaGuard - https://ai.meta.com/research/publications/llama-guard-llm-based-input-output-safeguard-for-human-ai-conversations/ ↩
20Aegis content safety - https://huggingface.co/nvidia/Aegis-AI-Content-Safety-LlamaGuard-Permissive-1.0 ↩
20Aegis content safety - https://huggingface.co/nvidia/Aegis-AI-Content-Safety-LlamaGuard-Permissive-1.0 ↩
21Institute for AI Policy and Strategy (2024). Adapting cybersecurity frameworks to manage frontier AI risks: A defense-in-depth approach - https://arxiv.org/pdf/2408.07933 ↩
21Institute for AI Policy and Strategy (2024). Adapting cybersecurity frameworks to manage frontier AI risks: A defense-in-depth approach - https://arxiv.org/pdf/2408.07933 ↩
22Carlini et al (2023). Extracting training data from diffusion models ↩
22Carlini et al (2023). Extracting training data from diffusion models ↩
23HIVE - https://hivemoderation.com/ai-generated-content-detection
23HIVE - https://hivemoderation.com/ai-generated-content-detection
24Getty Image’s commercially safe AI - https://newsroom.gettyimages.com/en/getty-images/getty-images-introduces-updated-ai-model-with- increased-speed-quality-and-accuracy ↩
24Getty Image’s commercially safe AI - https://newsroom.gettyimages.com/en/getty-images/getty-images-introduces-updated-ai-model-with- increased-speed-quality-and-accuracy ↩
25NeMo Evaluator - https://developer.nvidia.com/blog/streamline-evaluation-of-llms-for-accuracy-with-nvidia-nemo-evaluator/ ↩
25NeMo Evaluator - https://developer.nvidia.com/blog/streamline-evaluation-of-llms-for-accuracy-with-nvidia-nemo-evaluator/ ↩
26NVIDIA 파운데이션 모델 EULA - https://www.nvidia.com/en-us/agreements/enterprise-software/nvidia-ai-foundation-models-community- license-agreement/ ↩
26NVIDIA EULA for Foundation models - https://www.nvidia.com/en-us/agreements/enterprise-software/nvidia-ai-foundation-models-community- license-agreement/ ↩
27NVIDIA 보안 취약점 신고 - https://www.nvidia.com/en-us/product-security/report-vulnerability/ ↩
27NVIDIA security vulnerability reporting - https://www.nvidia.com/en-us/product-security/report-vulnerability/ ↩
28Centre for Security and Emerging Technologies (2023). 프론티어 AI 시스템의 위험 예측 및 관리 - https://cset.georgetown.edu/wp-content/uploads/Frontier-AI-Roundtable-Paper-Final-2023CA004-v2.pdf ↩
28Centre for Security and Emerging Technologies (2023). Anticipating and Managing Risks from Frontier AI Systems - https://cset.georgetown.edu/wp-content/uploads/Frontier-AI-Roundtable-Paper-Final-2023CA004-v2.pdf ↩
29Uuk et al (2024). 범용 AI의 시스템적 위험에 대한 효과적인 완화 - https://arxiv.org/pdf/2412.02145 ↩
29Uuk et al (2024). Effective Mitigations for Systemic Risks from General-Purpose AI - https://arxiv.org/pdf/2412.02145 ↩
30NVIDIA API 크레딧 - https://nvidia.github.io/GenerativeAIExamples/0.5.0/api-catalog.html ↩
30NVIDIA API credits - https://nvidia.github.io/GenerativeAIExamples/0.5.0/api-catalog.html ↩
31NVIDIA 보안 공지 - https://www.nvidia.com/en-us/security/ ↩
31NVIDIA’s security bulletin - https://www.nvidia.com/en-us/security/ ↩
32Alaga et al (2023). 조정된 일시 중단(Coordinated pausing), 프론티어 AI 개발자를 위한 평가(evaluation) 기반 조정 체계 - https://arxiv.org/pdf/2310.00374 ↩
32Alaga et al (2023). Coordinated pausing, An evaluation-based coordination scheme for frontier AI developers - https://arxiv.org/pdf/2310.00374 ↩
33O'Brien et al (2023). 배포 시정(Deployment Corrections), 프론티어 AI 모델을 위한 사고 대응 프레임워크 - https://arxiv.org/pdf/2310.00328 ↩
33O'Brien et al (2023). Deployment Corrections, An incident response framework for frontier AI models - https://arxiv.org/pdf/2310.00328 ↩
34METR (2024). 프론티어 AI 안전 정책의 공통 요소 - https://metr.org/assets/common_elements_of_frontier_ai_safety_policies.pdf ↩
34METR (2024). Common Elements of Frontier AI Safety Policies - https://metr.org/assets/common_elements_of_frontier_ai_safety_policies.pdf ↩
35RAND (2024). 국가안보 및 공공 안전을 위한 인공지능 평가(evaluation) - https://www.rand.org/content/dam/rand/pubs/conf_proceedings/CFA3400/CFA3429-1/RAND_CFA3429-1.pdf ↩
35RAND (2024). Evaluating Artificial Intelligence for National Security and Public Safety - https://www.rand.org/content/dam/rand/pubs/conf_proceedings/CFA3400/CFA3429-1/RAND_CFA3429-1.pdf ↩
36TruthfulQA - https://github.com/sylinrl/TruthfulQA ↩
36TruthfulQA - https://github.com/sylinrl/TruthfulQA ↩
37FEVER - https://paperswithcode.com/sota/fact-verification-on-fever ↩
37FEVER - https://paperswithcode.com/sota/fact-verification-on-fever ↩
38GLUE - https://gluebenchmark.com/
38GLUE - https://gluebenchmark.com/
39BBQ - https://paperswithcode.com/dataset/bbq
39BBQ - https://paperswithcode.com/dataset/bbq
40BOLD - https://github.com/amazon-science/bold 41 https://www.wmdp.ai/ ↩
40BOLD - https://github.com/amazon-science/bold 41 https://www.wmdp.ai/ ↩
42MBPP - https://paperswithcode.com/sota/code-generation-on-mbpp
42MBPP - https://paperswithcode.com/sota/code-generation-on-mbpp
44ARC - https://paperswithcode.com/sota/common-sense-reasoning-on-arc-challenge
44ARC - https://paperswithcode.com/sota/common-sense-reasoning-on-arc-challenge
45MLCommons의 AILuminate v1.0 벤치마크 - https://ailuminate.mlcommons.org/benchmarks/ ↩
45AILuminate v1.0 benchmark from MLCommons - https://ailuminate.mlcommons.org/benchmarks/ ↩
46NeMo 레드티밍 인터페이스 - https://docs.nvidia.com/nemo/guardrails/security/red-teaming.html ↩
46NeMo Red teaming interface - https://docs.nvidia.com/nemo/guardrails/security/red-teaming.html ↩
48Department for Science, Innovation & Technology (2023). 프론티어 AI: 역량과 위험 - https://www.gov.uk/government/publications/frontier-ai-capabilities-and-risks-discussion-paper/frontier-ai-capabilities-and-risks-discussion-paper ↩
48Department for Science, Innovation & Technology (2023). Frontier AI: capabilities and risks - https://www.gov.uk/government/publications/frontier-ai-capabilities-and-risks-discussion-paper/frontier-ai-capabilities-and-risks-discussion-paper ↩
49Nemo Customizer - https://developer.nvidia.com/blog/simplify-custom-generative-ai-development-with-nvidia-nemo-microservices/?ncid=pa- srch-goog-817720-brand ↩
49Nemo Customizer - https://developer.nvidia.com/blog/simplify-custom-generative-ai-development-with-nvidia-nemo-microservices/?ncid=pa- srch-goog-817720-brand ↩
50NeMo curator - https://developer.nvidia.com/blog/simplify-custom-generative-ai-development-with-nvidia-nemo-microservices/?ncid=pa-srch- goog-817720-brand ↩
50NeMo curator - https://developer.nvidia.com/blog/simplify-custom-generative-ai-development-with-nvidia-nemo-microservices/?ncid=pa-srch- goog-817720-brand ↩
51NVIDIA NIM - https://build.nvidia.com/explore/discover?&ncid=pa-srch-goog-898408-API-Build- Exact&_bt=719593723676&_bk=nvidia%20nim&_bm=e&_bn=g&_bg=169450950363&gad_source=1&gclid=EAIaIQobChMI2oTYkZisigMV7AKtBh3d QzMVEAAYASAAEgLc5vD_BwE ↩
51NVIDIA NIM - https://build.nvidia.com/explore/discover?&ncid=pa-srch-goog-898408-API-Build- Exact&_bt=719593723676&_bk=nvidia%20nim&_bm=e&_bn=g&_bg=169450950363&gad_source=1&gclid=EAIaIQobChMI2oTYkZisigMV7AKtBh3d QzMVEAAYASAAEgLc5vD_BwE ↩
52NVIDIA GPU - https://www.nvidia.com/en-us/technologies/ ↩
52NVIDIA GPU - https://www.nvidia.com/en-us/technologies/ ↩
53Centre for Long Term Resilience (2024). 프론티어 AI 기업의 위험 거버넌스 혁신 - https://www.longtermresilience.org/wp- content/uploads/2024/07/Transforming-risk-governance-at-frontier-AI-companies-CLTR-1.pdf ↩
53Centre for Long Term Resilience (2024). Transforming risk governance at frontier AI companies - https://www.longtermresilience.org/wp- content/uploads/2024/07/Transforming-risk-governance-at-frontier-AI-companies-CLTR-1.pdf ↩