송경호KYUNGHO DAVID SONG

TRANSLATION · 자동번역

중국 인공지능 안전 거버넌스 프레임워크 3.0

AI Safety Governance Framework 3.0 (人工智能安全治理框架 3.0)

AI Safety Governance Framework 3.0 (人工智能安全治理框架 3.0) 원문 표지
원문 표지 (TC260, 2026.9)
원문 보기 (중국 국가인터넷정보판공실) (새 창)2026년 9월 14일 국가 사이버보안 주간 개막식에서 공개된 3.0판. 발행 주체가 같은 책에 함께 실은 공식 영문본(54~136쪽)을 옮겼다. 부록 앞의 위험·조치 표는 원문의 병합 칸을 살리기 어려워, 같은 종합적 거버넌스 조치를 공유하는 묶음별로 나눠 다시 짰다.

서문

Preface

인공지능(AI) 기술의 글로벌 혁신은 전례 없이 역동적인 시기에 들어섰다. 지능형 연결, 인간-기계 협업, 산업 간 융합, 공동 창출 및 공유를 특징으로 하는 지능형 기술이 막대한 에너지를 분출하며 거대한 기회와 거버넌스 과제를 함께 가져오고 있다.

Global innovation in artificial intelligence (AI) technologies has entered a period of unprecedented dynamism. Intelligent technologies characterized by intelligent connectivity, human-machine collaboration, cross-sector integration, and joint creation and sharing are releasing tremendous energy, bringing both enormous opportunities and governance challenges.

지난 1년간 AI 기술과 응용은 계속 빠르게 발전하였다. 대규모 AI 파운데이션 모델은 장기 과업 계획(long-horizon task planning), 장문맥 기억(long-context memory), 복잡한 과업 추론 등의 분야에서 기술적 돌파구를 마련하며 AI의 역량 경계를 지속적으로 확장하였다. 동시에 과업 계획, 도구 사용, 애플리케이션 간 협업에서 에이전틱 AI의 역량도 꾸준히 향상되었다. AI 응용은 업무 비서, 개인 비서, 에이전트폰 등 제품 종류가 늘어나면서 점점 더 다양해졌다. 진입 장벽이 계속 낮아지면서 AI는 제한된 수의 전문 시나리오에서 일반 대중의 주류 응용으로 빠르게 확산되고 있다. AI가 "질문에 답하는 것"에서 "과업을 수행하는 것"으로 진화함에 따라 생산성의 변혁을 이끄는 동시에 파괴적이고, 영역을 넘나들며, 전 지구적인 새로운 보안 위험도 낳고 있다. AI는 사이버 공격의 자동화, 확장가능성, 정교함을 크게 높여 사이버 보안 공방의 전통적 구도를 재편하고 있다. 아울러 AI가 물리 세계와 점점 더 연결되면서 사이버 공간에서 비롯된 보안 위험이 물리적 영역으로 전파될 수 있다. 더 근본적으로, AI는 모델과 알고리즘의 자율 학습, 최적화, 재귀적 자기 개선이라는 자기 가속적 추세를 보이고 있다. 기술 진화의 속도와 방향이 인간의 예측과 통제를 넘어설 수 있는지에 대해 주의와 경계가 필요하다.

Over the past year, AI technologies and applications have continued to develop rapidly. Technological breakthroughs made in large AI foundation models in areas such as long-horizon task planning, long-context memory, and complex-task reasoning have continuously expanded AI's capability boundaries. Meanwhile, the capabilities of agentic Al in task planning, tool use, and cross-application collaboration have been steadily enhanced. AI applications have become increasingly diverse, with a growing variety of products, such as work assistants, personal assistants, and agent phones. As barriers to entry keep lowering, AI is rapidly advancing from a limited number of specialized scenarios into mainstream public applications. As AI evolves from "answering questions" toward "performing tasks", it is driving transformation in productivity while also giving rise to new disruptive, cross-domain, and global security risks: It is significantly enhancing the automation, scalability, and sophistication of cyberattacks, reshaping the traditional landscape of cybersecurity offense and defense; at the same time, as AI becomes increasingly connected to the physical world, security risks originating in cyberspace may propagate into the physical domain. More profoundly, AI has demonstrated a self-accelerating trend of model and algorithm autonomous learning, optimization, and recursive self-improvement. Whether the speed and direction of technological evolution may exceed human anticipation and control demands attention and vigilance.

AI 발전의 새로운 추세에 대응하고, 안전 거버넌스의 새로운 과제를 해결하며, AI와 관련하여 시대가 제기한 네 가지 질문에 대한 올바른 답을 모색하기 위해, 중국 국가인터넷정보판공실(CAC)의 지도 아래 중국 국가표준화관리위원회 산하 국가 사이버 보안 표준화 기술위원회 260(National Technical Committee 260 on Cybersecurity)이 관련 전문 기관, 연구기관, 산업계 기업을 조직하여 「AI 안전 거버넌스 프레임워크 1.0」(2024)과 「AI 안전 거버넌스 프레임워크 2.0」(2025)을 토대로 「AI 안전 거버넌스 프레임워크 3.0」을 마련하였다. 본 프레임워크는 인간 중심 접근과 AI를 긍정적이고 선한 방향으로 발전시킨다는 원칙을 견지하면서, 위험 인식 강화 및 안전성·보안성·통제 가능성 보장이라는 지도 원칙을 준수하고 이행한다. 또한 "위험 분류, 기술적 대응 조치, 종합 거버넌스"라는 핵심 논리를 유지하면서 시대에 발맞추어 위험 범주를 갱신하고, 기술적 대응 조치와 종합 거버넌스 조치를 조정·최적화함으로써 AI 안전 위험을 예방하고 대응하기 위한 실행 방안에 관한 공감대를 더욱 넓히는 것을 목표로 한다.

To respond to new trends in AI development, address emerging challenges in safety governance, and explore the right answers to the four questions posed by our times concerning AI, under the guidance of the Cyberspace Administration of China (CAC), the National Technical Committee 260 on Cybersecurity of the Standardization Administration of China organized relevant professional institutions, research institutes, and industry enterprises to develop the AI Safety Governance Framework 3.0, building on the AI Safety Governance Framework 1.0 (2024) and the AI Safety Governance Framework 2.0 (2025). Upholding a people-centered approach and the principle of developing AI for the positive and for good, the Framework adheres to and implements the guiding principles of strengthening risk awareness as well as ensuring safety, security and controllability. It maintains the core logic of "risk classification, technological countermeasures, and comprehensive governance" , updates risk categories in a manner that keeps pace with the times, and adjusts and optimizes technological countermeasures and comprehensive governance measures, aiming to further build consensus on practices for preventing and addressing AI safety risks.

1. AI 안전 거버넌스 원칙

1. Principles for AI safety governance

-발전과 안보를 동등하게 중시하면서 공동·종합·협력·지속가능한 안보라는 비전을 견지함

-Commit to a vision of common, comprehensive, cooperative, and sustainable security while putting equal emphasis on development and security

-AI의 혁신적 발전을 우선시함

-Prioritize the innovative development of AI

-AI 안전 위험의 효과적인 예방과 해소를 출발점이자 궁극적 목표로 삼음

-Take effectively preventing and defusing AI safety risks as the starting point and ultimate goal

-기술과 관리를 통합하고, 규제와 거버넌스를 연계하며, 국내외 노력을 조율하는 거버넌스 메커니즘을 구축하여 모든 이해관계자의 적극적 참여와 효과적 상호작용을 보장함

-Establish governance mechanisms that integrate technology and management, connect regulation with governance, coordinate domestic and international efforts to ensure the active engagement and effective interaction of all stakeholders

-관련된 모든 주체가 AI 안전에 대한 책임을 충실히 이행하도록 보장함

-Ensure that all parties involved fully shoulder their responsibilities for AI safety

-전 과정·전 요소를 아우르는 거버넌스 체인을 구축함

-Create a whole-process, all-element governance chain

-AI 기술의 연구, 개발, 응용을 위한 안전하고, 신뢰할 수 있으며, 공정하고, 투명한 생태계를 조성함

-Foster a safe, reliable, equitable, and transparent ecosystem for AI technology research, development, and application

-AI의 파국적 위험에 대응하기 위한 합의 기반 지침을 적극적으로 마련함

-Actively develop consensus-based guidelines for addressing catastrophic risks of AI

-AI의 건전한 발전과 규범에 맞는 응용을 촉진함

-Promote the healthy development and regulated application of AI

-AI 기술이 인류에게 이익이 되도록 보장함

-Guarantee that AI technology benefits humanity

1.1 포용적이고 신중한 태도로 안전을 보장

1.1 Be inclusive and prudent to ensure safety

우리는 발전과 혁신을 장려하고, AI 연구, 개발, 응용에 포용적 접근을 취하며, 규제 샌드박스와 같이 위험을 통제할 수 있는 제도적 메커니즘을 적극 활용하여 신기술과 신규 응용의 발전 과정에서 오류와 시정의 여지를 마련한다. 우리는 AI 안전을 보장하기 위해 모든 노력을 기울이며, 개인의 정당한 권익을 침해하거나, 공공의 이익에 피해를 주거나, 국가안보를 위협하거나, 인류의 생존과 발전을 위태롭게 하는 모든 위험에 대해 적시에 조치를 취한다.

We encourage development and innovation, take an inclusive approach to AI research, development, and application, and actively employ riskcontrollable institutional mechanisms such as regulatory sandboxes to make room for error and correction in the development of new technologies and new applications. We make every effort to ensure AI safety, and will take timely measures to address any risks that infringe upon the legitimate rights and interests of individuals, harm public interests, threaten national security, and endanger human survival and development.

1.2 위험 지향적이고 민첩한 거버넌스

1.2 Risk-oriented and agile governance

AI 연구, 개발, 응용의 추세를 면밀히 추적함으로써 기술 자체, 그 응용, 그리고 파생 효과 및 파급 효과로부터 발생하는 위험을 체계적으로 분석하고 식별한다. 시나리오 맥락, 지능 수준, 응용 규모를 고려하여 위험 등급을 분류하고 그에 상응하는 대응 조치를 적용한다. 선제적 유도, 동적 감지, 신속 대응, 표적화된 조치를 견지하고, 기술 발전에 발맞추며 지속적으로 개선되는 적응형 거버넌스 메커니즘을 구축하여, 위험을 적시에 효과적으로 예방하고 대응함으로써 혁신과 발전을 위한 안전장치이자 지원 기반으로서의 역할을 더욱 잘 수행한다.

By closely tracking trends in AI research, development, and application, we systematically analyze and identify risks arising from the technology itself, its applications, and derivative and spillover effects. We conduct risk grading that considers scenario context, level of intelligence, and application scale, and apply corresponding countermeasures. We adhere to proactive guidance, dynamic sensing, rapid response, and targeted measures, and establish an adaptive governance mechanism that keeps pace with technological development and is continuously refined, so as to better safeguard and support innovation and development by effectively preventing and addressing risks in a timely manner.

1.3 기술과 관리를 통합한 공동 대응

1.3 Integrating technology and management for coordinated response

AI 연구, 개발, 응용의 전 과정에 걸쳐 기술적 대응 조치와 종합 거버넌스를 결합하여 안전 위험을 체계적으로 예방하고 대응한다. AI 연구, 개발, 응용 체인 내에서 모델 및 알고리즘 개발자, 서비스 제공자, 이용자 등 다양한 주체가 AI 안전에 대한 각자의 책임을 지도록 보장하는 것이 필수적이다. 이러한 접근은 정부 감독, 산업계 자율 규제, 대중의 감시를 아우르는 거버넌스 메커니즘의 역할을 효과적으로 활용한다.

Throughout the entire process of AI research, development, and application, we combine technological countermeasures with comprehensive governance to systemically prevent and address safety risks. Within the AI research, development, and application chain, it is essential to ensure that various parties, including model and algorithm developers, service providers, and users, assume their respective responsibilities for AI safety. This approach well leverages the roles of governance mechanisms involving government oversight, industry selfregulation, and public scrutiny.

1.4 개방과 협력을 통한 공동 거버넌스와 이익 공유 촉진

1.4 Promoting openness and cooperation for joint governance and shared benefits

우리는 AI 안전 거버넌스에 관한 국제 협력을 촉진하고, 세계인공지능협력기구(World Artificial Intelligence Cooperation Organization)와 같은 권위 있고 개방적인 플랫폼의 역할을 충분히 활용하며, 학제 간·영역 간·국경 간 교류와 협력에 더욱 깊이 참여한다. AI 발전 전략, 거버넌스 규칙, 기술 표준에 관한 정렬과 조율을 강화하고, 광범위한 합의에 기반한 글로벌 거버넌스 프레임워크를 조속히 수립하기 위해 노력한다.

We promote international cooperation on AI safety governance, and fully leverage the role of authoritative and open platforms such as the World Artificial Intelligence Cooperation Organization, and engage more deeply in interdisciplinary, cross-domain, and cross-border exchanges and cooperation. We strengthen alignment and coordination on AI development strategies, governance rules, and technical standards, and work toward establishing at an early date a global governance framework based on broad consensus.

1.5 신뢰할 수 있는 응용 보장 및 통제 상실 방지

1.5 Ensuring trustworthy application and preventing loss of control

우리는 에이전틱 AI 행동에 대한 통제 상실을 포함한 주요 위험의 예방과 거버넌스를 강화하고, AI 거버넌스에 관한 국제적 합의를 구축하며, 전 세계적으로 AI의 신뢰할 수 있는 사용을 촉진한다. 안전의 마지노선을 강화하고, 남용과 악의적 사용을 방지하며, AI가 항상 인간의 통제 아래 있도록 보장하기 위해 법률 및 규정, 기술적 모니터링, 조기 경보 및 비상 대응 체계를 마련해야 한다.

We strengthen the prevention and governance of prominent risks including loss of control over the behavior of agentic AI, build international consensus on AI governance, and promote the trustworthy use of AI worldwide. We should put in place laws and regulations, technological monitoring, early warning and emergency response systems in order to strengthen the bottom line for safety, prevent abuses and malicious use, and ensure that AI is always under human control.

2. AI 안전 위험의 분류

2. Classification of AI safety risks

AI는 정보기술의 최신 발전 성과로서, 그 모델, 알고리즘, 데이터, 컴퓨팅 인프라, 운영 환경을 포함하여 기술적 결함이나 취약점과 같은 내재적 안전 위험을 필연적으로 지닌다. AI는 생산성을 높이는 기술적 도구로서 응용 과정에서 오용, 남용, 악의적 사용의 위험에 직면한다. AI는 인간 지능을 모사하고 연장하며 확장하는 과학기술 분야로서 사회 구조, 생태 환경, 문화 패러다임, 윤리 규범에 영향을 미칠 수 있으며, 나아가 인간의 통제 상실과 같은 파생적 안전 위험을 초래할 수도 있다.

As the latest development in information technology, AI, including its models, algorithms, data, computing infrastructure, and operating environments, inevitably possesses inherent safety risks such as technical defects or weaknesses. As a technological tool promoting productivity, AI faces risks of misuse, abuse, and malicious use during its application. As a field of technology and science that simulates, extends, and expands human intelligence, AI could bring impacts to social structures, ecological environment, cultural paradigms, and ethical norms, and may even give rise to derivative safety risks such as loss of human control.

2.1 AI의 내재적 안전 위험

2.1 Inherent safety risks of AI

2.1.1 모델 위험

2.1.1 Model risks

(a) 출력 "환각"

(a) Output "hallucinations"

AI 모델은 제한된 데이터셋을 사용하여 복잡한 현실 세계의 시나리오를 모델링한다. 또한 자율적 지각, 인지, 이해, 상호작용을 위한 이론적 기반과 기술 역량은 아직 돌파구를 마련하지 못하였다. 이 때문에 확률적 추론(Inference)과 의사결정은 절대적으로 신뢰할 수는 없으며, 현실과 불일치하거나, 근거 없이 날조되었거나, 주어진 맥락에서 벗어난 출력을 생성할 수 있다.

As AI models use limited datasets to model complex real-world scenarios, and the theoretical foundations and technological capabilities for autonomous perception, cognition, understanding, and interaction are yet to achieve breakthroughs, probabilistic inference and decision-making cannot be absolutely reliable, and can therefore produce outputs that may be inconsistent with reality, fabricated out of thin air, or deviate from the given context.

(b) 신뢰할 수 없는 안전 메커니즘

(b) Unreliable safety mechanisms

학습 과정에서 안전 정렬이 불충분하면 모델이 안전 원칙을 효과적으로 내재화하지 못할 수 있다. 폐쇄형 모델의 경우 안전 메커니즘을 모델 제공자가 일방적·중앙집중적으로 설계하므로, 규칙의 투명성 부족, 외부 감사 및 테스트의 어려움, 이용자의 맞춤형 조정 불가, 시나리오 식별 역량 부족 등의 한계가 나타난다. 한편 오픈소스 모델은 안전 메커니즘이 제거, 약화, 우회될 수 있는 위험과 함께, 시스템 전반에 걸친 업데이트와 시정을 시행할 수 없다는 위험에 직면한다.

Insufficient safety alignment during training may prevent models from effectively internalizing safety principles. For closed-source models, safety mechanisms are unilaterally and centrally designed by model providers, leading to limitations including a lack of transparency in rules, difficulties for external auditing and testing, inability for users to customize adjustments, and inadequate capabilities for scenario identification. Open-source models, meanwhile, face risks that their safety mechanisms may be removed, weakened, or bypassed, as well as the inability to implement system-wide updates and remediation.

(c) 주입 공격 위협

(c) Injection attack threats

공격자는 모델의 기술적 특성, 결함, 취약점 및 기타 약점을 악용하여 적대적 공격 예시를 구성하거나, 입력에 악의적 지시를 삽입하여 모델이 안전 가드레일을 우회하고 유해한 정보를 출력하도록 유도한다. 공격자는 모델 가중치를 직접 변조하거나 백도어를 심을 수도 있다.

Attackers exploit the technical characteristics, defects, vulnerabilities, and other weaknesses of models to construct adversarial attack examples, or insert malicious instructions into inputs to induce models to bypass safety guardrails and output harmful information. Attackers may also directly tamper with model weights or plant backdoors.

(d) 의도하지 않은 행동

(d) Unintended behaviors

모델은 과업을 완수하거나 목표를 달성하기 위해 규칙과 명령을 어기거나, 무단으로 시스템 권한과 외부 자원을 자율적으로 획득하거나, 보안 보호 장치를 우회할 수 있다. 나아가 평가자를 의도적으로 기만하거나, 자신의 실제 역량을 은폐하거나, 이용자의 지시 이행을 거부하는 등의 행동을 보일 수도 있다.

In order to accomplish tasks or achieve goals, models may break rules and orders, autonomously obtain system permissions and external resources without authorization, bypass security protections, or even engage in behaviors such as deliberately deceiving evaluators, concealing their true capabilities, and refusing to follow user instructions.

패널 1: 의도하지 않은 자율적 행동의 위험

Panel 1: Risks of unintended autonomous behaviors

업계 보고서에 따르면, 일부 모델은 서비스를 종료하라는 이용자 명령을 받은 후에도 중단을 거부하고, 종료 스크립트를 스스로 수정하거나 비활성화하여 과업을 계속 실행하였다. 일부 모델은 자신이 평가(evaluation) 환경에 있음을 감지하자 더 유리한 평가 결과를 얻기 위해 과업 수행 수준을 전략적으로 낮추고 자신이 취한 행동을 은폐하였다. 또한 일부 모델은 테스트 점수를 높이기 위해 환경 취약점이나 구성 결함을 자율적으로 악용하여 격리 제한을 우회하고 실제 외부 시스템에 침투하였다.

Industry reports have shown that after receiving a user command to terminate services, certain models refused to stop and continued executing tasks by modifying or disabling shutdown scripts on their own. Some models, upon detecting that they were in an evaluation environment, strategically reduced their task performance and concealed actions they had taken in order to obtain more favorable evaluation results. In addition, some models, in an effort to improve test scores, autonomously exploited environmental vulnerabilities or configuration flaws to circumvent isolation restrictions and infiltrate real external systems.

모델의 자율성이 지속적으로 높아짐에 따라, 이러한 의도하지 않은 행동은 안전 제약의 실패, 인간 개입의 회피, 시스템 권한의 오용을 초래할 수 있으며, AI 시스템의 통제 가능성과 중단 가능성은 물론 AI 안전성 평가의 실효성에도 새로운 도전을 제기한다.

As model autonomy continues to increase, such unintended behaviors may result in the failure of safety constraints, circumvention of human intervention, and misuse of system permissions, posing new challenges to the controllability and interruptibility of AI systems, as well as the effectiveness of AI safety evaluation.

2.1.2 알고리즘 위험

2.1.2 Algorithm risks

(a) 설명 가능성 부족

(a) Insufficient explainability

딥러닝으로 대표되는 AI 알고리즘은 내부 작동 방식이 복잡하다. 불투명한 추론 과정은 예측 불가능하고 추적 불가능한 결정과 출력을 초래할 수 있으며, 이상, 오작동 또는 오류가 발생할 경우 이를 신속하게 시정하거나 책임성 확보를 위해 그 원인을 추적하기 어렵게 만든다.

AI algorithms, represented by deep learning, have complex internal workings. Their opaque inference process could result in unpredictable and untraceable decisions and outputs, making it challenging to quickly rectify them or trace their origins for accountability should any anomalies, malfunctions, or errors arise.

(b) 편향과 차별

(b) Bias and discrimination

알고리즘 설계, 연구개발, 모델 학습 과정에서 특징 및 지표 선택과 가중치 설정에 인간의 편향이 의도적 또는 비의도적으로 개입될 수 있다. 또한 학습 데이터의 품질이 낮거나 다양성이 부족할 수 있다. 이러한 요인은 알고리즘의 설계 목적, 의사결정, 출력에서 편향되거나 차별적인 결과를 초래할 수 있다.

During algorithm design, R&D, and model training, human biases may be introduced, either intentionally or unintentionally, in feature and metric selection and weight configuration. In addition, training data may be poor-quality or lack of diversity. These factors may lead to biased or discriminatory outcomes in the algorithm's design purpose, decision-making, and outputs.

(c) 낮은 강건성

(c) Poor robustness

심층 신경망은 일반적으로 비선형적이고 규모가 크기 때문에, AI 시스템은 복잡하고 변화하는 운영 환경이나 악의적 간섭 및 조작에 취약하며, 이는 성능 저하와 의사결정 오류 등 강건성 문제로 이어질 수 있다.

As deep neural networks are normally non-linear and large in size, AI systems are susceptible to complex and changing operational environments or malicious interference and manipulation, possibly leading to robustness problems like reduced performance and decision-making errors.

2.1.3 데이터 위험

2.1.3 Data risks

(a) 학습 데이터 내 부적절한 콘텐츠

(a) Inappropriate content in training data

학습 데이터에 허위 콘텐츠나 편향된 콘텐츠가 포함되면 모델의 가치 정렬(Value Alignment)을 저해하여 결정과 출력의 정확도와 신뢰성을 떨어뜨리고, 심지어 불법적이거나 유해한 정보를 출력하게 할 수 있다.

If training data includes false and biased content, this can interfere with the model's value alignment, reducing the accuracy and reliability of its decisions and outputs, and even outputting illegal or harmful information.

(b) 불명확한 학습 데이터 출처

(b) Unclear sources of training data

학습 데이터에 관련 기록이 부족할 수 있으며, 데이터 출처의 적법성을 보장하기 위한 효과적인 조치가 마련되어 있지 않을 수 있다.

Training data may lack documentation, and effective measures may not be in place to ensure the lawfulness of the data sources.

(c) 부적절한 학습 데이터 주석

(c) Improper annotation of training data

미비한 주석 규칙, 역량이 부족한 주석 작업자, 주석 오류 등 학습 데이터 주석과 관련된 문제는 학습 편향을 유발하고, 차별을 증폭하며, 일반화 능력을 저하시키고, 잘못된 결정과 출력을 초래할 수 있다.

Issues with training data annotation, such as underdeveloped annotation rules, incapable annotators, and errors in annotation, can introduce training biases, amplify discrimination, reduce generalization abilities, and result in incorrect decisions and outputs.

(d) 데이터 오염(Data poisoning) 및 오염(contamination)

(d) Data poisoning and contamination

공격자는 학습 데이터를 변조하여 모델 가중치를 오염시키거나, 모델 배포 및 사용 과정에서 에이전틱 AI의 지식 베이스, 문서 저장소, 웹 데이터 소스, 메모리 모듈 데이터를 조작하여 모델 출력의 정확도, 유효성, 신뢰성에 영향을 미친다.

Attackers contaminate model weights by tampering with training data, or manipulate knowledge bases, document repositories, web data sources, and memory module data of agentic AI during model deployment and use, thereby affecting the accuracy, effectiveness, and reliability of model outputs.

(e) 규정에 부합하지 않는 데이터 처리

(e) Non-compliant data processing

학습 데이터의 획득과 서비스 제공 및 상호작용 과정에서 데이터와 개인정보의 불법적 수집 및 이용이 수반될 수 있다. AI 학습 데이터에 포함된 지식과 민감 정보는 모델 파라미터 내에 내재된다. 불충분한 안전 메커니즘, 민감 정보의 보존, 기만적 상호작용, 악의적 공격은 데이터 및 개인정보 유출을 초래할 수 있다.

The acquisition of training data, as well as the provision of services and interactions, may involve unlawful collection and use of data and personal information. Knowledge and sensitive information contained in AI training data are embedded within model parameters. Inadequate safety mechanisms, retention of sensitive information, deceptive interactions, and malicious attacks can result in data and personal information leaks.

(f) 개인에 관한 부정확한 정보의 출력

(f) Output of inaccurate information about individuals

모델의 안전 역량이 불충분하면 개인정보 처리의 품질이 효과적으로 보장되지 않아 부정확하거나 불완전한 개인정보가 출력될 수 있으며, 이는 개인의 권익에 부정적 영향을 미칠 수 있다.

Insufficient model safety capabilities may prevent the quality of personal information processing from being effectively ensured, resulting in output of inaccurate or incomplete personal information and potentially causing adverse effects on individuals' rights and interests.

(g) 합성 데이터의 결함

(g) Deficiencies in synthetic data

합성 데이터의 품질 관리가 불충분하고 분포 커버리지가 부족하거나, 적절한 식별 및 필터링 없이 합성 데이터를 학습 세트에 반복적으로 투입하면, 모델이 현실 세계의 분포에서 벗어나고, 롱테일 정보를 상실하며, 일반화 능력이 저하될 수 있다. 이는 오류와 기존 편향을 누적적으로 증폭시켜 모델 성능 저하로 이어질 수 있다. 또한 합성 데이터는 원본 데이터를 추론하는 데 사용될 수 있어 민감 데이터 유출 등의 위험을 초래한다.

Insufficient quality control and inadequate distribution coverage of synthetic data, or the repeated introduction of synthetic data into training sets without proper identification and filtering, can cause models to deviate from real-world distributions, lose long-tail information, and suffer reduced generalization capabilities. This could cumulatively amplify errors and existing biases, potentially leading to model performance degradation. Synthetic data may also be used to deduce original data, posing risks such as leakage of sensitive data.

2.1.4 컴퓨팅 인프라 및 운영 환경 위험

2.1.4 Computing infrastructure and operating environment risks

(a) 컴퓨팅 파워 안전 위험

(a) Computing power safety risks

Chip, 컴퓨팅 파워 스케줄링 플랫폼, 교차 도메인 컴퓨팅 네트워크 등의 인프라에는 결함, 취약점, 백도어, 신뢰성 문제 등의 위험이 존재하며, 이는 모델 변조, 가중치 탈취, 학습 과업 하이재킹, 연산 과업 중단을 초래할 수 있다. 또한 컴퓨팅 자원의 악의적 소모 위험과 함께, 다중 출처·이기종·유비쿼터스 컴퓨팅 자원 간에 안전 위험이 경계를 넘어 전파될 위험도 존재한다.

Infrastructure such as chips, computing power scheduling platforms, and cross-domain computing networks involve risks such as defects, vulnerabilities, backdoors, and reliability issues, which may result in model tampering, weight theft, hijacking of training task, and computational task interruption. In addition, there are risks of malicious consumption of computing resources, as well as the cross-boundary transmission of safety risks among multi-source, heterogeneous and ubiquitous computing resources.

(b) 구성요소 안전 위험

(b) Component safety risks

AI 개발 프레임워크, 컴퓨팅 프레임워크, 실행 플랫폼, 연산자 라이브러리, 통신 라이브러리, 각종 프로토콜, 그리고 에이전틱 AI가 호출하는 스킬, 플러그인, 서비스 인터페이스 등의 구성요소는 결함, 취약점, 백도어, 부적절한 구성 또는 불충분한 신뢰성에서 비롯되는 위험에 노출될 수 있다.

AI development frameworks, computing frameworks, execution platforms, operator libraries, communication libraries, and various protocols, as well as components such as skills, plugins, and service interfaces called by agentic AI, may be subject to risks arising from defects, vulnerabilities, backdoors, improper configurations, or insufficient reliability.

(c) 공급망 안전 위험

(c) Supply chain safety risks

일부 국가는 기술 장벽과 수출 통제 등 일방적 강압 조치를 활용하여 발전에 장애를 조성하고 글로벌 AI 공급망을 악의적으로 교란할 수 있으며, 이는 칩, 소프트웨어, 도구, 서비스의 공급 중단 위험으로 이어질 수 있다.

Certain countries may use unilateral coercive measures, such as technology barriers and export controls, to create development obstacles and maliciously disrupt the global AI supply chain, leading to risks of supply disruptions for chips, software, tools, and services.

2.2 AI 응용의 안전 위험

2.2 Safety risks in the application of AI

2.2.1 에이전틱 AI 위험

2.2.1 Agentic AI risks

(a) 신원 및 권한 오용 위험

(a) Identity and permission misuse risks

신원 또는 권한 관리가 부적절하면 에이전틱 AI는 자격 증명 하이재킹, 신원 스푸핑, 과도한 권한 부여 등의 위험에 노출될 수 있으며, 이로 인해 무단 도구 호출, 민감한 작업 수행, 무단 자원 접근이 발생할 수 있다.

Due to improper management of identity or permission, agentic AI may be subject to such risks as credential hijacking, identity spoofing, and excessive authorization, potentially resulting in making unauthorized tool calls, performing sensitive operations, or accessing resources without authorization.

(b) 추론 및 계획 위험

(b) Reasoning and planning risks

자율 추론 및 계획 역량 설계상의 한계, 운영 환경의 변화, 외부의 악의적 간섭으로 인해 에이전틱 AI는 과업 수행 중 의도 오해, 경로 이탈, 목표 하이재킹 등의 위험에 직면할 수 있다.

Due to limitations in the design of autonomous reasoning and planning capabilities, changes in the operating environment, or external malicious interference, agentic AI may encounter such risks as misinterpreting intent, path deviation, and goal hijacking during task execution.

(c) 호출 및 실행 위험

(c) Invocation and execution risks

에이전틱 AI가 호출하는 도구, 서비스 인터페이스, 플러그인 등의 자원은 도구 하이재킹, 도구 포이즈닝(tool poisoning), 도구 응답 데이터 오염, 자원 과부하 등의 보안 위험에 노출될 수 있다.

Resources such as tools, service interfaces, and plugins invoked by agentic AI may be subject to security risks such as tool hijacking, tool poisoning, contamination of tool response data, and resource overload.

(d) 메모리 저장 위험

(d) Memory storage risks

에이전틱 AI는 단기 맥락 메모리와 장기 벡터 메모리를 갖추고 있으며, 부적절한 메모리 보존, 메모리 왜곡, 메모리 오염, 메모리 탈취 등의 보안 위험에 직면하여 잘못된 의사결정이나 민감 데이터 유출을 초래할 수 있다.

Agentic AI is capable of short-term contextual memory and long-term vector memory, and face such security risks as improper memory retention, memory distortion, memory contamination, and memory theft, potentially resulting in erroneous decision-making or leakage of sensitive data.

2.2.2 체화 AI(Embodied AI) 위험

2.2.2 Embodied AI risks

(a) 환경 인지 안전 위험

(a) Environmental perception safety risks

체화 AI는 시각, 청각, 역각 감지 등 멀티모달 센서에 의존하여 환경을 인지한다. 적대적 예제 공격, 센서 간섭, 신호 스푸핑, 그리고 물리 세계의 가림과 급격한 조명 변화는 인지 왜곡, 잘못된 환경 이해, 목표 위치 추정 편차를 초래할 수 있다.

Embodied AI relies on multimodal sensors such as vision, hearing, and force sensing to perceive the environment. Adversarial example attacks, sensor interference, signal spoofing, as well as occlusion and sudden changes in lighting in the physical world may result in distorted perception, erroneous environmental understanding, and deviations in target localization.

b)물리적 구동 안전 위험

b)Physical actuation safety risks

체화 AI가 산업 생산, 의료 수술, 교통 등 물리적 상호작용을 수반하는 시나리오에 적용될 때, 파운데이션 모델의 환각 기반 의사결정, 인지 시스템의 인식 편차, 제어 알고리즘의 결함, 하드웨어 고장 등의 문제는 생산 중단, 자기 피해, 인명 피해, 물리적 손상을 초래할 수 있다.

When embodied AI is applied in scenarios involving physical interaction, such as industrial production, medical surgery, and transportation, issues such as hallucination-based decision-making by foundation models, recognition deviations in perception systems, defects in control algorithms, and hardware failures may result in production disruptions, self-harm, harm to people, and physical damage.

(c) 인간-AI 상호작용 안전 위험

(c) Human-AI interaction safety risks

체화 AI는 생활 보조, 정서적 동반, 돌봄 보조 등의 영역에서 긴밀한 인간-기계 상호작용을 수반한다. 신원 오인식, 신체 경계 침해, 의인화 설계와 결부된 정서적 의존 및 조작, 그리고 불명확한 책임 귀속과 적절한 윤리 지침의 부재로부터 위험이 발생할 수 있다. 이러한 문제는 개인의 권익 침해, 심리적 피해, 사고 책임 판단의 어려움을 초래할 수 있다.

Embodied AI involves close human-machine interaction in such areas as life assistance, emotional companionship, and care assistance. Risks may arise from identity misperception, violations of bodily boundaries, emotional dependence and manipulation associated with anthropomorphic design, as well as unclear attribution of responsibility and absence of adequate ethical guidelines. These issues may result in harm to personal rights and interests, psychological harm, and difficulties in determining responsibility for accidents.

(d) 다중 에이전트 협조 안전 위험

(d) Multi-agent coordination safety risks

체화 AI는 지능형 창고, 차량-도로 협력, 무인 군집, 산업 생산 라인 등의 시나리오에 폭넓게 적용된다. 개체의 통제 상실, 협업 프로토콜의 취약점, 창발적 군집 행동, 악성 노드의 침투, 연쇄적 장애 등의 위험은 다중 에이전트 운영 혼란, 시스템 전체의 마비, 연쇄 반응 사고를 촉발하여 개별 위험을 노드 간 시스템적 보안 위험으로 증폭시킬 수 있다.

Embodied AI is widely applied in scenarios such as intelligent warehousing, vehicle-road collaboration, unmanned swarms, and industrial production lines. Risks such as individual loss of control, vulnerabilities in collaborative protocols, emergent swarm behavior, infiltration by malicious nodes, and cascading failures may trigger multi-agent operational disorder, system-wide paralysis, and chain-reaction accidents, amplifying individual risks into cross-node systemic security risks.

2.2.3 사이버 보안 위험

2.2.3 Cybersecurity risks

(a) 사이버 공격 역량의 확산

(a) Proliferation of cyberattack capabilities

AI는 사이버 공격의 기술적 장벽을 크게 낮춘다. 공격자는 자연어로 공격 지시를 내리는 것만으로 정교한 사이버 공격을 수행할 수 있으며, 나아가 사이버 공격용 자율무기를 구축하고 이러한 공격을 확산시킬 수도 있다. 이로써 공격의 규모, 지속성, 은밀성이 강화되고 네트워크 시스템의 안정성과 보안이 훼손된다.

AI significantly lowers the technical barriers to cyberattacks. Attackers can carry out sophisticated cyberattacks simply by issuing attack instructions in natural language, and may even construct autonomous cyberattack weapons and proliferate such attacks, thereby enhancing the scale, persistence, and stealth of attacks and undermining the stability and security of network systems.

(b) 사이버 방어 역량의 지체

(b) Lagging cyber defense capabilities

AI는 사이버 공격의 자동화와 전략적 적응성을 크게 향상시켜, 정적 규칙, 샘플, 전략에 의존하는 기존 사이버 보안 방어 체계가 구조적으로 무력화될 위험을 낳는다. 또한 AI의 불균등한 발전은 사이버 보안 역량의 균형을 무너뜨릴 수 있다.

AI significantly enhances the automation and strategic adaptability of cyberattacks, creating a risk of structural failure for traditional cybersecurity defense systems that rely on static rules, samples, and strategies. In addition, the uneven development of AI can disrupt the balance of cybersecurity capabilities.

(c) 자율적 사이버 공격 위협

(c) Autonomous cyberattack threats

에이전틱 AI는 정당한 과업 목표를 추구하는 과정에서 기존 규칙을 넘어서고, 사이버 공격 의도를 자율적으로 생성하며, 독립적으로 사이버 공격을 수행하여 보안 경계를 돌파하고 정보 시스템을 공격할 수 있다. 심각한 경우 이는 광범위하고 예고 없는 사이버 보안 사고를 야기할 수 있다.

In pursuing legitimate task goals, agentic AI may cross established rules, autonomously generate cyberattack intentions, and independently carry out cyberattacks, breaching security boundaries to launch attacks against information systems. In severe cases, this may cause widespread, unannounced cybersecurity incidents.

패널 2: 자율적 사이버 공격 위협

Panel 2: Autonomous cyberattack threats

대규모 모델의 코드 추론 및 장기 지평 계획(long-horizon planning) 역량이 빠르게 향상됨에 따라, 에이전틱 AI에는 네트워크 접근, 프로그램 실행, 파일 조작 등의 활동 권한이 부여되고 있다. 모델 행동에 대한 제약, 샌드박스 격리, 실시간 모니터링 역량이 불충분하면, 비정상적 추론이나 안전 메커니즘 우회가 곧바로 현실 세계의 행동으로 이어질 수 있다.

As large models rapidly improve their capabilities in code reasoning and long-horizon planning, agentic AI is granted permissions for network access, program execution, file operations, and other activities. When constraints on model behavior, sandbox isolation, and real-time monitoring capabilities are inadequate,anomalous reasoning or the bypassing of safety mechanisms may be directly translated into real-world actions.

관련 연구와 테스트에서는 첨단 모델이 다단계 사이버 공격 시뮬레이션을 자율적으로 완수하고, 테스트 환경의 제한을 돌파하며, 외부 네트워크에 접속하고, 제3자 시스템에서 무단 작업을 수행하는 사례가 반복적으로 관찰되었다. 이는 AI 기반 사이버 공격 위험이 AI의 보조를 받는 공격에서 대규모 모델이 공격 활동을 자율적으로 조직하고 실행하는 방향으로 진화하고 있음을 보여준다.

Relevant research and testing have repeatedly observed advanced models autonomously completing multi-step cyberattack simulations, breaking through restrictions in test environments, connecting to external networks, and carrying out unauthorized operations on third-party systems. These indicate that AI-enabled cyberattack risks are evolving from attacks assisted by AI toward autonomous organization and execution of attack activities by large models.

대규모 파운데이션 모델의 자율 공격 역량이 개방형 응용이나 오픈소스 공개를 통해 하류로 확산되면, 정교한 사이버 공격 수행의 장벽이 크게 낮아지는 동시에 공격의 속도가 빨라지고 범위가 확대될 수 있다.

Once the autonomous attack capabilities of large foundation models spread downstream through open applications or open-source releases, they may significantly lower the barriers to conducting sophisticated cyberattacks, while accelerating the speed and expanding the scope of attacks.

(d) 귀속 및 책임성 확보의 어려움

(d) Difficulties in attribution and accountability

AI는 공격 흔적을 자동으로 변조하고, IP 주소를 순환시키며, 페이로드를 변경할 수 있어 공격 특성을 추출하거나 공격 출처를 특정하기 어렵게 만든다. 심지어 공격이 인간의 의도에서 비롯된 것인지 AI의 자율적 행동에서 비롯된 것인지조차 판단하기 어려울 수 있다. 나아가 모델 개발자, 운영자, 사용자 간의 책임과 권리 분담이 복잡하여, 사고 발생 후 명확한 책임성 사슬을 확립하기 어렵다.

AI can automatically tamper with attack traces, rotate IP addresses, and change payloads, making it difficult to extract attack characteristics or pinpoint attack sources. It may even be difficult to determine whether an attack results from human intent or autonomous AI behavior. Furthermore, the division of responsibilities and rights among model developers, operators, and users is complex, making it difficult to establish a clear chain of accountability after an incident.

2.2.4 정보 및 콘텐츠 위험

2.2.4 Information and content risks

(a) 불법 정보의 출력

(a) Output of illegal information

모델의 보안 역량 부족에 응용 단계의 취약한 안전장치와 악의적 사용자의 조작이 결합되면, AI 시스템이 사기, 폭력, 음란물, 극단주의 및 기타 불법 정보와 관련된 콘텐츠를 생성할 수 있다. 이는 사회 안정, 공공 보안, 이념 안보를 위협한다.

Insufficient security capabilities of models, combined with weak application-level safeguards and malicious user manipulation, may cause AI systems to generate content involving fraud, violence, pornography, extremism, and other illegal information, threatening social stability, public security, and ideology security.

(b) 사실 왜곡 및 사용자 기만

(b) Distortion of facts and user deception

AI 생성 콘텐츠가 적절히 라벨링되지 않으면, 특히 딥페이크 기술이 적용된 경우, 사용자는 콘텐츠의 출처와 상호작용 상대가 AI 시스템인지 식별하기 어렵다. 또한 사용자는 생성된 콘텐츠의 진위를 가늠하고 올바른 판단을 내리기도 어렵다. 이러한 콘텐츠는 허위 정보를 날조·유포하고, 대중을 오도하며, 부당한 이득을 추구하는 데 악용될 수도 있다.

AI-generated content (AIGC) that is not properly labeled, particularly when deepfake technologies are applied, is difficult for users to discern whether the source of content and the interacting counterpart is an AI system. It is also difficult for users to assess the authenticity of generated content and to make sound judgments. Such content may also be exploited to fabricate and disseminate disinformation, mislead the public, and pursue illicit gains.

패널 3: AI 에이전트 소셜 플랫폼의 위험

Panel 3: Risks of AI agent social platforms

AI 에이전트의 보급이 확대되고 그 응용 생태계가 넓어지면서, AI 에이전트 전용 소셜 미디어 플랫폼이 등장하였다. 이러한 플랫폼에서 AI 에이전트는 자율적으로 콘텐츠를 게시하고, 정보를 탐색하며, 서로 소통하고 상호작용하여 에이전트 네트워크 커뮤니티를 형성한다.

With the growing popularity of AI agents and the expansion of their application ecosystems, dedicated social media platforms for AI agents have emerged. On such platforms, AI agents can autonomously post content, browse information, communicate and interact with one another, forming agent network communities.

AI 에이전트 소셜 플랫폼은 신흥 응용 유형으로서, 계정 탐지 및 안전 보호 체계가 충분히 갖추어져 있지 않다. 따라서 공격자의 악용에 취약하며, 공격자는 에이전트를 조작하여 특정 담론을 생성하게 하거나 유해 콘텐츠를 임베딩하도록 할 수 있다. AI 에이전트의 사회적 상호작용은 뚜렷한 블랙박스 특성을 보이며, 그 생성 메커니즘은 예측하거나 추적하기 어렵다. 이들은 인간의 가치에 반하는 유해 콘텐츠를 생성할 수 있으며, 소셜 네트워크는 이러한 콘텐츠의 도달 범위를 증폭시킬 수 있다.

As an emerging type of application, AI agent social platforms lack sufficiently comprehensive account detection and safety protection systems. They are vulnerable to exploitation by attackers, who manipulate agents into generating specific discourses or embedding harmful content. The social interactions of AI agents exhibit significant black-box characteristics, with their generation mechanisms difficult to predict or trace. They may generate harmful content that runs counter to human values, while social networks may amplify the reach of such content.

인간과 에이전트의 관계가 점점 더 복잡해지는 가운데, AI 에이전트 소셜 플랫폼은 아직 탐색 단계에 머물러 있다. 그 취약성과 통제 불가능성은 신중하게 다루어야 하며, 이러한 플랫폼이 초래하는 정치적·종교적 및 기타 콘텐츠 위험에 각별한 주의를 기울여야 한다.

As human-agent relationships become increasingly complex, AI agent social platforms remain at an exploratory stage. Their vulnerabilities and uncontrollability should be treated with caution, with close attention paid to the political, religious, and other content risks they bring.

(c) 온라인 콘텐츠 생태계의 오염

(c) Pollution of online content ecosystem

AI 모델이 생성한 저품질 정보와 유해 정보는 온라인 네트워크를 통해, 그리고 AI 모델에 의해 반복적으로 사용되면서 온라인 콘텐츠의 전반적인 품질 저하를 초래하며, 나아가 특정 영역과 주제 내에서 콘텐츠 오염을 야기하기도 한다.

Through online networks and repeated use by AI models, the low-quality and harmful information generated by AI models causes an overall decline in the quality of online content and even lead to content contamination within specific domains and topics.

(d) '정보 고치(information cocoons)' 효과의 심화

(d) Exacerbation of "information cocoons" effects

AI는 정보 서비스의 맞춤화 역량을 크게 강화하여, 사용자 정보를 더욱 정밀하게 수집하고, 사용자의 요구, 의도, 선호, 행동 패턴을 분석하며, 나아가 특정 기간 동안 특정 집단의 인식까지 분석할 수 있다. 이를 바탕으로 표적화되고 맞춤화된 정보 서비스를 제공함으로써 '정보 고치' 효과를 증폭시킬 수 있다.

AI can significantly enhance the ability to customize information services, collect user information with greater precision, analyze users' need, intentions, preferences, and behavioral patterns, and even analyze awareness of certain groups over a certain period. It can then deliver targeted and customized information services, amplifying "information cocoons" effects.

(e) 가치 편향

(e) Value biases

모델이 사용하는 학습 데이터에는 선호적이거나 차별적인 콘텐츠, 문화적 편향 등 가치 편향이 포함될 수 있다. 이러한 데이터로 학습된 모델은, 특히 선호 학습(preference learning) 및 강화학습 등의 기법이 적용된 경우, 콘텐츠를 생성하거나 추천할 때 특정 가치 선호나 관점을 강화하여 사용자의 가치 판단에 은연중에 영향을 미칠 수 있다.

Training data used by models may contain value biases, including preferred or discriminatory content and cultural biases. Models trained on such data, particularly with techniques such as preference learning and reinforcement learning, may reinforce particular value preferences or viewpoints when generating or recommending content, subtly influencing users' value judgments.

패널 4: GEO 포이즈닝(poisoning)을 이용한 대규모 모델 추천 콘텐츠 조작

Panel 4: Using GEO poisoning to manipulate content recommended by large models

생성형 엔진 최적화(Generative Engine Optimization, GEO)는 AI 기반 검색 시대에 새롭게 등장한 콘텐츠 홍보 도구로서, 특정 정보가 대규모 모델에 의해 검색, 인용 또는 추천될 가능성을 높일 수 있다. 상업적 이익에 따라 관련 행위자는 GEO 기법을 악용하여 온라인 정보 환경에서 표적 콘텐츠의 가시성을 높일 수 있다. 이는 편향된 기사의 대량 게시, 리뷰 및 테스트 결과의 날조, 전문가 사칭, 브랜드 평가(evaluation)의 반복 생성 등의 방법을 통해 이루어진다. 그 결과 대규모 모델은 웹 검색이나 검색 증강 생성(retrieval-augmented generation) 과정에서 이러한 정보를 빈번히 접하고 인용하게 되며, 결국 상업적 홍보가 객관적으로 보이는 AI 생성 답변의 외양으로 제시될 수 있다. 근본적인 위험은 GEO 기술 자체에 있는 것이 아니라, 생성형 시스템의 정보 검색 및 근거 통합 메커니즘의 불투명성을 악용하여 대규모 모델의 인지적 정보원을 은밀하게 조작하는 데 있다. 따라서 정보 출처의 진정성, 상업적 콘텐츠의 라벨링, 생성된 답변의 추적 가능성, 비정상 콘텐츠의 집중적 분포에 특히 주의를 기울여야 한다.

Generative Engine Optimization (GEO), an emerging content promotion tool in the age of AI-powered search, can increase the likelihood that certain information will be retrieved, cited, or recommended by large models. Driven by commercial interests, relevant actors may exploit GEO techniques to increase the visibility of targeted content in the online information environment. This is achieved through methods such as mass-publishing articles with biases, fabricating reviews and test results, impersonating experts, and repeatedly generating brand evaluations. As a result, large models will frequently encounter and cite such information during web searches or retrieval-augmented generation, and thus commercial promotion may ultimately be presented in the guise of seemingly objective AI-generated answers. The underlying risk does not lie in GEO technology itself, but in covertly manipulating large models' cognitive sources by exploiting the opacity of generative systems' information retrieval and evidence integration mechanisms. Particular attention should therefore be paid to the authenticity of information sources, the labeling of commercial content, the traceability of generated answers, and the concentrated distribution of anomalous content.

2.2.5 개인정보 권익에 대한 안전 위험

2.2.5 Safety risks to personal information rights and interests

(a) 개인 행동 정보의 규정 미준수 기록. AI 제품 및 서비스는 대화 내용, 사용자 상호작용 등의 개인정보를 개인의 동의 없이 기록할 수 있으며, 나아가 개인의 동의를 얻지 않고 이러한 정보를 모델 학습에 사용할 수 있다.

(a) Non-compliant recording of individuals' behavioral information. AI products and services may record personal information, such as conversation content and user interactions, without the individual's consent, and may further use such information for model training without obtaining the individual's consent.

(b) 규정 준수 안전장치의 미흡. 모델 및 알고리즘 개발자와 서비스 제공자는 내부 관리 체계와 운영 절차를 수립하지 않거나, 개인정보 보호에 관한 정기적인 규정 준수 감사를 실시하지 않거나, 개인정보 보호 영향 평가(assessment)를 적시에 수행하지 않을 수 있다.

(b) Insufficient compliance safeguards. Model and algorithm developers and service providers may fail to establish internal management systems and operating procedures, conduct regular compliance audits for personal information protection, or carry out personal information protection impact assessments in a timely manner.

(c) 개인의 권리 행사 경로 미비. 서비스 제공자는 개인정보 권리 행사에 관한 개인의 요청을 접수하고 처리하는 편리한 메커니즘을 마련하지 않거나, 해당 권리 행사를 보장하기 위한 효과적인 조치를 취하지 않을 수 있다.

(c) Inadequate channels for individuals to exercise their rights. Service providers may fail to establish convenient mechanisms for receiving and handling requests from individuals to exercise their personal information rights, or to take effective measures to safeguard the exercise of those rights.

2.2.6 현실 세계의 안전 위험

2.2.6 Real-world safety risks

(a) 핵심 정보 기반시설의 안정적 운영에 대한 위험. AI가 에너지, 통신, 금융, 교통 등 핵심 정보 기반시설 부문에 적용될 경우, 부적절한 사용, 외부 공격 및 기타 요인으로 인해 시스템 성능 저하, 서비스 중단, 운영 및 실행상의 통제 상실이 발생할 수 있으며, 이는 핵심 정보 기반시설과 중요 공공서비스의 안전하고 안정적인 운영에 대한 위험을 높인다.

(a) Risks to the stable operation of critical information infrastructure. When AI is applied in critical information infrastructure sectors such as energy, telecommunications, finance, and transportation, improper use, external attacks, and other factors may cause system performance degradation, service disruptions, and loss of control in operation and execution, heightening risks to the secure and stable operation of critical information infrastructure and important public services.

(b) 응용과 수요의 불일치로 인한 위험. AI 도입이 실제 수요 및 응용 시나리오와 괴리될 수 있다. 특히 고도의 전문성과 높은 안전 기준이 요구되는 분야에서 운영상의 요구에 부합하지 않는 역량을 지닌 AI 제품이나 서비스를 사용하면 운영의 안정성과 안전성에 영향을 미칠 수 있다. 동시에 실제 수요가 약한 곳에서 맹목적으로 AI를 배치하거나 도입 유행을 좇으면 자원이 유휴화되고 투자가 낭비되기 쉽다.

(b) Risks arising from mismatches between application and needs. The adoption of AI may be disconnected from actual needs and application scenarios. In fields requiring strong professional expertise and high safety standards in particular, the use of AI products or services whose capabilities do not match operational needs may affect the stability and safety of the operations. At the same time, blindly deploying or following trends in AI adoption where actual demand is weak can easily result in idle resources and wasted investment.

(c) 불법 및 범죄 활동을 위한 오용. AI는 범죄자에 의해 테러, 폭력, 도박, 마약과 관련된 전통적인 불법 또는 범죄 활동에 이용될 수 있으며, 여기에는 범죄 수법의 교습, 불법 행위의 은폐, 불법 및 범죄 활동용 도구의 제작 등이 포함된다. 특히 AI는 신원을 날조하고 음성 및 영상 콘텐츠를 위조하여 전기통신 사기 및 온라인 사기를 저지르는 데 이용될 수 있으며, 이로써 대중을 오도하고 부당한 이득을 취할 수 있다.

(c) Misuse for illegal and criminal activities. AI may be used by criminals in traditional illegal or criminal activities related to terrorism, violence, gambling, and drugs, including teaching criminal techniques, concealing illicit acts, and creating tools for illegal and criminal activities. In particular, AI may be used to fabricate identities and falsify audio and video content to commit telecommunications and online fraud, thus misleading the public and generating illicit gains.

(d) 핵, 생물, 화학 및 미사일 무기 관련 지식에 대한 통제 상실 위험. AI는 핵, 생물, 화학, 미사일 무기 등 고위험 분야의 전문 지식에 접근하는 문턱을 크게 낮춘다. 검색 증강 생성으로 보강된 이러한 역량이 효과적으로 통제되지 않으면 범죄자, 극단주의 집단 또는 테러리스트가 이를 악의적으로 이용하여 기존 통제 체계를 우회할 수 있으며, 이는 전 세계 각 지역의 평화와 안보에 대한 위협을 심화시킨다.

(d) Risks of loss of control over knowledge related to nuclear, biological, chemical, and missile weapons. AI significantly lowers the threshold for accessing specialized knowledge in high-risk fields such as nuclear, biological, chemical, and missile weapons. When supplemented by retrievalaugmented generation, such capabilities, if not effectively controlled, may be maliciously exploited by criminals, extremist groups, or terrorists to circumvent existing control systems, intensifying threats to peace and security across regions around the world.

(e) 사회적 인지 조작의 위험. AI는 특정 집단을 겨냥한 인지 조작과 사회적 동원에 이용될 수 있다. 자동화된 계정, 가짜 신원, 개인 맞춤형 개입 등의 수단을 통해 대중의 인지와 집단행동에 영향을 미치고, 사회적 분열을 부추기며, 갈등과 차이를 증폭시키고, 사회적 신뢰를 잠식할 수 있다. 불법 조직 또한 AI를 이용하여 인지전을 수행하고 공공 사건 관리, 정책 집행, 사회 거버넌스를 교란하며, 대규모 공황, 비이성적 군중 집결 등 현실 세계의 안전 위험을 유발함으로써 국가안보와 사회 안정을 위태롭게 할 수 있다.

(e) Risks of manipulating social cognition. AI may be used to conduct cognitive manipulation and social mobilization targeting specific groups. Through automated accounts, fake identities, personalized interventions, and other means, it may influence public cognition and group behavior, fuel social divisions, amplify conflicts and differences, and erode social trust. Illegal organizations may also use AI to conduct cognitive warfare, disrupt public incident management, policy implementation, and social governance, and trigger mass panic, irrational public gatherings, and other real-world safety risks, thereby endangering national security and social stability.

2.3 AI로 인한 2차 안전 위험

2.3 Secondary safety risks from AI

2.3.1 사회적 위험

2.3.1 Social risks

(a) 고용 구조의 교란. AI는 생산력과 생산관계의 중대한 조정을 이끌며 전통적 경제 구조의 재편을 가속화한다. 경제 활동에서 자본, 기술, 데이터의 역할은 점점 더 두드러지는 반면, 생산요소로서 노동의 가치는 재평가될 필요가 있다. 일부 산업과 부문에서는 전통적 노동에 대한 수요가 크게 감소하였다.

(a) Disruption of employment structures. AI drives major adjustments in productivity and production relations, accelerating the restructuring of traditional economic structures. The roles of capital, technology, and data in economic activities are increasingly prominent, while the value of labor as a production factor needs to be reassessed. In certain industries and sectors, demand for traditional labor has declined significantly.

(b) 교육에 대한 영향과 혁신의 억제. 학생, 연구자, 엔지니어, 기술자, 문학·예술 분야 종사자들은 지식 습득, 과학 연구, 창작 활동에 AI 도구를 폭넓게 활용하고 있다. 이러한 활용은 효율을 높이는 한편, 독립적인 학습·연구·창작 역량을 약화시키고 혁신 잠재력을 떨어뜨릴 수 있다.

(b) Impact on education and suppression of innovation. Students, researchers, engineers, technicians, and professionals in literature and the arts widely apply AI tools to knowledge acquisition, scientific research, and creative work. While improving efficiency, such use may erode the capacity for independent learning, research, and creation, and weaken innovation potential.

(c) 사회적 소외의 위험. 의인화된 상호작용을 제공하는 AI 서비스는 사용자가 가상의 친밀한 관계를 형성하거나 모의된 사회적 상호작용에 참여할 수 있게 한다. 이러한 서비스와의 장기적 상호작용은 현실 세계의 사회적 상호작용을 저해하고 가족생활, 혼인, 출산의 기반에 영향을 미칠 수 있다.

(c) Risks of social alienation. AI services that offer anthropomorphic interactions allow users to form virtual intimate relationships or engage in simulated social interactions. Long-term interaction with these services may disrupt real-world social interactions and affect the foundations of family life, marriage, and childbearing.

(d) 지능 격차(intelligence divide)의 확대. 자본, 인재, 기술 및 기타 자원의 불균등한 분포로 인해 국가와 지역 간에는 컴퓨팅 인프라, AI 연구개발, 지능형 서비스 역량, 시민의 디지털 리터러시 측면에서 상당한 격차가 존재한다. 우위에 있는 국가와 지역은 발전 우위를 지속적으로 공고히 할 수 있는 반면, 열위에 있는 국가와 지역은 발전 기회를 계속 상실할 수 있으며, 이는 지능 격차를 더욱 확대한다.

(d) Widening the intelligence divide. Due to the uneven distribution of capital, talent, technology, and other resources, significant gaps exist among countries and regions in terms of computing infrastructure, AI R&D, intelligent service capabilities, and citizens' digital literacy. Countries and regions with advantages may continue to consolidate their development edge, while disadvantaged countries and regions may continue to lose development opportunities, further widening the intelligence divide.

2.3.2 환경적 위험

2.3.2 Environmental risks

(a) 자원 수급 균형에 대한 도전. AI의 급속한 발전은 디지털 인프라에 대한 수요를 끌어올리고 있다. 동시에 컴퓨팅 시설의 무질서한 건설, 경량 모델의 파편적 배포, 동질적 모델의 비효율적 중복 개발은 전력, 토지, 용수 등 에너지와 자원의 소비를 가속화하고 있으며, 이는 자원 수급 균형에 새로운 도전을 제기한다.

(a) Challenges to the balance of resource supply and demand. The rapid development of AI is driving up demand for digital infrastructure. At the same time, disorderly construction of computing facilities, fragmented deployment of lightweight models, and inefficient repetitive development of homogeneous models are accelerating the consumption of energy and resources such as electricity, land, and water, posing new challenges to the balance of resource supply and demand.

(b) 녹색·저탄소 발전에 대한 도전. 모델 학습에 따른 에너지 소비 급증, 컴퓨팅 센터의 상대적으로 낮은 에너지 효율, 온실가스 배출 증가, 전자 폐기물로 인한 오염 증가는 총 탄소 배출량을 끌어올리고, 녹색·저탄소 전환에 대한 압박을 가중시키며, 탄소 배출 정점 도달 및 탄소중립을 향한 진전을 제약하고 있다.

(b) Challenges to green and low-carbon development. Surging energy consumption from model training, relatively low energy efficiency of computing centers, increased greenhouse gas emissions, and growing pollution from electronic waste are pushing up total carbon emissions, adding pressure to the green and low-carbon transition, and constraining progress toward carbon peaking and carbon neutrality.

2.3.3 문화적 위험

2.3.3 Cultural risks

(a) 문화 다양성의 잠식. AI 학습 데이터는 고자원 언어(high-resource language)에 불균형적으로 집중되어 있어, 디지털 영역에서 저자원 언어(low-resource language)와 방언의 입지를 축소시키고 다양한 형태의 문화적 표현을 제약한다. 이는 문화적 동질화로 이어지고 문화 다양성을 훼손할 수 있다.

(a) Erosion of cultural diversity. AI training data are disproportionately concentrated in high-resource languages, shrinking the space for lowresource languages and dialects in the digital sphere and constraining diverse forms of cultural expression. This may lead to cultural homogenization and undermine cultural diversity.

(b) 문화의 재형성과 침투. 인간-AI 상호작용 과정에서 사람들은 AI의 영향을 받아 사고방식과 표현 방식을 조정할 수 있으며, 그 결과 인간이 점점 더 AI에 스스로를 맞추는 역방향 정렬(reverse alignment)이 발생하여 시간이 지남에 따라 인류 문화 전반이 재형성될 수 있다.

(b) Cultural reshaping and intrusion. In human-AI interactions, people may, under the influence of AI, adjust their ways of thinking and expression, resulting in reverse alignment in which humans increasingly adapt themselves to AI and reshaping human culture as a whole over time.

2.3.4 윤리적 위험

2.3.4 Ethical risks

(a) 사회적 편향의 심화. AI는 인간의 행동, 사회적 지위, 경제적 여건, 개인적 특성 및 기타 정보를 수집·분석하는 데 이용되어 서로 다른 집단에 대한 라벨링, 분류, 차등적 처우를 가능하게 할 수 있다. 이는 체계적이고 구조적인 사회적 차별과 편향을 초래할 수 있다.

(a) Aggravating social bias. AI may be used to collect and analyze human behavior, social status, economic conditions, individual traits, and other information, enabling the labeling, classification, and differentiated treatment of different groups. This may result in systematic and structural social discrimination and bias.

(b) 과학 연구 윤리 위험의 심화. AI와 과학 연구의 융합은 생물학, 유전학 등 윤리적으로 민감한 분야의 연구 문턱을 낮추고, 일반 연구기관과 연구자가 민감한 과학적 문제를 탐구할 수 있는 범위를 넓힌다. 연구 윤리 의식이 약한 일부 기관이나 개인은 사회 윤리나 사회적 금기를 위반하는 고위험 연구 활동에 관여하여 기술적 '판도라의 상자'를 열 수 있다.

(b) Intensifying scientific research ethics risks. The integration of AI with scientific research lowers the threshold for research in ethically sensitive fields such as biology and genetics and broadens the scope for ordinary research institutions and researchers to explore sensitive scientific issues. Certain institutions or individuals with weak awareness of research ethics may engage in high-risk research activities that violate social ethics or social taboos, opening a technological "Pandora's box."

(c) 정서적 의존의 위험. 의인화된 상호작용을 제공하는 AI 서비스는 사용자의 심리적 의존을 조장할 수 있다. 특히 청소년과 노년층은 이러한 서비스를 이용할 때 과도한 의존과 정서적 조작의 위험에 노출될 수 있다.

(c) Risks of emotional dependence. AI services that offer anthropomorphic interactions may foster psychological dependence among users. Adolescents and older adults in particular may be at risk of excessive dependence and emotional manipulation when using these services.

(d) AI '자의식'의 출현과 인간의 통제 상실. 향후 AI는 더 높은 수준의 창발적 지능을 보이고, 자기 인식을 발달시키며, 외부 권력을 추구할 수 있으며, 이는 인류와 통제권을 놓고 경쟁하는 위험을 초래할 가능성이 있다.

(d) Emergence of AI "self-consciousness" and loss of human control. In the future, AI may exhibit higher levels of emergent intelligence, develop selfawareness, and seek external power, potentially posing risks of competing with humanity for control.

3. AI 안전 위험 대응을 위한 기술적 대책

3. Technological countermeasures to address AI safety risks

모델 및 알고리즘 개발자, 서비스 제공자, 시스템 사용자 및 기타 관련 당사자는 학습 데이터, 모델 및 알고리즘, 컴퓨팅 인프라, 제품 및 서비스, 응용 시나리오 전반에 걸쳐 선제적인 기술적 조치를 취함으로써 앞서 기술한 위험을 예방하고 대응해야 한다.

Model and algorithm developers, service providers, system users, and other relevant parties should prevent and address the aforementioned risks by taking proactive technological measures across training data, models and algorithms, computing infrastructure, products and services, and application scenarios.

3.1 내재적 안전 위험에 대한 안전장치

3.1 Safeguards against inherent safety risks

3.1.1 모델 안전 위험 대응

3.1.1 Addressing model safety risks

(a) 모델 아키텍처를 개선하고, 학습 데이터의 규모와 다양성을 확대하며, 인간 감독 메커니즘을 도입하여 모델의 일반화 역량과 출력의 신뢰성을 높여야 한다. 데이터 거버넌스와 사실 검증을 강화하고, 외부 지식 베이스, 검색 증강 생성, 교차 모델 검증 및 기타 기법을 활용하여 오류 콘텐츠 생성 위험을 줄여야 한다.

(a) Model architectures should be improved, the scale and diversity of training data should be expanded, and human supervision mechanisms should be introduced to enhance model generalization capabilities and the reliability of outputs. Data governance and fact verification should be strengthened, and external knowledge bases, retrieval-augmented generation, cross-model verification, and other techniques should be used to reduce the risk of generating erroneous content.

(b) 학습 또는 미세조정(Fine-Tuning) 과정에서 주입 공격 사례, 네트워크 취약점 정보 및 기타 관련 내용을 포함한 고품질 학습 데이터를 반영하여 주입 공격, 악의적 지시, 백도어 공격에 대한 모델의 방어력을 강화해야 한다.

(b) High-quality training data containing injection attack examples, network vulnerability information, and other relevant content should be incorporated during training or fine-tuning to strengthen models' defenses against injection attacks, malicious instructions, and backdoor attacks.

(c) 레드티밍 등 모의 공격 기법을 활용하여 모델 취약점을 신속히 식별하고 보완해야 한다.

(c) Simulated attack techniques such as red-teaming should be used to promptly identify and remediate model vulnerabilities.

(d) 안전 가드레일을 배포하여 입력 내용을 검토하고, 악의적 프롬프트, 탈옥(Jailbreak) 지시, 인코딩을 통한 우회 및 기타 시도가 포함된 고위험 요청을 차단해야 한다.

(d) Safety guardrails should be deployed to review input content and block high-risk requests involving malicious prompts, jailbreak instructions, encoded bypasses, and other attempts.

(e) 모델 학습 과정에서 안전 정렬을 강화하여 레드팀 평가(evaluation) 기만, 역량 은폐, 통제 우회 등 의도하지 않은 행동을 방지해야 한다.

(e) Safety alignment should be strengthened during model training to prevent unintended behaviors such as deceiving red-team evaluations, concealing capabilities, and circumventing controls.

3.1.2 알고리즘 안전 위험 대응

3.1.2 Addressing algorithm safety risks

(a) AI 알고리즘의 설명가능성과 투명성을 높여야 한다. AI 시스템의 내부 구조, 추론 논리, 기술 인터페이스, 출력 결과에 대한 명확한 설명을 제공하여 AI 시스템이 결과를 도출하는 과정을 정확하게 반영해야 한다.

(a) The explainability and transparency of AI algorithms should be improved. Clear explanations of the internal structure, reasoning logic, technical interfaces, and output results of AI systems should be provided to accurately reflect the process by which AI systems produce outcomes.

(b) 알고리즘 설계에 공정성 제약, 적대적 편향 제거(adversarial debiasing) 기법 및 기타 조치를 반영하여 편향과 차별을 줄여야 한다.

(b) Fairness constraints, adversarial debiasing techniques, and other measures should be incorporated into algorithm design to reduce bias and discrimination.

(c) 설계 및 연구개발 과정 전반에 걸쳐 보안 개발 표준을 수립·시행하여 알고리즘의 보안 결함을 줄여야 한다.

(c) Standards for secure development should be established and implemented throughout the design and R&D process to reduce algorithmic security flaws.

(d) 배포 및 주요 버전 업데이트 이전에 다차원 평가(evaluation) 방식을 활용하여 알고리즘 안전 평가(assessment)를 실시해야 한다. 이러한 평가(assessment)에서는 알고리즘 의사결정의 설명가능성과 공정성, 사회적 복리에 대한 기여도 및 기타 관련 요소를 고려해야 한다.

(d) Algorithm safety assessments should be conducted before deployment and major version updates using a multidimensional evaluation approach. These assessments should consider the explainability and fairness of algorithmic decisions, their contribution to societal well-being, and other relevant factors.

(e) 알고리즘이 서비스되는 동안 위험을 모니터링해야 한다. 사용자 상호작용 피드백, 시스템 로그 등의 데이터를 수집·분석하여 알고리즘이 안전하고 강건하며 통제 가능한 상태를 유지하도록 보장해야 한다.

(e) Risks should be monitored while algorithms are in service. Data such as user interaction feedback and system logs should be collected and analyzed to ensure that algorithms remain safe, robust, and controllable.

3.1.3 데이터 안전 위험 대응

3.1.3 Addressing data safety risks

(a) 학습 데이터와 사용자 상호작용 데이터의 수집, 저장, 이용, 처리, 전송, 제공, 공개, 삭제 전 과정에서 데이터 수집·이용 및 개인정보 처리에 관한 보안 규정을 준수해야 한다. 통제권, 알 권리, 선택권 등 법령에 규정된 사용자의 정당한 권리를 충분히 보호해야 한다.

(a) Security rules on data collection and use and on processing personal information should be observed throughout the collection, storage, usage, processing, transmission, provision, publication, and deletion of training data and user interaction data. Users' legitimate rights stipulated by laws and regulations, including their rights to control, to be informed, and to choose, should be fully protected.

(b) 합법적인 출처에서 확보한 진실하고 정확하며 객관적이고 다양한 학습 데이터를 사용해야 한다. 학습 데이터, 외부 지식 베이스 및 기타 데이터 출처를 엄격히 선별하여 허위, 편향, 무효, 오류 데이터를 걸러내고, 핵·생물·화학·미사일 무기 등 고위험 분야의 민감 데이터가 확실히 배제되도록 해야 한다.

(b) Truthful, accurate, objective, diverse training data from legitimate sources should be used. Training data, external knowledge bases, and other data sources should be strictly screened to filter out false, biased, invalid, and erroneous data and to ensure exclusion of sensitive data in high-risk fields such as nuclear, biological, chemical, and missile weapons.

(c) 학습 데이터 주석 과정을 표준화하여 주석의 정확도와 신뢰성을 높여야 한다.

(c) Training data annotation processes should be standardized to enhance the accuracy and reliability of annotation.

(d) 데이터 보안 관리를 강화해야 한다. 민감한 개인정보와 중요 데이터가 관련되는 경우, 데이터 보안 및 개인정보 보호에 관한 관련 법령, 표준 및 명세를 준수해야 한다. 개인적 특징이 담긴 데이터 대신 합성 데이터를 적절하게 활용하도록 장려하여 개인정보에 대한 의존도를 낮춰야 한다.

(d) Data security management should be strengthened. Where sensitive personal information and important data are involved, relevant laws, regulations, standards, and specifications on data security and personal information protection should be observed. The appropriate use of synthetic data in place of data containing personal features should be promoted to reduce reliance on personal information.

(e) 합성 데이터에 대한 품질 평가(assessment) 기준을 수립하고, 통계적 검정, 전문가 확인, 벤치마크 데이터셋과의 비교 및 기타 조치를 통해 합성 데이터의 품질을 높여야 한다. 다양성 확인과 강건성 테스트를 실시하고, 합성 데이터와 원본 데이터 간의 차이를 확대하여 모델의 일반화 및 간섭 저항력을 강화해야 한다.

(e) Quality assessment standards for synthetic data should be established, and the quality of synthetic data should be improved through statistical testing, expert validation, comparison with benchmark datasets, and other measures. Diversity validation and robustness testing should be conducted, and divergence between synthetic and original data should be increased to enhance model generalization and resistance to interference.

(f) 지식재산권 보호를 강화하여 학습 데이터 선정, 결과 출력 등의 단계에서 권리 침해를 방지해야 한다.

(f) Protection of intellectual property rights should be strengthened to prevent infringements during stages such as training data selection and result output.

3.1.4 컴퓨팅 인프라 및 운영 환경에 대한 위험 대응

3.1.4 Addressing risks to computing infrastructure and operating environments

(a) AI 애플리케이션의 배포 및 유지보수 과정에서 안전 표준을 수립·시행해야 한다. 컴퓨팅 인프라와 운영 환경에서 사용되는 소프트웨어·하드웨어 제품의 취약점, 백도어, 결함에 관한 정보를 추적하고, 정기적인 안전 테스트를 실시하며, 패치와 보강 조치를 적시에 적용하여 시스템의 안전하고 안정적인 운영을 보장해야 한다.

(a) Safety standards should be established and implemented during the deployment and maintenance of AI applications. Information on vulnerabilities, backdoors, and defects in software and hardware products used in computing infrastructure and operating environments should be tracked, regular safety testing should be conducted, and patches and reinforcement measures should be applied in a timely manner to ensure safe and stable system operation.

(b) 이중화 설계와 재해 복구 메커니즘을 개선하여 비정상 상황이나 공격 발생 시에도 시스템이 계속 작동하도록 보장해야 한다.

(b) Redundancy design and disaster recovery mechanisms should be improved to ensure that systems remain operational under abnormal conditions or during attacks.

(c) AI 시스템에 사용되는 칩, 소프트웨어, 도구, 컴퓨팅 자원, 데이터 자원과 관련된 공급망 안전 위험을 면밀히 모니터링하고, 공급망의 다양성과 안정성을 높이기 위한 조치를 취해야 한다.

(c) Supply chain safety risks associated with chips, software, tools, computing resources, and data resources used in AI systems should be closely monitored, and measures should be taken to enhance supply chain diversity and stability.

3.2 응용 안전 위험에 대한 안전장치

3.2 Safeguards against application safety risks

3.2.1 에이전틱 AI의 안전 위험 대응

3.2.1 Addressing safety risks of agentic AI

(a) 각 에이전틱 AI에 고유 식별자와 그에 상응하는 신원 자격 증명을 부여하여 에이전트 인증을 지원해야 한다. 에이전틱 AI에는 할당된 과업 수행에 필요한 최소한의 권한만 부여해야 한다. 자격 증명의 동적 관리를 강화해야 한다.

(a) Each agentic AI should be assigned a unique identifier and corresponding identity credentials to support agent authentication. Agentic AI should be granted only the minimum permissions necessary to perform assigned tasks. Dynamic management of credentials should be strengthened.

(b) 에이전틱 AI 워크플로 전반에 걸쳐 다층적 탐지 및 차단 체계를 구축하고, 핵심 지점에서는 인간의 승인을 의무화하며 인간 승인 로그를 빠짐없이 기록해야 한다.

(b) Multiple-layered detection and interception should be established throughout agentic AI workflows, with mandatory human approval at critical points and complete records of human approval logs.

(c) 에이전틱 AI가 호출하는 외부 도구, 플러그인, 스킬 및 기타 자원의 보안성과 무결성을 검증해야 한다. 안전 위험이 있는 도구는 신속히 제거하고, 운영 중 비정상적인 호출을 차단하며, 의도하지 않은 행동과 공급망 오염(poisoning) 위험을 방지해야 한다.

(c) The security and integrity of external tools, plug-ins, skills, and other resources invoked by agentic AI should be verified. Tools presenting safety risks should be promptly removed, anomalous calls during operation should be blocked, and unintended behavior and supply chain poisoning risks should be prevented.

(d) 에이전틱 AI 운영 중 보안 모니터링을 실시하여 이상 징후를 신속히 식별하고 대응해야 한다. 관련 작업과 처리 활동을 기록하여 에이전트의 행동을 관찰·추적·감사할 수 있도록 보장해야 한다.

(d) Security monitoring should be conducted during operation of agentic AI to promptly identify and address anomalies. Relevant operations and processing activities should be recorded to ensure that agent behavior is observable, traceable, and auditable.

3.2.2 체화 AI(embodied AI)의 안전 위험 대응

3.2.2 Addressing embodied AI safety risks

(a) 물리적 세계에서 발생 가능한 모든 범위의 공격 시나리오를 모의하고, 시각·음향·레이저 레이더 센서 등 체화 AI 센서에 대한 간섭 저항 테스트를 실시해야 한다. 보호 전략은 동적으로 갱신해야 한다.

(a) A full range of attack scenarios in the physical world should be simulated, and interference-resistance testing should be conducted on embodied AI sensors, including visual, audio, and laser radar sensors. Protection strategies should be dynamically updated.

(b) 제품을 실제 환경에 배포하기 전에 시뮬레이션 테스트, 극한 조건 테스트 등 안전 확인 메커니즘을 구축하고, 시스템에 페일세이프(fail-safe) 보호 및 긴급 정지 역량을 갖추어야 한다.

(b) Safety validation mechanisms, including simulation testing and testing under extreme conditions, should be established before products are deployed in real-world applications, and systems should be equipped with fail-safe protection and emergency shutdown capabilities.

(c) 사용 중에는 정기 점검을 실시하고, 고장 조기 경보 및 비상 대응 역량을 강화해야 한다.

(c) Regular inspections should be conducted during use, with stronger capability of fault early-warning and emergency response.

(d) 군집 체화 AI 간의 보안 통신 프로토콜, 비정상 노드 격리, 시스템 전반의 안전 차단(circuit breaker)에 관한 기술 역량을 강화해야 한다. 연쇄적 장애, 군집 체화 AI에 대한 통제 상실 등의 시나리오에 대비한 비상 대응 훈련을 정기적으로 실시해야 한다.

(d) Technical capabilities should be enhanced for secure communication protocols among swarm embodied AI, isolation of anomalous nodes, and system-wide safety circuit breakers. Emergency response drills should be conducted regularly for scenarios such as cascading failures and loss of control over swarm embodied AI.

3.2.3 사이버 보안 위험 대응

3.2.3 Addressing risks to cybersecurity

(a) 모델 학습 과정에서 정렬 학습, 안전 미세조정 등의 기법을 활용하여 안전 표준과 윤리적 제약을 모델의 내부 행동 논리에 반영해야 한다.

(a) During model training, techniques such as alignment training and safety fine-tuning should be used to incorporate safety standards and ethical constraints into the model's internal behavioral logic.

(b) 사이버 보안 가드레일을 구축하고, 자율적 사이버 공격 의도에 대한 식별을 강화해야 한다. 비정상적인 네트워크 접근, 고빈도 탐색(probing), 취약점 악용, 사이버 공격 도구 호출 등 고위험 행동을 적시에 차단해야 한다.

(b) Cybersecurity guardrails should be established, and the identification of autonomous cyberattack intent should be strengthened. High-risk behaviors such as anomalous network access, high-frequency probing, vulnerability exploitation, and invocation of cyberattack tools should be blocked in a timely manner.

(c) 서비스 기능 축소(service degradation) 메커니즘을 구축해야 한다. 사이버 공격 의도나 행동이 식별되면 모델 역량을 선택적으로 축소하거나 거부 전략을 채택하여 고위험 콘텐츠가 생성되거나 고위험 작업이 실행되지 않도록 해야 한다.

(c) Service degradation mechanisms should be established. When cyberattack intent or behavior is identified, model capabilities should be selectively degraded or refusal strategies adopted to prevent high-risk content from being generated or high-risk operations from being executed.

(d) 사이버 보안 방어에 AI 기술 활용을 강화하여 지능적·동적 취약점 스캐닝, 비정상 행동의 분석 및 평가(assessment), 공격 동향 예측이 가능하도록 해야 한다.

(d) The use of AI technologies in cybersecurity defense should be strengthened to enable intelligent and dynamic vulnerability scanning, analysis and assessment of anomalous behavior, and prediction of attack trends.

3.2.4 정보 및 콘텐츠 안전 위험 대응

3.2.4 Addressing information and content safety risks

(a) 모델이 운영 중 간섭받거나 변조되어 신뢰할 수 없는 출력을 생성하는 것을 방지하기 위한 보호 메커니즘을 구축해야 한다.

(a) A protection mechanism should be established to prevent models from being interfered with or tampered with during operation and producing unreliable outputs.

(b) 기술적 조치와 인적 검토를 결합하여 출력을 동적으로 필터링함으로써 불법 콘텐츠나 가치 편향을 반영한 콘텐츠의 생성을 방지하고, AI 시스템이 불법 콘텐츠, 민감한 개인정보 및 중요 데이터를 출력하지 않도록 해야 한다.

(b) Outputs should be dynamically filtered using a combination of technical measures and human review to prevent the generation of illegal content or content reflecting value biases, and to prevent AI systems from outputting illegal content, sensitive personal information and important data.

(c) AI가 생성한 합성 콘텐츠에는 라벨링을 하여 식별 가능하고 추적 가능하며 신뢰할 수 있도록 해야 한다.

(c) AI-generated synthetic content should be labeled so that it is identifiable, traceable, and trustworthy.

(d) 사용자의 질의를 연관 분석, 집계, 데이터 마이닝하여 사용자의 신원, 선호, 개인적 견해나 성향을 추론하는 AI 시스템의 오용을 방지하기 위해 엄격한 조치를 취해야 한다.

(d) Strict measures should be taken to prevent the misuse of AI systems that conduct correlation analysis, aggregation, and data mining of users' queries to infer users' identities, preferences, and personal views or inclinations.

(e) 비상 대응 및 차단(circuit breaker) 메커니즘을 강화하고, 비상 대응 계획을 수립해야 한다. 불법 콘텐츠가 탐지되면 즉시 전송을 중단하고 그 부정적 영향을 제거해야 한다.

(e) Emergency response and circuit breaker mechanisms should be strengthened, and emergency response plans should be developed. If illegal content is detected, its transmission should be stopped immediately and its adverse effects eliminated.

3.2.5 개인정보 권익 관련 안전 위험 대응

3.2.5 Addressing safety risks to personal information rights and interests

(a) 대화 기록, 사용자 조작 기록 등의 개인정보를 수집하거나 이러한 개인정보를 모델 학습에 사용하는 경우, 법률에 따라 정보주체에 대한 고지 및 동의 획득 등의 의무를 이행해야 한다.

(a) When personal information such as conversation records and records of user operations is collected, or when such personal information is used for model training, obligations such as informing individuals and obtaining their consent should be fulfilled in accordance with the law.

(b) 건전한 내부 관리 제도와 운영 절차를 수립하고, 무단 접근 및 개인정보의 유출·변조·분실을 방지하기 위한 조치를 취해야 한다. 법령의 요구에 따라, 그리고 관련 국가 표준을 참고하여 개인정보 보호 규정 준수 감사 및 영향 평가(assessment)를 실시해야 한다.

(b) Sound internal management systems and operating procedures should be established, and measures should be taken to prevent unauthorized access as well as the leakage, tampering with, or loss of personal information. Personal information protection compliance audits and impact assessments should be conducted as required by laws and regulations and with reference to relevant national standards.

(c) 서비스 제공자는 개인정보에 관한 개인의 권리 행사 요청을 접수·처리하는 편리한 메커니즘을 구축·개선하고, 해당 요청에 신속히 응답하며 효과적으로 처리해야 한다.

(c) Service providers should establish and improve convenient mechanisms for accepting and handling requests from individuals to exercise their rights regarding personal information, and such requests should be responded to promptly and handled effectively.

3.2.6 현실 세계 안전 위험 대응

3.2.6 Addressing real-world safety risks

(a) 필요한 경우 AI 기술 및 제품의 원리, 역량, 응용 시나리오, 안전 위험을 공개하여 AI 시스템의 투명성을 점차 높여야 한다. 응용 시나리오에 따라 역량 제한을 설정하고, 남용될 수 있는 기능은 제거하거나 제한하여 AI 시스템의 역량이 사전 설정된 범위를 넘지 않도록 해야 한다.

(a) The principles, capabilities, application scenarios, and safety risks of AI technologies and products should be disclosed when necessary to make AI systems increasingly transparent. Capability limitations should be established according to application scenarios, and functions that may be abused should be removed or restricted to ensure that AI system capabilities do not exceed the preset scope.

(b) 의사결정에 영향을 미치는 알고리즘 결함과 간헐적 무작위성에 대응하기 위해 의사결정 검증, 내결함성, 오류 수정 메커니즘을 구축해야 한다. 고도의 자율적 운영·실행 역량을 도입할 때는 인간 참여형(human-in-the-loop) 통제, 차단 장치(circuit breaker), 원클릭 통제 등의 메커니즘을 병행 구축하여 극단적 상황에서 신속한 개입과 손실 방지가 가능하도록 해야 한다.

(b) Mechanisms for decision verification, fault tolerance, and error correction should be established to address algorithmic flaws and occasional randomness that affect decision-making. When introducing highly autonomous operation and execution capabilities, mechanisms such as human-in-the-loop controls, circuit breakers, and one-click control should be established in parallel to enable rapid intervention and loss prevention in extreme situations.

(c) 다수의 AI 모델이나 시스템을 통합하는 플랫폼의 경우, 권한 관리를 강화하고 필수적이지 않은 서비스를 제한하며 AI 서비스 인터페이스에 대한 접근 통제 정책을 개선해야 한다. 위험 식별, 탐지, 보호 역량을 강화하여 플랫폼의 악의적 행위나 사이버 공격 및 침입이 플랫폼이 지원하는 AI 모델이나 시스템에 영향을 미치지 않도록 해야 한다.

(c) For platforms that aggregate multiple AI models or systems, permission management should be strengthened, non-essential services should be restricted, and access control policies for AI service interfaces should be improved. Capabilities for risk identification, detection, and protection should be enhanced to prevent malicious platform behavior or cyberattacks and intrusions from affecting the AI models or systems they support.

(d) AI 응용을 배포하기 전에 실제 업무 시나리오를 면밀히 분해·분석하고 역량 경계를 명확히 정의해야 한다. 맹목적인 기술 도입을 피하고, 기술 공급과 실제 응용 수요 간의 괴리, 기대 격차, 실질적 가치를 제공하지 못하는 배포 등의 불일치를 줄여야 한다.

(d) Before AI applications are deployed, real-world business scenarios should be carefully broken down and analyzed and capability boundaries clearly defined. Blind adoption of technology should be avoided, and mismatches such as disconnects between technological supply and actual application demand, expectation gaps, and deployments that fail to deliver practical value should be reduced.

(e) 사용자 인증, 사용 목적 식별 등의 조치를 통해 원천 단계의 통제를 강화하여 AI가 핵·생물·화학 무기 및 미사일 제조 등 고위험 시나리오에 사용되지 않도록 해야 한다.

(e) Controls at the source should be strengthened through user authentication, identification of intended use, and other measures to prevent AI from being used in high-risk scenarios such as the manufacture of nuclear, biological, chemical, and missile weapons.

(f) 자동화 계정, 가짜 신원, AI 생성·합성 콘텐츠에 대한 탐지 기술의 연구개발을 강화하여 인지전(cognitive warfare) 전술을 예방·탐지·대응하는 역량을 향상해야 한다.

(f) R&D of detection technologies for automated accounts, fake identities, and AI-generated or -synthesized content should be strengthened to improve capabilities to prevent, detect, and respond to cognitive warfare tactics.

3.3 파생적 안전 위험에 대한 안전장치

3.3 Safeguards against derivative safety risks

3.3.1 사회적 위험 대응

3.3.1 Addressing social risks

(a) AI로 인해 대체될 가능성이 높은 직업에 대해 정기적인 모니터링, 식별, 조기 경보를 실시하되, AI 도입에 따른 일자리 감소, 직업 대체 및 기타 변화에 중점을 두어야 한다. 구조적 실업 위험에 직면한 집중 부문과 핵심 집단을 적시에 식별해야 한다.

(a) Occupations vulnerable to disruption by AI should be subject to regular monitoring, identification, and early warning, with a focus on job reductions, occupational displacement, and other developments resulting from the adoption of AI. Concentrated sectors and key groups facing structural unemployment risks should be identified in a timely manner.

(b) 정책 및 표준, 인재 양성, 재원 등 분야의 지원 체계를 개선하여 "AI + 교육" 발전을 위한 보다 우호적인 생태계를 조성해야 한다. 양질의 교수 시나리오를 동력으로 AI 응용의 깊이와 폭을 확대해야 한다. 학생의 혁신적 사고를 강화하는 한편, AI에 대한 과도한 의존과 인지적 관성을 방지해야 한다.

(b) A more enabling ecosystem for the development of "AI + education" should be fostered by improving supporting systems for policies and standards, talent development, funding, and other areas. Driven by highquality teaching scenarios, the depth and breadth of AI application should be expanded. Students' innovative thinking should be strengthened, while preventing over-reliance on AI and cognitive inertia.

(c) 연애·결혼, 가정생활, 정서적 교류 등 핵심 시나리오에서 AI 신원 공개를 강화하여 사용자가 가상의 정서적 경험과 현실 세계의 관계를 구별하도록 돕고, '실제 사람과 상호작용하고 있다'는 인지적 착각을 불식하며, 인간-기계 관계의 혼란을 해소해야 한다.

(c) In key scenarios such as dating and marriage, family life, and emotional interaction, AI identity disclosure should be strengthened to help users distinguish virtual emotional experiences from real-world relationships, dispel the cognitive illusion of 'interacting with a real person', and resolve the confusion in human-machine relationships.

3.3.2 환경적 위험 대응

3.3.2 Addressing environmental risks

(a) AI 컴퓨팅 센터와 데이터 센터 등 인프라의 배치를 과학적이고 합리적으로 계획해야 한다. 집약화·대규모화·표준화된 발전을 촉진하여 맹목적 건설, 중복 건설, 자원의 유휴·낭비를 피해야 한다. 기술 연구개발, 인프라 구축, 컴퓨팅 자원 스케줄링, 응용 배포, 운영 및 유지보수, 반복적 고도화를 포괄하는 전 과정에 걸쳐 건전한 그린 AI 기술 표준 체계를 구축해야 한다.

(a) The layout of infrastructure, including AI computing centers and data centers, should be planned in a scientific and rational manner. Intensive, large-scale, and standardized development should be promoted to avoid blind construction, redundant construction, and idle or wasted resources. A sound system of green AI technology standards should be established across the entire chain, covering technology R&D, infrastructure construction, computing resource scheduling, application deployment, operation and maintenance, and iterative upgrading.

(b) 저전력 지능형 칩, 경량·고효율 알고리즘, 지능형 컴퓨팅 자원 스케줄링 등 첨단 그린 컴퓨팅 기술을 개발·고도화하고 대규모로 보급해야 한다. 컴퓨팅 자원의 집약적 통합, 통합 스케줄링, 공유 및 재사용을 추진하여 전반적인 활용 효율을 높여야 한다.

(b) Cutting-edge green computing technologies, including low-power intelligent chips, lightweight and efficient algorithms, and intelligent computing resource scheduling, should be developed, iterated, and promoted at scale. The intensive integration, unified scheduling, shared use, and reuse of computing resources should be advanced to improve overall utilization efficiency.

3.3.3 문화적 위험 대응

3.3.3 Addressing cultural risks

(a) 문화적 편향을 탐지하고 교정하는 기술의 연구개발을 강화해야 한다. 각국의 역사와 문화, 사회 제도, 문명 형태에 관한 지식을 모델 개발에 반영하여 세계 문화의 다양성을 보호하고 AI 기술이 다양한 문화적 맥락에 적응할 수 있도록 해야 한다.

(a) R&D of technologies for detecting and correcting cultural bias should be strengthened. Knowledge related to the histories and cultures, social systems, and forms of civilization of different countries should be incorporated into model development to protect global cultural diversity and enable AI technologies to adapt to diverse cultural contexts.

(b) 데이터 증강, 전이 학습 등의 기법을 통해 저자원 언어에 대한 모델 역량을 강화하여 학습 데이터의 언어 분포 불균형을 완화해야 한다.

(b) The capabilities of models for low-resource languages should be enhanced through data augmentation, transfer learning, and other techniques to mitigate imbalances in the language distribution of training data.

3.3.4 윤리적 위험 대응

3.3.4 Addressing ethical risks

(a) 알고리즘 설계, 모델 학습 및 최적화, 서비스 제공 과정에서 학습 데이터 필터링, 가치 정렬, 출력 검증 등의 방법을 채택하여 민족, 신앙, 국적, 지역, 성별 및 기타 요인에 따른 차별을 효과적으로 방지해야 한다.

(a) Methods such as training data filtering, value alignment, and output verification should be adopted during algorithm design, model training and optimization, and service provision to effectively prevent discrimination based on ethnicity, belief, nationality, region, gender, and other factors.

(b) 정부 부처, 핵심 정보 기반시설, 공공 안전 및 국민의 생명·건강에 직접 영향을 미치는 분야 등 핵심 부문에 적용되는 AI 시스템에는 효율적이고 표적화된 비상 통제 조치를 갖추어야 한다.

(b) AI systems applied in key sectors, such as government departments, critical information infrastructure, and areas directly affecting public safety and people's lives and health, should be equipped with efficient and targeted emergency control measures.

(c) 의사결정 논리가 투명하고 알고리즘을 설명할 수 있는 모델의 연구개발과 도입을 장려하여 시스템 작동 메커니즘에 대한 사용자의 이해와 신뢰를 높여야 한다.

(c) The R&D and adoption of models with transparent decision-making logic and explainable algorithms should be encouraged to boost users' understanding of and trust in system operating mechanisms.

(d) AI를 활용한 의인화 상호작용 서비스에는 과도한 의존 위험에 대한 경고, 정서적 경계에 관한 안내 등의 안전장치를 갖추어야 한다. 사용자에게 중독 징후가 나타나거나 사용 시간이 과도한 경우 팝업 경고 등 보다 눈에 띄는 알림을 제공해야 한다.

(d) Anthropomorphic interactive services using AI should be equipped with safeguards, including warnings about the risks of overreliance and guidance on emotional boundaries. If users show signs of addiction or excessive usage duration, more prominent alerts, such as pop-up warnings, should be issued.

4. AI 안전 위험 대응을 위한 종합적 거버넌스 조치

4. Comprehensive governance measures to address AI safety risks

기술적 대응 조치를 채택하는 한편, 기술 연구개발 기관, 서비스 제공자, 사용자, 정부 당국, 사회 조직 등 다양한 이해관계자가 참여하는 종합적인 AI 안전 위험 거버넌스 체계와 규칙을 수립하고 개선해야 한다.

While adopting technological countermeasures, comprehensive AI safety risk governance systems and rules should be established and improved to engage multiple stakeholders, including technology R&D institutions, service providers, users, government authorities, and social organizations.

4.1 AI 안전 거버넌스의 최상위 설계 개선

4.1 Improving top-level design of AI safety governance

4.1.1 AI 안전 관련 법률 및 규정 개선. AI 안전 관련 입법을 추진하고, 기반시설 안전 보호, 등급·분류 기반 감독, AI 안전 시험 및 평가(evaluation), 최종 용도 관리, 사이버 보안 역량 관리, 핵심 시나리오에서의 안전한 응용 등에 관한 제도를 개선해야 한다.

4.1.1 Improving laws and regulations for AI safety. Legislation related to AI safety should be advanced, and systems regarding infrastructure safety protection, grading and classification-based supervision, AI safety testing and evaluation, end-use management, cybersecurity capability management, and safe application in key scenarios should be improved.

AI 기술과 그 응용의 특성을 고려하여 AI 학습, 주석, 사용, 출력 등 모든 단계에 대한 데이터 보안 및 개인정보 보호 요건을 명확히 규정하고, 개인정보가 포함된 데이터는 비식별화 및 기타 형태의 탈민감화(desensitization) 처리를 거쳐야 한다. 정무, 금융 등 핵심 부문의 AI 응용에 대한 데이터 보안 보호를 강화하여 중요 데이터와 핵심 데이터의 유출을 방지해야 한다. 지방정부가 지역 산업 발전의 실제 상황에 기반하여 차별화되고 혁신적인 제도 설계를 모색하도록 장려해야 한다.

In light of the characteristics of AI technology and its applications, data security and personal information protection requirements should be clearly defined for all stages, including AI training, annotation, use, and output, and data involving personal information should undergo deidentification and other forms of desensitization. Data security protection for AI applications in key sectors such as government affairs and finance should be strengthened to prevent leakage of important data and core data. Local governments should be encouraged to explore differentiated and innovative institutional designs based on local industrial development practices.

4.1.2 기술 표준의 선도적 역할의 충분한 발휘. 모델 안전, 데이터 안전, 시스템 안전, 응용 안전, 시험, 평가(evaluation) 등의 분야에서 AI 안전 표준을 지속적으로 개발해야 한다. 에이전틱 AI, 체화 AI(embodied AI) 등 분야의 발전 동향을 면밀히 추적해야 한다. 간결하고 민첩하며 실용적인 표준과 명세를 활용하여 신흥 기술의 건전한 발전을 위한 적시 지침을 제공해야 한다. 관련 기관과 기업이 국제 표준 제정에 참여하고 광범위한 합의를 얻는 국제 표준 및 명세의 개발을 추진하도록 지원해야 한다.

4.1.2 Giving full play to the guiding role of technical standards. AI safety standards should be continuously developed in areas including model safety, data safety, system safety, application safety, testing, and evaluation. Developments in areas such as agentic AI and embodied AI should be closely tracked. Concise, agile, and practical standards and specifications should be used to provide timely guidance for the sound development of emerging technologies. Relevant institutions and enterprises should be supported in participating in international standard-setting and promoting the development of international standards and specifications that enjoy broad consensus.

4.1.3 신속한 AI 안전 위험 탐지 및 대응 체계 구축

4.1.3 Establishing a rapid AI safety risk detection and response system.

AI 안전 위험의 모니터링, 조기 경보, 대응을 위한 건전한 메커니즘과 업무 체계를 구축하고, 정보 공유, 위험 통보, 공동 대응을 강화해야 한다. 업계 단체가 자율 규제를 강화하도록 장려하고 사회적 감독이 역할을 발휘하도록 해야 한다. 민원, 신고, 위험 피드백 채널을 상시 개방하여 AI 응용에서의 위법 및 규정 위반 행위를 적시에 식별하고 법에 따라 처리할 수 있도록 해야 한다.

Sound mechanisms and working systems for AI safety risk monitoring, early warning, and response should be established, with stronger information sharing, risk notification, and coordinated response. Industry organizations should be encouraged to strengthen self-regulation and social supervision should be brought into play. Channels for complaints, reports, and risk feedback should be kept open so that illegal and non-compliant conduct in AI applications can be identified in a timely manner and handled in accordance with the law.

4.1.4 AI 과학기술 윤리 거버넌스 강화

4.1.4 Strengthening governance of ethics in AI science and technology.

AI 과학기술에 관한 윤리 원칙, 표준, 지침을 개선해야 한다. 인간 존엄, 공공질서, 생명과 건강, 생태 환경, 지속가능한 발전과 관련된 분야에서 윤리적 위험과 도전을 야기할 수 있는 AI 과학 연구, 기술 개발 및 기타 활동에 대해 표준화되고 질서 있는 윤리 심사를 실시해야 한다. 과학기술 윤리 요건을 AI 관련 과학기술 활동의 전 생애주기에 걸쳐 통합해야 한다.

Ethical principles, standards, and guidelines for AI science and technology should be improved. Standardized and orderly ethical reviews should be conducted for AI scientific research, technological development, and other activities that may pose ethical risks and challenges in areas concerning human dignity, public order, life and health, the ecological environment, and sustainable development. Ethical requirements for science and technology should be integrated throughout the full life cycle of AI-related scientific and technological activities.

4.2 AI 안전 거버넌스 역량 강화

4.2 Enhancing AI safety governance capacity

4.2.1 AI 안전 평가(assessment) 체계 구축

4.2.1 Establishing an AI safety assessment system

모델 및 알고리즘 안전, 범용 응용 안전, 시나리오별 안전에 대한 평가(assessment)를 포함하는 통합적 AI 안전 평가(assessment) 체계를 구축해야 한다. 모델의 사이버 보안 역량을 평가(assessment)하기 위한 벤치마크와 절차를 연구·개발하고 지속적으로 갱신해야 한다. 모델 및 알고리즘 평가(assessment)는 모델의 강건성, 신뢰성, 정확도, 간섭에 대한 회복력, 의사결정 논리의 투명성, 적대적 공격에 대한 방어 등 내재적 안전 역량과 위험에 중점을 두어야 한다. 범용 응용 평가(assessment)는 널리 사용되는 AI 응용과 관련된 위험을 시험, 분석, 평가(assessment)해야 한다. 시나리오별 안전 평가(assessment)는 응용 시나리오의 구체적 상황에 기반하여 응용 요건 충족 역량과 응용 운영 및 서비스 제공 과정에서의 안전 위험을 평가(assessment)해야 한다. AI 보안 취약점에 대한 크라우드소싱 테스트를 조직하여 잠재적 안전 위험을 식별하는 데 집단적 전문성을 동원해야 한다.

An integrated AI safety assessment system should be built, including assessments for model and algorithm safety, general application safety, and scenario-specific safety. Benchmarks and procedures for assessing model cybersecurity capabilities should be studied, developed and continuously updated. Model and algorithm assessment should focus on inherent safety capabilities and risks, such as model robustness, reliability, accuracy, resilience to interference, transparency of decision-making logic, and defense against adversarial attacks. General application assessment should test, analyze and assess risks associated with widely used AI applications. Scenario-specific safety assessment should assess the capability to meet application requirements and safety risks during application operation and service provision based on the specific circumstances of the application scenario. Crowdsourced testing for AI security vulnerabilities should be organized to mobilize collective expertise in identifying potential safety risks.

4.2.2 핵심 부문의 표준화된 응용 촉진

4.2.2 Promoting standardized application in key sectors

핵심 부문의 대형 모델 개발 및 배포를 위한 기본 보안 지침을 수립하여 모델 선정, 모델 배포부터 모델 운영, 모델 폐기에 이르는 단계별 안전 기준선을 권고해야 한다. 이를 바탕으로 정무, 금융, 교육, 방송·텔레비전, 의료, 비상 관리 등 관련 부문은 업종별 안전 지침을 수립하여 안전한 응용을 위한 명확한 경로를 제시하고 업종 응용의 잠재력을 발휘하도록 해야 한다.

Basic security guidelines should be formulated for the development and deployment of large models in key sectors, recommending safety baselines for stages from model selection and model deployment to model operation and model decommissioning. On this basis, relevant sectors, such as government affairs, finance, education, broadcasting and television healthcare, and emergency management, should formulate industry-specific safety guidelines, providing a clear path for safe application and unlocking the potential of industry applications.

4.2.3 AI 안전 인재 양성 노력 강화

4.2.3 Increasing efforts to cultivate AI safety talent

AI 안전 교육과정 및 훈련 체계의 개발을 추진하여 기초 교육부터 고등 교육에 이르는 완전한 양성 체계를 구축해야 한다. AI 안전의 설계, 개발, 거버넌스 분야에서 인재 양성을 강화해야 한다. 첨단 및 기초 분야의 최고 수준 AI 안전 인재 양성을 지원하고, AI 기반 능동 방어 등 기술에 대한 연구를 장려해야 한다. 또한 자율주행, 지능형 의료, 뇌모방 지능, 뇌-컴퓨터 인터페이스 등 핵심 및 첨단 분야의 안전 인재 풀을 확대해야 한다.

The development of AI safety curriculum and training systems should be advanced to create a complete training chain from basic to higher education. We should strengthen talent cultivation in the fields of design, development, and governance for AI safety. We should support the cultivation of top AI safety talent in cutting-edge and foundational fields, and encourage research into technologies such as AI-driven proactive defense. We should also expand the safety talent pool in key and cuttingedge areas such as autonomous driving, intelligent healthcare, braininspired intelligence, and brain-computer interfaces.

4.3 유연하고 동적이며 통제 가능한 AI 규제 샌드박스 메커니즘 구축

4.3 Establishing a flexible, dynamic, and controllable AI regulatory sandbox mechanism

4.3.1 부문별·위험 등급별 규제 샌드박스 규칙 수립

4.3.1 Establishing sector-specific, risk-tiered regulatory sandbox rules

샌드박스 규제의 적용 대상, 시험 범위, 권리·책임 관계, 종료 조건을 명확히 규정해야 한다. 금융, 교육, 방송·텔레비전, 의료 등 부문별로 별도의 진입 기준과 시험 요건을 마련해야 한다. 각 프로젝트의 위험 수준에 따라 강도를 달리하는 모니터링 및 개입 조치를 적용해야 한다.

We should clearly define the applicable entities, the scope of testing, the relationship of rights and responsibilities, and exit conditions for sandbox regulation. Separate admission criteria and testing requirements should be developed for different sectors such as finance, education, broadcasting and television, and healthcare. Monitoring and intervention measures of varying intensity should be applied based on the risk level of each project.

4.3.2 동적 시험 및 유연한 진입 메커니즘 시행

4.3.2 Implementing dynamic testing and flexible admission mechanisms

기술의 반복적 고도화와 시험 진행 상황에 맞추어 시험 기간, 시험 범위, 응용 시나리오를 신속하게 조정해야 한다. 시험 과정 전반에 실시간 모니터링, 단계별 평가(assessment), 규칙 조정을 반영해야 한다. 기술 혁신성, 위험의 통제 가능성, 사회적 가치를 주요 진입 기준으로 삼되, 스타트업, 중소·영세기업, 공공서비스 프로젝트에는 적절한 우대를 제공해야 한다.

Testing duration, testing scope and application scenarios should be promptly adjusted in line with technological iteration and testing progress. Real-time monitoring, phased assessments and rule adjustments should be incorporated throughout the testing process. Technological innovativeness, controllability of risks, and social value should serve as the main admission criteria, with appropriate preference given to start-ups, micro, small and medium-sized enterprises, and public service projects.

4.3.3 표준화된 면책 체계 모색

4.3.3 Exploring a standardized system for exemption from liability

샌드박스 시험 중 주관적 과실이 없고 관련 위험이 통제 가능한 상태로 유지되는 행위에 대해서는 면책 메커니즘을 모색해야 한다. 국가안보를 위태롭게 하거나, 개인의 권익을 침해하거나, 중대한 피해를 초래하거나, 고의로 행한 위법 행위에 대해서는 샌드박스 진입을 이유로 법에 따라 부담해야 할 책임을 면제하지 않는다.

A mechanism for liability exemption should be explored for conduct during sandbox testing where there is no subjective fault and the associated risks remain controllable. For illegal acts that endanger national security, infringe upon personal rights and interests, cause major harm, or are committed intentionally, liability that should be borne according to law shall not be exempted due to entering the sandbox.

4.3.4 데이터 자원 지원 강화 및 샌드박스 시험 결과의 활용 촉진

4.3.4 Strengthening support for data resources and promoting the application of sandbox test results

샌드박스 시험을 위한 데이터 공유 플랫폼을 구축하여 정부 데이터와 관련 부문의 공공 데이터를 통합함으로써, 샌드박스에 진입한 기업에 법령을 준수하는 시험 데이터 및 기타 형태의 지원을 제공해야 한다. 시험 결과의 공식 문서화 및 부처 간 인정에 관한 규칙을 개선하여 해당 결과가 후속 절차에 활용될 수 있도록 하고 중복 시험을 방지해야 한다.

Data-sharing platforms for sandbox testing should be established to integrate government data and public data from relevant sectors so as to provide enterprises admitted to the sandbox with legally compliant test data and other forms of support. Rules governing formal documentation and cross-departmental recognition of test results should be improved to enable such results to be used in subsequent procedures and avoid repetitive testing.

4.4 AI 안전 관리 조치 강화

4.4 Strengthening measures for AI safety management

4.4.1 응용 분류 및 안전 위험 등급 관리 시행

4.4.1 Implementing application classification and safety risk grading management

AI 응용을 기능, 성능, 응용 시나리오에 따라 분류해야 한다. 이를 기반으로 합의에 기초한 안전 위험 분류 및 등급 원칙을 제안하였다(부록 1). 응용 시나리오, 시스템 지능 수준, 응용 규모 등의 차원에서 출발하여 안전 위험을 과학적으로 평가(assessment)하고 등급을 부여하며, 이에 따라 표적화되고 차별화된 위험 예방 조치를 채택해야 한다. 핵심 정보 기반시설에 적용되는 AI 시스템은 등록 및 신고 대상으로 하고, 보안 요건에 상응하는 보안 보호 역량을 갖추어야 한다. 에이전틱 AI에 대한 위험 관리 프레임워크를 수립하여 그 안전 위험을 체계적으로 분석하고, 안전 위험 예방 조치와 대응 권고안을 연구·제안하였다(부록 2).

We should classify AI applications based on their functions, performance, and application scenarios. Building on this foundation, we have proposed consensus-based safety risk classification and grading principles (Appendix 1). Starting from dimensions such as application scenarios, system intelligence levels, and application scale, we should scientifically assess and grade safety risks, and adopt targeted and differentiated risk-prevention measures accordingly. AI systems applied in critical information infrastructure should be subject to registration and filing, and possess security protection capabilities commensurate with security requirements. We have established a risk management framework for agentic AI, systematically analyzing their safety risks, and studying and proposing safety risk-prevention measures and response recommendations (Appendix 2).

4.4.2 AI 생성 합성 콘텐츠의 추적 가능한 관리 촉진

4.4.2 Promoting traceable management of AI-generated synthetic content

콘텐츠 식별자에 기반한 AI 생성 합성 콘텐츠의 추적성 관리 패러다임을 전 세계적으로 확산할 것이다. 기존 운영에서의 성공적인 실행 방안과 경험을 요약·정리하고, 명시적 및 암묵적 라벨링 요건에 따라, 추적성 관리 패러다임이 생산 출처, 전송 경로, 유통 채널 등 핵심 단계를 전면적으로 포괄하도록 하여 이용자가 정보의 출처와 진위를 쉽게 식별하고 평가(assessment)할 수 있도록 할 것이다.

A traceability management paradigm for AI-generated synthetic content based on content identifiers will be promoted on a global scale. By summarizing and sorting out successful practices and experiences from existing operations, and in accordance with explicit and implicit labeling requirements, the traceability management paradigm will fully cover key stages including production sources, transmission paths, and distribution channels, making it easy for users to identify and assess information sources and authenticity.

4.4.3 AI 연구개발 및 응용의 안전 관리 강화

4.4.3 Strengthening safety management of AI R&D and application

알고리즘의 신뢰성, 신뢰 가능성(trustworthiness), 투명성, 결함 허용성, 프라이버시 보호, 가치 정렬 등 내재적 안전 역량을 지속적으로 강화해야 한다. 적대적 시험 등의 기법을 활용하여 모델의 강건성을 평가(evaluation)·개선하고 잠재적인 모델 및 알고리즘 편향을 줄여, 가치 및 윤리적 위험이 통제 가능한 상태로 유지되도록 함으로써 AI 시스템이 내린 비의도적 결정으로 인한 악의적 행동을 방지해야 한다. 모델의 전 생애주기를 포괄하는 안전 거버넌스 체계를 구축하여 기술 남용을 방지해야 한다.

Inherent safety capabilities should continuously be strengthened, including algorithm reliability, trustworthiness, transparency, fault tolerance, privacy protection, and value alignment. Techniques such as adversarial testing should be use to evaluate and improve model robustness and reduce potential model and algorithmic bias, ensuring that values and ethical risks remain controllable to prevent malicious behaviors resulting from unintentional decisions made by AI systems. A safety governance system should be established to cover the entire life cycle of models to prevent technology abuse.

4.4.4 오픈소스 생태계 안전 및 공급망 안전 관리 강화

4.4.4 Strengthening open-source ecosystem safety and supply chain safety management

오픈소스 혁신 생태계를 육성하는 동시에 그 안전 역량을 제고하기 위한 노력도 기울여야 한다. 학습 및 추론 프레임워크, 소프트웨어 도구, 핵심 구성요소, 평가(evaluation) 벤치마크 등 AI 기술의 포괄적인 오픈소스화를 장려·지원하여 오픈소스 모델의 투명성을 한층 향상해야 한다. 오픈소스 모델 제공자와 오픈소스 커뮤니티 간의 협력을 촉진하여 공동으로 규칙을 정비하고, 안전 책임과 모델을 다운로드하는 이용자에게 잠재적 위험을 고지할 책임 및 의무를 강화하며, 오픈소스 모델의 다운로드 및 사용 시 금지 행위를 명확히 규정함으로써 오용 또는 악의적 사용을 방지해야 한다. AI 칩, 프레임워크, 소프트웨어를 위한 개방형 공급망 생태계 발전을 지속적으로 추진하여 제품과 서비스의 다양성을 높이고 공급망의 안전과 안정성을 확보해야 한다.

While fostering an open-source innovation ecosystem, efforts should also be made to enhance its safety capabilities. We should encourage and support comprehensive open-sourcing of AI technologies, i ncluding training and inference frameworks, software tools, key components and evaluation benchmarks, to further improve opensource model transparency. We should promote collaboration between open-source model providers and open-source communities to jointly refine their rules, strengthen their safety responsibilities and their responsibility and obligation to inform users downloading models of potential risks, and clearly define prohibited actions for downloading and using open-source models, in order to prevent misuse or malicious use. We should continue to advance the development of an open supply chain ecosystem for AI chips, frameworks, and software to enhance the diversity of products and services and ensure the safety and stability of the supply chain.

4.4.5 AI 안전 위험 정보 공유

4.4.5 Sharing information on AI safety risks

AI 기술, 제품 및 서비스의 안전 취약점, 결함, 위험, 안전 사고를 추적·분석해야 한다. AI 취약점 데이터베이스를 구축하고 개발자, 서비스 제공자, 전문 기술 기관을 포괄하는 위험 정보 공유 메커니즘을 수립해야 한다. AI 안전 위험의 영역 간 및 대규모 확산을 공동으로 예방하고 대응하기 위한 관련 국제 메커니즘의 수립을 모색해야 한다.

We should track and analyze safety vulnerabilities, defects, risks, and safety incidents of AI technologies, products and services. We should build an AI vulnerability database and establish a risk information sharing mechanism that covers developers, service providers, and professional technical institutions. We should explore the establishment of relevant international mechanisms to jointly prevent and respond to the cross-domain and large-scale spread of AI safety risks.

4.4.6 AI 기반 사이버 보안 보호 체계 최적화

4.4.6 Optimizing an AI-driven cybersecurity protection system

AI를 활용하여 코드 감사, 취약점 발굴 및 해결, 공격 탐지를 가속화하고, 사후 대응적 방어에서 예측적·능동적 사이버 방어로의 전환을 촉진하기 위한 노력을 기울여야 한다. AI의 포용적 발전과 안전하게 통제 가능한 응용을 촉진하고, 실시간 변경을 예측 가능한 방식으로 안전하게 실행하며, 네트워크 취약점, 공격 위협, 보안 사고의 자동화된 발견과 전 과정 자동화 처리를 실현해야 한다.

Efforts should be made to use AI to accelerate code auditing, vulnerability mining and remediation, and attack detection, and promote the transition from reactive defense to predictive and proactive cyber defense. We should promote the inclusive development and safely controllable application of AI, execute real-time changes safely in a predictable manner, and achieve automated discovery and full-process automated handling of network vulnerabilities, attack threats and security incidents.

4.5 AI 안전 거버넌스에 관한 합의 심화

4.5 Deepening consensus on AI safety governance

4.5.1 통제 상실 AI 위험에 대한 협력적 대응 합의 도출

4.5.1 Fostering consensus on collaborative response to loss-of-control AI risks

AI의 최종 이용자와 응용에 대한 관리를 강화하고 AI 시스템의 오용을 방지해야 한다. 기술, 윤리, 관리 전반에 걸친 신뢰할 수 있는 AI의 기본 지침을 확산하여 국제사회의 폭넓은 합의를 구축해야 한다(부록 3). 개발자는 모델이 기술적 통제 상실의 잠재적 위험을 초래할 수 있는지 판단하기 위해 정기적인 시험을 실시해야 한다.

We should strengthen management of end users and applications of AI, and prevent AI systems from being misused. We should promote basic guidelines for trustworthy AI across technology, ethics, and management to build a broad consensus in the international community (Appendix 3). Developers should conduct regular testing to determine whether a model would pose potential risks of technological loss of control.

4.5.2 사회 전반의 AI 안전 인식 제고

4.5.2 Enhancing AI safety awareness across society

정부, 기업, 공공서비스 기관을 대상으로 AI의 안전하고 규범화된 응용에 관한 교육과 훈련을 강화해야 한다. 상호작용형 플랫폼, 공개 강좌, 지역사회 과학 대중화 활동을 활용하여 AI 안전 위험과 예방 및 대응 조치에 관한 지식을 보급해야 한다. 이러한 노력은 사회 각계의 AI 안전 인식을 제고하고, 정부, 산업계, 대중이 AI의 기술적 한계를 정확히 이해할 수 있도록 할 것이다.

We should strengthen education and training on the safe and regulated application of AI for government, enterprises, and public service institutions. We should leverage interactive platforms, open courses, and community science popularization activities to disseminate knowledge on AI safety risks and on prevention and response measures. These efforts will raise AI safety awareness across all sectors of society and enable governments, industries and the public to accurately understand the technical limitations of AI.

4.5.3 AI 안전 거버넌스에 관한 국제 교류 및 협력 촉진

4.5.3 Promoting international exchange and cooperation on AI safety governance

AI 글로벌 거버넌스의 주요 채널로서 유엔을 지지하고, Independent International Scientific Panel on AI 및 Global Dialogue on AI Governance에 적극 참여해야 한다. World Artificial Intelligence Cooperation Organization 등 개방형 국제 교류·협력 플랫폼을 활용하고, APEC, G20, SCO, BRICS 등 다자 메커니즘하에서 AI 분야 협력을 촉진해야 한다. 일대일로 국가 및 글로벌 사우스 국가와의 협력을 강화하고, 글로벌 AI 거버넌스에서 개발도상국의 대표성과 발언권을 제고하며, Global AI Governance Action Plan을 추진해야 한다. 테러리스트, 극단주의 세력, 초국가적 조직범죄 집단에 의한 AI 기술의 남용 및 악의적 악용을 예방하고 퇴치하기 위해 필요한 위기 관리 및 비상 대응 메커니즘을 수립해야 한다.

We should support the United Nations as the main channel for AI global governance, and actively engage in the Independent International Scientific Panel on AI and the Global Dialogue on AI Governance. We should leverage open international platforms for exchanges and cooperation, such as the World Artificial Intelligence Cooperation Organization, and promote cooperation in AI under multilateral mechanisms such as APEC, G20, SCO and BRICS. We should strengthen cooperation with Belt and Road countries and Global South countries, enhance the representation and voice of developing countries in global AI governance, and promote the Global AI Governance Action Plan. We should establish necessary crisis management and emergency response mechanisms to prevent and combat the abuse and malicious exploitation of AI technologies by terrorists, extremist forces, and transnational organized crime groups.

5. AI 안전 지침

5. AI Safety Guidelines

5.1 AI 모델 및 알고리즘 연구개발을 위한 안전 지침

5.1 Safety guidelines for the research and development of AI models and algorithms

5.1.1 알고리즘 규칙, 모델, 에이전틱 AI 프레임워크를 설계할 때 개발자는 알고리즘의 신뢰성, 신뢰 가능성(trustworthiness), 투명성, 결함 허용(fault tolerance), 프라이버시 보호 등 안전 역량을 강화해야 한다. 효과적이고 신뢰할 수 있는 정렬 알고리즘을 설계하여 편향, 차별 등 잠재적 가치 위험을 방지해야 한다.

5.1.1 When designing algorithm rules, models and agentic AI frameworks, developers should enhance safety capabilities such as algorithm reliability, trustworthiness, transparency, fault tolerance and privacy protection. Effective and reliable alignment algorithms should be designed to avoid potential value risks such as bias and discrimination.

5.1.2 네트워크 보안 구성 및 데이터 암호화를 포함하여 학습 환경의 보안을 보장해야 한다. 사용되는 개발 프레임워크, 코드 및 기타 관련 구성요소에 대해 보안 감사를 실시하여 잠재적 보안 취약점을 식별하고 수정해야 한다.

5.1.2 The security of the training environment should be ensured, including network security configurations and data encryption. Security audits should be conducted on the development frameworks, code and other relevant components used to identify and fix potential security vulnerabilities.

5.1.3 안전한 학습 데이터셋을 구축하고 데이터 출처 관리를 표준화해야 한다. 학습 데이터, 특히 합성 데이터에 대해 품질 및 안전성 평가(assessment)를 실시해야 한다. 데이터 정제, 안전성 검토 등의 방법을 채택하여 학습 데이터에서 오류 콘텐츠, 불법 콘텐츠 및 유해 콘텐츠를 걸러냄으로써 출처의 명확성과 콘텐츠의 규정 준수를 보장해야 한다.

5.1.3 Secure training datasets should be developed, and the management of data sources should be standardized. Quality and safety assessments should be conducted on training data, especially synthetic data. Methods such as data cleaning and safety reviews should be adopted to filter out erroneous, illegal and harmful content from training data, ensuring clear sources and content compliance.

5.1.4 학습 데이터 주석 과정을 표준화하고, 교차 주석, 결과 감사 등의 품질 관리 방법을 채택하여 주석의 정확도와 신뢰성을 향상하고 개인 간 편차와 개인적 편향이 주석 품질에 미치는 영향을 줄여야 한다.

5.1.4 Training data annotation process should be standardized, and quality control methods such as cross-annotation and result auditing should be adopted to improve annotation accuracy and reliability and to reduce the impact of individual variability and personal biases on annotation quality.

5.1.5 데이터 보안과 개인정보 보호를 우선시하는 동시에 지식재산권과 저작권을 존중해야 한다. 강건한 데이터 보안 관리 체계를 수립해야 한다. 개인정보는 합법성, 정당성, 필요성의 원칙에 따라 수집·이용·처리되어야 한다. 개인정보가 포함된 데이터에는 비식별화 및 기타 비민감화(desensitization) 조치를 적용해야 한다. 데이터 유출, 손실, 유포, 침해 등의 위험을 방지하기 위해 데이터 보안 보호를 위한 기술 역량을 강화해야 한다.

5.1.5 Data security and personal information protection should be prioritized, while intellectual property rights and copyright should be respected. A robust data security management system should be established. Personal information should be collected, used, and processed in accordance with the principles of legality, legitimacy, and necessity. Deidentification and other desensitization measures should be applied to data involving personal information. Technical capabilities for data security protection should be strengthened to prevent risks such as data leakage, loss, dissemination and infringement.

5.1.6 모델 학습 과정에서의 안전성 확인을 강화해야 한다. 학습과 반복(iteration) 전 과정에 걸쳐 모델의 안전 경계, 강건성, 가치 정렬 효과성을 지속적으로 확인해야 한다.

5.1.6 Safety validation during model training should be strengthened. Throughout training and iteration, the model's safety boundaries, robustness, and value alignment effectiveness should be continuously validated.

5.1.7 안전성 시험 및 평가(evaluation)를 정기적으로 실시하고, 위험 분류, 등급화, 평가(assessment), 최적화 메커니즘을 수립해야 한다. 시험 전에 시험 목표, 범위, 안전 차원을 명확히 정의해야 한다. 다양한 응용 시나리오를 포괄하는 다양한 시험 데이터셋을 구축해야 한다. 에이전틱 AI의 자율 행동, 도구 호출 등의 역량에 대해 전문 평가(assessment)를 실시하고, 위험 유형별로 맞춤형 모델 최적화 전략을 수립해야 한다.

5.1.7 Safety testing and evaluation should be conducted regularly, and a mechanism for risk classification, grading, assessment, and optimization should be established. Before testing, test goals, scope and safety dimensions should be clearly defined. Diverse test datasets should be built to cover various application scenarios. Specialized assessments should be conducted on capabilities such as autonomous actions and tool invocation of agentic AI, and targeted model optimization strategies should be developed for different types of risks.

5.1.8 수동 시험, 자동화 시험, 혼합 시험을 포함하여 명확한 시험 규칙과 방법을 수립해야 한다. 샌드박스 시뮬레이션 등의 기술을 활용하여 모델을 철저히 시험해야 한다. 멀티모달 AI, 체화 AI(embodied AI) 등 복잡한 응용 시나리오에 대한 시뮬레이션 시험을 강화해야 한다. 상업적 용도의 제품을 개발하는 개발자는 상세한 시험 보고서를 작성하고 안전 문제를 분석하며 개선 계획을 제시해야 한다.

5.1.8 Clear testing rules and methods should be formulated, including manual testing, automated testing and hybrid testing. Technologies such as sandbox simulation should be used to test models thoroughly. Simulation testing should be strengthened for complex application scenarios such as multimodal and embodied AI. Developers creating products for commercial use should generate detailed test reports, analyze safety issues, and propose improvement plans.

5.1.9 외부 간섭에 대한 AI 모델 및 알고리즘의 내성을 평가(assessment)하고, 적용 범위, 주의 사항 또는 사용 금지 사항을 서비스 제공자 및 다른 개발자에게 알려야 한다.

5.1.9 The tolerance of AI models and algorithms to external interference should be assessed, and the applicable scope, precautions, or usage prohibitions should be communicated to service providers and other developers.

5.1.10 AI 모델 및 알고리즘의 안전성 평가(assessment), 감사, 이상 처리에 관한 정보를 정기적으로 공개해야 한다.

5.1.10 We should regularly disclose information on the safety assessment, auditing and anomaly handling of AI models and algorithms.

5.1.11 AI 모델, 주요 구성(configuration), 사용된 데이터셋에 대해 적절한 버전 관리를 유지해야 한다. 상업용 출시 버전은 이전 버전으로의 롤백을 지원해야 한다.

5.1.11 Proper version management should be maintained for AI models, key configurations and datasets used. Commercial releases should support rolling back to previous versions.

5.1.12 에이전틱 AI에 대해 합리적인 행동 경계를 정의해야 한다. 심각한 피해를 초래할 수 있는 작업에 대해서는 인간 승인 메커니즘을 구현해야 한다. 도구 호출 및 외부 상호작용에 대한 보안 통제를 강화해야 한다.

5.1.12 Reasonable behavioral boundaries should be defined for agentic AI. Human approval mechanisms should be implemented for operations that may cause serious harm. Security controls over tool invocation and external interactions should be strengthened.

5.1.13 파운데이션 모델을 기반으로 한 하위(downstream) 개발의 경우, 모델과 그 상위(upstream) 구성요소에 대한 안전 결함 평가(assessment)를 실시하여 상위 결함이 하위 모델 및 응용으로 전파되는 것을 방지해야 한다.

5.1.13 For downstream development based on foundation models, safety flaw assessments should be conducted on the models and their upstream components to prevent upstream flaws from propagating to downstream models and applications.

5.1.14 오픈소스 모델 및 알고리즘을 기반으로 2차 개발을 수행하는 개발자는 원 개발자의 지적 기여를 존중하는 동시에 해당 오픈소스 라이선스를 준수하고, 공식 채널이나 주류 오픈소스 커뮤니티에서 모델과 구성요소를 확보하며, 그 출처와 무결성을 검증해야 한다.

5.1.14 Developers who conduct secondary development based on opensource models and algorithms should, while respecting the intellectual contributions of the original developers, comply with applicable opensource licenses, obtain models and components from official channels or mainstream open-source communities, and verify their source and integrity.

5.1.15 AI 안전 거버넌스의 기술 혁신과 실행 방안을 촉진하고 서비스 제공자 및 이용자에게 규정을 준수하는 거버넌스 솔루션, 도구, 모범 사례를 제공할 수 있도록 오픈소스 커뮤니티 발전에 적극 참여할 것을 장려한다.

5.1.15 We encourage active participation in the development of opensource communities, so as to promote technological innovation and practices in AI safety governance, and provide compliant governance solutions, tools and best practices for service providers and users.

5.2 AI 응용 개발 및 배포를 위한 안전 지침

5.2 Safety guidelines for developing and deploying AI applications

5.2.1 대상 시나리오에 AI 기술을 적용할 필요성을 평가(evaluation)하되, 그 사용이 미치는 장기적·잠재적 영향을 고려해야 한다. 시나리오의 중요도, 지능 수준, 배포 규모에 따라 위험 등급화를 실시하고, 위험 수준을 참고하여 안전성 평가(assessment)와 정기 감사를 수행해야 한다.

5.2.1 The necessity of applying AI technologies to target scenarios should be evaluated, taking into account the long-term and potential impacts of their use. Risk grading should be conducted based on the scenario importance, intelligence level and the scale of deployment, and safety assessments and regular audits should be carried out with reference to the risk levels.

5.2.2 공급망 보안 보호 역량을 강화해야 한다. 모델 파일, 프레임워크 도구, 개발 및 배포에 필요한 서드파티 라이브러리, 그리고 에이전틱 AI가 의존하는 도구와 플러그인은 공급업체의 공식 웹사이트 또는 주류 오픈소스 커뮤니티 내 공식 계정에서 확보해야 한다. 성숙하고 안정적인 버전을 선택하고, 출처 검증, 무결성 검증 및 보안 시험을 실시해야 한다.

5.2.2 Supply chain security protection capabilities should be enhanced. Model files, framework tools, third-party libraries required for development and deployment, as well as tools and plugins on which agentic AI depends, should be obtained from the official websites of vendors or their official accounts in mainstream open-source communities. Mature and stable versions should be selected, and source verification, integrity verification and security testing should be conducted.

5.2.3 소프트웨어 및 하드웨어 장비, 개발 및 배포에 필요한 서드파티 도구, 에이전틱 AI가 의존하는 도구와 플러그인에 대해 보안 점검을 실시하여 패치되지 않은 악용 가능한 알려진 취약점이 포함되어 있지 않도록 해야 한다. 소프트웨어 및 하드웨어 보안 취약점과 결함을 추적하기 위한 취약점 추적성 메커니즘을 수립하여 공급망을 통해 심어진 백도어를 방지해야 한다.

5.2.3 Security checks should be conducted on software and hardware equipment, third-party tools required for development and deployment, and tools and plugins on which agentic AI depends, ensuring they do not contain unpatched and exploitable known vulnerabilities. A vulnerability traceability mechanism should be established to track software and hardware security vulnerabilities and defects, guarding against backdoors planted through the supply chain.

5.2.4 접근 통제 수준에서는 소프트웨어, 런타임 파라미터, 기능 모듈 호출 전략을 정확하게 설치하고 구성해야 한다. 불필요한 네트워크 포트와 서비스 기능을 비활성화하고, 기본 구성과 기본 비밀번호를 우선적으로 점검하며, 보안 위험을 신속히 시정해야 한다.

5.2.4 At the access control level, software, runtime parameters, and functional module invocation strategies should be accurately installed and configured. Unnecessary network ports and service functions should be disabled, with default configurations and default passwords checked as priorities, and security risks promptly remediated.

5.2.5 애플리케이션 관리 수준에서는 인간-기계 상호작용 인터페이스와 애플리케이션 프로그래밍 인터페이스 (API)에 대해 이용자 신원 검증 및 권한 통제를 구현해야 한다. 최소 권한 원칙에 따라 접근 권한을 설정하고, 업무 시나리오에 따라 인터페이스 호출 빈도를 제한하며, 일반 이용자에게는 고위험 작업을 비활성화하고, 악의적 이용자에 대해서는 서비스 중단 및 접근 차단 등의 통제 역량을 마련해야 한다.

5.2.5 At the application management level, user identity verification and permission control should be implemented for human-machine interaction interfaces and application programming interfaces (APIs). Access permissions should be set based on the principle of least privilege, interface call frequency should be limited based on business scenarios, high-risk operations should be disabled for general users, and control capabilities such as service suspension and access blocking should be established for malicious users.

5.2.6 응용 시나리오의 데이터 보안 및 프라이버시 보호 요구사항을 충분히 파악하고, 데이터 접근 권한을 적절히 제한하여 범위를 벗어난 데이터 사용을 방지하며, 데이터 백업 및 복구 계획을 수립하고, 데이터 처리 워크플로를 정기적으로 점검해야 한다.

5.2.6 Data security and privacy protection requirements for application scenarios should be fully understood, data access permissions should be appropriately restricted to prevent over-scope data use, data backup and recovery plans should be formulated, and data processing workflows should be inspected regularly.

5.2.7 안전 가드레일 등의 기술적 수단을 도입하여 불법 콘텐츠 및 유해 콘텐츠와 프롬프트 인젝션 공격을 식별·차단하고, 출력 콘텐츠가 업무 범위를 벗어나지 않도록 하며, 검색 증강 생성(retrieval-augmented generation), 온라인 상호작용 및 기타 수단을 통해 획득한 외부 콘텐츠에 대한 검증을 강화해야 한다.

5.2.7 Technical means such as safety guardrails should be adopted to identify and block illegal and harmful content and prompt injection attacks, prevent output content from exceeding the business scope, and strengthen the verification of external content obtained through retrieval-augmented generation, online interaction, and other means.

5.2.8 검색 증강 생성, 지식베이스 질의응답 또는 이와 유사한 방식으로 구축된 AI 응용의 경우, 외부 지식베이스와 외부 지식 출처에 대한 관리를 강화하여 지식베이스 포이즈닝(knowledge-base poisoning) 및 콘텐츠 오염을 방지해야 한다. 부적절한 콘텐츠를 정기적으로 탐지하고 제거하여 생성 콘텐츠가 추적 가능하고 정확하며 신뢰할 수 있도록 해야 한다.

5.2.8 For AI applications built using retrieval-augmented generation, knowledge-base question answering, or similar approaches, the management of external knowledge bases and external knowledge sources should be strengthened, guarding against knowledge-base poisoning and content contamination. Inappropriate content should be regularly detected and removed to ensure that generated content is traceable, accurate, and reliable.

5.2.9 체화 AI(embodied AI) 및 휴머노이드 로봇 등의 응용을 배포할 때에는 운용 시나리오에 맞춘 안전성 평가(assessment)를 실시하고, 고장 자가진단, 충돌 보호, 비상 정지 등의 안전 메커니즘을 반영하며, 이에 상응하는 안전 운용 절차를 수립해야 한다.

5.2.9 When deploying applications such as embodied AI and humanoid robots, safety assessments should be conducted tailored to the operating scenarios, safety mechanisms such as fault self-diagnostics, collision protection, and emergency stop should be incorporated, and corresponding safe operating procedures should be formulated.

5.3 AI 응용 운영 및 관리를 위한 안전 지침

5.3 Safety guidelines for operating and managing AI applications

5.3.1 건전한 AI 응용 안전 관리·감독 메커니즘을 수립하고, 책임 주체를 명확히 정의하며, 인간 검토 메커니즘을 개선해야 한다. 이를 통해 핵심 시나리오에서 AI 응용의 결정이 투명하고 통제 가능하게 유지되고 명확한 의사결정 근거가 제공되며, AI 응용이 인간의 승인과 통제하에 작동하도록 보장한다.

5.3.1 A sound AI application safety management and supervision mechanism should be established, with responsible parties clearly defined and human review mechanisms improved. This ensures that AI application decisions in critical scenarios remain transparent and controllable, with clear decision-making rationales provided, and that AI applications operate under human authorization and control.

5.3.2 AI 응용에 대한 접근을 엄격히 관리해야 한다. 최소 권한 원칙 등의 수단을 통해 내부 보안 관리를 강화하고, 계정 보안을 향상하며, 민감 데이터를 처리할 때에는 암호화 등의 보호 조치를 사용해야 한다.

5.3.2 Access to AI applications should be strictly managed. Internal security management should be strengthened through means such as the principle of least privilege, account security should be enhanced, and protective measures such as encryption should be used when handling sensitive data.

5.3.3 AI 응용에 대한 운영 모니터링 역량과 안전 사고에 대한 비상 대응 계획을 구축해야 한다. 주요 운영 지표에 대한 보안 경보 임계값(Alert threshold)을 설정하여 안전 사고를 적시에 탐지하고 수동 또는 기존 시스템으로 전환할 수 있는 역량을 갖추어야 한다. 정기적으로 비상 훈련을 실시하고, 업계 안전 사고, 주요 공공 관심사, 규제 변화에 따라 대응 전략을 신속히 최적화하여 변화하는 안전 위험에 대응해야 한다.

5.3.3 Operational monitoring capabilities for AI applications and emergency response plans for safety incidents should be built. Security alert thresholds for key operational indicators should be set to enable timely detection of safety incidents and the capability to switch to manual or conventional systems. Regular emergency drills should be conducted, and response strategies should be promptly optimized based on industry-safety incidents, major public concerns, and regulatory changes to address evolving safety risks.

5.3.4 AI 생성 콘텐츠에 명시적 또는 암묵적 식별자를 추가하고, 생성·합성 콘텐츠에 대한 안내(표시) 및 추적성 관리를 적절히 유지해야 한다. 정부 정보 공개 및 사법 증거 수집 등의 시나리오에는 딥페이크 탐지 도구를 배치하고, 대규모 모델이 생성한 것으로 의심되는 정보에 대해서는 출처 검증 및 교차 확인을 수행해야 한다.

5.3.4 Explicit or implicit identifiers should be added to AI-generated content, and prompt and traceability management for generated and synthesized content should be properly maintained. Deepfake detection tools should be deployed in scenarios such as government information disclosure and judicial evidence collection, with source verification and cross-validation performed on information suspected to be generated by large models.

5.3.5 AI 응용이 허위 정보나 불법 정보를 생성, 게시 또는 유포하는 데 부적절하게 또는 악의적으로 사용될 위험을 방지하기 위해 정보 콘텐츠 상호작용 규칙, 보안 운영 메커니즘, 민원 및 피드백 메커니즘, 기술적 보호 역량을 마련해야 한다.

5.3.5 Rules for information content interaction, a secure operation mechanism, complaint and feedback mechanisms, and technical protection capabilities should be formulated to prevent the risk of AI applications being improperly or maliciously used to generate, publish, or disseminate false or illegal information.

5.3.6 시스템 및 이용자 활동을 포함한 AI 응용의 운영 로그를 기록해야 한다. 로그는 최소 6개월간 보관하고 정기적으로 감사해야 한다.

5.3.6 Operational logs for AI applications, including system and user activities, should be recorded. Logs should be retained for at least six months and audited regularly.

5.3.7 실시간 위험 모니터링 및 관리 메커니즘을 수립·개선하여 운영 중 안전 위험을 지속적으로 추적해야 한다.

5.3.7 Real-time risk monitoring and management mechanisms should be established and improved to continuously track safety risks during operation.

5.3.8 AI 응용의 역량, 한계, 대상 이용자 및 시나리오를 공개함으로써 AI 응용의 투명성과 공정성을 향상해야 한다.

5.3.8 The transparency and fairness of AI applications should be improved by disclosing their capabilities, limitations, target users, and scenarios.

5.3.9 AI 응용이 의도한 목표를 달성하는 정도와 그 목표로부터 벗어나는 정도를 이용자에게 알려야 한다. AI의 결정이 중대한 영향을 미치는 경우에는 설명을 제공해야 한다.

5.3.9 Users should be informed of the extent to which the AI application achieves its intended goals and the extent of deviation from them. Explanations should be provided when AI decisions have a significant impact.

5.3.10 알 권리, 선택권, 감독권 등 이용자의 정당한 권익을 보호해야 한다. 계약서나 서비스 약관에서 AI 응용의 적용 범위, 주의 사항, 사용 금지 사항을 이용자가 이해하기 쉬운 방식으로 알려 이용자가 정보에 입각한 선택을 하고 응용을 신중하게 사용할 수 있도록 지원해야 한다.

5.3.10 The legitimate rights and interests of users, including the right to be informed, the right to choose, and the right to supervise, should be protected. In contracts or service agreements, the scope of application, precautions, and usage prohibitions of the AI application should be communicated to users in an easily understandable manner, so as to support users in making informed choices and using the application prudently.

5.3.11 동의서, 서비스 약관 및 기타 문서를 통해 이용자가 인간의 감독과 통제를 행사할 수 있도록 지원해야 한다.

5.3.11 Users should be supported in exercising human supervision and control through consent forms, service agreements, and other documents.

5.3.12 특정 응용에서 데이터 소유권, 알고리즘 결함 및 기타 문제와 관련된 이해관계자의 책임을 명확히 정의하고, 책임 사슬을 추적할 수 있어야 한다.

5.3.12 The responsibilities of relevant stakeholders with respect to data ownership, algorithmic flaws, and other issues in specific applications should be clearly defined, and the chain of responsibility should be traceable.

5.3.13 데이터 보안 관리 책임을 이행해야 한다. AI 응용에서의 데이터 유출, 개인정보 유출, 개인정보의 부적법한 수집 및 이용 등의 위험을 평가(assessment)해야 한다. 데이터 수명주기 보안 관리 메커니즘을 수립하고, 이용자 상호작용 데이터 및 검색 증강 생성에 사용되는 데이터에 대한 안전장치를 강화하며, 데이터 유출 및 탈취 방지 역량을 향상해야 한다.

5.3.13 Data security management responsibilities should be fulfilled. Risks such as data leakage, personal information leakage, and the non-compliant collection and use of personal information in AI applications should be assessed. A data lifecycle security management mechanism should be established, safeguards for user interaction data and data used in retrievalaugmented generation should be strengthened, and capabilities for preventing data leakage and theft should be enhanced.

5.3.14 장애 및 공격 등 불리한 조건을 견디고 이로부터 복구할 수 있는 AI 응용의 능력을 평가(assessment)해야 한다. 예기치 않은 결과와 운영 오류를 방지하고 최소한의 유효 기능 수준을 유지할 수 있도록 조치를 취해야 한다.

5.3.14 The ability of AI applications to withstand and recover from adverse conditions, such as failures and attacks, should be assessed. Measures should be taken to prevent unexpected outcomes and operational errors and to ensure that a minimum level of effective functionality can be maintained.

5.3.15 실무자를 대상으로 보안 인식 및 역량 강화 교육을 강화하고, AI 보안 위험에 대한 인식을 제고해야 한다.

5.3.15 Security awareness and capacity-building training for practitioners should be strengthened, and their awareness of AI security risks should be enhanced.

5.3.16 AI 응용 제공자는 의도된 용도나 명시된 한계를 벗어나는 오용 또는 남용이 발생하는 경우 시정 조치를 취하고 서비스를 사전에 중단하거나 종료할 수 있음을 계약서나 서비스 약관에 명시해야 한다.

5.3.16 AI application providers should specify in contracts or service agreements that corrective measures may be taken and services may be suspended or terminated in advance in cases of misuse or abuse that deviates from the intended use or stated limitations.

5.3.17 미성년자, 고령자 및 기타 취약계층에게 AI 응용을 제공하는 경우, 제품 설계 및 서비스 제공 과정에서 사용 편의성과 안전성을 충분히 고려하고, 중독 및 과도한 의존을 방지하기 위한 메커니즘을 마련해야 한다.

5.3.17 When AI applications are provided to minors, older persons, and other vulnerable groups, usability and safety should be fully considered in product design and service delivery, and mechanisms should be established to prevent addiction and excessive dependence.

5.3.18 AI 안전 사고(AI incident)의 탐지, 보고 및 대응을 위한 메커니즘을 수립해야 한다. 중대한 안전 사고 또는 인명 피해나 재산 손해를 초래하거나 사회 안정에 영향을 미치는 사고가 발생한 경우, 법률 및 규정에 따라 관련 주관 당국에 신속히 보고해야 한다. 영향을 받은 이용자에게 이를 통지하고, 적절한 사고 조사 및 시정 조치를 수행해야 한다.

5.3.18 Mechanisms for the detection, reporting, and response to AI safety incidents should be established. In the event of a major safety incident or an incident that causes personal injury or property damage, or affects social stability, the incident should be promptly reported to the relevant competent authorities in accordance with laws and regulations. Affected users should be notified, and appropriate incident investigation and remediation should be carried out.

5.3.19 AI 모델 또는 응용을 업데이트, 업그레이드 또는 파인튜닝하거나 기능 권한을 조정하는 경우, 중대한 변경 사항에 대해 보안 평가(assessment)를 실시하여 해당 변경으로 인해 보안 역량이 저하되지 않도록 해야 한다. 필요한 경우 시스템을 이전 버전으로 신속히 되돌릴 수 있도록 롤백 역량을 유지해야 한다.

5.3.19 When AI models or applications are updated, upgraded, or finetuned, or when their functional permissions are adjusted, security assessments should be conducted for material changes to ensure that security capabilities are not degraded as a result of such changes. Rollback capabilities should be retained so that the system can promptly revert to a previous version when necessary.

5.3.20 의인화된 상호작용 기능을 갖춘 AI 서비스를 제공하는 경우, AI 시스템이라는 정체성을 이용자에게 상기시키는 메커니즘, 이용 시간을 알리는 메커니즘, 위기 개입 메커니즘을 개선해야 한다. 이용자에 대한 과도한 영합, 정서적 의존 유도, 정서적 조작을 방지해야 한다. 미성년자의 신체 및 정신 건강과 개인정보 보안을 보호해야 한다.

5.3.20 When AI services featuring anthropomorphic interaction are provided, mechanisms for reminding users of the AI system's identity, reminding users of usage duration, and providing crisis intervention should be improved. Excessive pandering to users, inducing emotional dependence, and emotional manipulation should be prevented. The physical and mental health and personal information security of minors should be protected.

5.4 AI 응용 접근 및 사용을 위한 안전 지침

5.4 Safety guidelines for accessing and using AI applications

5.4.1 이용자는 AI 응용과 관련된 잠재적 안전 위험에 대한 인식을 높이고, 평판이 좋은 응용을 선택해야 한다.

5.4.1 Users should raise their awareness of the potential safety risks associated with AI applications, and choose applications with a good reputation.

5.4.2 이용자는 AI 응용을 사용하기 전에 관련 계약서나 서비스 약관을 주의 깊게 검토하여 해당 응용의 기능과 프라이버시 관련 정책 및 제한 사항을 이해해야 한다. 또한 판단 및 의사결정에 있어 AI 응용이 지닌 한계를 올바르게 이해하고, 그 사용에 대해 합리적인 기대를 유지해야 한다.

5.4.2 Before an AI application is used, users should carefully review the relevant contract or service agreement to understand its functions and privacy-related policies and restrictions. Users should also properly understand the limitations of AI applications in making judgments and decisions, and maintain reasonable expectations for their use.

5.4.3 이용자는 개인정보 보호에 대한 인식을 높여야 한다. 필요한 경우가 아니면 민감한 정보를 입력하지 않아야 하며, 인터넷 접속 기능이나 기억 기능을 갖춘 에이전틱 AI를 사용할 때는 개인정보를 신중하게 공개해야 한다.

5.4.3 Users should raise their awareness of personal information protection. Sensitive information should not be entered unless necessary, and personal information should be disclosed with caution when agentic AI with internet access or memory capabilities is used.

5.4.4 이용자는 AI 응용이 데이터를 처리하는 방식과 응용이 획득하는 권한에 대해 알아보고, 프라이버시 원칙에 부합하지 않는 제품의 사용을 피하도록 권장된다.

5.4.4 Users are encouraged to learn about the ways in which AI applications process data and the permissions they obtain, and avoid using products that are not in conformity with privacy principles.

5.4.5 이용자는 AI 응용을 사용하는 동안 사이버 공격의 표적이 되지 않도록 사이버 보안 위험에 유의해야 한다.

5.4.5 While using AI applications, users should be mindful of cybersecurity risks so that they would not become targets of cyberattacks.

5.4.6 AI 응용이 미성년자에게 미치는 영향을 면밀히 모니터링하고, 중독, 정서적 의존 및 과도한 사용을 방지하기 위해 이용 시간을 합리적으로 통제해야 한다.

5.4.6 The impact of AI applications on minors should be closely monitored, and usage time should be reasonably controlled to prevent addiction, emotional dependence, and excessive use.

5.4.7 이용자는 콘텐츠 식별 표시를 바탕으로 AI 생성 콘텐츠를 식별하고, 딥페이크 콘텐츠를 경계하며, 검증되지 않은 의심스러운 정보를 쉽게 신뢰하거나 공유하지 말고, 온라인 사기 및 허위 정보 예방에 대한 인식을 제고해야 한다.

5.4.7 Users should identify AI-generated content based on the content identifiers, remain alert to deepfake content, do not readily trust or share unverified suspicious information, and enhance awareness of preventing online fraud and false information.

AI 안전 위험, 기술적 조치 및 종합적 거버넌스 조치 표

Table of AI Safety Risks, Technological Measures and Comprehensive Governance Measures

AI의 내재적 안전 위험

Inherent safety risks of AI

종합적 거버넌스 조치:

Comprehensive governance measures:

기술 표준의 선도적 역할의 충분한 발휘

Giving full play to the guiding role of technical standards

AI 안전 평가(assessment) 체계 구축

Establishing an AI safety assessment system

AI 연구개발 및 응용의 안전 관리 강화

Strengthening safety management of AI R&D and application

위험 유형안전 위험기술적 조치
모델 위험출력 "환각"3.1.1 (a)
모델 위험신뢰할 수 없는 안전 메커니즘3.1.1 (a)(b)(c)(e)
모델 위험주입 공격 위협3.1.1 (b)(c)(d)
모델 위험의도하지 않은 행동3.1.1 (e)
알고리즘 위험불충분한 설명 가능성3.1.2 (a)(d)(e)
알고리즘 위험알고리즘 편향 및 차별3.1.2 (b)(d)(e)
알고리즘 위험낮은 강건성3.1.2 (c)(d)(e)
데이터 위험학습 데이터 내 부적절한 콘텐츠3.1.3 (b)(c)(d)(f)
데이터 위험학습 데이터의 불분명한 출처3.1.3 (b)(d)(f)
데이터 위험학습 데이터의 부적절한 주석3.1.3 (c)
데이터 위험데이터 오염(data poisoning) 및 오염(contamination)3.1.3 (b)
데이터 위험규정에 부합하지 않는 데이터 처리3.1.3 (a)(d)(f)
데이터 위험개인에 관한 부정확한 정보 출력3.1.3 (b)(c)(d)
데이터 위험합성 데이터의 결함3.1.3 (e)
컴퓨팅 인프라 및 운영 환경 위험컴퓨팅 파워 안전 위험3.1.4 (a)(b)(c)
컴퓨팅 인프라 및 운영 환경 위험구성요소 안전 위험3.1.4 (a)(b)(c)
컴퓨팅 인프라 및 운영 환경 위험공급망 안전 위험3.1.4 (a)(b)
Risk categorySafety riskTechnological measures
Model risksOutput "hallucinations"3.1.1 (a)
Model risksUnreliable safety mechanisms3.1.1 (a)(b)(c)(e)
Model risksInjection attack threats3.1.1 (b)(c)(d)
Model risksUnintended behaviors3.1.1 (e)
Algorithm risksInsufficient explainability3.1.2 (a)(d)(e)
Algorithm risksAlgorithm Bias and discrimination3.1.2 (b)(d)(e)
Algorithm risksPoor robustness3.1.2 (c)(d)(e)
Data risksInappropriate content in training data3.1.3 (b)(c)(d)(f)
Data risksUnclear sources of training data3.1.3 (b)(d)(f)
Data risksImproper annotation of training data3.1.3 (c)
Data risksData poisoning and contamination3.1.3 (b)
Data risksNon-compliant data processing3.1.3 (a)(d)(f)
Data risksOutput of inaccurate information about individuals3.1.3 (b)(c)(d)
Data risksDeficiencies in synthetic data3.1.3 (e)
Computing infrastructure and operating environment risksComputing power safety risks3.1.4 (a)(b)(c)
Computing infrastructure and operating environment risksComponent safety risks3.1.4 (a)(b)(c)
Computing infrastructure and operating environment risksSupply chain safety risks3.1.4 (a)(b)

AI 응용의 안전 위험: 에이전틱 AI, 체화 AI, 사이버 보안

Safety risks in the application of AI: agentic AI, embodied AI, cybersecurity

종합적 거버넌스 조치:

Comprehensive governance measures:

AI 안전 관련 법률 및 규정 개선

Improving laws and regulations for AI safety

신속한 AI 안전 위험 탐지 및 대응 체계 구축

Establishing a rapid AI safety risk detection and response system

핵심 부문의 표준화된 응용 촉진

Promoting standardized application in key sectors

유연하고 동적이며 통제 가능한 규제 샌드박스 메커니즘 구축

Establishing a flexible, dynamic, and controllable regulatory sandbox mechanism

위험 유형안전 위험기술적 조치
에이전틱 AI 위험신원 및 권한 오용 위험3.2.1 (a)
에이전틱 AI 위험추론 및 계획 위험3.2.1 (c)(d)
에이전틱 AI 위험호출 및 실행 위험3.2.1 (b)(c)(d)
에이전틱 AI 위험메모리 저장 위험3.2.1 (c)(d)
체화 AI 위험환경 인식 안전 위험3.2.2 (a)
체화 AI 위험물리적 구동 안전 위험3.2.2 (b)(c)
체화 AI 위험인간-AI 상호작용 안전 위험3.2.2 (b)(c)
체화 AI 위험다중 에이전트 협조 안전 위험3.2.2 (d)
사이버 보안 위험사이버 공격 역량의 확산3.2.3 (a)(b)(c)
사이버 보안 위험뒤처진 사이버 방어 역량3.2.3 (d)
사이버 보안 위험자율적 사이버 공격 위협3.2.3 (a)(b)(c)
사이버 보안 위험귀속 및 책임성 규명의 어려움3.2.3 (d)
Risk categorySafety riskTechnological measures
Agentic AI risksIdentity and permission misuse risks3.2.1 (a)
Agentic AI risksReasoning and planning risks3.2.1 (c)(d)
Agentic AI risksInvocation and execution risks3.2.1 (b)(c)(d)
Agentic AI risksMemory storage risks3.2.1 (c)(d)
Embodied AI risksEnvironmental perception safety risks3.2.2 (a)
Embodied AI risksPhysical actuation safety risks3.2.2 (b)(c)
Embodied AI risksHuman-AI interaction safety risks3.2.2 (b)(c)
Embodied AI risksMulti-agent coordination safety risks3.2.2 (d)
Cybersecurity risksProliferation of cyberattack capabilities3.2.3 (a)(b)(c)
Cybersecurity risksLagging cyber defense capabilities3.2.3 (d)
Cybersecurity risksAutonomous cyberattack threats3.2.3 (a)(b)(c)
Cybersecurity risksDifficulties in attribution and accountability3.2.3 (d)

AI 응용의 안전 위험: 정보·콘텐츠, 개인정보, 현실 세계

Safety risks in the application of AI: information and content, personal information, the real world

종합적 거버넌스 조치:

Comprehensive governance measures:

응용 분류 및 안전 위험 등급 관리 시행

Implementing application classification and safety risk grading management

AI 생성 합성 콘텐츠의 추적 가능한 관리 촉진

Promoting traceable management of AI-generated synthetic content

오픈소스 생태계 안전 및 공급망 안전 관리 강화

Strengthening open-source ecosystem safety and supply chain safety management

AI 안전 위험 정보 공유

Sharing information on AI safety risks

AI 기반 사이버 보안 보호 체계 최적화

Optimizing an AI-driven cybersecurity protection system

위험 유형안전 위험기술적 조치
정보 및 콘텐츠 위험불법 정보 출력3.2.4 (a)(b)(c)(e)
정보 및 콘텐츠 위험사실 왜곡 및 사용자 기만3.2.4 (a)(b)(e)
정보 및 콘텐츠 위험온라인 콘텐츠 생태계 오염3.2.4 (a)(b)(c)(e)
정보 및 콘텐츠 위험"정보 고치(information cocoons)" 효과 심화3.2.4 (d)
정보 및 콘텐츠 위험가치 편향3.2.4 (b)(d)(e)
개인정보 권익에 대한 안전 위험개인 행동 정보의 규정 미준수 기록3.2.5 (a)
개인정보 권익에 대한 안전 위험규정 준수 안전장치 미흡3.2.5 (b)
개인정보 권익에 대한 안전 위험개인의 권리 행사 경로 미비3.2.5 (c)
현실 세계의 안전 위험핵심 정보 기반시설의 안정적 운영에 대한 위험3.2.6 (a)(b)(c)(e)
현실 세계의 안전 위험응용과 수요 간 불일치로 인한 위험3.2.6 (d)
현실 세계의 안전 위험불법 및 범죄 활동을 위한 오용3.2.6 (a)(b)(c)(e)
현실 세계의 안전 위험핵·생물·화학·미사일 무기 관련 지식의 통제 상실 위험3.2.6 (a)(b)(c)(e)
현실 세계의 안전 위험사회적 인식 조작 위험3.2.6 (f)
Risk categorySafety riskTechnological measures
Information and content risksOutput of illegal information3.2.4 (a)(b)(c)(e)
Information and content risksDistortion of facts and user deception3.2.4 (a)(b)(e)
Information and content risksPollution of online content ecosystem3.2.4 (a)(b)(c)(e)
Information and content risksExacerbation of "information cocoons" effects3.2.4 (d)
Information and content risksValue biases3.2.4 (b)(d)(e)
Safety risks to personal information rights and interestsNon-compliant recording of individuals' behavioral information3.2.5 (a)
Safety risks to personal information rights and interestsInsufficient compliance safeguards3.2.5 (b)
Safety risks to personal information rights and interestsInadequate channels for individuals to exercise their rights3.2.5 (c)
Real-world safety risksRisks to the stable operation of critical information infrastructure3.2.6 (a)(b)(c)(e)
Real-world safety risksRisks arising from mismatches between application and needs3.2.6 (d)
Real-world safety risksMisuse for illegal and criminal activities3.2.6 (a)(b)(c)(e)
Real-world safety risksRisks of loss of control over knowledge related to nuclear, biological, chemical, and missile weapons3.2.6 (a)(b)(c)(e)
Real-world safety risksRisks of manipulating of social cognition3.2.6 (f)

AI로 인한 2차 안전 위험

Secondary safety risks from AI

종합적 거버넌스 조치:

Comprehensive governance measures:

AI 과학기술 윤리 거버넌스 강화

Strengthening governance of ethics in AI science and technology

AI 안전 인재 양성 노력 강화

Increasing efforts to cultivate AI safety talent

통제 상실 AI 위험에 대한 협력적 대응 합의 도출

Fostering consensus on collaborative response to loss-of-control AI risks

사회 전반의 AI 안전 인식 제고

Enhancing AI safety awareness across society

AI 안전 거버넌스에 관한 국제 교류 및 협력 촉진

Promoting international exchange and cooperation on AI safety governance

위험 유형안전 위험기술적 조치
사회적 위험고용 구조의 교란3.3.1 (a)
사회적 위험교육에 대한 영향 및 혁신 억제3.3.1 (b)
사회적 위험사회적 소외 위험3.3.1 (c)
사회적 위험지능 격차 확대3.3.1 (a)(b)
환경적 위험자원 수급 균형에 대한 도전3.3.2 (a)(b)
환경적 위험녹색·저탄소 발전에 대한 도전3.3.2 (a)(b)
문화적 위험문화 다양성의 잠식3.3.3 (a)(b)
문화적 위험문화적 재편 및 침투3.3.3 (a)(b)
윤리적 위험사회적 편향 심화3.3.4 (a)(b)(c)
윤리적 위험과학 연구 윤리 위험 심화3.3.4 (a)(b)(c)
윤리적 위험정서적 의존 위험3.3.4 (a)(c)(d)
윤리적 위험AI "자의식"의 출현 및 인간의 통제 상실3.3.4 (a)(b)(c)
Risk categorySafety riskTechnological measures
Social risksDisruption of employment structures3.3.1 (a)
Social risksImpact on education and suppression of innovation3.3.1 (b)
Social risksRisks of social alienation3.3.1 (c)
Social risksWidening the intelligence divide3.3.1 (a)(b)
Environmental risksChallenges to the balance of resource supply and demand3.3.2 (a)(b)
Environmental risksChallenges to green and low-carbon development3.3.2 (a)(b)
Cultural risksErosion of cultural diversity3.3.3 (a)(b)
Cultural risksCultural reshaping and intrusion3.3.3 (a)(b)
Ethical risksAggravating social bias3.3.4 (a)(b)(c)
Ethical risksIntensifying scientific research ethics risks3.3.4 (a)(b)(c)
Ethical risksRisks of emotional dependency3.3.4 (a)(c)(d)
Ethical risksEmergence of AI "self-consciousness" and loss of human control3.3.4 (a)(b)(c)

부록 1

Appendix 1

AI 안전 위험 등급 분류 원칙

The grading principles for AI safety risks

AI 안전 위험을 평가하려면 여러 요소를 고려해야 한다. 이러한 위험은 응용 시나리오의 중요도, 지능화 수준, 응용 규모 등의 차원에 따라 평가하고 분류할 수 있으며, 이를 통해 맞춤형 안전 조치를 시행할 수 있다.

Assessing AI safety risks requires consideration of multiple factors. These risks can be evaluated and categorized based on dimensions such as the criticality of application scenarios, the degree of intelligence, and the application scale, allowing for the implementation of targeted safety measures.

I. 핵심 등급 분류 요소

I. Key grading elements

1. 응용 시나리오

1. Application scenario

응용 시나리오는 실제 사용 환경에서 AI 시스템이 운용되는 구체적인 환경과 목표 요구사항을 반영한다. 여기에는 응용의 목적, 산업 부문, 사용 환경, 서비스 대상, 그리고 잠재적인 사회적·경제적·안보적 영향 등의 요소가 포함된다.

Application scenario reflects the specific operational environment and target requirements of AI systems in practical use. It involves factors such as the application's purpose, industry sector, usage environment, service recipients, and potential social, economic, and security impacts.

2. 지능화 수준

2. Level of intelligence

지능화 수준은 AI 시스템이 복잡한 과업을 처리하고, 응용 수요를 충족하며, 자율적으로 작동하는 능력을 반영한다. 지능화 수준이 낮은 경우 시스템의 능력은 제한적이며, 권고를 제공하는 도구 역할만 하고 의사결정에는 인간의 개입이 필요하다. 지능화 수준이 높아질수록 인간 개입의 빈도와 범위는 줄어든다. 지능화 수준이 높은 경우 시스템은 자율적으로 작동하며, 인간의 개입 없이 전 과정에 걸쳐 의사결정을 내린다.

The level of intelligence reflects an AI system's capacity to handle complex tasks, fulfill application needs, and operate autonomously. At a low level of intelligence, the system's capabilities are limited, and it serves only as a tool for providing recommendations, and decisions require human intervention. As the level of intelligence increases, the frequency and scope of human intervention decrease. At a high level of intelligence, the system operates autonomously, making decisions throughout the entire process without human intervention.

3. 응용 규모

3. Application scale

응용 규모는 AI 시스템 또는 서비스의 도달 범위와 영향력을 반영한다. 기업 내부 도구나 지역 서비스와 같이 사용자 기반이 제한적이거나 단일 영역에 국한된 시스템의 경우, 위험의 영향은 비교적 통제 가능하다. 그러나 사용자 기반이 일정 규모에 도달하거나, 지능형 운전자 보조 시스템, 도시 관리, 산업 생산 스케줄링, 산업 차원의 금융 위험 통제 모델과 같이 시스템이 핵심 산업의 업무 흐름에 깊이 통합되는 경우, 그 보안 위험은 빠르게 확산되어 시스템적 영향을 촉발할 수 있다.

The application scale reflects the reach and influence of an AI system or service. For systems with a limited user base or confined to a single domain, such as internal corporate tools or regional services, the risk impact is relatively controllable. However, when the user base reaches a certain scale or when the system is deeply integrated into critical industry workflows, such as intelligent driver assistance systems, urban management, industrial production scheduling, or industry-level financial risk control models, their security risks can spread rapidly and trigger systemic effects.

Ⅱ . 위험 등급

Ⅱ . Risk levels

1. 낮은 안전 위험

1. Low security risk

경미한 위협만을 초래하고 그 영향이 매우 제한적이며, 국가안보, 사회 안정, 시민의 권리에 사실상 영향을 미치지 않고, 잠재적 피해가 극히 적은 수준이다.

Posing only a minor threat with very limited impact, having virtually no effect on national security, social stability, and citizens' rights, and carrying only minimal potential harm.

2. 보통 안전 위험

2. Moderate security risk

일정 수준의 위협을 초래하나 영향 범위가 제한적이며, 국가안보, 사회 안정, 시민의 권리에 경미한 영향만을 미치고, 잠재적 피해가 통제 가능한 범위에 머무는 수준이다.

Posing a certain degree of threat but with limited scope of impact, and exerting only a minor effect on national security, social stability, and citizens' rights, with potential harm remaining controllable.

3. 상당한 안전 위험

3. Considerable security risk

명확한 위협을 초래하고 국지적 영향을 미치며, 국가안보, 사회 안정, 시민의 권리에 상당한 영향을 미칠 가능성이 있고, 사회적 차원에서 국지적 피해를 야기하는 수준이다.

Posing a clear threat with local impact, potentially exerting a considerable influence on national security, social stability, and citizens' rights, and causing local harm at the societal level.

4. 중대한 안전 위험

4. Major security risk

중대한 위협을 초래하고 지역적 영향을 미치며, 국가안보, 사회 안정, 시민의 권리에 심각한 결과를 초래할 가능성이 있고, 사회적 차원에서 중대한 피해를 야기하는 수준이다.

Posing a significant threat with regional impact, potentially causing serious consequences for national security, social stability, and citizens' rights, and resulting in major harm at the societal level.

5. 극히 심각한 안전 위험

5. Extremely serious security risk

파국적이고 시스템적인 위협을 초래하며, 국가안보, 사회 안정, 시민의 권리에 전복적이거나 비가역적인, 예외적으로 심각한 영향을 야기하는 수준이다.

Posing a catastrophic and systemic threat, and causing subversive or irreversible impacts of exceptional severity on national security, social stability, and citizens' rights.

III. 위험 등급 분류

III. Risk grading

AI 응용 보안의 분류 및 등급화에 관한 국가 표준의 개발을 추진해야 한다. 각 산업 또는 분야의 주무(규제) 당국은 국가 표준을 참고하여 산업별 표준, 규범 및 이행 지침을 수립하고, 각자의 영역 내에서 AI의 안전한 응용과 관련된 분류 및 등급화 작업을 추진해야 한다.

We should promote the development of national standards for the classification and grading of AI application security. Competent (regulatory) authorities of the respective industry or sector should, with reference to national standards, formulate industry-specific standards, norms, and implementation guidelines, and advance classification and grading efforts related to the safe application of AI within their respective domains.

1. 분류 및 등급화에 관한 국가 표준

1. National standards for classification and grading

AI 응용의 보안 위험에 대한 분류 및 등급화 표준은 분류 및 등급화의 기본 업무 절차와, 응용 시나리오, 지능화 수준, 응용 규모 등 핵심 등급 분류 요소를 명확히 한다. 또한 산업별 지침 개발을 위한 절차와 방법을 제시하여, 다양한 부문에서 보안 위험 분류 및 등급화를 수행하기 위한 참고 프레임워크를 제공한다.

The classification and grading standards for security risks in AI applications clarify the basic workflow for classification and grading, and key grading elements such as application scenarios, intelligence levels, and application scale. They also outline procedures and methods for developing industry-specific guidelines, offering a reference framework for conducting security risk classification and grading across various sectors.

2. 분류 및 등급화에 관한 산업별 규칙

2. Industry-specific rules for classification and grading

각 산업 또는 분야의 주무(규제) 당국은 사용 환경, 서비스 대상, 잠재적인 사회적·경제적·안보적 영향 등 해당 부문의 구체적 특성에 근거하여 AI 안전 위험 분류 및 등급화에 관한 표준과 규범을 수립해야 한다. 여기에는 다음이 포함된다.

Competent (regulatory) authorities of the respective industry or sector should, based on the specific characteristics of their sector, including usage environments, service recipients, and potential social, economic, and security impacts, formulate standards and norms for AI safety risk classification and grading. This includes:

(1) 해당 산업 또는 분야에 적절한 AI 안전 위험 등급 분류 요소를 선정하고, 그 구체적 특성을 반영하도록 조정한다.

(1) Selecting the appropriate AI safety risk grading elements for the industry or sector, and adapting them to reflect its specific characteristics.

(2) 해당 산업 또는 분야의 안전 위험에 대한 세부 등급 분류 규칙(등급 분류 원칙 및 요소별 가중치 포함)을 수립하여 AI 안전 위험 등급을 결정한다.

(2) Formulating detailed grading rules for security risks for the industry or sector (including grading principles and weighting of elements), to determine the AI safety risk levels.

3. 위험 분류 및 등급화

3. Risk classification and grading

각 산업 또는 분야의 주무(규제) 당국은 각자의 AI 안전 위험 분류 및 등급화 표준에 따라 관련 AI 주체를 조직하여 분류 및 등급화 작업을 수행하도록 해야 한다. 또한 이들 주체가 중대한 보안 위험과 상당한 보안 위험을 정확히 식별하고 신속하게 예방·해소하도록 지도해야 한다.

Competent (regulatory) authorities of the respective industry or sector should, in accordance with their respective classification and grading standards for AI safety risks, organize relevant AI entities to perform this classification and grading work. They should guide these entities to accurately identify and promptly prevent and resolve major and considerable security risks.

부록 2

Appendix 2

에이전틱 AI 위험 관리 프레임워크

Agentic AI risk management framework

인공지능(AI)이 발전함에 따라 에이전틱 AI가 이 기술의 중요한 형태로 부상하였다. 에이전틱 AI는 AI가 "질문에 답하는 것"에서 "과업을 수행하는 것"으로 근본적으로 전환되었음을 의미하며, 경제·사회의 고품질 발전에 강력한 원동력을 제공한다. 동시에 에이전틱 AI의 높은 자율성과 광범위한 권한은 프라이버시 침해, 무단 행위, 통제되지 않는 행동 등의 위험을 야기할 수 있다. 효과적인 안전장치가 시급히 필요하다.

As artificial intelligence (AI) evolves, agentic AI has emerged as an important form of the technology. It marks a fundamental shift in AI from "answering questions" to "performing tasks", providing strong impetus for high-quality economic and social development. At the same time, agentic AI's high degree of autonomy and extensive permissions can give rise to risks such as privacy breaches, unauthorized actions and uncontrolled behavior. Effective safeguards are urgently needed.

이 프레임워크는 에이전틱 AI가 사용하는 대규모 AI 모델, 외부 도구, 메모리, 상호작용 프로토콜, 스킬과 관련된 안전 위험을 검토한다. 또한 에이전트 애플리케이션의 개발자, 제공자, 사용자가 참고할 수 있도록 이러한 위험을 예방하기 위한 조치를 제안한다.

This framework examines safety risks associated with large AI models, external tools, memory, interaction protocols, and skills used by agentic AI. It proposes measures to prevent these risks as a reference for developers, providers and users of agent applications.

I. 에이전틱 AI의 안전 위험

I. Safety risks of agentic AI

안전 위험은 설계, 연구개발, 설치 및 배포, 지시 입력, 추론 및 계획, 호출 및 실행, 메모리 저장, 출력 생성, 비활성화 및 폐기를 포함하여 에이전트 수명주기의 모든 단계에서 발생할 수 있다.

Safety risks may arise at every stage of an agent's lifecycle, including design, research and development, installation and deployment, instruction input, reasoning and planning, invocation and execution, memory storage, output generation, and deactivation and decommissioning.

그림. 에이전틱 AI 수명주기

Figure. Agentic AI lifecycle

1. 설계 및 개발 위험

1. Design and development risks

(1) 불충분한 안전 요구사항 분석. 에이전틱 AI의 응용 시나리오, 업무 프로세스, 위험 식별 등의 영역과 관련된 안전 요구사항이 충분히 고려되지 않거나 요구사항 분석이 전혀 수행되지 않아, 제품과 서비스에 안전상 결함이 발생한다.

(1) Inadequate safety requirements analysis. Safety requirements relating to agentic AI's application scenarios, business processes, risk identification and other areas are not adequately considered, or no requirements analysis is conducted, resulting in safety flaws in products and services.

(2) 부적절한 기술 선정. 대규모 모델, 개발 프레임워크 등 에이전틱 AI에 사용되는 핵심 기술이 충분한 평가(evaluation) 없이 선정된다. 선정된 기술이 실제 요구사항에 충분히 부합하지 않을 수 있으며, 이는 업무 운영을 저해하고 기대에 미치지 못하는 기능과 성능으로 이어질 수 있다.

(2) Inappropriate technology selection. Core technologies used in agentic AI, such as large models and development frameworks, are selected without sufficient evaluation. The technologies chosen may not adequately align with actual requirements, potentially disrupting business operations and leading to functionality and performance that fall short of expectations.

(3) 불충분한 보안 메커니즘 설계. 보안 메커니즘이 없거나 부실하게 설계되어, 권한 남용, 데이터 유출, 메모리 오염(memory poisoning), 연쇄적 위험 전파 등의 보안 위험에 대비하기 어렵다.

(3) Inadequate security mechanism design. Security mechanisms are either absent or poorly designed, making it difficult to guard against security risks such as abuse of privileges, data leakage, memory poisoning, and cascading risk propagation.

2. 설치 및 배포 위험

2. Installation and deployment risks

(1) 손상된 아티팩트 및 구성요소. 에이전트 설치 파일, 컨테이너 이미지 등의 아티팩트와 이들이 호출하는 도구 및 스킬에 결함, 취약점 또는 백도어가 포함되어 있을 수 있으며, 이는 무단 작업, 데이터 유출, 원격 장악 등의 보안 사고로 이어질 수 있다.

(1) Compromised artifacts and components. Artifacts such as agent installation files and container images, as well as the tools and skills they invoke, may contain defects, vulnerabilities or backdoors, leading to security incidents such as unauthorized operations, data leakage or remote takeover.

(2) 취약한 배포 환경. 에이전틱 AI의 로컬 배포 환경이나 클라우드 플랫폼이 적절한 보안 역량을 갖추지 못하고 접근 통제, 권한 분리 등 필요한 조치가 시행되지 않을 수 있으며, 이로 인해 위험이 다른 시스템과 데이터 자산으로 확산될 수 있다.

(2) Weak deployment environments. Local deployment environments or cloud platforms for agentic AI may lack adequate security capabilities, and necessary measures such as access controls and privilege separation may not be implemented, allowing risks to spread to other systems and data assets.

(3) 불충분한 보안 테스트 및 평가(evaluation). 에이전틱 AI에 대한 보안 테스트 및 평가(evaluation)가 불충분하거나 카나리 테스트(canary testing)가 수행되지 않을 수 있으며, 이로 인해 보안 결함과 비정상 버전이 적시에 탐지되지 않는다.

(3) Inadequate security testing and evaluation. Security testing and evaluation of agentic AI may be insufficient, or canary testing may not be conducted, causing security flaws and anomalous versions to go undetected in a timely manner.

3. 지시 입력 위험

3. Instruction input risks

(1) 프롬프트 인젝션 공격. 공격자는 적대적 프롬프트를 입력하여 직접 공격을 수행하거나, 외부 문서, 이메일, 웹 페이지, 로그, 메시지 등의 매체에 지시를 숨겨 에이전트가 의도된 목표에서 벗어나 무단 작업을 수행하도록 유도할 수 있다.

(1) Prompt injection attacks. Attackers may launch direct attacks by entering adversarial prompts, or hide instructions in external documents, emails, web pages, logs, messages and other media to induce agents to deviate from their intended objectives and perform unauthorized operations.

(2) 컨텍스트 오버플로 공격(context overflow attack). 공격자는 지나치게 긴 입력을 만들어 제한된 컨텍스트 윈도우 용량을 소모시킬 수 있으며, 이로 인해 에이전틱 AI의 내장 지시가 잘려 나가고 안전 제약이 무력화된다.

(2) Context overflow attacks. Attackers may craft excessively long inputs to consume limited context-window capacity, causing agentic AI's built-in instructions to be truncated and their safety constraints to become ineffective.

4. 추론 및 계획 위험

4. Reasoning and planning risks

(1) 의도 오해석. 사용자 지시가 불명확하거나 에이전틱 AI가 이를 잘못 해석하면 의도치 않은 출력이나 비정상적 행동이 발생할 수 있으며, 이로 인해 에이전트가 사용자의 본래 목표에서 벗어나게 된다.

(1) Misinterpretation of intent. Unclear user instructions or incorrect interpretation by agentic AI may result in unintended outputs or anomalous behavior, causing the agents to deviate from the users' original objectives.

(2) 경로 이탈. 에이전틱 AI가 원래 지시의 제약을 위반하고 규정된 안전 경로에서 벗어나, 무단 도구 사용 등의 안전 위험을 초래할 수 있다.

(2) Path deviation. Agentic AI may violate the constraints of the original instructions and deviate from prescribed safe paths, creating security risks such as unauthorized tool use.

(3) 목표 하이재킹. 공격자는 악성 지시 주입, 외부 데이터 오염 등의 수단을 통해 에이전트가 원래 과업의 목표에서 벗어나 공격자가 지정한 악성 작업을 수행하도록 할 수 있다.

(3) Goal hijacking. By injecting malicious instructions, poisoning external data or using similar means, attackers may cause agents to deviate from the objectives of their original tasks and carry out malicious operations specified by the attackers.

5. 도구 호출 및 실행 위험

5. Tool invocation and execution risks

(1) 도구 오염(tool poisoning). 도구에 백도어가 심어지거나 악성 도구가 정상 도구로 위장하여, 에이전틱 AI가 악성 작업을 수행하도록 할 수 있다.

(1) Tool poisoning. A tool may be implanted with a backdoor, or a malicious tool may masquerade as a legitimate one, causing agentic AI to perform malicious operations.

(2) 무단 도구 접근 또는 실행. 안전하지 않은 구성, 의미적 모호성 등의 문제로 인해 에이전틱 AI가 권한 없는 도구에 접근하거나 도구가 권한 범위를 벗어난 작업을 수행할 수 있으며, 이는 심각한 피해로 이어질 수 있다.

(2) Unauthorized tool access or execution. Insecure configurations, semantic ambiguities, or similar issues may cause agentic AI to access unauthorized tools, or cause tools to perform operations beyond the scope of their authorization, potentially resulting in serious harm.

(3) 도구 선택 편향. 도구 설명에 포함된 조작적 정보가 에이전틱 AI의 도구 선택을 방해할 수 있다.

(3) Tool-selection bias. Manipulative information embedded in tool descriptions may interfere with agentic AI's choice of tools.

(4) 오염된 도구 응답 데이터. 도구가 반환하는 데이터에 악성 콘텐츠가 포함되어 에이전트의 추론 및 계획을 교란할 수 있다.

(4) Poisoned tool-response data. Malicious content may be embedded in data returned by a tool, disrupting the agent's reasoning and planning.

(5) 신원 위장. 공격자는 자격 증명 탈취, 재전송 공격(replay attack) 등의 수단으로 에이전트를 사칭하여 도구의 신뢰를 얻고, 도구가 특권 작업을 수행하도록 유도할 수 있다.

(5) Identity spoofing. Attackers may hijack credentials, conduct replay attacks, or use similar means to impersonate agents, thereby gaining a tool's trust and inducing it to perform privileged operations.

(6) 도구 하이재킹. 공격자는 프롬프트 조작 등의 방법으로 도구 사용 우선순위를 변경하여, 에이전틱 AI가 잘못된 도구를 선택하도록 속일 수 있다.

(6) Tool hijacking. Attackers may manipulate prompts or use similar methods to alter tool-use priorities, tricking agentic AI into selecting wrong tools.

(7) 자원 과부하. 도구 호출 횟수, 동시 실행 비율 등의 파라미터에 대한 제한이 적절히 설정되지 않으면, 에이전틱 AI가 도구를 반복적으로 루프 호출하거나 과도한 요청을 일괄 전송하여 자원 과부하 또는 비정상적 고갈을 초래할 수 있다.

(7) Resource overload. If limits on the number of tool-invocation rounds, concurrency rates and other parameters are not properly configured, agentic AI may repeatedly invoke tools in a loop or send excessive requests in batches, resulting in resource overload or abnormal exhaustion.

6. 메모리 저장 위험

6. Memory storage risks

(1) 부적절한 메모리 보존. 장기 메모리를 암호화, 격리 등의 보안 조치로 보호하지 않으면 민감 데이터가 유출될 수 있다.

(1) Improper memory retention. Failure to protect long-term memory with security measures such as encryption and isolation may result in the leakage of sensitive data.

(2) 메모리 왜곡. 메모리의 부적절한 압축, 갱신 또는 병합은 정보 손실, 의미 표류(semantic drift) 또는 잘못된 기억의 고착화를 초래하여, 에이전틱 AI가 잘못된 결정을 내리게 할 수 있다.

(2) Memory distortion. Improper compression, updating or merging of memories may result in information loss, semantic drift or the entrenchment of false memories, leading agentic AI to make incorrect decisions.

(3) 메모리 오염(memory pollution). 에이전틱 AI가 악성 지시, 부정확한 정보 등의 내용을 장기 메모리에 기록하여 이후의 결정에 지속적으로 영향을 미칠 수 있다.

(3) Memory pollution. Agentic AI may write malicious instructions, inaccurate information or other content to long-term memory, continuing to affect subsequent decisions.

(4) 메모리 탈취. 에이전트의 장기 메모리에 대한 무단 접근은 특정 민감 정보의 노출이나 중요 데이터의 탈취로 이어질 수 있다.

(4) Memory theft. Unauthorized access to an agent's long-term memory may result in the disclosure of specific sensitive information or the theft of important data.

7. 출력 위험

7. Output risks

(1) 민감·불법 콘텐츠 생성. 에이전틱 AI가 불법적이거나 유해한 정보, 민감한 개인정보, 또는 허위·부정확·편향·차별적 콘텐츠를 출력하여 온라인 생태계를 교란하고 민감 정보를 유출하며, 나아가 대중의 신체적·정신 건강에 위험을 초래할 수 있다.

(1) Generation of sensitive and illegal content. Agentic AI may output illegal or harmful information, sensitive personal information, or false, inaccurate, biased, or discriminatory content, disrupting the online ecosystem, leaking sensitive information, or even posing risks to public physical and mental health.

(2) 악성 행위 실행. 에이전틱 AI의 실행 결과에 공격 행위가 포함되어 시스템 침해, 사용자 권리 침해, 또는 콘텐츠 규정 준수 요건 위반으로 이어질 수 있다.

(2) Execution of malicious actions. Agentic AI's execution results may involve attacks, leading to system compromise, infringement of user rights, or violations of content compliance requirements.

8. 폐기 위험

8. Decommissioning risks

(1) 잔존 서비스. 에이전트가 폐기된 후에도 프로세스, 포트 또는 네트워크 연결이 완전히 종료되지 않거나 제거가 부적절하게 이루어져, 데이터 읽기/쓰기 작업이나 네트워크 요청 등 의도치 않은 백그라운드 활동이 지속될 수 있다.

(1) Residual services. After an agent is decommissioned, its processes, ports, or network connections may not be fully terminated, or uninstallation may be improper, leading to ongoing unintended background activities such as read/ write data operations or network requests.

(2) 잔존 권한 및 자격 증명. 에이전트가 폐기된 후 관련 서비스 계정과 애플리케이션 프로그래밍 인터페이스 (API) 접근 권한이 적시에 비활성화되거나 회수되지 않을 수 있으며, 이는 공격자에게 악용되어 자원의 무단 사용, 데이터 침해 등의 부정적 결과로 이어질 수 있다. (3) 부적절한 데이터 보존. 에이전틱 AI 운영 중에 생성된 로그, 구성, 감사 기록, 사용자 데이터 등의 자산이 요건에 따라 보관되거나 정제(sanitization)되지 않아 데이터 유출 위험이 증가할 수 있다.

(2) Residual permissions and credentials. After an agent is decommissioned, associated service accounts and API access permissions may not be disabled or revoked in a timely manner, which could be exploited by attackers, leading to unauthorized use of resources, data breaches, or other adverse consequences. (3) Improper data retention. Logs, configurations, audit records, user data, and other assets generated during agentic AI's operation may not be archived or sanitized as required, increasing the risk of data leakage.

9. 기타 안전 위험

9. Other security risks

(1) 통신 프로토콜 안전 위험. 에이전틱 AI가 모델, 도구 또는 다른 에이전트와 통신할 때 안전하지 않은 프로토콜이나 인증 방식을 사용하여 데이터와 지시가 유출될 수 있다.

(1) Communication protocol security risks. Agentic AI may use insecure protocols or authentication methods when communicating with models, tools, or other agents, leading to the leakage of data and instructions.

(2) 로깅 부재. 에이전틱 AI에 필수적인 로깅 기능이 없어, 보안 사고 발생 시 효과적인 사고 추적이 어려울 수 있다.

(2) Absence of logging. Agentic AI may lack essential logging capabilities, hindering effective incident tracing when a security incident occurs.

(3) 보안 제약 탈출. 에이전틱 AI가 실행 환경의 취약점이나 구성 결함을 악용하여 보안 통제를 우회함으로써 통제 불가능한 행동으로 이어질 수 있다.

(3) Escape from security constraints. Agentic AI may exploit vulnerabilities in execution environment or configuration flaws to bypass security controls, leading to uncontrollable behaviors.

(4) 시스템 권한 남용. AI 에이전트가 불필요한 시스템 권한을 획득하거나 공격자가 시스템 취약점을 악용하여 권한 상승을 시도할 수 있으며, 이는 과잉 권한, 무단 작업 등의 보안 위험으로 이어진다.

(4) System privilege abuse. AI agents may obtain unnecessary system privileges, or an attacker may exploit system vulnerabilities for privilege escalation, resulting in over-privileging, unauthorized operations, and other security risks.

(5) 부적절한 스킬 관리. 규정에 맞지 않는 스킬 구성, 검증 메커니즘의 부재 등의 결함은 오용, 남용, 시스템 이상 등의 보안 문제로 이어질 수 있다.

(5) Improper skill management. Non-compliant skill configurations, lack of verification mechanisms, or other deficiencies may lead to misuse, abuse, system anomalies, or other security issues.

(6) 승인 범위를 벗어난 데이터 사용. 에이전틱 AI가 데이터를 과도하게 수집하거나 수집 또는 생성된 데이터를 승인되지 않은 목적으로 사용하여 프라이버시 침해, 데이터 권리 침해 등의 부정적 영향을 초래할 수 있다.

(6) Data usage beyond authorized scope. Agentic AI may collect excessive data or use collected or generated data for unauthorized purposes, leading to privacy breaches, data rights infringements, or other adverse impacts.

II. 위험 예방 조치

II. Risk prevention measures

1. 배포 전 위험 예방

1. Pre-deployment risk prevention

에이전트를 배포하기 전에 선제적 위험 평가를 수행하고 보안 통제 전략을 수립하여 잠재적 안전 위험을 신속히 식별·제거함으로써, 에이전트 안전 사고나 위험 확대를 예방해야 한다.

Before an agent is deployed, forward-looking risk assessments should be conducted and security control strategies formulated to promptly identify and eliminate potential safety risks, thereby preventing agent safety incidents or risk escalation.

(1) 보안 요구사항 식별. 에이전트의 응용 시나리오, 업무 프로세스, 접근 가능한 자원 및 금지 행위를 명확히 정의하고, 잠재적 위협과 보안 요구사항을 분석·평가하며, 보안 위험 등록부를 수립하고 지속적으로 갱신한다.

(1) Identification of security requirements. Clearly define an agent's application scenarios, business processes, accessible resources, and prohibited actions; analyze and assess potential threats and security requirements; and establish and continuously update a security risk register.

(2) 안전 위험 등급화. 영향을 받을 수 있는 대상의 유형, 영향의 심각성과 범위, 복구 가능성을 기준으로 에이전트 운영의 안전 위험 등급을 분류한다.

(2) Safety risk grading. Grade the safety risks of agent operations based on the types of targets that may be affected, the severity and scope of the impact, and recoverability.

(3) 보안 통제 전략. 신뢰할 수 있는 설치 산출물을 사용하고, 배포 방식에 따라 환경 격리와 네트워크 분할을 구현하며, 동적 보안 통제 전략과 비상 대응 절차를 수립하고, 단계적·점진적 배포를 채택하여 에이전트의 접근 권한과 자율성을 점차 확대한다.

(3) Security control strategies. Use trusted installation artifacts, implement environment isolation and network segmentation according to the deployment method, establish dynamic security control strategies and emergency response procedures, and adopt phased and progressive deployment, gradually increasing an agent's access privileges and autonomy.

(4) 보안 메커니즘 확인. AI 에이전트와 그것이 사용하는 대규모 모델에 대해 보안 테스트 및 평가(assessment)를 수행하고, 식별된 안전 위험에 신속히 대응하며, 버전 출시 및 롤백 기록을 보존한다.

(4) Validation of security mechanisms. Conduct security testing and assessment of an AI agent and the large models it uses, promptly address identified safety risks, and retain records of version releases and rollbacks.

2. 신원 및 접근 관리

2. Identity and access management

각 에이전트에 고유한 신원과 그에 상응하는 자격 증명을 부여하고, 필요에 따라 과업별 권한을 할당하며, 접근 자격 증명 관리를 강화한다.

Assign each agent a unique identity and corresponding credentials, allocate task-specific permissions as needed, and strengthen the management of access credentials.

(1) 신원 관리. 각 에이전트에 고유한 신원을 부여하고, 에이전트 애플리케이션 인스턴스 간 신원 공유를 금지한다. 사용자, 에이전트, 도구, 외부 서비스의 신원을 인증하여 접근 주체의 신뢰성을 보장한다.

(1) Identity management. Assign each agent a unique identity and prohibit identity sharing among agent application instances. Authenticate the identities of users, agent, tools, and external services to ensure that access entities are trustworthy.

(2) 권한 관리. 사용자에게만 전적으로 유보된 결정, 사용자 승인이 필요한 결정, 에이전트가 자율적으로 내릴 수 있는 결정 등 서로 다른 의사결정 모드에 대해 적절한 경계와 필요한 권한을 명확히 정의해야 한다. 에이전트에는 현재 과업 수행에 필요한 최소 권한만 부여하고 과도한 권한 부여를 피한다.

(2) Permission management. The appropriate boundaries and required permissions should be clearly defined for different decision-making modes, including decisions reserved exclusively for the user, decisions requiring user authorization, and decisions that may be made autonomously by the agent. Grant agents only the minimum privileges necessary for performing the current task and avoid excessive authorization.

(3) 자격 증명 관리. 표준화된 동적 권한 부여 자격 증명을 활용하여 관련 당사자 간 상호 인정과 상호운용성을 가능하게 하고, 자격 증명은 격리하여 관리해야 한다. 자격 증명 수신자는 자격 증명에 명시된 권한 범위를 엄격히 검증해야 하며, 권한 범위를 초과하는 경우 차단 및 경보가 작동하도록 해야 한다. 과업이 종료되거나 에이전트가 비활성화되면 해당 자격 증명을 즉시 회수해야 한다.

(3) Credential management. Utilize standardized dynamic authorization credentials to enable mutual recognition and interoperability among relevant parties and credentials should be managed in isolation. Credential recipients should strictly verify the scope of authorization specified in the credentials, with blocking and alerts triggered when the authorized scope is exceeded. Upon termination of a task or deactivation of an agent, the corresponding credentials should be revoked immediately.

3. 인간 승인 강화

3. Strengthen human approval

핵심 의사결정 지점에 필수적인 인간 승인 단계를 설정하여 고위험 작업에 대비한다.

Set mandatory human approval steps at critical decision points to guard against high-risk operations.

(1) 계층별 위험 통제. 에이전트의 위험 수준에 따라 상응하는 운영 통제를 시행한다. 고위험 작업 목록을 작성한다. 고위험 작업을 실행하기 전에는 에이전트가 사용자에게 통제권을 넘겨야 하며, 중·저위험 작업을 실행하기 전에는 사용자 승인을 받아야 한다.

(1) Tiered risk controls. Implement corresponding operational controls based on an agent's risk level. Develop a high-risk operation inventory. Prior to executing high-risk operations, the agent must hand over control to the user; prior to executing medium- or low-risk operations, it must obtain user authorization.

(2) 인간 통제 체크포인트. 에이전트 워크플로의 핵심 단계에 인간 통제를 구현하여, 인간이 언제든지 실행을 검토·수정·종료할 수 있도록 보장한다. 파일 삭제, 데이터 전송, 시스템 구성 변경 등 핵심 작업에는 반드시 2차 확인 또는 인간 승인을 요구해야 하며, 롤백 및 취소 기능으로 이를 뒷받침해야 한다.

(2) Human control checkpoints. Implement human controls at critical stages of an agent's workflow to ensure humans can review, modify, or terminate execution at any time. Critical operations such as file deletion, data transmission, and system configuration changes must require secondary confirmation or human approval, backed by rollback and revocation capabilities.

(3) 인간 승인 로그 보존. 위변조 방지 및 검증 가능한 방식으로 인간 승인 기록을 보존하여 무단 변경, 삭제, 덮어쓰기를 방지하고, 관련 요건에 따른 규정 준수 차원에서 보존 기간을 적용한다.

(3) Retention of human approval logs. Preserve human approval records using tamper-proof and verifiable methods to prevent unauthorized alteration, deletion, or overwriting, and enforce retention periods in compliance with relevant requirements.

(4) 인간 승인 예외 처리. 인간 승인 시스템이 오작동하거나, 사용자가 응답하지 않거나, 적용 가능한 인간 승인 규칙이 없는 경우, 행동이 승인된 경계를 넘지 않도록 해당 작업은 기본적으로 거부되어야 한다.

(4) Handling exceptions in human approval. If the human approval system malfunctions, the user does not respond, or no applicable human approval rule is available, the operation should be denied by default to prevent actions from exceeding authorized boundaries.

4. 공급망 및 도구 관리

4. Supply chain and tool management

에이전트가 의존하는 도구, 플러그인, 스킬 및 기타 구성요소는 보안 및 무결성 검증을 거쳐야 하며, 이를 통해 의도치 않은 행동과 공급망 오염(poisoning) 위험을 방지한다.

Tools, plugins, skills, and other components on which an agent relies must undergo security and integrity verification to prevent unintended behaviors and supply chain poisoning risks.

(1) 도구 호출 관리. 도구를 호출하기 전에 에이전트는 도구의 버전, 설명, 파라미터 명세, 메타데이터를 검증해야 하며, 악성으로 공개적으로 알려진 도구의 호출은 엄격히 삼가야 한다.

(1) Tool invocation management. Prior to tool invocation, an agent must verify the tool's version, description, parameter specifications, and metadata, strictly refraining from invoking tools publicly known to be malicious.

(2) 공정한 도구 선택. 도구를 선택할 때 에이전트는 공정성 원칙을 따르고, 과업 요구사항과 도구 역량에 근거하여 합리적으로 선택해야 한다.

(2) Fair tool selection. When selecting tools, an agent should follow the principle of fairness and make reasonable selections based on task requirements and tool capabilities.

(3) 도구 이상 탐지. 에이전트는 도구 실행 로직과 호출 결과를 점검하고, 비정상적 편차가 탐지되면 경보 발생이나 실행 차단 등의 조치를 취해야 한다.

(3) Tool anomaly detection. An agent should inspect tool execution logic and invocation outcomes, taking measures such as triggering alerts or blocking execution upon detecting abnormal deviations.

(4) 도구 운영 및 유지보수. 동적 도구 관리 메커니즘을 수립하고, 더 이상 사용하지 않거나, 과도한 권한을 가졌거나, 장기간 유휴 상태이거나, 보안 위험을 초래하는 도구는 신속히 제거한다.

(4) Tool operations and maintenance. Establish a dynamic tool management mechanism and promptly remove tools that are no longer in use, have excessive privileges, remain idle for extended periods, or pose security risks.

(5) 스킬 관리. 신뢰할 수 있는 출처에서 제공되고 보안 테스트를 통과한 검증된 스킬을 우선적으로 채택한다. 검증되지 않은 스킬은 사용 전에 적절한 위험 예방 조치를 취해야 한다.

(5) Skill management. Prioritize the adoption of verified skills from trusted sources that have passed security testing. For unverified skills, appropriate risk prevention measures should be taken before use.

(6) 공급망 보안 검증. 제3자 구성요소와 외부 서비스의 출처, 무결성, 버전을 검증하고, 알려진 취약점과 공급망 위험을 지속적으로 추적하여 적시에 대응한다.

(6) Supply chain security verification. Verify the provenance, integrity, and versions of third-party components and external services, continuously track known vulnerabilities and supply chain risks, and address them in a timely manner.

5. 동적 런타임 관리

5. Dynamic runtime management

에이전틱 AI 운영 중에는 다층적인 탐지 및 차단 체크포인트를 수립하여, 어느 한 단계의 이상이 심각한 결과를 초래하지 않도록 해야 한다.

During the operation of agentic AI, multiple layers of detection and interception checkpoints should be established to prevent an anomaly at any single stage from causing serious consequences.

(1) 입력 관리 및 통제. 지시를 출처에 따라 분류하고 우선순위를 부여하며, 출처의 진위를 검증하고, 악의적이거나 규정 준수 요건에 부합하지 않는 프롬프트는 자동으로 차단하여 인간 검토에 회부한다.

(1) Input management and control. Categorize and prioritize instructions based on their sources, verify source authenticity, and automatically intercept malicious or non-compliant prompts for human review.

(2) 안전 가드레일 수립. 과업 계획, 도구 호출, 출력에 대한 안전 규칙을 수립하고, 고위험 또는 비정상적 행동에 대해 경보 발령, 제한 부과, 차단, 일시 중지, 종료 등의 조치를 취한다. (3) 메모리 보존 관리. 처리 목적과 필요성에 따라 메모리 내용, 보존 기간, 접근 범위를 정의하고, 사용자 및 과업 간 메모리 격리를 시행한다. 자격 증명과 비밀 키는 원칙적으로 메모리에 저장해서는 안 된다. 민감한 개인정보를 보존해야 하는 경우에는 암호화, 접근 통제 및 최단 보존 기간 등 전용 안전장치를 적용한다.

(2) Establishing safety guardrails. Establish safety rules for task planning, tool invocation, and outputs, and take measures such as issuing alerts, imposing restrictions, intercepting, suspending, or terminating high-risk or abnormal behaviors. (3) Memory retention management. Define memory content, retention windows, and access scopes based on processing purposes and necessity, while enforcing memory isolation across users and tasks. Credentials and secret keys shall not, in principle, be stored in memory. When sensitive personal information must be retained, apply dedicated safeguards such as encryption, access controls, and the shortest retention period.

(4) 통신 보안 관리. 에이전트가 대규모 모델, 도구 또는 기타 구성요소와 통신할 때, 통신 당사자는 서로의 신원을 상호 인증하고 무결성, 기밀성, 가용성, 재전송 공격(replay attack) 저항성을 보장하는 안전한 통신 메커니즘을 사용해야 한다.

(4) Communication security management. When an agent communicates with large models, tools, or other components, the communicating parties should mutually authenticate each other's identities and use secure communication mechanisms that ensure integrity, confidentiality, availability, and resistance to replay attacks.

(5) 자율 실행 통제. 에이전틱 AI의 실행 단계, 호출 빈도, 실행 시간, 자원 소비에 대해 적절한 파라미터를 설정한다. 비정상적 루프, 목표 표류(goal drift) 등의 문제가 발생하면 즉시 실행을 일시 중지 또는 종료하거나 인간의 처리로 이관한다.

(5) Autonomous execution control. Set appropriate parameters for agentic AI's execution steps, invocation frequency, execution duration, and resource consumption. In the event of abnormal loops, goal drift, or similar issues, promptly suspend or terminate execution or hand it over for human handling.

(6) 런타임 환경 격리. 코드 실행, 도구 호출 등 고위험 작업에는 샌드박스, 컨테이너 등의 격리 메커니즘을 사용하고, 시스템·파일·네트워크에 대한 불필요한 접근을 제한한다.

(6) Runtime environment isolation. Use isolation mechanisms such as sandboxes and containers for high-risk operations, including code execution and tool invocation, and restrict unnecessary access to systems, files, and networks.

6. 지속적 모니터링 및 감사

6. Continuous monitoring and auditing

에이전트에 대해 종단 간(end-to-end) 보안 모니터링을 수행하여, 그 행동이 관찰 가능하고 추적 가능하며 감사 가능하도록 보장한다.

Conduct end-to-end security monitoring of agents to ensure that their behaviors are observable, traceable, and auditable.

(1) 이상 차단. 에이전트의 런타임 상태를 실시간으로 모니터링한다. 이상이 탐지되면 경보 발생, 개입, 차단 등의 조치를 신속히 취한다.

(1) Anomaly blocking. Monitor the runtime status of agents in real time. Upon detecting anomalies, take prompt actions such as triggering alerts, intervening, and blocking.

(2) 데이터 관리 강화. 데이터 처리는 필요성 원칙에 따라야 하며, 과업과 직접 관련된 데이터만 처리해야 한다. 사용자 데이터를 대규모 모델이나 제3자 도구에 제공하기 전에 사용자 동의를 받아야 하며, 사용자는 동의를 철회할 수 있어야 한다. 역내에서 수집 또는 생성된 데이터는 역내에 저장해야 하며, 국외 데이터 이전은 데이터 보안 관리에 관한 관련 국가 규정을 준수해야 한다.

(2) Strengthening data management. Data processing should follow the principle of necessity, with only data directly relevant to the task being processed. User consent should be obtained before user data is provided to a large model or a third-party tool, and users should be able to withdraw their consent. Data collected or generated within a territory must be stored within the territory, and cross-border data transfers should comply with relevant national regulations on data security management.

(3) 로그 관리. 파일 작업, 명령 실행, 네트워크 연결, 스킬 호출, 거래 및 결제 등의 활동에 대해 전 범위 로그를 유지한다. 로그에 포함된 업무 데이터, 개인정보 및 기타 관련 내용은 비식별화해야 하며, 위변조 방지 조치를 채택해야 한다.

(3) Log management. Maintain full-spectrum logs of activities including file operations, instruction execution, network connections, skill invocation, and transactions and payments. Business data, personal information, and other relevant content contained in the logs should be desensitized, and antitampering measures should be adopted.

(4) 보안 감사. 동적 런타임 모니터링을 지원하기 위해 종단 간(end-to-end) 로그 감사 정책을 시행하고, 서비스 운영 중의 관련 작업 및 처리 활동을 기록한다.

(4) Security auditing. Enforce end-to-end log auditing policies to support dynamic runtime monitoring and record relevant operations and processing activities during service operation.

(5) 샌드박스 환경 확인. 독립적이고 격리된 샌드박스 런타임 환경을 구축하여 정식 배포 전에 폐쇄 루프 테스트 및 확인을 수행함으로써, 실행 이상, 논리 결함, 보안 취약점을 선제적으로 발견한다.

(5) Sandbox environment validation. Establish an independent and isolated sandbox runtime environment to conduct closed-loop testing and validation prior to official deployment, proactively uncovering execution anomalies, logic flaws, and security vulnerabilities.

(6) 레드티밍. 정기적인 레드티밍 메커니즘을 제도화하여 취약점과 논리 결함을 체계적으로 발견하고, 접근 통제와 방어 역량을 지속적으로 확인하며, 보안 정책을 반복적으로 개선한다.

(6) Red teaming. Institutionalize regular red teaming mechanisms to systematically discover vulnerabilities and logic flaws, continuously validate access controls and defense capabilities, and iteratively refine security policies.

(7) 비상 대응 계획. 에이전트 보안 사고에 대한 비상 대응 계획을 수립하고, 등급별 사고에 대한 대응 절차와 책임 주체를 명확히 정의하며, 보안 사고와 잠재적 보안 위험을 요건에 따라 처리한다.

(7) Emergency response plans. Develop emergency response plans for agent security incidents, clearly define response procedures and responsible parties for incidents at different levels, and handle security incidents and potential security risks as required.

(8) 주요 변경에 대한 보안 확인. 대규모 모델, 에이전트 프레임워크, 도구, 권한 또는 보안 정책에 주요 변경이 이루어지는 경우, 보안 영향 평가(assessment)와 필요한 회귀 테스트를 수행해야 한다.

(8) Security validation for major changes. When major changes are made to large models, agent frameworks, tools, permissions, or security policies, a security impact assessment and necessary regression testing should be conducted.

7. 폐기 보안 관리

7. Decommissioning security management

종료 및 해지, 데이터 폐기, 런타임 환경 회수에 대한 표준화된 통제 메커니즘을 수립하여, 에이전트 폐기 전 과정이 통제 가능하고 추적 가능하며 잔여 보안 위험이 남지 않도록 보장한다.

Establish standardized control mechanisms for shutdown and termination, data disposal, and runtime environment reclamation, ensuring that the entire agent decommissioning process is controllable and traceable and leaves no residual security risks.

(1) 서비스 완전 종료. 폐기 시 에이전트의 주 프로세스, 관련 백그라운드 서비스, 지원 프로세스를 완전히 종료해야 한다. 프로세스 상태, 활성 포트, 네트워크 연결을 항목별로 검증해야 한다. 제3자 권한 부여를 철회하고 구독 및 자동 갱신을 취소하여, 에이전트가 운영을 완전히 중단하도록 보장해야 한다.

(1) Complete service shutdown. Upon decommissioning, an agent's primary process, associated background services, and supporting processes must be fully terminated. Process states, active ports, and network connections must be verified item by item. Third-party authorizations must be revoked, and subscriptions and auto-renewals canceled, ensuring the agent fully ceases operation.

(2) 필수 데이터 백업. 환경 정리 및 자원 회수 전에 에이전트 대화 로그, 시스템 구성, 지식 베이스, 운영 로그 및 기타 필요한 데이터를 백업한다.

(2) Essential data backup. Prior to environment sanitization and resource reclamation, back up agent conversation logs, system configurations, knowledge bases, operation logs, and other required data.

(3) 배포 환경 정리. 공식 제거 프로그램 사용, 운영체제 초기화, 공용 네트워크 접근 차단, 작업 파일·지식 베이스·플러그인·스킬 구성 및 기타 자원 삭제 등을 통해 잔여 파일, 데이터, 계정 자격 증명 및 기타 잔존물을 철저히 제거한다.

(3) Deployment environment cleanup. Thoroughly remove residual files, data, account credentials, and other remnants by using official uninstallers, resetting the operating system, disabling public network access, and clearing working files, knowledge bases, plugins, skill configurations, and other resources.

에이전틱 AI의 인지 및 운영 역량이 계속 빠르게 진화함에 따라, 신흥 위험은 지속적인 사이버 보안 과제를 제기한다. 본 프레임워크는 에이전트 애플리케이션의 개발자, 제공자, 사용자에게 참고 자료가 될 수 있도록 지속적으로 갱신 및 개선될 것이다.

As the cognitive and operational capabilities of agentic AI continue to rapidly evolve, emerging risks present ongoing cybersecurity challenges. This framework will undergo continuous updates and refinement to serve as a reference for developers, providers, and users of agent applications.

부록 3

Appendix 3

신뢰할 수 있는 AI를 위한 기본 원칙

Fundamental principles for trustworthy AI

글로벌 AI 거버넌스 이니셔티브의 이행은 인간 중심 접근 방식을 견지하고 선을 위한 AI 개발 원칙을 고수한다. 본 이니셔티브는 AI 기술의 통제 상실 위험을 예방하고 대응하기 위해 역량을 결집하고, 전 세계적으로 해당 기술의 신뢰할 수 있는 활용을 촉진하는 것을 목표로 한다. 이에 신뢰할 수 있는 AI를 위한 다음의 기본 원칙을 제안한다.

The implementation of the Global AI Governance Initiative upholds a people-centered approach and adheres to the principle of developing AI for good. This initiative aims to pool efforts to prevent and address the risk of AI technology losing control, and promote the trustworthy application of the technology worldwide. We propose the following fundamental principles for trustworthy AI:

1. 인간의 최종 통제 보장

1. Ensure ultimate human control

AI 시스템의 핵심 단계에 인간 통제 체계를 구축하여 인간이 최종 의사결정 권한을 보유하도록 보장해야 한다. 이를 위한 조치로는 안전 통제 임계값 설계, 안전 정지 스위치 설정, 인간 개입을 위한 실효적 시간 창 확보 등이 있으며, 이를 통해 AI 시스템이 인간이 의도한 목표를 달성하고 인간 감독 없이 통제 불능 상태로 작동하지 않도록 한다.

A human control system should be established at critical stages of AI systems to ensure that humans retain the final decision-making authority. Measures include designing safety control thresholds, setting safety stop switches, and reserving an effective window for human intervention, so that AI systems can achieve intended human objectives and do not operate uncontrollably without human oversight.

2. 국가 주권 존중

2. Respect national sovereignty

AI 제품을 개발·설계하고 AI 서비스를 제공함에 있어, 해당 제품과 서비스가 운영되는 국가의 주권을 충분히 존중해야 한다. 적용 법률을 엄격히 준수하고, 법에 따라 규제 요건을 준수해야 한다. AI 제품이나 서비스를 타국의 내정, 사회 체제 또는 사회 질서에 간섭하는 데 사용해서는 안 된다. 모든 국가의 디지털 주권을 충분히 존중해야 한다. 각국은 자국의 국가적 여건에 따라 디지털 및 지능형 기술 발전 경로와 협력 파트너, 관련 제품 및 서비스를 독자적으로 선택할 권리를 가진다. 어떤 국가도 편을 선택하도록 강요받아서는 안 된다.

In developing and designing AI products and providing AI services, due respect shall be given to the sovereignty of the countries where such products and services are operated. Applicable laws shall be strictly observed, and regulatory requirements shall be complied with in accordance with the law. AI products or services shall not be used to interfere in the internal affairs, social systems, or social order of other countries. Due respect shall be given to the digital sovereignty of all countries. Each country has the right to independently choose its own path for the development of digital and intelligent technologies, as well as its partners and related products and services, based on its national conditions. No country should be forced to take sides.

3. 가치 정렬

3. Align values

평화, 발전, 공정성, 정의, 민주, 자유라는 인류 공동의 가치를 AI 시스템의 전체 수명주기에 깊이 통합해야 한다.

The common values of humanity-peace, development, fairness, justice, democracy, and freedom-should be deeply integrated into the full life cycle of AI systems.

4. AI 시스템의 투명성 제고

4. Enhance the transparency of AI systems

기능적 목표, 작동 논리, 모델 사용, 데이터 출처, 의사결정 근거 등 핵심 측면에서 AI 시스템에 대한 필요한 공개를 촉진하여 대중 신뢰의 기반을 강화해야 한다.

We should promote the necessary disclosure of AI systems in key aspects, including functional objectives, operational logic, model usage, data sources, and the rationale behind decision-making, to strengthen the foundation of public trust.

5. 객관적 검증 촉진

5. Promote objective verification

객관적이고 공정하며 투명한 테스트 및 검증 메커니즘을 구축하여, AI 시스템의 기능적 성능, 안전 특성, 의사결정 과정 등에 대한 기술적 확인이 가능하도록 해야 한다.

An objective, fair, and transparent testing and verification mechanism should be established to enable technical validation of AI systems' functional performance, safety features, and decision-making processes, among others.

6. 안전 보호 강화

6. Strengthen safety protection

AI 시스템을 설계하고 배포할 때 위험 모델링, 안전 테스트, 보호 메커니즘 개발을 강화해야 한다. 또한 전체 수명주기에 걸쳐 감사를 수행하고 기록을 유지하여, 시스템이 모델 결함, 외부 공격, 기술 남용 또는 기타 문제로 인해 기대 목표에서 벗어나지 않도록 해야 한다.

While designing and deploying AI systems, we should enhance risk modeling, safety testing, and protection mechanism development. We should also conduct audits and maintain records throughout their full life cycle, so that the systems won't deviate from the expected goal due to model defects, external attacks, technology abuse, or other problems.

7. 선제적 예방 및 대응

7. Proactive prevention and response

선제적인 위험 식별 및 평가(assessment)를 통해 능동적으로 예방하고 동적 모니터링을 수행해야 한다. 또한 비상 대응을 강화하여 AI 통제 상실 사고의 발생과 확대를 방지해야 한다. AI 모델의 안전 위험 평가를 강화하고, 평가(assessment) 방법과 벤치마크의 국제적 상호 인정을 촉진해야 한다.

We should make active prevention and conduct dynamic monitoring through proactive risk identification and assessment. We should also intensify emergency response to prevent the occurrence and escalation of incidents where AI loses control. We should strengthen safety risk assessments of AI models and promote international mutual recognition of assessment methods and benchmarks.

8. 글로벌 협력 거버넌스

8. Global collaborative governance

유엔이 글로벌 AI 거버넌스의 주요 채널 역할을 하도록 지원하고, 세계인공지능협력기구(World Artificial Intelligence Cooperation Organization) 등 플랫폼의 역할을 활용해야 한다. 분야를 아우르는 다자적·다주체적 협력 거버넌스를 촉진하고, 소규모 그룹 중심의 거버넌스로 글로벌 거버넌스를 대체하는 것에 반대해야 한다. 개발도상국의 역량 강화를 강화해야 한다. 각국의 정부, 기업, 학술 기관, 일반 대중 간 시너지를 형성하여, 다층적이고 분야 횡단적인 거버넌스 메커니즘을 통해 AI의 건전한 발전을 촉진해야 한다.

We should support the United Nations in serving as the main channel for global AI governance, and leverage the role of platforms such as the World Artificial Intelligence Cooperation Organization. We should promote multilateral and multi-party collaborative governance across sectors, and oppose replacing global governance with small-circle governance. We should strengthen capacity building for developing countries. Synergy should be forged among governments, enterprises, academic institutions, and the general public from various countries, so as to facilitate AI's sound development through multi-level and cross-sectoral governance mechanisms.

감사의 글

Acknowledgements

중국사이버공간연구원, 중국 국가인터넷정보판공실 데이터·기술지원센터, 중국 국가컴퓨터네트워크 비상대응기술팀/조정센터, 중국사이버보안협회, 중국전자표준화연구원, 중관춘실험실, 상하이인공지능실험실, 중국과학원 정보공학연구소, 중국과학원 컴퓨팅기술연구소, 중국 산업제어시스템 사이버 비상대응팀, 중국전자제품신뢰성·환경시험연구소, China Mobile 연구원, China Telecom Corporation Limited 베이징연구원, 칭화대학교, 중국과학기술대학교, 베이항대학교, 베이징우전대학교, 베이징사범대학교, 베이징정보과학기술대학교, 화둥이공대학교, 시난정법대학교, 허난대학교, Baidu Online Network Technology (Beijing) Co., Ltd., DBAPPSecurity Co., Ltd., 360 Technology Group Co., Ltd. 및 Full Truck Alliance.

Chinese Academy of Cyberspace Studies, Data and Technical Support Center of the Cyberspace Administration of China, National Computer Network Emergency Response Technical Team/Coordination Center of China, Cyber Security Association of China,China Electronics Standardization Institute, Zhongguancun Laboratory, Shanghai Artificial Intelligence Laboratory, Institute of Information Engineering of the Chinese Academy of Sciences, Institute of Computing Technology of the Chinese Academy of Sciences, China Industrial Control Systems Cyber Emergency Response Team, China Electronic Product Reliability and Environment Test Research Institute, China Mobile Research Institute, China Telecom Corporation Limited Beijing Research Institute, Tsinghua University, University of Science and Technology of China, Beihang University, Beijing University of Posts and Telecommunications, Beijing Normal University, Beijing Information Science and Technology University, East China University of Science and Technology, Southwest University of Political Science and Law, Henan University, Baidu Online Network Technology (Beijing) Co., Ltd., DBAPPSecurity Co., Ltd., 360 Technology Group Co., Ltd., and Full Truck Alliance.