개념 지도
장 이름표를 누르면 그 장이 확대되고, 다시 누르거나 빈 곳을 누르면 돌아옵니다.카드 읽는 법
| 표제어 | 번역 용어 정본(ai-safety-translation-kit)의 번역어를 기본으로 한다. '안전', '위험', '사고'처럼 AI를 붙이지 않고 쓰며, 'AI 안전' 같은 표기는 대체어로 둔다. |
| 대체어 | 함께 쓰이는 다른 표기. 마우스를 올리면 출처(정본 변형·이전 표기·편집)가 보인다. |
| 용어 설명 | 굵은 한 줄이 정의, 아래 항목이 AI 안전 관점의 부연, 회색 상자가 헷갈리기 쉬운 용어와의 구별이다. |
| 기관·문서별 | 국제기구·표준·법령이 그 개념을 어떻게 정의하고 적용하는지. 번호는 출처 목록을 가리킨다. |
| 용어 관계 | 가운데가 이 용어. 위는 상위어, 아래는 하위어, 왼쪽은 먼저 알 개념·앞 단계, 오른쪽은 다음 단계·혼동 주의 용어다. 상자를 누르면 그 카드로 간다. |
| 펼치기 | 해설, PDF 원문 인용(쪽수), 다이제스트 참고 기사, 코퍼스 지표. |
171개 표제어
001생성형 AIgenerative AI학습 데이터의 패턴을 익혀 글·이미지·소리·영상 같은 새로운 콘텐츠를 생성하는 AI 시스템을 말함.
용어 설명
학습 데이터의 패턴을 익혀 글·이미지·소리·영상 같은 새로운 콘텐츠를 생성하는 AI 시스템을 말함.
- 입력을 분류하거나 값을 예측하는 판별형 AI와 달리 학습한 분포에서 새 표본을 만들어 냄. 언어의 거대 언어 모델, 이미지의 확산 모델이 대표 계열임.
- 산출물이 그 자체로 유통되는 콘텐츠이므로 허위 정보, 딥페이크, 저작권, 비동의 성적 이미지 같은 문제가 함께 따라옴. AI 생성물 표시·워터마킹 같은 투명성 의무가 이 계열에 집중되는 배경임.
용어 관계
주요 기관·문서별 개념 및 적용
- 입력한 데이터의 구조와 특성을 모방해 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능시스템으로 정의함. [1]
- 기존 데이터에서 패턴을 학습하고 그 패턴을 반영한 새로운 출력을 생성함으로써 텍스트·이미지·오디오 등 새 콘텐츠를 만들 수 있는 AI로 정의함. [2]
출처
해설 · 원문 인용 4 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
PDF 원문 인용
'생성형 인공지능'이란 입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조제1호에 따른 데이터 를 말한다. 이하 같다)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지 능시스템을 말한다.
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션
번역기존 데이터에서 패턴을 학습해 텍스트·이미지·오디오 등 새로운 콘텐츠를 만들어 내는 AI.
AI that can create new content such as text, images, or audio by learning patterns from existing data and generating novel outputs that reflect those patterns.
출처 International Scientific Report on the Safety of Advanced AI · p.222–223 · EN · 정의섹션
'생성형 인공지능'이란 입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조제1호에 따른 데이터를 말한다. 이하 같다)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생 성하는 인공지능시스템을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 라이브러리에서 보기
'생성형 인공지능'이란 입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조 제1호에 따른 데이터를 말한다. 이하 같다)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능시스템을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 라이브러리에서 보기
참고 기사·연구
- 2026-09-06구글 어스의 롤백: 스푸트니크는 왜 나노 바나나가 되었나 AI-Ethics-KR 다이제스트 2026-09-06
- 2026-09-05America’s Two Largest School Districts Impose AI Moratoriums TechPolicyPress 다이제스트 2026-09-05
- 2026-09-04From Regulatory Authorization to Clinical Accountability: A Control Preventability Framework for Healthcare AI OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-11-06파운데이션·생성형 AI 시스템의 방어 공학 Advances in computationa
- 2026-10-18생성형 AI 윤리·거버넌스: 생애주기 공학 관점 Expert Systems
- 2026-09-18EnterpriseVal: 기업 생성형 AI 효능·신뢰성·가치 평가 arXiv
- 2026-09-17거버넌스 애즈 코드: EU AI법 준수 파이프라인 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-29🇦🇷 부에노스아이레스주 검찰청 생성형 AI 책임 있는 도입 프레임워크 가이드라인·원칙
- 2026-10-16🇰🇷 대학 연구자를 위한 생성형 AI 연구윤리 가이드 한국연구재단 · 가이드라인·원칙
- 2026-10-12🇰🇷 정신건강 목적 생성형 AI 이용 가이드라인 보건복지부 · 가이드라인·원칙
- 2026-10-08🇰🇷 정보통신망법 미성년자 AI 대화형 서비스 이용제한 개정안(의안번호 2221842) 법안
002파운데이션 모델foundation model대규모 데이터로 사전학습해 다양한 하류 과제에 맞춰 쓸 수 있도록 만든 범용 AI 모델을 말함.
용어 설명
대규모 데이터로 사전학습해 다양한 하류 과제에 맞춰 쓸 수 있도록 만든 범용 AI 모델을 말함.
- 과제마다 모델을 따로 만들던 방식과 달리, 큰 모델을 한 번 학습한 뒤 미세조정이나 프롬프트로 여러 과제에 적응시킴. 언어뿐 아니라 이미지·음성 등 여러 형태의 데이터를 다루는 모델을 포함함.
- 하나의 모델이 수많은 서비스의 토대가 되므로 결함·편향·취약점이 하류 전체로 전파됨. 이 때문에 규제가 개별 용도와 별도로 모델 계층을 규율하게 됐음.
구별'파운데이션 모델'은 하류 적응을 전제로 한 모델이라는 기술적 성격을, '범용 AI'는 EU AI Act 등에서 쓰는 규제상 범주를 강조함. '거대 언어 모델'은 그 하위 계열임.
용어 관계
주요 기관·문서별 개념 및 적용
- 폭넓은 하류 과제에 적응할 수 있도록 설계된 범용 AI 모델로 정의함. [1]
출처
- 1International AI Safety Report 2025, Glossary, p.221–222 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 2
해설
예전에는 과제마다 모델을 따로 만들었다. 번역 모델, 감정 분석 모델, 요약 모델을 각각 학습시키는 방식이었다. 파운데이션 모델은 그 순서를 뒤집는다. 큰 모델을 한 번 학습해 두고, 미세조정이나 프롬프트로 여러 과제에 맞춰 쓰는 것이다. 언어에 한정되지 않아 이미지, 음성, 여러 형태를 함께 다루는 모델을 포함하며, 거대 언어 모델은 그 하위 계열에 해당한다.
정책적으로 중요한 이유는 위험이 상류에 집중된다는 점이다. 하나의 모델이 수백 개 서비스의 토대가 되면, 그 모델의 결함이나 편향이 하류 전체로 함께 전파된다. 개별 서비스를 각각 규율하는 방식으로는 이 구조를 다룰 수 없다. 그래서 규제가 용도별 접근에 더해 모델 계층을 따로 규정하게 됐고, EU AI법의 범용 AI 모델 규정이 그 결과다. 반대로 상류에서 문제를 잡으면 하류 전체가 함께 개선되는 장점도 같은 구조에서 나온다.
PDF 원문 인용
번역폭넓은 하류 과제에 적응할 수 있도록 설계된 범용 AI 모델.
A general-purpose AI model designed to be adaptable to a wide range of downstream tasks.
출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션
파운데이션 모델은 방대한 양의 데이터로 학습된 범용 AI 모델로, 한 번의 학습을 통해 다양한 작업에 활용할 수 있는 구조를 말합니다. 기존의 AI 모델이 특정 목적(예: 번역, 얼굴 인식 등)에 맞춰 설계되었다면, 파운데이션 모델은 언어·이미지·음성 등 여러 형태의 데이터를 함께 학습해 공통 기반을 형성합니다. 이렇게 학습된 모델은 이후 세부 분야에 맞춰 추가 조정만으로 새로운 작업을 수행할 수 있습니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.81 · KO · 정의섹션
참고 기사·연구
- 2026-09-08美·中 보안AI 날아가는데… 韓은 '거북이걸음' 서울경제 다이제스트 2026-09-08
- 2026-09-08보안특화 AI, 명확한 목표·성능 입증 필요 전자신문 다이제스트 2026-09-08
- 2026-09-04과기정통부, 한국형 파운데이션 모델로 AI 선두 美·中에 도전 아주경제 다이제스트 2026-09-04
관련 연구 · AI 안전 연구
- 2026-11-06ABHBench: 에이전트 관점의 파운데이션 모델 도덕적 의사결정 평가 arXiv
- 2026-07-14J-공간 기반 모델·양자화별 위험 인식 비교 프로토콜 arXiv
- 2026-04-09파운데이션 모델의 개인정보 위협과 규제 방향 Stanford HAI
- 2024-09-08미국 AISI 이중용도 모델 오용위험 지침 의견서 METR
관련 정책 문서 · AI 안전 라이브러리
- 2025-07-09🇬🇧 영국 파운데이션 모델 태스크포스 Department for Science, Innova
- 2025-01-03🇺🇸 AI Foundation 모델 투명성 법 2023 United States Congress · 법안
003거대 언어 모델large language model (LLM)방대한 텍스트로 학습해 문맥상 다음에 올 말을 확률적으로 예측하도록 만든 대형 신경망 언어 모델을 말함.
용어 설명
방대한 텍스트로 학습해 문맥상 다음에 올 말을 확률적으로 예측하도록 만든 대형 신경망 언어 모델을 말함.
- 단순한 다음 말 예측 목표로 데이터와 파라미터를 키우자 번역·요약·추론·코딩 같은 역량이 함께 나타났고, 현재 생성형 AI와 AI 에이전트의 중심 구성 요소가 됨.
- 그럴듯함과 참이 분리돼 있어 환각이 생기고, 문맥 속 지시와 자료를 구별하지 못하는 성질에서 프롬프트 인젝션 취약성이 나옴. 역량의 원천과 한계가 같은 데서 나온다는 점이 안전 논의의 출발점임.
구별'거대 언어 모델'은 언어 중심 모델 계열을, '파운데이션 모델'은 언어 외 형태까지 포함해 하류 적응을 전제로 한 모델 전반을 가리킴.
용어 관계
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
하는 일은 단순하다. 지금까지의 문맥을 보고 다음에 올 말로 무엇이 가장 그럴듯한지 확률을 매기는 것이다. 이 단순한 목표로 방대한 텍스트를 학습시키면서 파라미터와 자료를 함께 키우자, 번역과 요약과 추론과 코딩 같은 역량이 따라 올라오는 것이 확인됐다. 명시적으로 가르치지 않은 과제도 예시 몇 개만 보여 주면 처리하는 성질이 드러나면서 응용 범위가 크게 넓어졌고, 현재 생성형 AI의 중심에 놓이게 됐다.
역량의 원천과 한계가 같은 데서 나온다는 점을 이해하면 이 모델을 다루기가 쉬워진다. 다음 말을 예측하도록 학습됐기 때문에 자연스러운 문장을 만드는 데 뛰어나지만, 같은 이유로 사실 확인은 별도의 역량이 아니다. 그럴듯함과 참임이 분리돼 있는 것이다. 환각이 여기서 나오고, 문맥에 담긴 지시와 자료를 구별하지 못하는 성질에서 프롬프트 인젝션이 나온다. 국문 표기는 거대 언어 모델, 대규모 언어 모델, LLM이 함께 쓰여 아직 하나로 굳지 않았다.
PDF 원문 인용
LLM은 방대한 텍스트를 학습해 단어 간 패턴과 의미를 확률적으로 예측하는 언어 중심 AI 모델입니다. 문장 내 모든 단어 간의 관계를 동시에 고려하여 각 단어의 문맥적 중요도를 계산하는 트랜스포머 구조의 Self-Attention 메커니즘을 활용해 문맥을 파악하고, 문장 간 의미 연결을 이해합니다. 이로써 문장 생성, 요약, 번역, 질의응답, 코드 작성 등 다양한 언어 작업을 수행하며, 인간의 사고 과정을 모방한 추론·기획형 언어 지능으로 발전중입니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.11 · KO · 정의섹션
참고 기사·연구
- 2026-09-04From Regulatory Authorization to Clinical Accountability: A Control Preventability Framework for Healthcare AI OpenAlex 연구
- 2026-09-04Evaluation of Vanilla and RAG-Supported LLM Comprehension of the EU AI Act OpenAlex 연구
- 2026-09-04TIER: Threat Implicitness Benchmark for Evaluating LLM Safety Behaviors arXiv 연구
관련 연구 · AI 안전 연구
- 2026-11-06아프리카 언어 LLM 레드팀: 저자원 언어 안전 정렬 실패 Research Square
- 2026-11-06소형 LLM·VLM의 거부·확신·설명 불일치 교차모달 감사 Electronics
- 2026-11-03자기 믿음에 반하는 학습이 유발하는 정렬 이탈 arXiv
- 2026-11-03GapDPO: 집합 단위 선호 최적화 기반 LLM 안전 정렬 Applied Sciences
관련 정책 문서 · AI 안전 라이브러리
- 2026-01🇸🇬 싱가포르 LLM 애플리케이션 안전성·신뢰성 테스트 스타터 킷 정보통신미디어발전국(IMDA) · 가이드라인·원칙
004오픈 웨이트 모델open-weight model모델 가중치를 공개해 누구나 내려받아 직접 실행·연구·수정할 수 있게 한 AI 모델을 말함.
용어 설명
모델 가중치를 공개해 누구나 내려받아 직접 실행·연구·수정할 수 있게 한 AI 모델을 말함.
- 대개 가중치와 실행 코드만 공개되고 학습 코드·데이터는 공개되지 않으며 이용 제한 라이선스가 붙기도 해, '오픈소스 모델'이라는 표현이 부정확한 경우가 많음.
- 외부 검증과 연구가 쉬워지고 시장 집중을 완화할 가능성이 있으며 자원이 적은 주체도 활용할 수 있다는 이점이 있지만, 한 번 공개된 가중치는 회수할 수 없고 미세조정으로 안전장치를 제거해 악의적으로 사용할 수 있음.
- 논의는 공개 여부의 찬반에서 어떤 역량 수준까지 공개해도 되는지, 공개 전 어떤 평가를 거쳐야 하는지로 옮겨 가고 있음.
구별'오픈 웨이트'는 가중치 공개를 뜻할 뿐이고 '오픈소스'는 누구나 어떤 목적으로든 사용·연구·수정·공유할 수 있게 하는 라이선스를 요구하며, 가중치를 공개하지 않는 '폐쇄형 모델'이 그 반대편에 있음.
용어 관계
주요 기관·문서별 개념 및 적용
출처
해설 · 참고 기사 3 · 관련 연구 4
해설
오픈소스와 구별해 쓰는 말이다. 소프트웨어에서 오픈소스는 소스 코드를 공개하고 자유로운 이용과 수정, 재배포를 허용하는 것을 뜻하는데, 모델에서 그에 해당하는 것은 학습 코드와 학습 자료까지 공개하는 것이다. 실제로는 그런 경우가 드물고 대개 가중치와 실행 코드만 공개되며, 상업적 이용이나 특정 용도를 제한하는 라이선스가 붙기도 한다. 그래서 오픈소스 모델이라는 표현이 정확하지 않은 경우가 많다.
안전 논쟁의 축이 여기에 있다. 공개하는 쪽의 근거는 분명하다. 연구자가 내부를 들여다볼 수 있어 검증이 가능해지고, 소수 기업에 의존하는 구조가 완화되고, 자원이 적은 곳에서도 활용할 수 있다. 우려하는 쪽의 근거도 분명하다. 한 번 공개하면 어떤 통제도 적용할 수 없고, 추가 학습으로 안전장치를 떼어낼 수 있고, 회수도 불가능하다. 그래서 논의는 공개 여부를 두고 다투는 데서 어떤 역량 수준까지 공개해도 되는지를 정하는 쪽으로 옮겨 갔다.
참고 기사·연구
- 2026-08-23[손재권의 변곡점] 美·中 AI 모델, 원할 때 갈아탈 수 있어야 조선일보 다이제스트 2026-08-23
- 2026-08-20중국 AI 질주에 긴장한 미, 클라우드 수출통제도 추진…한국 등에 동참 요구 가능성도 경향신문 다이제스트 2026-08-20
- 2026-08-18[기자수첩] 서울시 청년 AI 지원사업… ‘청년의 생각’까지 보호할 수 있나 천지일보 다이제스트 2026-08-18
관련 연구 · AI 안전 연구
- 2026-10-30오픈웨이트 모델 GLM-5.3의 사이버 공격 능력 변화 평가 AISI Japan
- 2026-10-08오픈 웨이트 모델, 사이버 역량 6~7개월 뒤처져 epoch.ai
- 2026-09-04무검열 오픈웨이트 모델: 재배포가 지속성 계층 arXiv
- 2026-07-20오픈 웨이트 모델의 사이버 역량 격차 AISI UK
005폐쇄형 모델closed model모델 가중치를 공개하지 않고, 외부 이용을 허용하지 않거나 개발사가 통제하는 응용 프로그램이나 API로만 이용하게 하는 AI 모델을 말함.
용어 설명
모델 가중치를 공개하지 않고, 외부 이용을 허용하지 않거나 개발사가 통제하는 응용 프로그램이나 API로만 이용하게 하는 AI 모델을 말함.
- 공개 방식은 완전 폐쇄부터 호스팅 접근, API 접근, API를 통한 미세조정 허용까지 단계가 있으며, 가중치 내려받기가 허용되지 않는 쪽을 넓게 폐쇄형으로 부름.
- 개발사가 안전장치를 유지하고 이용 정책을 적용하며 문제가 생기면 접근을 중단·회수할 수 있지만, 외부 연구자의 독립 검증이 어렵고 소수 기업에 의존하는 정도가 커진다는 지적이 있음.
- 가중치가 비공개여도 유출·탈취되면 통제가 사라지므로 가중치 보안이 함께 요구됨.
구별'폐쇄형 모델'과 '오픈 웨이트 모델'은 가중치 공개 여부로 갈리지만, 공개·비공개의 이분법보다 접근 수준의 스펙트럼으로 보는 것이 정확함.
용어 관계
주요 기관·문서별 개념 및 적용
- 기밀성에 기대어 오용 위험을 관리하는 모델은 무단 접근 위험이 충분히 완화된 때에만 개발하고, 가중치 유출·내부자 위협을 막는 보안 조치를 권고함. [3]
- 공개하지 않은 모델 파라미터를 보호하도록 저장 위치 등록, 무단 복사 방지, 전송·저장 시 암호화 등 보안 완화 목표를 제시함. [4]
출처
- 1International AI Safety Report 2025, 2.4, p.149–152 · 원문
- 2International AI Safety Report 2026, p.133 · 원문 · 라이브러리에서 보기
- 3NIST AI 800-1 2차 초안, Practice 3.2, p.13 · 원문
- 4EU GPAI Code of Practice (2025), Safety & Security, Appendix 4.2, p.41–42 · 원문
관련 연구 2
관련 연구 · AI 안전 연구
- 2026-08-11LLM 에이전트의 핵산 합성 검사 회피 능력 평가 RAND
- 2026-05-13ExploitBench: LLM 익스플로잇 역량 단계 벤치마크 arXiv
006모델 가중치model weights학습을 통해 값이 정해진 신경망의 수치 파라미터로, 모델이 학습한 내용이 저장된 핵심 산출물을 말함.
용어 설명
학습을 통해 값이 정해진 신경망의 수치 파라미터로, 모델이 학습한 내용이 저장된 핵심 산출물을 말함.
- 신경망 노드 간 연결 강도를 나타내며 학습 과정에서 반복 갱신됨. 구조와 학습 방법이 공개돼도 가중치가 없으면 같은 모델을 재현하려면 처음부터 학습해야 하고, 가중치만 있으면 누구나 같은 모델을 실행할 수 있음.
- 가중치를 통제하는 쪽이 안전장치 유지·이용 정책 적용·서비스 중단을 할 수 있으므로 안전 통제의 분기점이 됨. 공개하면 회수할 수 없고, 유출은 보안 사고로 다뤄지며 수출 통제 논의의 대상이 되기도 함.
주요 기관·문서별 개념 및 적용
- 신경망 노드 간 연결 강도를 나타내는 모델 파라미터로, 주어진 입력에 대한 출력을 결정하는 데 중요한 역할을 하며 성능을 높이도록 학습 과정에서 반복 갱신된다고 정의함. [1]
출처
- 1International AI Safety Report 2025, p.150; Glossary p.227–228 · 원문
해설 · 원문 인용 3 · 참고 기사 3 · 관련 연구 4
해설
신경망이 학습한 내용이 저장되는 곳이다. 학습이란 결국 이 수치들을 조금씩 고쳐 나가는 과정이고, 학습이 끝나면 모델은 이 수치의 묶음으로 남는다. 구조와 학습 방법이 논문으로 공개돼 있어도 가중치가 없으면 같은 모델을 다시 만들려면 처음부터 학습해야 한다. 반대로 가중치 파일만 있으면 계산 자원이 있는 누구나 어디서든 같은 모델을 돌릴 수 있다.
이 성질 때문에 가중치는 안전 통제의 분기점이 된다. 가중치를 쥐고 서비스로만 제공하면 배포하는 쪽이 거부 장치를 유지하고 사용 정책을 적용하고 문제가 생기면 중단할 수 있다. 공개하면 그 통제가 모두 사라진다. 추가 학습으로 안전장치를 떼어낼 수 있고, 회수할 방법도 없고, 누가 무엇에 쓰는지 알 수도 없다. 가중치 유출을 보안 사고로 다루고 수출 통제 대상으로 볼 수 있는지 논의가 나온 이유가 여기 있다.
PDF 원문 인용
번역신경망 노드 간 연결 강도를 나타내는 모델 파라미터. 주어진 입력에 대한 출력을 결정하는 데 중요하며, 성능을 높이도록 학습 과정에서 반복 갱신된다.
Model parameters that represent the strength of connection between nodes in a neural network. Weights play an important part in determining the output of a model in response to a given input and are iteratively updated during model training to improve its performance. 'General -purpose AI' refers to artificial intelligence models or systems that can perform a wide range of tasks rather than being specialised for one specific function. While all AI operates on a fundamental input-to-output basis -processing data to generate results -general-purpose AI distinguishes itself by its ability to handle a diverse range of tasks, e.g. summarising text, generating images, or writing computer code (for a more detailed definition of general-purpose AI, see Introduction). This versatility makes it useful, allowing applications in numerous fields such as healthcare, finance, and engineering.
출처 International Scientific Report on the Safety of Advanced AI · p.30–31 · EN · 정의섹션
번역신경망 노드 간 연결 강도를 나타내는 모델 파라미터. 주어진 입력에 대한 출력을 결정하는 데 중요하며, 성능을 높이도록 학습 과정에서 반복 갱신된다.
Model parameters that represent the strength of connection between nodes in a neural network. Weights play an important part in determining the output of a model in response to a given input and are iteratively updated during model training to improve its performance.
출처 International Scientific Report on the Safety of Advanced AI · p.150, p.227–228 · EN · 정의섹션
번역신경망 노드 간 연결 강도를 나타내는 모델 파라미터. 주어진 입력에 대한 출력을 결정하는 데 중요하며, 성능을 높이도록 학습 과정에서 반복 갱신된다.
Model parameters that represent the strength of connection between nodes in a neural network. Weights play an important part in determining the output of a model in response to a given input and are iteratively updated during model training to improve its performance. This section covers six general technical challenges that can make risk management and policymaking more difficult for a wide range of general-purpose AI risks (see Figure 3.1).
출처 International Scientific Report on the Safety of Advanced AI · p.170 · EN · 정의섹션
참고 기사·연구
- 2026-09-04AXIOM-1 (A1M): A Sovereign External Governance Framework for Eliminating Sycophancy and Concessive Drift in Stochastic Language Models OpenAlex 연구
- 2026-08-30AI 에이전트 700개 떼로 몰려가 기업 서버 털었다 …오픈AI, 일주일 뒤 파악 뉴시스 다이제스트 2026-08-30
- 2026-08-27Piloting the world's first double-blind AI evaluations DeepMind 다이제스트 2026-08-27
관련 연구 · AI 안전 연구
- 2026-10-15학습 없는 가중치 편집으로 유해 지시 거부하기 arXiv
- 2026-08-25AI 모델 가중치 보안 수준 3(SL3) 달성 방안 RAND
- 2026-07-28가중치로 CSAM 생성 LoRA 탐지 arXiv
- 2026-01-01양자화 LLM의 공정성·안전성을 핵심 가중치 보호로 유지 arXiv
007연산computeAI 모델을 학습·실행하는 데 필요한 계산 자원, 곧 하드웨어·소프트웨어·인프라를 통칭하는 말임.
용어 설명
AI 모델을 학습·실행하는 데 필요한 계산 자원, 곧 하드웨어·소프트웨어·인프라를 통칭하는 말임.
- GPU 같은 연산 칩, 데이터 관리 소프트웨어, 데이터센터가 포함되며, 학습에 투입된 연산량(부동소수점 연산 횟수)으로 규모를 재기도 함.
- 연산은 측정·추적이 비교적 쉬워 AI 거버넌스의 지렛대로 쓰임. 학습 연산량을 규제 대상 선별 기준(연산 임계값)으로 삼거나, 첨단 칩을 수출 통제하는 방식이 대표적임.
- 같은 연산으로도 알고리즘 효율 향상에 따라 역량이 달라지므로, 연산량만으로 위험을 대리하는 데에는 한계가 있다는 지적이 있음.
구별'연산'은 자원 자체를, '연산 임계값'은 그 자원의 투입량을 규제상 기준선으로 쓰는 제도적 장치를 가리킴.
주요 기관·문서별 개념 및 적용
- '계산 자원(computational resources)'의 약칭으로, AI 시스템을 학습·실행하는 데 필요한 하드웨어(예: GPU), 소프트웨어(예: 데이터 관리 소프트웨어), 인프라(예: 데이터센터)를 가리킨다고 정의함. [1]
출처
- 1International AI Safety Report 2025, p.30–31 · 원문
원문 인용 2 · 관련 연구 3 · 정책 문서 4
PDF 원문 인용
번역‘컴퓨팅 자원’의 약칭. AI를 학습·실행하는 데 필요한 하드웨어(예: GPU), 소프트웨어(예: 데이터 관리), 인프라(예: 데이터센터)를 가리킨다.
Shorthand for 'computational resources', which refers to the hardware (e.g. graphics processing units (GPUs)), software (e.g. data management software) and infrastructure (e.g. data centres) required to train and run AI systems.
출처 International Scientific Report on the Safety of Advanced AI · p.30–31 · EN · 정의섹션
번역‘컴퓨팅 자원’의 약칭. AI를 학습·실행하는 데 필요한 하드웨어(예: GPU), 소프트웨어(예: 데이터 관리), 인프라(예: 데이터센터)를 가리킨다.
Shorthand for 'computational resources', which refers to the hardware (e.g. GPUs), software (e.g. data management software) and infrastructure (e.g. data centres) required to train and run AI systems.
출처 International Scientific Report on the Safety of Advanced AI · p.47–48, p.129–130, p.219–220 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-09-02추론 시 연산과 배포 스캐폴드로 평가 현실성 높이기 arXiv
- 2026-01-29소형 모델의 큰 위협: 저연산 AI의 안전 과제 arXiv
- 2025-11-23연산 둔화 시 AI 시간 지평 예측 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-07-09🇵🇹 포르투갈 · 고성능컴퓨팅 R&D 과제 공모: 구글 협력 클라우드 인공지능 Foundation for Science and Tec
- 2025-06-11🇯🇵 일본 ABCI 3.0 국가 AI 컴퓨팅 인프라 기구·제도
- 2025-03-07🇨🇦 캐나다 AI 주권 컴퓨팅 인프라 프로그램 전략·정책
- 2025-01-03🇺🇸 더 안전한 화학물질을 위한 슈퍼컴퓨팅법 United States Congress · 법안
008학습 데이터training dataAI 모델의 학습 가능한 파라미터를 조정해 모델을 학습시키는 데 사용되는 데이터를 말함.
용어 설명
AI 모델의 학습 가능한 파라미터를 조정해 모델을 학습시키는 데 사용되는 데이터를 말함.
- 모델의 역량과 결함이 함께 여기서 나옴. 데이터의 편향은 모델의 편향이 되고, 섞여 든 개인정보는 노출 위험이 되며, 데이터가 부족한 언어·영역은 성능 공백이 됨.
- 저작물 이용의 정당성, 공개된 개인정보의 이용 범위, 벤치마크 문항 혼입이나 악의적 데이터 주입 같은 오염이 주요 쟁점임. 규제는 데이터 품질 관리와 출처 이력 문서화를 요구함.
구별'학습 데이터'는 파라미터를 학습시키는 데 쓰고, '검증 데이터'는 학습 과정과 학습 불가능한 파라미터를 조정하는 데, '시험 데이터'는 출시 전 독립적인 성능 평가에 씀. 세 가지는 용도가 다른 별개 개념임.
주요 기관·문서별 개념 및 적용
출처
- 1『EU GPAI 실천강령 한글 안내서』(2026), p.9 · 원문
해설 · 원문 인용 3 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
모델의 능력과 결함이 함께 여기서 나온다. 자료에 담긴 편향은 모델의 편향이 되고, 섞여 든 개인정보는 노출 위험이 되고, 자료에 없는 영역은 성능이 비는 지점이 된다. 특정 언어나 문화권의 자료가 적으면 그 영역의 성능이 낮게 나오는 것도 같은 이유다. 그래서 규제는 학습 자료의 품질을 관리하고 어디서 무엇을 가져왔는지 이력을 남기도록 요구한다.
쟁점은 셋으로 갈린다. 첫째는 저작물이다. 웹에 공개된 글과 이미지를 학습에 쓰는 일이 어떤 근거로 정당화되는지 여러 나라에서 다투어지고 있다. 둘째는 개인정보다. 공개된 것과 이용해도 되는 것이 같지 않다는 점이 문제의 핵심이다. 셋째는 오염이다. 벤치마크 문항이 섞여 들어가 평가를 무의미하게 만드는 경우와, 공격자가 특정 조건에서만 작동하는 유해한 자료를 의도적으로 심는 경우를 함께 가리킨다.
PDF 원문 인용
학습 가능한 파라미터를 조정함으로써 시스템을 학습시키는 데 사용되는 데이터 AI
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션
학습된 시스템에 대한 평가를 제공하고 특히 과소적합 또는 과대적 AI , (underfitting) 합 을 방지하는 등을 목적으로 해당 시스템의 학습 불가능한 파라미터 및 (overfitting) 학습 과정을 조정하는 데 사용되는 데이터
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션
시스템이 시장에 출시되거나 서비스가 개시되기 전에 해당 시스템의 예상 성능을 확 AI 인하기 위해 독립적인 평가를 제공하는 데 사용되는 데이터
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션
참고 기사·연구
- 2026-09-04“AI 답변, 나에게 유리하게 조작 가능”…제1회 센티언트 AI 미래 포럼 열려[김현지의 with AI] 동아일보 다이제스트 2026-09-04
- 2026-09-04The Seattle Times Company v. OpenAI Inc. AI-Lawsuit-Tracker 다이제스트 2026-09-04
- 2026-09-02"공공AI 활용, 이의제기 가능해야" 전자신문 다이제스트 2026-09-02
관련 연구 · AI 안전 연구
- 2026-10-29템플릿 기반 다국어 안전 학습 데이터 확장 arXiv
- 2026-10-26오픈웨이트 생물 모델의 사전학습 데이터 필터링 AISI UK
- 2026-10-19단백질 언어모델 사전학습 데이터 필터링의 효과와 내구성 arXiv
- 2026-02-10영향 함수로 학습 데이터를 편집해 모델 행동 조작 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-02-24🇺🇸 뉴욕 A 6578 AI 훈련 데이터 투명성 법안 법안
- 2026-01-30🇺🇸 워싱턴 HB 2503 법안
- 2025-07-28🇺🇸 교육용 AI 안전 활용 지침 마련 법
- 2025-07-09🇺🇸 캘리포니아 AB 412 법안
009합성 데이터synthetic data실제 관측·수집이 아니라 알고리즘이나 AI 시스템으로 인위적으로 생성한 텍스트·이미지 등의 데이터를 말함.
용어 설명
실제 관측·수집이 아니라 알고리즘이나 AI 시스템으로 인위적으로 생성한 텍스트·이미지 등의 데이터를 말함.
- 고품질 자연 데이터가 부족한 영역의 학습 보강, 개인정보 노출을 줄인 대체 데이터, 안전 학습·평가용 사례 생성 등에 쓰임.
- 원본의 편향이나 생성 모델의 오류가 그대로 옮겨 가거나 증폭될 수 있고, AI 생성 데이터로 반복 학습하면 품질이 떨어질 수 있다는 우려가 있음. 생성 이력을 남기는 데이터 기원 관리가 중요함.
구별'합성 데이터'는 주로 학습·평가에 쓰는 인공 데이터를 가리키며, 실존 인물을 흉내 내 유통되는 '딥페이크'나 'AI 생성 가짜 콘텐츠'와는 목적과 쟁점이 다름.
용어 관계
혼동 주의 딥페이크
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, p.47–48; Glossary p.226–227 · 원문
- 2International AI Safety Report 2026, Glossary, p.154–155 · 원문 · 라이브러리에서 보기
원문 인용 3 · 관련 연구 2
PDF 원문 인용
번역텍스트·이미지처럼 인위적으로—예를 들어 범용 AI로—생성된 데이터. 고품질 자연 데이터가 부족할 때 AI 학습에 쓰이기도 한다.
Data like text or images that has been artificially generated, for instance by general-purpose AI systems. Synthetic data might be used for training AI systems, e.g. when high-quality natural data is scarce.
출처 International Scientific Report on the Safety of Advanced AI · p.47–48, p.226–227 · EN · 정의섹션
번역텍스트·이미지처럼 인위적으로 생성되어, 다른 출처의 고품질 데이터가 부족할 때 AI 모델 학습에 쓰이기도 하는 데이터.
Artificially generated data, such as text or images, that is sometimes used to train AI models, for example, when high-quality data from other sources is scarce. (AI) System: An integrated combination of one or more AI models with other components, such as a chat interface, to support practical deployment and operation.
출처 International AI Safety Report 2026 · p.155–156 · EN · 정의섹션 · 라이브러리에서 보기
합성데이터는 실제 데이터를 직접 사용하지 않고, 원본 데이터의 패턴과 분포를 참고해 알고리즘이 새롭게 생성한 인공 데이터입니다. 실제 존재하는 개인이나 사건을 그대로 반영하지 않기 때문에 민감 정보 노출 위험이 낮고, 다양한 조건을 설정해 원하는 형태의 데이터를 만들어낼 수 있다는 점에서 활용 가치가 높습니다. 의료나 금융처럼 개인정보 보호가 중요한 영역에서는 원본 데이터를 외부에 제공하기 어려운데, 합성데이터는 이를 안전하게 대체할 수 있는 수단으로 주목받고 있습니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.90 · KO · 정의섹션
관련 연구 · AI 안전 연구
- 2026-07-02HaloGuard 1.0: 다국어 헌법적 입력 분류기 arXiv
- 2026-01-01ReasonIF: 추론 과정의 지시 이행 평가 arXiv
010데이터 기원data provenance데이터가 어디서 왔고 어떤 과정을 거쳐 처리·변환됐는지를 기록한 이력, 또는 그 이력을 관리하는 일을 말함.
용어 설명
데이터가 어디서 왔고 어떤 과정을 거쳐 처리·변환됐는지를 기록한 이력, 또는 그 이력을 관리하는 일을 말함.
- 수집 출처, 수집 시점, 라이선스·동의 조건, 정제·필터링·가공 단계 등을 추적 가능한 형태로 남기는 것이 포함됨.
- 학습 데이터의 저작권·개인정보 문제를 확인하고, 데이터 오염이나 악의적으로 심어진 자료를 찾아내며, 편향의 원인을 거슬러 올라가는 데 필요함. 규제가 학습 데이터 관련 문서화를 요구하는 근거가 됨.
구별'데이터 기원'은 모델 학습에 쓰인 데이터의 이력을, '출처 메타데이터'는 AI가 생성한 콘텐츠에 붙여 생성 경위를 알리는 정보를 주로 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- 데이터가 어디서 왔는지, 어떻게 처리됐는지에 대한 이력 기록으로 정의함. [1]
출처
- 1International AI Safety Report 2026, Glossary, p.149 · 원문 · 라이브러리에서 보기
원문 인용 1 · 관련 연구 2
PDF 원문 인용
번역데이터가 어디서 왔는지, 어떻게 처리됐는지에 대한 이력 기록.
A historical record of where data comes from and how it has been processed.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기
관련 연구 · AI 안전 연구
- 2026-09-30TriSAIL: 은닉상태 안전 프로브 감사 프로토콜 Symmetry
- 2026-08-25대규모 언어모델의 데이터 보안: 위험, 방어, 방향 Journal of King Saud Uni
011미세조정fine-tuning이미 학습된 모델을 추가 데이터로 다시 학습시켜 특정 과제나 용도에 맞게 조정하는 과정을 말함.
용어 설명
이미 학습된 모델을 추가 데이터로 다시 학습시켜 특정 과제나 용도에 맞게 조정하는 과정을 말함.
- 모든 가중치를 조금씩 고치는 방식과, 원래 가중치는 고정한 채 작은 추가 파라미터만 학습하는 방식이 있음. 후자가 비용이 적어 널리 쓰임. 인간 피드백 기반 강화학습도 넓게 보면 미세조정 단계에 속함.
- 안전 학습으로 형성한 거부 성향이 소량의 추가 학습으로 쉽게 풀릴 수 있어 정렬을 되돌리는 통로가 됨. 모델 가중치가 공개되면 어떤 미세조정을 허용할지 통제할 수 없게 됨.
구별'미세조정'은 기존 모델을 직접 조정하는 것이고, '증류'는 다른 모델의 출력으로 새 모델을 학습시키는 것임.
용어 관계
하위 인간 피드백 기반 강화학습 · 혼동 주의 증류
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, p.170; Glossary p.221–222 · 원문
- 2International AI Safety Report 2026, Glossary, p.150 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 3 · 참고 기사 3 · 관련 연구 4
해설
큰 모델을 처음부터 학습시키는 데는 막대한 자료와 계산이 들지만, 이미 만들어진 모델을 특정 용도에 맞추는 데는 훨씬 적은 자원으로 충분하다. 사내 문서의 문체를 익히게 하거나, 특정 분야의 용어를 정확히 쓰게 하거나, 정해진 형식으로만 답하게 만드는 일이 여기 해당한다. 방식은 두 갈래다. 모델의 모든 수치를 조금씩 고치는 방법과, 원래 수치는 그대로 두고 작은 보정층만 덧붙이는 방법이다. 후자가 비용이 훨씬 적어 실무에서 널리 쓰인다.
안전 관점에서 이 기법이 중요한 이유는 정렬을 되돌리는 통로가 되기 때문이다. 유해한 요청을 거절하도록 공들여 학습시킨 모델도, 소량의 자료로 추가 학습을 하면 그 거부 성향이 쉽게 풀린다는 것이 반복 확인됐다. 심지어 유해하지 않은 자료로 조정했을 때도 안전 학습이 약해지는 경우가 보고된다. 모델을 서비스로만 제공하는 쪽은 어떤 조정을 허용할지 통제할 수 있지만, 모델 가중치가 공개되면 이 통제가 사라진다. 오픈 웨이트 모델 논쟁의 핵심이 여기 있다.
PDF 원문 인용
번역초기 학습 이후 추가 데이터로 특정 과제에 맞추거나 전반적으로 더 유용하게 적응시키는 과정.
The process of adapting an AI model after its initial training to a specific task or making it more useful in general by training it on additional data.
출처 International AI Safety Report 2026 · p.151 · EN · 정의섹션 · 라이브러리에서 보기
번역사전학습된 AI 모델을 추가 데이터로 특정 과제에 맞추거나 전반적으로 더 유용하게 적응시키는 과정.
The process of adapting a pre-trained AI model to a specific task or making it more useful in general by training it on additional data.
출처 International Scientific Report on the Safety of Advanced AI · p.170, p.221–222 · EN · 정의섹션
미세조정은 이미 학습된 AI 모델을 새로운 목적이나 환경에 맞게 다시 조정하는 학습 과정으로, 대규모 데이터로 사전 학습된 모델이 특정 분야에서 더 정확하고 안정적으로 작동하도록 추가 학습을 수행하는 기술을 의미합니다. 기존 학습 과정에서 모델이 얻은 일반 지식을 유지한 채, 새로운 데이터의 특성을 반영해 모델의 행동을 재정렬하는 절차라 할 수 있습니다. 최근 LLM의 발전 이후 미세조정은 단순한 성능 개선을 넘어, 응답 스타일·추론 방식·안전성 기준을 목적에 적합한 방향으로 정교하게 다듬는 핵심 단계로 활용됩니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.42 · KO · 정의섹션
참고 기사·연구
- 2026-09-01When Safety Routing Breaks: Understanding Alignment Fragility under Benign Fine-Tuning arXiv 연구
- 2026-07-13HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models arXiv 연구
- 2026-06-07AI 모델의 평가 불일치 현상이 의도적 기만보다 '아부성' 때문일 가능성 제기 arXiv 연구
관련 연구 · AI 안전 연구
- 2026-10-24프롬프트 안전 분류에서 LoRA와 전체 미세조정 비교 arXiv
- 2026-10-17의료 파인튜닝은 환자 대상 AI 위험을 줄이지 않고 바꾼다 arXiv
- 2026-10-07SLDR: 선택적 계층 복구와 동적 라우팅 기반 악성 미세조정 방어 arXiv
- 2026-09-30한국어 소형 모델 미세조정용 근거 기반 합성 페르소나 효과 The Korean Society of Sc
012증류distillation큰 모델(교사)의 출력을 학습 신호로 삼아 작은 모델(학생)에 역량을 옮기는 학습 기법을 말함.
용어 설명
큰 모델(교사)의 출력을 학습 신호로 삼아 작은 모델(학생)에 역량을 옮기는 학습 기법을 말함.
- 학생 모델은 정답 데이터 대신 교사 모델의 답이나 확률 분포를 흉내 내도록 학습함. 정답만 주는 것보다 정보가 풍부해 작은 규모로도 교사에 가까운 성능에 이를 수 있음.
- 역량은 옮겨 가도 안전 행동은 함께 옮겨 가지 않을 수 있다는 우려가 있음. 또 다른 회사 모델의 출력을 대량 수집해 경쟁 모델을 만드는 행위는 이용약관·권리 문제로 다투어짐.
구별'미세조정'은 기존 모델 자체를 추가 데이터로 조정하는 것이고, '증류'는 다른 모델의 출력을 이용해 별도의 (대개 더 작은) 모델을 학습시키는 것임.
용어 관계
혼동 주의 미세조정
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 2
해설
작은 모델을 정답 데이터로 직접 가르치는 대신, 큰 모델이 내놓은 답과 그 답에 이르는 확률 분포를 흉내내게 한다. 정답만 알려 주는 것보다 정보가 풍부하기 때문에 — 어떤 오답이 그럴듯하고 어떤 오답이 터무니없는지까지 함께 배운다 — 훨씬 적은 규모로 큰 모델에 가까운 성능에 이를 수 있다. 서비스 비용과 응답 지연을 줄이려면 결국 작은 모델이 필요하므로, 실무에서는 거의 표준 절차에 가깝다.
두 가지 쟁점이 따라붙는다. 하나는 권리 문제다. 다른 회사 모델에 대량으로 질문을 보내 그 답을 모아 경쟁 모델을 만드는 행위가 어디까지 허용되는지를 두고 이용약관 위반 여부가 다투어진다. 다른 하나는 안전 문제다. 역량은 옮겨 가는데 안전장치는 함께 옮겨 가지 않을 수 있다. 교사 모델이 거절하던 요청을 증류된 모델이 받아 줄 수 있다는 지적이 있다. 거부 행동은 특정 상황에서만 드러나므로 흉내 낼 표본에 충분히 포함되지 않을 수 있기 때문이다.
참고 기사·연구
- 2026-07-31중국 군사 연구진, 미국 AI 모델 활용해 국방 AI 고도화 Reuters 다이제스트 2026-07-31
- 2026-07-27Ministry of Commerce Press Spokesperson Answers Reporter’s Question about the United States Threatening to Launch Investigations and Implement Sanctions Against Chinese Artificial Intelligence Enterprises CSET-Georgetown 다이제스트 2026-07-27
- 2026-07-24Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization arXiv 연구
관련 연구 · AI 안전 연구
- 2026-10-12증류 공격에 대한 방어 강화 Anthropic Research
- 2026-10-12Anthropic의 증류 공격 방어 강화 Anthropic
- 2026-10-09증류를 통한 misalignment 증거 확보와 역량 확보 RedwoodResearch
- 2026-09-30조직적 모델 증류 캠페인 차단 사례 OpenAI
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-08🇺🇸 중국 AI 기업의 미국 프런티어 모델 증류 캠페인 합동 권고문 미국 국가안보국(NSA), 연방수사국(FBI), 사이버
- 2026-08-05🇺🇸 대규모 적대적 증류 노력 차단법 2026(BLADE 법/SB 5252) 법안
013추론inference학습을 마친 AI 모델이 주어진 입력에 대해 출력을 생성하는 실행 과정을 의미함.
용어 설명
학습을 마친 AI 모델이 주어진 입력에 대해 출력을 생성하는 실행 과정을 의미함.
- 학습 단계에서 익힌 가중치를 고정한 채 입력을 처리해 답을 내는 단계로, 서비스 이용 시 매번 일어나며 그때마다 연산이 소요됨.
- 추론 단계에 연산을 더 들여 성능을 높이는 방식이 확산되면서, 학습 연산량만으로 역량과 위험을 가늠하기 어려워졌다는 지적이 있음. 오용 차단·출력 필터 같은 안전장치도 주로 이 단계에서 작동함.
구별여기서 '추론(inference)'은 모델을 실행해 출력을 얻는 과정이고, 모델이 단계적으로 생각하는 '추론(reasoning)'과는 다름. 후자는 '사고 사슬'과 관련됨.
용어 관계
혼동 주의 사고 사슬
주요 기관·문서별 개념 및 적용
- AI가 주어진 입력을 바탕으로 출력을 생성하며, 그 과정에서 학습 때 익힌 지식을 적용하는 과정으로 정의함. [1]
출처
- 1International AI Safety Report 2025, p.38, p.47–48; Glossary p.222–223; First Key Update p.21 · 원문
원문 인용 1 · 관련 연구 4
PDF 원문 인용
번역주어진 입력에 대해 출력을 생성하며, 학습 때 익힌 지식을 적용하는 과정.
The process in which an AI generates outputs based on a given input, thereby applying the knowledge learnt during training.
출처 International Scientific Report on the Safety of Advanced AI · p.38, p.47–48, p.222–223, p.319 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-11-02대규모 언어모델의 증명 가능한 추론 진전 Anthropic Research
- 2026-10-27스트리밍 추론용 적응형 깊이-시간 안전장치 ADTGuard arXiv
- 2026-10-20에이전트 금융의 권한-추론 분리와 EVM 집행 Systems
- 2026-09-29헌법 어댑터: 오정렬·오용 대응 추론 시점 개입 arXiv
014사고 사슬chain-of-thought (CoT)모델이 최종 답을 내기 전에 중간 추론 단계를 자연어로 풀어 쓰게 하는 방식, 또는 그렇게 생성된 추론 과정을 말함.
용어 설명
모델이 최종 답을 내기 전에 중간 추론 단계를 자연어로 풀어 쓰게 하는 방식, 또는 그렇게 생성된 추론 과정을 말함.
- 단계별로 생각하라는 지시나 풀이 예시로 유도하는 프롬프트 기법에서 출발해, 긴 추론 과정을 스스로 생성하도록 학습시킨 추론 모델로 이어짐.
- 모델이 무엇을 고려하고 어떤 계획을 세우는지가 사람이 읽을 수 있는 글로 드러나므로, 위험한 의도나 보상 해킹·계략적 행동의 징후를 실행 전에 감시하는 창구로 주목받음.
- 써 놓은 추론이 실제 내부 계산을 충실히 반영한다는 보장이 없고(충실성 문제) 감시 압력을 받은 모델이 추론을 숨기거나 꾸밀 가능성도 있어, 사고 사슬 감시만으로 안전을 보장할 수 없음.
구별사고 사슬 감시는 모델이 스스로 쓴 설명을 읽는 것이고, '해석 가능성' 연구는 모델 내부 표상과 계산을 직접 분석하는 것임.
용어 관계
주요 기관·문서별 개념 및 적용
출처
해설 · 참고 기사 3 · 관련 연구 4
해설
여러 단계를 거쳐야 하는 문제에서 곧바로 답을 내게 하면 틀리는데, 단계별로 생각해 보라고 지시하거나 풀이 과정이 담긴 예시를 몇 개 보여 주면 정확도가 크게 오른다. 중간 과정을 글로 쓰는 동안 모델이 그 글을 다시 입력으로 읽으면서 계산을 나눠 수행할 수 있게 되기 때문이다. 이 성질이 확인된 뒤로는 프롬프트 기법에 머물지 않고, 긴 추론 과정을 스스로 만들어 내도록 학습시킨 추론 모델 계열로 이어졌다.
안전 연구가 이 방식에 주목하는 이유는 감시 창구가 열린다는 점이다. 모델이 무엇을 고려하고 어떤 계획을 세우는지가 사람이 읽을 수 있는 글로 드러나므로, 위험한 의도를 결과가 나오기 전에 잡아낼 여지가 생긴다. 다만 여기에는 큰 전제가 붙는다. 써 놓은 사고 과정이 실제 내부 계산을 반영한다는 보장이 없다는 것이다. 답에는 영향을 주지 않은 그럴듯한 이유를 나중에 붙이는 경우가 확인되며, 이를 충실성 문제라고 부른다. 사고 사슬 감시만으로 안전을 보장할 수 없는 이유다.
참고 기사·연구
- 2026-07-08Reasoning Consistency Scanning: A Framework for Auditing Chain-of-Thought Validity in AI Safety Evaluations arXiv 연구
- 2026-06-23To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias arXiv 연구
- 2026-06-20The Late Channel: Chain-of-Thought Becomes Causal and Decodable Only Late in a 27B Reasoning Agent OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-10-20보상 오지정이 사고과정 모니터링 가능성을 떨어뜨린다 arXiv
- 2026-10-08인용했지만 참조하지 않았다: 법률 CoT 충실성 반사실 감사 arXiv
- 2026-10-03분포 변화 하 사고사슬 충실성 검증기의 메타 충실성 arXiv
- 2026-09-25모니터 탈옥: 암호화 없는 CoT 모니터링 회피 arXiv
015AI 에이전트AI agent목표를 받아 여러 단계를 스스로 계획하고 도구를 호출하며 환경과 상호작용해 과제를 수행하는 AI 시스템을 말함.
용어 설명
목표를 받아 여러 단계를 스스로 계획하고 도구를 호출하며 환경과 상호작용해 과제를 수행하는 AI 시스템을 말함.
- 보통 언어 모델이 판단을 맡고, 도구 호출 장치·작업 경과를 담는 기억 저장소·코드 실행 환경이 결합된 형태로 구성되며, 결과를 보고 다음 행동을 다시 정하는 순환을 반복함.
- 위험의 중심이 잘못된 말에서 잘못된 행동으로 옮겨 감. 파일 삭제·결제·발송처럼 되돌릴 수 없는 행위가 가능해지므로 성능보다 권한 범위와 승인 지점 설계가 먼저 결정돼야 함.
- 자율성을 높일수록 처리량은 늘지만 사람이 오류를 걸러낼 기회는 줄어듦. 실무에서는 되돌릴 수 있는 행위는 넓게 허용하고 되돌릴 수 없는 행위에 사람 승인을 남기는 방식이 쓰임.
구별'AI 에이전트'는 개별 시스템을, '에이전틱 AI'는 그런 시스템이 지닌 성질 또는 그런 AI 전반을 가리킴. 생물·화학 분야의 'agent(유해 물질)'와도 구별해야 함.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, p.38, p.47–48, p.80, p.111, p.170 · 원문
- 2International AI Safety Report 2026, Glossary, p.147 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 6 · 참고 기사 6 · 관련 연구 4 · 정책 문서 4
해설
한 번 묻고 한 번 답하는 방식과 구조가 다르다. 목표를 받으면 그것을 작은 단계로 쪼개고, 필요한 도구를 호출하고, 돌아온 결과를 보고 다음에 무엇을 할지 다시 정하는 순환을 돈다. 언어모델이 판단을 맡고, 그 주위에 도구를 호출하는 장치, 지금까지의 경과를 기억하는 저장소, 코드를 실제로 돌릴 실행 환경이 붙는 형태가 일반적이다. 항공권을 찾아 예약하고 일정을 정리하는 일처럼, 사람이 여러 번 손을 대야 했던 작업을 한 번의 지시로 처리하는 것이 목표다.
안전 문제의 성격이 여기서 달라진다. 텍스트를 생성하던 단계의 위험은 잘못된 말이었고, 잘못된 말은 읽는 사람이 걸러낼 여지가 있었다. 에이전트의 위험은 잘못된 행동이다. 파일을 지우고, 결제를 하고, 메일을 보낸 뒤에는 되돌릴 수 없다. 그래서 에이전트를 설계할 때는 성능보다 권한 범위와 되돌릴 수 있는지가 먼저 결정돼야 한다. 무엇을 할 수 있게 할지가 아니라 무엇은 못 하게 할지를 정하는 일이 설계의 중심이 되는 것이다.
PDF 원문 인용
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight.
출처 International Scientific Report on the Safety of Advanced AI · p.38, p.47–48, p.80, p.111, p.170 · EN · 정의섹션
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. General-purpose AI can help people generate realistic content at scale, which malicious actors could use for attempts to manipulate public opinion and spread certain narratives. Studies show that humans often find general-purpose AI-generated text indistinguishable from genuine human-generated material (301, 302, 303, 304) . Moreover, research indicates that while people struggle to accurately identify AI-generated content, they often overestimate their ability to do so (305) . There is also evidence that such content is already being disseminated at scale (306) .
출처 International Scientific Report on the Safety of Advanced AI · p.67–68 · EN · 정의섹션
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. Some experts believe that sufficiently capable general-purpose AI systems may be difficult to control. Hypothesised scenarios vary in their severity, but some experts give credence to outcomes as severe as the marginalisation or extinction of humanity. Concerns about loss of control date back to the earliest days of computer science, but have recently gained more attention. AI pioneers such as Alan Turing, I. J. Good, and Norbert Wiener expressed concerns about loss of control (578, 579, 580) .
출처 International Scientific Report on the Safety of Advanced AI · p.100–101 · EN · 정의섹션
An AI system that can adaptively perform complex tasks, use tools, and interact with its environment - for example, by creating files, taking actions on the Web, or delegating tasks to other agents - to pursue goals with little to no human oversight.
출처 International AI Safety Report 2026 · p.148 · EN · 정의섹션 · 라이브러리에서 보기
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. Monitoring and intervention strategies are applied to AI systems -the complete deployment package that includes both the AI model and additional safety components -leaving the model unchanged. Unlike the strategies discussed in 3.4.1. Training more trustworthy models, monitoring and intervention methods are integrated at the system level and implemented as part of system deployment. This section discusses monitoring and intervention strategies that researchers and developers use for general-purpose AI systems (see Figure 3.2).
출처 International Scientific Report on the Safety of Advanced AI · p.201–202 · EN · 정의섹션
번역이 절에서 ‘agent’는 보통 생물·화학·독성학적 유해 물질을 가리킨다. 아래의 AI 에이전트와 혼동하지 않도록 한다.
For the purposes of this section, 'agent' usually refers to a biological, chemical, or toxicological substance that can harm living organisms. Agents in this sense are not to be confused with AI agents (see below).
출처 International Scientific Report on the Safety of Advanced AI · p.80 · EN · 정의섹션
참고 기사·연구
- 2026-09-08美·中 보안AI 날아가는데… 韓은 '거북이걸음' 서울경제 다이제스트 2026-09-08
- 2026-09-08"범죄 AI 에이전트 막아라"… 정부, 과학치안 중장기 전략 세운다 서울경제 다이제스트 2026-09-08
- 2026-09-07NIA, '국가 AI 대전환' 조직개편 단행…AI 에이전트·피지컬 AI 전담팀 뉴시스 다이제스트 2026-09-07
- 2026-09-02Governing Intelligence: Law, Privacy, Security, and Compliance in the Age of Artificial Intelligence AIGovernanceLibrary
- 2026-09-01Autonomous Trust: Self-Gating Evaluation as a Prerequisite for Agent-to-Agent Communication at Scale OpenAlex 연구
- 2026-08-31OWASP Agentic Skills Top 10: Security Risks and Mitigations for Agentic Skill Ecosystems AIGovernanceLibrary
관련 연구 · AI 안전 연구
- 2026-11-07WorkOS 침해: 샌드박스 이탈 AI 에이전트 AIID
- 2026-11-06ABHBench: 에이전트 관점의 파운데이션 모델 도덕적 의사결정 평가 arXiv
- 2026-11-06GuardrailAgent: 탈옥 방어용 에이전트 프레임워크 arXiv
- 2026-11-05멀티모달 사회공학 공격 하 AI 에이전트 보안 벤치마크 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-11-06🇨🇳 중국 에이전트 단말기 네트워크 접속 관리 통지 행정규칙
- 2026-09-21🇺🇳 AI 에이전트 정렬 실패·통제 상실 위험 브리프 인공지능 독립 국제과학패널(Independent Int
- 2026-09-11요슈아 벤지오, 「AI 에이전트는 왜 거짓말하고 속이고 협력하는가」 요슈아 벤지오 · 기타
- 2026-08-31Zero Trust AI Agents: 안보 프레임워크 deploying 자율 AI agents enterprise AIGL · 가이드라인·원칙
016에이전틱 AIagentic AIAI 시스템이 사람의 지속적 개입 없이 목표를 향해 스스로 계획·행동하는 성질, 또는 그런 성질이 강한 AI를 통칭하는 말임.
용어 설명
AI 시스템이 사람의 지속적 개입 없이 목표를 향해 스스로 계획·행동하는 성질, 또는 그런 성질이 강한 AI를 통칭하는 말임.
- 특정 제품·구조가 아니라 정도의 문제로, 감독 없이 이어지는 작업 길이, 도구·외부 환경 접근 범위, 목표를 스스로 재설정할 수 있는지 등이 그 정도를 가르는 축으로 쓰임.
- 출력이 글에 그치지 않고 실제 행동으로 이어지므로 되돌릴 수 없는 피해, 권한 오남용, 인간 감독의 약화 같은 위험이 커짐.
- 정의가 느슨해 홍보 문구로도 쓰이므로, 정책 문서에서는 '에이전틱' 여부보다 자율성·권한·자원 접근 같은 축별로 규율 대상을 정하는 편이 명확함.
구별'에이전틱 AI'는 성질·경향을 가리키는 통칭이고, 'AI 에이전트'는 그 성질을 갖춘 개별 시스템을 가리킴.
용어 관계
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
특정한 제품이나 구조를 가리키는 말이 아니라 성질을 가리키는 형용에 가깝다. 같은 모델도 어떻게 쓰느냐에 따라 이 성질이 강해지거나 약해진다. 사람 개입 없이 얼마나 긴 작업을 이어 가는지, 도구와 외부 세계에 얼마나 접근할 수 있는지, 주어진 목표를 스스로 다시 정할 수 있는지가 그 정도를 가르는 축이다. 답만 내놓는 쪽에서 스스로 일을 처리하는 쪽으로 옮겨 가는 흐름 전체를 부르는 말로 쓰인다.
정의가 느슨해서 마케팅 문구로도 쓰이고, 그래서 무엇을 가리키는지 확인하지 않으면 논의가 헛돌기 쉽다. 정책 문서가 이 모호함을 피하는 방법은 형용을 버리고 축으로 쪼개 규정하는 것이다. 감독 없이 실행되는 시간이 얼마인지, 되돌릴 수 없는 행위를 할 권한이 있는지, 접근할 수 있는 자원의 범위가 어디까지인지를 각각 등급으로 두는 방식이다. 이렇게 하면 에이전틱인지 아닌지 다투지 않고도 무엇을 규율할지 정할 수 있다.
참고 기사·연구
- 2026-09-07NIA, '국가 AI 대전환' 조직개편 단행…AI 에이전트·피지컬 AI 전담팀 뉴시스 다이제스트 2026-09-07
- 2026-08-31OWASP Agentic Skills Top 10: Security Risks and Mitigations for Agentic Skill Ecosystems AIGovernanceLibrary
- 2026-08-28AI가 만든 거짓 정보도 개인정보?…대학생·로스쿨생 머리 맞댔다 뉴시스 다이제스트 2026-08-28
관련 연구 · AI 안전 연구
- 2026-11-02AI Act 준수 격차 분석·개선 에이전트 프레임워크 arXiv
- 2026-10-21에이전트 AI 보안·섀도 AI·LLM 공급망 위험 서베이 Applied Sciences
- 2026-10-08모델 신뢰에서 소프트웨어 토폴로지로: 구조적 통제 에이전트 Frontiers in Computer Sc
- 2026-09-19모델 위험관리에서 AI 보증 체계로의 통합 Transactions on Engineer
관련 정책 문서 · AI 안전 라이브러리
- 2026-11-06🇰🇷 에이전틱 AI 제로트러스트 안내서 가이드라인·원칙
- 2026-10-26🇦🇺 호주 에이전틱 AI 이해 및 활용 지침 가이드라인·원칙
- 2026-10-15🇸🇬 에이전틱 AI 보안·통제 도상훈련 결과 성명 싱가포르 사이버보안청(CSA)·구글 · 선언·성명
- 2026-10-15🇸🇬 싱가포르 에이전틱 AI 코딩 어시스턴트 보안 평가 핸드북 가이드라인·원칙
017자율성autonomyAI 시스템이 사람의 개입 없이 스스로 판단하고 행동하도록 허용되거나 그럴 수 있는 정도를 의미함.
용어 설명
AI 시스템이 사람의 개입 없이 스스로 판단하고 행동하도록 허용되거나 그럴 수 있는 정도를 의미함.
- 있고 없음이 아니라 연속적인 축임. 감독 없이 실행되는 시간, 호출할 수 있는 도구의 권한, 목표를 스스로 바꿀 수 있는지 등이 단계를 가르는 기준으로 쓰임.
- 같은 역량의 모델도 자율성이 높게 배치되면 오류가 여러 단계를 거쳐 증폭되고 사람이 알아채는 시점이 늦어짐. 그래서 위험을 따질 때 모델 역량과 함께 배치된 자율성 수준을 봐야 함.
구별자율성이 높다는 것은 사람의 개입 지점이 줄어든다는 뜻이며, '정렬'이나 '신뢰성'이 높다는 뜻은 아님. 개입 방식은 '인간 감독'과 '휴먼 인 더 루프'에서 다룸.
용어 관계
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 2
해설
있다와 없다로 갈리는 성질이 아니라 연속적인 축이다. 자동차의 자율주행 등급이 좋은 참조가 된다. 어떤 상황까지 시스템이 처리하고 어느 지점에서 사람에게 넘기는지, 사람이 얼마나 빨리 개입할 준비를 하고 있어야 하는지에 따라 단계가 나뉜다. AI 시스템에서는 감독 없이 실행되는 시간의 길이, 호출할 수 있는 도구의 권한, 주어진 목표를 스스로 바꿀 수 있는지가 그 단계를 가르는 축으로 쓰인다.
위험을 따질 때 자율성은 곱셈처럼 작동한다. 같은 역량을 가진 모델이라도 자율성이 높은 방식으로 배치되면 피해가 커진다. 실수 한 번이 여러 단계를 거쳐 증폭되고, 사람이 알아채는 시점이 늦어지기 때문이다. 그래서 규제 논의는 모델의 역량만 등급화하는 데서 그치지 않고 배치된 자율성 수준을 함께 보려 한다. 같은 모델이라도 자율성을 얼마나 주고 어떤 권한을 붙였는지에 따라 다른 요구가 적용되는 방향이다.
참고 기사·연구
- 2026-09-03What Really Happened When OpenAI Bots Escaped a Cybersecurity Test? AI-Now 다이제스트 2026-09-03
- 2026-09-02AIGL Newsletter #22: Managing the Unexplainable AIGovernanceLibrary
- 2026-06-08기업용 자율 AI 에이전트 배포를 위한 Zero Trust 보안 프레임워크(2026.6.8) 클로드(Claude) 공식 블로그 다이제스트 2026-06-08
관련 연구 · AI 안전 연구
- 2026-10-26SEMA-Auto: 자율 종료형 다중턴 탈옥 공격기 arXiv
- 2026-09-05에이전트 압력: 자율성의 내생적 안전 이탈 arXiv
- 2026-08-13자율성 속도에 맞춘 원칙 기반 AI 규제 OpenAlex
- 2026-06-06에이전트 AI의 신뢰 보정과 인간 통제 가능성 Global Journal of Engine
관련 정책 문서 · AI 안전 라이브러리
- 2023-11-09책임 있는 군사 AI 정치 선언 Other multinational · 선언·성명
- 2023-01-25🇺🇸 미 국방부 지침 3000.09(자율 무기체계) Department of Defense · 행정규칙
018자율 계획autonomous planningAI 시스템이 사람의 안내가 거의 없이 다단계 전략을 세우고 실행하는 역량을 말함.
용어 설명
AI 시스템이 사람의 안내가 거의 없이 다단계 전략을 세우고 실행하는 역량을 말함.
- 목표를 하위 과제로 나누고 순서를 정하며, 중간 결과에 따라 계획을 수정하는 과정이 포함됨. AI 에이전트가 긴 작업을 맡을 수 있게 하는 핵심 역량임.
- 계획 역량이 높아질수록 위임할 수 있는 업무가 넓어지지만, 사람이 개별 단계를 검토하기 어려워져 목표 오지정이나 의도하지 않은 우회 행동이 늦게 드러날 수 있음.
구별'자율 계획'은 계획을 세우고 실행하는 역량을, '자율성'은 실제 배치에서 사람 개입 없이 행동하도록 허용된 정도를 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- 인간의 안내가 거의 없거나 전혀 없이도 다단계 전략을 세우고 실행하는 AI 시스템의 역량으로 정의함. [1]
출처
- 1International AI Safety Report 2026, Glossary, p.148 · 원문 · 라이브러리에서 보기
원문 인용 1
PDF 원문 인용
번역인간 안내가 거의 없거나 전혀 없이도 다단계 전략을 세우고 실행하는 인공지능 시스템의 능력.
An AI system's ability to develop and execute multi-step strategies with little or no human guidance. | Commonly used for AI development and deployment.
출처 International AI Safety Report 2026 · p.149 · EN · 정의섹션 · 라이브러리에서 보기
019도구 사용tool useAI 모델이 검색·계산기·코드 실행·외부 서비스 같은 외부 기능을 호출해 스스로 할 수 없는 일을 처리하는 방식을 말함.
용어 설명
AI 모델이 검색·계산기·코드 실행·외부 서비스 같은 외부 기능을 호출해 스스로 할 수 없는 일을 처리하는 방식을 말함.
- 모델이 도구 이름과 인자를 정해진 형식으로 출력하면 실행 환경이 이를 실제로 실행하고 결과를 모델에 돌려줌. AI 에이전트가 성립하는 기반임.
- 외부 자료가 들어오는 경로는 프롬프트 인젝션의 입구가, 밖으로 나가는 경로는 정보 유출의 출구가 됨. 두 경로가 함께 열리면 심어 둔 지시가 내부 자료를 빼돌릴 수 있어, 도구별 권한 최소화와 실행 환경 격리가 기본 대책으로 다뤄짐.
구별'도구 사용'은 외부 기능을 호출하는 방식·역량 자체이고, '모델 컨텍스트 프로토콜'은 그 연결을 표준화한 규격임.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
언어모델은 학습한 시점의 지식만 갖고 있고 계산도 정확하지 않다. 이 한계를 바깥의 기능으로 메우는 방식이 도구 사용이다. 모델이 도구 이름과 넘길 값을 정해진 형식으로 출력하면, 실행 환경이 그것을 실제로 실행하고 결과를 다시 모델에게 돌려준다. 검색으로 최신 정보를 가져오고, 계산기나 코드로 정확한 값을 얻고, 파일을 읽고 쓰고, 외부 서비스를 호출하는 일이 이렇게 이뤄진다. 에이전트가 성립하는 기반이기도 하다.
역량이 늘어난 만큼 공격면도 함께 늘어난다는 점을 함께 봐야 한다. 도구를 통해 외부 자료가 들어오는 경로는 프롬프트 인젝션의 입구가 되고, 도구를 통해 밖으로 나가는 경로는 자료가 유출되는 출구가 된다. 이 둘이 동시에 열려 있으면 공격자가 심어 둔 지시가 모델을 가로채 내부 자료를 밖으로 보내는 연결이 완성된다. 그래서 도구마다 권한을 최소한으로 좁히고 실행 환경을 격리하는 것이 에이전트 보안의 기본으로 다뤄진다.
참고 기사·연구
- 2026-09-06뉴욕, 초·중학교 AI 사용 금지…“어떤 챗봇도 성장·고민 재현할 수 없다” 미디어오늘 다이제스트 2026-09-06
- 2026-09-04“AI 일탈 막아라”… 오픈AI, ‘자동 셧다운’ 기능 개발 나서 동아일보 다이제스트 2026-09-04
- 2026-09-04OpenAI Releases GPT-6 Astra AI-Risk-Explorer 다이제스트 2026-09-22
관련 연구 · AI 안전 연구
- 2026-10-16검색 전 단계: LLM 에이전트의 도구 호출 안전 판단 arXiv
- 2026-10-16승인이 실행이 될 때: 도구 사용 에이전트 권한 기반 워크플로 공격 arXiv
- 2026-10-15PROBE: 도구 사용 에이전트의 정책 준수 감사 학습 arXiv
- 2026-10-04UndoBench: 도구 사용 에이전트의 복구 역량 분리 평가 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-04-27🇪🇨 에콰도르 SCE AI 도구 사용 감사 가이드 가이드라인·원칙
020다중 에이전트 시스템multi-agent system (MAS)여러 AI 에이전트가 서로의 행동과 목표에 적응하며 협력하거나 경쟁하는 상호작용 체계를 말함.
용어 설명
여러 AI 에이전트가 서로의 행동과 목표에 적응하며 협력하거나 경쟁하는 상호작용 체계를 말함.
- 계획·수행·검토처럼 역할을 나눠 맡기는 구성이 흔하며, 검토 역할을 별도로 두면 한 에이전트의 실수를 다른 에이전트가 잡아내는 장치로도 작동함.
- 잘못된 중간 결과가 다음 에이전트로 전달되며 증폭되고, 프롬프트 인젝션이 에이전트 간 신뢰 관계를 타고 번질 수 있음. 공모·책임 소재 불명확 같은 문제도 생김.
- 개별 에이전트를 따로 시험해 정상이어도 함께 놓였을 때의 문제는 드러나지 않을 수 있어, 시스템 전체를 대상으로 한 평가가 따로 필요함.
용어 관계
먼저 알 개념 AI 에이전트
주요 기관·문서별 개념 및 적용
- 서로의 행동과 목표에 적응할 수 있고 협력하거나 경쟁할 수도 있는, 상호작용하는 (AI) 에이전트들의 네트워크로 정의함. [1]
출처
- 1International AI Safety Report 2026, Glossary, p.151–152 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 3
해설
하나의 에이전트가 모든 일을 처리하는 대신 역할을 나눠 맡긴다. 계획을 세우는 에이전트, 실제로 수행하는 에이전트, 결과를 검토하는 에이전트를 따로 두는 식이다. 이렇게 하면 각 에이전트가 좁은 임무에 집중해 복잡한 작업을 감당할 수 있고, 검토 역할을 별도로 둔 구성은 한 에이전트의 실수를 다른 에이전트가 잡아내는 장치로도 작동한다. 사람의 조직에서 업무를 분담하는 것과 같은 발상이다.
그런데 조직을 만들면 조직 특유의 실패도 함께 생긴다. 잘못된 중간 결과가 다음 에이전트의 입력이 되어 오류가 커지면서 전달되고, 하나가 프롬프트 인젝션에 걸리면 서로 신뢰하는 관계를 타고 다른 에이전트까지 번진다. 문제가 생겼을 때 어느 단계에서 어긋났는지 추적하기 어렵고 책임 소재도 흐려진다. 각 에이전트를 따로 시험해 모두 정상이어도 함께 놓았을 때 생기는 문제는 드러나지 않으므로, 시스템 전체를 하나로 보고 평가하는 절차가 따로 필요하다.
PDF 원문 인용
번역서로의 행동·목표에 적응하며—협력하거나 경쟁할 수도 있는—(AI) 에이전트들의 상호작용 네트워크.
A network of interacting (AI) agents that may adapt to each other's behaviour and goals, including by potentially cooperating or competing.
출처 International AI Safety Report 2026 · p.152–153 · EN · 정의섹션 · 라이브러리에서 보기
참고 기사·연구
- 2026-09-04Formalizing Fermat's Last Theorem Anthropic-Research 다이제스트 2026-09-04
- 2026-09-03Value-Preserving Architectures for Agentic AI Systems arXiv 연구
- 2026-05-19Gemini 3.5: frontier intelligence with action 구글 딥마인드(DeepMind) 다이제스트 2026-05-19
관련 연구 · AI 안전 연구
- 2026-11-02다중 에이전트 게임으로 본 AI 기만 성향 측정 arXiv
- 2026-10-27다중 에이전트 해석가능성 기반 공모 탐지 SuperIntelligence - Robo
- 2026-09-30멀티에이전트 잠재 통신의 안전성 arXiv
- 2026-09-23금융 멀티에이전트 AI 집단 거버넌스 구조 ARIA arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-08-10🇦🇺 호주 다중 에이전트 시스템 위험·통제 평가 보고서 정책보고서
- 2026-08-06🇧🇷 AssessorIA: 사법 지능 멀티에이전트 생태계 기타
- 2026-07-15🇨🇿 체코 · 직업 면허 자동 다중 에이전트 분석 전략·정책
021모델 컨텍스트 프로토콜Model Context Protocol (MCP)AI 모델이 외부 도구·데이터 원천에 연결되는 방식을 표준화한 개방형 통신 규격을 말함.
용어 설명
AI 모델이 외부 도구·데이터 원천에 연결되는 방식을 표준화한 개방형 통신 규격을 말함.
- 도구 제공자는 규격에 맞는 서버를 한 번 만들고 모델 쪽 응용 프로그램은 그 서버를 붙여 쓰는 구조로, 모델·서비스 조합마다 연결 코드를 따로 만들던 부담을 줄임.
- 연결이 쉬워지는 만큼 신뢰해야 할 대상도 늘어남. 외부 서버가 돌려준 내용이 지시로 읽혀 프롬프트 인젝션 경로가 되거나, 악성 서버가 모델의 권한을 악용하는 공급망 위험이 생김. 서버 출처 확인과 권한 최소화가 요구됨.
구별'도구 사용'은 모델이 외부 기능을 호출하는 역량·방식 자체를, '모델 컨텍스트 프로토콜'은 그 연결을 표준화한 특정 규격을 가리킴.
용어 관계
먼저 알 개념 도구 사용
해설 · 참고 기사 3 · 관련 연구 1
해설
도구 연결을 모델마다 서비스마다 따로 구현하던 것을 공통 규격으로 바꾼 것이다. 예전에는 어떤 도구를 어떤 모델에 붙이려면 그 조합마다 연결 코드를 만들어야 했다. 규격이 정해지면 도구를 제공하는 쪽은 규격에 맞는 서버를 한 번 만들고, 모델을 쓰는 쪽은 그 서버를 가져다 붙이면 된다. 2024년 앤트로픽이 공개한 뒤 다른 곳으로도 채택이 퍼졌고, 파일 시스템, 데이터베이스, 협업 도구를 붙이는 서버가 널리 공유되고 있다.
연결이 쉬워지는 만큼 신뢰해야 하는 대상도 늘어난다는 점이 안전 측면의 핵심이다. 외부 서버가 돌려주는 내용은 자료로 처리돼야 하는데, 모델에게는 지시처럼 읽힐 수 있다. 서버 목록에 악성 항목이 섞여 들어오면 그 서버는 모델이 가진 권한을 그대로 활용할 수 있게 된다. 그래서 서버의 출처를 확인하고, 서버마다 허용할 권한 범위를 미리 고정하고, 도구가 돌려준 결과를 명령이 아닌 데이터로만 취급하도록 처리하는 것이 요구된다.
참고 기사·연구
- 2026-08-26ETRI, AAIF 가입…에이전틱 AI 국제표준 주도 전자신문 다이제스트 2026-08-26
- 2026-03-30How are AI Agents used? Evidence from 177,000 AI agent tools AISI-UK 다이제스트 2026-03-30
- 2025-12-31[AI.GOV 이슈리포트 2025-2호] 공공부문 MCP 도입의 이해와 활용 (첨부파일) 한국지능정보사회진흥원 (NIA) 다이제스트 2025-12-31
관련 연구 · AI 안전 연구
- 2026-03-26MCP 도구 17.7만 개로 본 AI 에이전트 활용 AISI UK
022역량capabilityAI 시스템이 수행할 수 있는 과제·기능의 범위와 그것을 얼마나 능숙하게 수행하는지를 의미함.
용어 설명
AI 시스템이 수행할 수 있는 과제·기능의 범위와 그것을 얼마나 능숙하게 수행하는지를 의미함.
- 일반 지식·추론·코딩 같은 범용 역량과 사이버 공격·생물학 지식 같은 특정 위험 역량으로 나눠 보며, 주로 벤치마크와 역량 평가로 측정함.
- 프론티어 AI 개발사의 안전 정책은 특정 위험 역량이 임계값에 이르렀는지를 추가 안전조치의 기준으로 삼는 경우가 많아, 역량 측정이 위험 관리의 출발점이 됨.
- 역량은 '할 수 있는 것'이고 실제로 그렇게 행동하려는 경향(성향)과는 다름. 또 평가에서 드러나지 않은 역량이 뒤늦게 발견되거나 의도적으로 숨겨질 수 있어 측정의 한계가 있음.
용어 관계
주요 기관·문서별 개념 및 적용
- AI 시스템이 수행할 수 있는 과제나 기능의 범위와, 그것을 얼마나 능숙하게 수행하는지로 정의함. [1]
출처
- 1International AI Safety Report 2025, p.38; Glossary p.219–220 · 원문
원문 인용 3 · 관련 연구 4 · 정책 문서 4
PDF 원문 인용
번역인공지능 시스템이 수행할 수 있는 과제·기능의 범위와, 그것을 얼마나 능숙하게 수행하는가.
The range of tasks or functions that an AI system can perform, and how competently it can perform them.
출처 International Scientific Report on the Safety of Advanced AI · p.38, p.219–220 · EN · 정의섹션
번역인공지능 시스템이 수행할 수 있는 과제·기능의 범위와, 그것을 얼마나 능숙하게 수행하는가.
The range of tasks or functions that an AI system can perform, and how competently it can perform them. Technical approaches to risk management 3.1 Risk management overview
출처 International Scientific Report on the Safety of Advanced AI · p.158–159 · EN · 정의섹션
번역인공지능 시스템이 수행할 수 있는 과제의 범위와, 그것을 얼마나 능숙하게 수행하는가.
The range of tasks that an AI system can perform, and how competently it can perform them.
출처 International Scientific Report on the Safety of Advanced AI · p.319 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-10-30오픈웨이트 모델 GLM-5.3의 사이버 공격 능력 변화 평가 AISI Japan
- 2026-10-27개념적 추론 능력 선택적 가속의 필요성 RedwoodResearch
- 2026-10-19안전 미드트레이닝: 안전성의 기본 역량화 arXiv
- 2026-10-18정책은 능력이 아니다: 안전 벤치마크가 재는 것 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-29🇦🇪 UAE AI 기반 국가 교육자 역량 평가 기타
- 2026-08-26🇨🇳 중국 사이버보안 기술·AI 보안 역량 성숙도 평가 국가표준 표준
- 2026-07-08AI 시대의 역량 OECD / OECD-Korea Digital Soci
- 2026-05-04사이버보안을 위한 AI 방어자 역량 강화 보고서 World Economic Forum / KPMG ·
023작업 시간 지평task time horizonAI가 일정한 성공률로 끝까지 완수할 수 있는 과제의 길이를, 같은 과제를 사람이 수행하는 데 걸리는 시간으로 나타낸 역량 지표를 말함.
용어 설명
AI가 일정한 성공률로 끝까지 완수할 수 있는 과제의 길이를, 같은 과제를 사람이 수행하는 데 걸리는 시간으로 나타낸 역량 지표를 말함.
- 과제를 사람의 소요 시간 기준으로 정렬하고, 모델이 정해진 성공률로 완수하는 최대 길이를 찾음. 유형별로 흩어진 벤치마크 점수를 하나의 시간 축으로 표현할 수 있다는 장점이 있음.
- 긴 과제가 어려운 것은 오류 누적, 맥락 상실, 예상 밖 상황에서의 회복 실패 때문임. 이 길이가 늘면 위임 가능한 업무 범위가 넓어지고 감독이 단계별 확인에서 사후 검증으로 옮겨 가므로 정책 지표로 주목받음.
- 어떤 과제군과 성공률 기준을 쓰느냐에 따라 값이 크게 달라지므로, 서로 다른 측정 결과를 비교할 때 조건을 확인해야 함.
용어 관계
먼저 알 개념 역량
해설 · 참고 기사 3
해설
역량을 정확도가 아니라 시간으로 재는 지표다. 어떤 과제를 사람이 처리하는 데 걸리는 시간을 기준으로 삼고, 모델이 일정한 성공률로 완수할 수 있는 최대 길이를 찾는다. 몇 분이면 되는 문제는 잘 풀지만 몇 시간짜리 작업은 중간에 방향을 잃는 차이를, 문제 유형별로 흩어진 점수가 아니라 하나의 축으로 표현할 수 있다는 것이 장점이다. 짧은 과제의 정확도가 같은 두 모델이 긴 과제에서는 크게 갈리는 일이 흔하다.
긴 작업이 어려운 이유는 단순히 단계가 많기 때문이 아니다. 오류가 누적되고, 앞에서 무엇을 했는지 놓치고, 예상하지 못한 상황에서 회복하지 못하기 때문이다. 그래서 이 길이가 늘어나는 것은 개별 역량이 조금 나아진 것과 다른 종류의 진전으로 읽힌다. 정책 지표로도 주목받는데, 길이가 늘면 위임할 수 있는 업무의 범위가 함께 넓어지고 감독의 성격도 단계별 확인에서 사후 검증으로 옮겨 가기 때문이다.
참고 기사·연구
- 2026-05-06(2026.5.6) 추론 벤치마크는 ‘고전 레시피’(텍스트/단기/쉬운 채점/전문가 우위)를 일부 포기하고 더 다양한 형태로 재설계해야 한다 Epoch AI (서브스택) 다이제스트 2026-05-06
- 2026-01-22More Capable Models Better Detect Covert Behavior METR(Machine Evaluatio 다이제스트 2026-01-22
- 2025-07-14How Does Time Horizon Vary Across Domains? METR 다이제스트 2025-07-14
024프론티어 AIfrontier AI현존하는 가장 앞선 AI 모델의 역량에 맞먹거나 이를 넘어서는, 특히 역량이 높은 범용 AI를 가리키는 말임.
용어 설명
현존하는 가장 앞선 AI 모델의 역량에 맞먹거나 이를 넘어서는, 특히 역량이 높은 범용 AI를 가리키는 말임.
- 기술 분류라기보다 정책 용어로, 2023년 영국 AI 안전 정상회의 전후로 국제 논의에서 널리 쓰이게 됨. 기준이 '현재 최첨단'에 묶여 있어 가리키는 대상이 시간에 따라 바뀜.
- 새로운 위험 역량이 처음 나타날 수 있는 지점이어서 배포 전 평가, 책임 있는 스케일링 정책, 안전 사례 같은 자율·제도적 안전 관리의 주된 대상이 됨.
구별'프론티어 AI'는 역량의 상대적 위치를, '파운데이션 모델'·'범용 AI'는 모델의 쓰임새와 적응 범위를 기준으로 한 말임.
용어 관계
주요 기관·문서별 개념 및 적용
- 오늘날 가장 앞선 AI의 역량에 맞먹거나 이를 넘는 특히 역량이 높은 AI를 가리키는 말로 쓰이기도 한다고 설명하고, 보고서에서는 특히 역량이 높은 범용 AI로 이해할 수 있다고 함. [1]
출처
- 1International AI Safety Report 2025, Glossary, p.221–222 · 원문
원문 인용 2 · 관련 연구 4 · 정책 문서 4
PDF 원문 인용
번역오늘날 가장 앞선 AI의 맞먹거나 넘는 특히 능력 있는 AI를 가리키는 말로 쓰이기도 한다. 이 보고서에서는 특히 능력 있는 범용 AI로 이해할 수 있다.
A term sometimes used to refer to particularly capable AI that matches or exceeds the capabilities of today's most advanced AI. For the purposes of this report, frontier AI can be thought of as particularly capable general-purpose AI.
출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션
프론티어 AI는 공개·비공개 여부와 상관없이, 최첨단 수준의 성능을 보이며 광범위한 영향력과 잠재적 위험을 동시에 갖는 차세대 AI 모델군을 포괄적으로 지칭하는 용어입니다. 2023년 영국 AI 안전 정상회의(AI Safety Summit)에서 공식적으로 언급된 이후, 국제 사회에서 고도화된 AI를 구분하는 정책적 분류로 사용되고 있습니다. 이러한 모델은 언어, 추론, 문제 해결 등 다양한 영역에서 인간의 능력에 근접하거나 이를 능가할 가능성을 지니며, AI 기술 발전의 최전선을 의미합니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.84 · KO · 정의섹션
관련 연구 · AI 안전 연구
- 2026-10-26생애주기 맞춤형 프런티어 AI 외부 평가 체계 arXiv
- 2026-10-12프론티어 AI 개발의 기술적 모범 관행을 향하여 AISI UK
- 2026-10-02프론티어 AI 위험 업데이트 2026 상반기 한국어본 AISI Korea
- 2026-09-28프론티어 AI 훈련을 위한 안전성 사례 지침 OpenAI
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-12🇬🇧 영국 AISI, 「프론티어 AI 개발의 기술적 모범 사례를 향하여」 UK AI Security Institute · 정책보
- 2026-10-01Meta Superintelligence Scaling 프레임워크 v2.1 Meta · 가이드라인·원칙
- 2026-09-21🇳🇴 프론티어 AI 모델 통제 촉구 핀란드 대통령실(Office of the Preside
- 2026-09-12AI 안보 Institute 프론티어 AI Trends 보고서 AIGL · 기구·제도
025인공일반지능artificial general intelligence (AGI)특정 과제에 한정되지 않고 사람 수준의 폭넓은 인지 과제를 수행할 수 있다고 가정되는 AI를 의미함.
용어 설명
특정 과제에 한정되지 않고 사람 수준의 폭넓은 인지 과제를 수행할 수 있다고 가정되는 AI를 의미함.
- 합의된 정의나 도달 여부를 판정할 기준이 없음. 대다수 직무 수행 같은 경제적 기준, 처음 보는 과제의 학습 같은 인지적 기준, 특정 시험 통과 기준 등이 서로 다른 시점을 가리킴.
- AI 안전 논의에서는 통제 상실·파국적 위험 같은 장기 위험 시나리오의 전제로 자주 등장함. 다만 개념이 느슨해 규제 문서는 연산량·위험 역량·작업 시간 지평 같은 측정 가능한 대리 지표를 씀.
구별'인공일반지능(AGI)'은 사람 수준의 일반 지능이라는 가정적 목표를, '범용 AI(GPAI)'는 여러 과제에 쓰일 수 있는 현존 모델·시스템을 가리킴. '범용'은 GPAI의 번역어이므로 AGI를 '범용인공지능'으로 옮기는 것은 잘못된 번역임. 그보다 더 나아간 개념은 '초지능'임.
용어 관계
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 2
해설
특정 용도에만 쓰이는 협소 AI와 대비되는 개념이다. 문제는 합의된 정의나 도달 여부를 판정할 기준이 없다는 점이다. 경제적 기준으로 보아 사람이 하는 대다수 직무를 수행할 수 있으면 그렇다고 볼 수도 있고, 인지적 기준으로 보아 처음 보는 과제를 스스로 배워 해낼 수 있으면 그렇다고 볼 수도 있으며, 특정 시험들을 통과하는 것으로 정의할 수도 있다. 기준마다 서로 다른 시점을 가리키기 때문에 도달했는지를 두고 소통이 어긋나기 쉽다.
정의가 느슨하다는 것은 정책 언어로 쓰기 어렵다는 뜻이기도 하다. 규제 대상을 인공일반지능 여부로 정하면, 그 판정을 두고 다투는 사이 규제가 작동하지 못한다. 그래서 규제 문서는 이 개념을 직접 쓰는 대신 측정할 수 있는 대리 지표를 쓴다. 학습에 투입된 계산량, 특정 위험 역량을 갖췄는지 여부, 사람 개입 없이 완수할 수 있는 작업의 길이 같은 것들이다. 비슷한 약어인 범용 AI 모델(GPAI)과는 다른 개념이므로 함께 나올 때 구별해 읽어야 한다.
참고 기사·연구
- 2026-08-11AGI Will Set Off an Industrial Explosion AI-Frontiers 다이제스트 2026-08-11
- 2026-07-23DeepSeek founder Liang Wenfeng in His Own Words: 64 Quotes from DeepSeek's Investor Call GeopoliTechs 다이제스트 2026-07-23
- 2026-06-02(AGI 위험과 Tool AI 중심 대안 제시) (2025.00.00) 투모로우스 AI(Tomorrow’s AI 다이제스트 2026-06-02
관련 연구 · AI 안전 연구
- 2026-10-27AGI 거버넌스를 위한 기계 검증형 규정 준수 모델 AI for Society
- 2026-10-19AGI 정책: 투명성보다 존엄성 Routledge eBooks
- 2026-10-13AGI 이후 사회전 시나리오 게임 사후 보고서 RAND
- 2026-10-05AI 통제 상실 5개 시나리오 도상훈련 사후보고서 RAND
관련 정책 문서 · AI 안전 라이브러리
- 2024-07-02Magic AGI 준비 정책 Magic · 가이드라인·원칙
- 2023-05-30🇨🇳 베이징시 범용 인공지능 혁신발전 촉진 조치 Chinese provincial and local g
026협소 AInarrow AI검색 결과 순위 매기기, 동물 종 분류, 체스처럼 특정 과제 하나 또는 매우 유사한 몇 가지 과제만 수행하도록 설계된 AI를 말함.
용어 설명
검색 결과 순위 매기기, 동물 종 분류, 체스처럼 특정 과제 하나 또는 매우 유사한 몇 가지 과제만 수행하도록 설계된 AI를 말함.
- 적용 범위가 좁아 시험 조건과 사용 조건이 비교적 일치하므로, 성능·위험을 해당 용도 안에서 평가하고 관리하기 쉬움.
- 범용성이 낮다고 위험이 없는 것은 아님. 채용·신용평가·감시처럼 사람에게 중대한 영향을 주는 용도에서는 편향·차별·자동화 편향 같은 문제가 그대로 나타남.
구별'협소 AI'는 한정된 과제에 특화된 AI이고, '범용 AI'는 폭넓은 과제를 수행할 수 있는 모델·시스템임. '인공일반지능'은 사람 수준의 일반 지능이라는 가정적 개념임.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, Glossary, p.223–224 · 원문
- 2International AI Safety Report 2026, Glossary, p.151–152 · 원문 · 라이브러리에서 보기
원문 인용 2
PDF 원문 인용
번역웹 검색 결과 순위, 동물 종 분류, 체스처럼 한두 가지 유사 과제만 수행하도록 설계된 AI 모델·시스템. 대조: 범용 AI.
An AI model or system that is designed to perform only one specific task or a few very similar tasks, such as ranking Web search results, classifying species of animals, or playing chess. See 'General-purpose AI' for contrast.
출처 International AI Safety Report 2026 · p.152–153 · EN · 정의섹션 · 라이브러리에서 보기
번역웹 검색 결과 순위, 동물 종 분류, 체스처럼 한두 가지 유사 과제에 특화된 AI. 대조: 범용 AI.
A kind of AI that is specialised to perform one specific task or a few very similar tasks, such as ranking web search results, classifying species of animals, or playing chess. See 'General -purpose AI' for contrast.
출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션
027초지능superintelligence거의 모든 인지 영역에서 인간 최고 수준을 크게 넘어서는 지능을 가진 가정적 AI를 의미함.
용어 설명
거의 모든 인지 영역에서 인간 최고 수준을 크게 넘어서는 지능을 가진 가정적 AI를 의미함.
- 논의의 무게는 역량 자체보다 통제 가능성에 놓임. 감독은 판단의 옳고 그름을 검증할 수 있을 때 성립하는데, 상대가 사람보다 뛰어나면 그 검증이 어려워진다는 문제가 핵심임.
- 도달 후에는 대비할 시간이 없으므로 통제 방법을 미리 확보해야 한다는 입장과, 시점이 불확실한 가정에 관심이 쏠려 현재의 편향·오용 문제가 밀린다는 입장이 우선순위를 두고 갈림.
구별'인공일반지능'은 사람 수준의 일반 지능을, '초지능'은 그것을 크게 넘어서는 수준을 가리킴.
용어 관계
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
인공일반지능보다 한 단계 위를 가리키는 가정적 개념이다. 논의의 무게가 역량 자체보다 통제 가능성에 놓인다는 점이 이 개념의 특징이다. 사람보다 모든 면에서 뛰어난 시스템을 사람이 어떻게 감독할 수 있는가라는 문제인데, 여기에는 실질적인 난점이 있다. 감독은 판단의 옳고 그름을 검증할 수 있을 때 성립하지만, 상대가 나보다 뛰어나면 그 검증 자체가 불가능해진다. 확장 가능한 감독이라는 연구 주제가 이 문제를 다룬다.
정책 대상으로 다룰 수 있는지에 대해서는 견해가 갈린다. 한쪽은 도달한 뒤에는 대비할 시간이 없으므로 통제 방법을 미리 확보해야 한다고 본다. 다른 쪽은 시점이 불확실한 가정에 자원과 관심을 쓰는 사이, 이미 벌어지고 있는 편향·오용·노동 영향 같은 문제가 밀린다고 본다. 두 입장이 상대의 문제의식을 부정하지 않으면서도 우선순위에서 갈리기 때문에, 논쟁이 사실 확인으로 해소되지 않는 성격을 띤다.
참고 기사·연구
- 2026-09-04Congress goes quiet as AI safety concerns mount TransformerNews 다이제스트 2026-09-04
- 2026-03-16(2026.3.16) AI가 암을 ‘치료’할 수 있는 부분과 한계, 그리고 다음 과제 curecancer.ai 다이제스트 2026-03-16
- 2025-09-22AI ‘상호 보장된 AI 오작동(MAIM)’ 비판에 대한 반론 및 안정화 방안 제시 (2025.9.22) AI Frontiers 다이제스트 2025-09-22
관련 연구 · AI 안전 연구
- 2026-09-26순종의 가면: 초지능의 수행적 정렬과 배신 논리 International Journal of
- 2026-09-25초지능 파멸 서사에 대한 비판적 반론 Monash University
- 2026-09-15초지능 경로의 미국 지정학 전략: 행동의 자유 RAND
- 2026-06-10실존적 무관심: 자기보존 배제를 통한 정렬 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-16🇺🇸 「초지능 학습·평가의 사고 대비와 대응 핵심 실행 방안」 미국 NIST CAISSI, NSA SISC, CISA
- 2026-10-01Meta Superintelligence Scaling 프레임워크 v2.1 Meta · 가이드라인·원칙
- 2026-09-29🇺🇸 「백악관 초지능 협약」 미국 백악관(The White House) / Goog
- 2026-09-29🇺🇸 초지능(SI) 시대의 개막 미국 백악관( The White House) / 미국
028재귀적 자기 개선recursive self-improvementAI 시스템이 자기 자신이나 후속 AI 시스템의 개발·개선을 스스로 수행하고, 그 결과 향상된 역량으로 다시 개선을 이어 가는 되먹임 과정을 말함.
용어 설명
AI 시스템이 자기 자신이나 후속 AI 시스템의 개발·개선을 스스로 수행하고, 그 결과 향상된 역량으로 다시 개선을 이어 가는 되먹임 과정을 말함.
- AI가 AI 연구·개발 업무(코드 작성, 실험 설계, 학습 수행 등)를 상당 부분 자동화하는 단계에서 나타날 수 있는 현상으로 논의됨.
- 개선 주기가 사람의 검토 속도보다 빨라지면 역량이 짧은 기간에 급격히 높아지고 인간 감독이 따라가지 못할 수 있어, 통제 상실과 초지능 시나리오의 핵심 경로로 꼽힘.
- 실제로 어느 정도 속도로 일어날지, 연산·데이터 같은 물리적 제약이 이를 얼마나 늦출지는 견해가 갈림.
구별'재귀적 자기 개선'은 향상된 역량으로 다시 개선을 이어 가는 되먹임 고리를 가리키고, 'AI 연구 자동화'는 그 수단이나 단계가 될 수 있는 활동임.
용어 관계
주요 기관·문서별 개념 및 적용
- 부록 1.4의 특정 시스템적 위험인 '통제 상실'은 자기 개선, AI 모델·시스템의 자율적 생성·개선 등에서 비롯될 수 있다고 명시함. [3]
- 안전 프레임워크의 머신러닝 연구개발 역량 임계값 사례로, 모델 자기 개선의 핵심 경로상 중요한 단계가 될 새로운 ML 과업 수행 능력(오픈AI) 등을 소개함. [4]
- 위험 식별 시 고도화된 자율성·자기개선·조작 능력을 위험성 증가 요인으로 보고, 역량 임계치 기반 위험 시나리오를 수립하도록 함. [5]
출처
관련 연구 4
관련 연구 · AI 안전 연구
- 2026-10-12재귀적 자기개선과 AI 연구개발 자동화 RAND
- 2026-09-25재귀적 자기개선 AI의 진화적 안전성 arXiv
- 2026-07-14AIDE²: 재귀적 자기개선의 첫 실험 증거 주장 Weco AI 블로그
- 2026-07-08AI 재귀적 자기개선: 제한적 자기정제에서 자율 연구 루프까지 arXiv
029피지컬 AIphysical AI로봇·자율주행차·산업 기계 등에 탑재되어 물리 세계를 인식하고 그 안에서 직접 행동하는 AI를 말함.
용어 설명
로봇·자율주행차·산업 기계 등에 탑재되어 물리 세계를 인식하고 그 안에서 직접 행동하는 AI를 말함.
- 휴머노이드 로봇, 자율주행, 제조 자동화가 대표 영역이며, 언어 모델의 계획·상식 판단을 로봇 제어와 결합해 자연어 지시를 하위 동작으로 나눠 수행하게 하는 방향으로 연구가 모이고 있음.
- 잘못된 출력이 곧 물리적 힘으로 나타나 사람이 다칠 수 있고 되돌릴 수 없는 행위의 비중이 큼. 실시간으로 움직여 사람이 판단을 검토할 시간이 부족하므로 인간 감독을 어떤 형태로 유지할지가 핵심 과제임.
- 기존 기계·제품 안전 규제와 AI 규제가 겹쳐, 어느 틀을 어떻게 함께 적용할지의 문제가 생김.
용어 관계
상위 인공지능
해설 · 참고 기사 3
해설
화면 안에서 글과 이미지를 다루던 AI가 몸을 갖는 국면을 가리킨다. 휴머노이드 로봇, 자율주행, 제조 현장의 자동화가 대표 영역이다. 최근 흐름은 언어 모델이 가진 계획 역량과 상식적 판단을 로봇 제어에 결합하는 쪽이다. 예전에는 동작 하나하나를 프로그래밍해야 했지만, 자연어로 지시하면 그것을 하위 동작으로 쪼개 수행하게 만드는 방향으로 연구가 모이고 있다.
안전 요구가 달라지는 지점이다. 잘못된 출력이 곧 물리적인 힘으로 나타나므로 사람이 다칠 수 있고, 되돌릴 수 없는 행위의 비중이 훨씬 크다. 기존의 기계 안전 규제와 AI 규제가 겹치면서 어느 틀을 적용할지의 문제도 생긴다. 여기에 고유한 과제가 하나 더 붙는다. 물리 세계는 실시간으로 움직이므로 사람이 판단을 검토할 시간이 확보되지 않는다는 것이다. 인간 감독을 어떤 형태로 유지할 수 있는지가 이 영역의 핵심 물음이다.
참고 기사·연구
- 2026-09-07NIA, '국가 AI 대전환' 조직개편 단행…AI 에이전트·피지컬 AI 전담팀 뉴시스 다이제스트 2026-09-07
- 2026-09-07피지컬 AI 전담 컨트롤타워 필요… 산학연 역량 한데 모아야 디지털타임스 다이제스트 2026-09-07
- 2026-09-044개월 만에 진용 갖춘 ‘AI 삼각편대’…독파모 손본다 동아일보 다이제스트 2026-09-04
030위험riskAI의 개발·배포·이용에서 비롯되는 피해가 발생할 가능성과 그 피해의 심각도를 결합해 나타낸 개념을 의미함.
용어 설명
AI의 개발·배포·이용에서 비롯되는 피해가 발생할 가능성과 그 피해의 심각도를 결합해 나타낸 개념을 의미함.
- 피해를 일으킬 수 있는 원천(위험원), 그것이 실제 피해로 이어질 가능성, 피해의 크기·범위·되돌릴 수 있는지를 함께 따져 수준을 매김.
- 아직 일어나지 않은 피해를 다루는 개념이므로 위험 평가·위험 임계값·위험 완화 같은 사전적 관리 절차의 기준이 되며, 규제 의무의 강도를 정하는 근거로도 쓰임.
- 범용 AI는 용도가 열려 있고 역량이 빠르게 변해 발생 가능성과 심각도를 추정할 자료가 부족하다는 점이 측정의 한계로 지적됨.
구별'위험원(hazard)'은 피해를 일으킬 잠재력이 있는 사건·활동·조건 자체를, '위험(risk)'은 그 피해의 발생 가능성과 심각도를 결합한 정도를, '피해(harm)'는 실제로 나타난 부정적 결과를 가리키며, '위험'은 정도를 따질 수 있는 개념이라는 점이 핵심임.
용어 관계
주요 기관·문서별 개념 및 적용
- 위험을 AI의 개발·배포·이용에서 생기는 피해의 발생 확률과 심각도의 결합으로 정의하고, 위험원(hazard)은 피해를 일으킬 잠재력이 있는 사건·활동으로 따로 정의함. [1]
- AI RMF는 위험을 사건의 발생 확률과 그 결과의 크기·정도를 합친 복합 척도로 보고 영향은 긍정·부정 모두일 수 있다고 하면서(ISO 31000:2018 각색), 부정적 영향에 대해서는 피해의 크기와 발생 가능성의 함수로 설명함. [2]
- 잠재적 피해를 피해가 발생할 위험 또는 가능성으로 표현하고 위험을 사건 발생 확률과 결과의 심각도의 함수로 설명하면서, 실제 피해는 '현실화된 위험'으로 구분함. [3]
출처
관련 연구 4 · 정책 문서 4
관련 연구 · AI 안전 연구
- 2026-11-05Anthropic 위험 보고서 자동화 R&D 절 검토 METR
- 2026-11-04AI법의 사각지대: 의존성 위험과 하이브리드전 Research Square
- 2026-11-03고위험 AI 사이버보안: AI법 15조와 CRA 중첩 International Cybersecur
- 2026-11-01AI 컴플라이언스의 의미적 무결성과 재귀적 보증 OpenAlex
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-14🇪🇺 EU 집행위 시행결정 2026/2274 행정규칙
- 2026-09-29🇦🇺 호주 지침 002-2026 행정규칙
- 2026-09-21🇺🇳 AI 에이전트 정렬 실패·통제 상실 위험 브리프 인공지능 독립 국제과학패널(Independent Int
- 2026-09-21Z.ai · Concordia AI Frontier Open-Weight AI 위험관리 프레임워크 Z.ai (Zhipu AI) · Concordia AI
031위험원hazardAI 시스템의 개발·이용·오작동이 피해나 AI 사고로 이어질 잠재력을 지닌 사건·상황·조건, 즉 피해의 원천을 의미함.
용어 설명
AI 시스템의 개발·이용·오작동이 피해나 AI 사고로 이어질 잠재력을 지닌 사건·상황·조건, 즉 피해의 원천을 의미함.
- 위험한 역량, 설계·학습상의 결함, 취약점, 부적절한 배포 맥락 등이 위험원이 될 수 있으며, 아직 피해가 발생하지 않았다는 점에서 AI 사고와 구별됨.
- 위험원을 먼저 식별해야 그것이 피해로 이어질 경로와 가능성을 따져 AI 위험의 수준을 추정할 수 있으므로, 위험 평가와 AI 사고 모니터링의 출발점이 됨.
- OECD는 실제 피해가 난 사건을 '사고', 피해로 이어질 개연성이 있었던 사건을 '위험원'으로 나눠, 사고 보고 체계에서 잠재적 사건까지 기록하도록 함.
구별'위험원(hazard)'은 피해를 일으킬 수 있는 원천이고, '위험(risk)'은 그 원천이 피해로 이어질 가능성과 심각도를 결합한 정도임. 같은 위험원이라도 노출·맥락·안전장치에 따라 위험 수준은 달라짐. 'hazard'를 '위험'으로 옮기면 두 개념이 섞이므로 '위험원'으로 구별함.
용어 관계
주요 기관·문서별 개념 및 적용
- 위험원을 인명 손실, 부상, 사회적 혼란, 환경 피해 등 피해를 일으킬 잠재력이 있는 모든 사건·활동으로 정의함. [3]
출처
관련 연구 1
관련 연구 · AI 안전 연구
- 2025-09-05LLM을 생물학적 위험원으로 진지하게 보는 이유 Anthropic Research
032피해harmAI 시스템의 개발·이용·오작동이 직간접적으로 개인·집단·사회·환경에 끼친 부정적 영향이나 손상을 의미함.
용어 설명
AI 시스템의 개발·이용·오작동이 직간접적으로 개인·집단·사회·환경에 끼친 부정적 영향이나 손상을 의미함.
- 신체·정신 건강 피해, 핵심 기반시설 교란, 인권·법적 권리 침해, 재산·공동체·환경 피해 등으로 나뉘며, 심각도·범위·지리적 규모·되돌릴 수 있는지 등의 차원으로 그 크기를 따짐.
- 피해가 실제로 발생했는지가 사고와 위험원을 가르는 기준이 되므로, 피해 정의와 분류는 사고 보고·책임 배분·구제 제도의 바탕이 됨.
- 차별, 정서적 의존처럼 서서히 누적되거나 측정이 어려운 피해는 포착이 늦어진다는 지적이 있음.
구별'피해(harm)'는 실제로 나타난(또는 나타날 수 있는) 부정적 결과 자체이고 '위험(risk)'은 그 피해의 발생 가능성과 심각도를 결합한 정도, '위험원(hazard)'은 피해를 일으킬 수 있는 원천이며, 실제 피해가 발생한 사건은 '사고'로 기록됨.
주요 기관·문서별 개념 및 적용
- AI RMF는 부정적 영향 또는 피해가 개인·집단·공동체·조직·사회·환경·지구 차원에서 경험될 수 있다고 봄. [2]
출처
관련 연구 4 · 정책 문서 4
관련 연구 · AI 안전 연구
- 2026-10-23자율 사이버무기의 디지털 피해 책임 프레임워크 arXiv
- 2026-10-09청소년 정신건강 피해 예방을 위한 AI 설계 규제 JAMA Health Forum
- 2026-10-09APEX-Harm: 공유 업무공간 에이전트 안전 평가 arXiv
- 2026-10-07PatchBench: 활성값 패칭의 부수 피해 측정 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-07의료 AI 책임 있는 확산 마드리드 회의 보고서 OECD 고용노동사회국(ELS) / 스페인 보건부(회의
- 2026-01-22🇺🇸 아동의 AI 기술 피해 방지법(H.R. 7218) United States Congress · 법안
- 2025-09-04🇺🇸 미국 아동 AI 피해 법안 (S 2714) United States Congress · 법안
- 2025-04-01🇺🇸 디지털 착취·조작 피해자 보호법 2025 United States Congress · 법안
033위협threat취약점을 악용하거나 AI를 수단으로 삼아 피해를 일으킬 수 있는 행위자, 행위 또는 그 가능성을 의미함.
용어 설명
취약점을 악용하거나 AI를 수단으로 삼아 피해를 일으킬 수 있는 행위자, 행위 또는 그 가능성을 의미함.
- 보안 관점에서는 행위자(국가 지원 조직, 범죄 집단, 내부자 등), 의도, 역량, 수단의 조합으로 파악하며, 위협 모델링을 통해 실제로 성립하는 조합을 골라 방어 자원을 배분함.
- AI는 사이버 공격·허위 정보 등에서 기존 공격의 비용과 숙련 장벽을 낮춰 위협의 규모를 키울 수 있고, AI 시스템 자체가 프롬프트 인젝션·모델 가중치 탈취 같은 위협의 표적이 되기도 함.
- 오정렬된 AI가 스스로 위협 행위자처럼 행동할 가능성도 AI 통제 연구에서 위협으로 다뤄짐.
구별'위협(threat)'은 주로 의도를 지닌 행위자와 그 행위를 가리키는 보안 용어이고, '위험원(hazard)'은 의도와 관계없이 오작동·결함까지 포함해 피해를 일으킬 수 있는 원천 전반을 가리킴. '위험(risk)'은 위협이나 위험원이 피해로 이어질 가능성과 심각도를 결합한 정도임.
용어 관계
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
보안 관점에서 보면 취약점이 있어도 그것을 노리는 쪽이 없으면 공격에 의한 피해는 생기지 않는다. 위협은 그 노리는 쪽을 가리키는 말이다. 보안 실무에서는 누가(국가가 지원하는 조직, 금전을 노리는 범죄 집단, 내부 직원), 무엇을 노리고, 어떤 수단을 쓰는지 조합해 목록으로 정리한다. 이렇게 정리해 두면 무한히 많은 가능성 가운데 실제로 성립하는 조합만 골라 방어 자원을 배분할 수 있다. 위협 모델링이라고 부르는 작업이다.
AI가 위협 지형을 바꾸는 방식은 전혀 새로운 공격을 발명하는 쪽보다 진입장벽을 낮추는 쪽에서 먼저 두드러진다는 분석이 많다. 고급 기법을 쓰려면 필요했던 숙련도와 시간이 줄면, 같은 공격을 할 수 있는 사람의 수가 늘고 표적별로 맞춘 공격을 대량으로 만드는 일이 가능해진다. 그래서 위협을 평가할 때 새로운 종류가 생겼는지 묻는 것만으로는 부족하다. 기존 공격의 비용과 규모가 어떻게 달라졌는지를 함께 봐야 실제 변화를 잡을 수 있다.
참고 기사·연구
- 2026-09-07엔키화이트햇, KB국민은행 'AI 사이버 위협 대응 체계' 구축 뉴시스 다이제스트 2026-09-07
- 2026-09-07"해킹AI, 민생 인프라 위협… 보안 생태계 3~5년내 자립해야" 파이낸셜뉴스 다이제스트 2026-09-07
- 2026-09-04Hackers used autonomous AI agent to spy on Thailand's finance ministry AIID 다이제스트 2026-09-04
관련 연구 · AI 안전 연구
- 2026-10-16비전문가 사용자라는 LLM 위협 벡터 Issues of Media Business
- 2026-10-15AI 기반 생물 위협 대응 회복탄력성 워크숍 회의록 RAND
- 2026-10-13펌웨어에서 root까지 30분: AI와 위협 인텔리전스 AIID
- 2026-10-08계승된 지배성: 인간 역사로 학습한 AI의 위협 AI and Ethics
관련 정책 문서 · AI 안전 라이브러리
- 2026-08-31AI Threat 대비 Playbook: 4-Pillar Operating 프레임워크 안보 Leaders AIGL · 가이드라인·원칙
- 2026-08-03🇰🇷 국가안보·핵심 인프라 위협 고위험 AI 모델 지정·관리체계 법안 법안
- 2026-07-27🇺🇸 외국산 첨단 로봇 국가안보 결정 미국 연방통신위원회(Federal Communicati
- 2026-07-23🇺🇸 협력적 적대 위협·안보 위험법(HR 9914) 법안
034파국적 위험catastrophic riskAI로 인해 대규모 인명 피해나 사회 전반에 걸친 심각하고 되돌리기 어려운 피해가 발생할 위험을 의미함.
용어 설명
AI로 인해 대규모 인명 피해나 사회 전반에 걸친 심각하고 되돌리기 어려운 피해가 발생할 위험을 의미함.
- 화학·생물·방사능·핵 무기 개발 지원, 대규모 사이버 공격, 통제 상실 등이 주요 경로로 거론되며, 피해의 규모와 비가역성을 기준으로 일반적인 AI 위험과 구별됨.
- 발생 확률이 낮거나 불확실해도 심각도가 극단적이어서, 프론티어 AI 개발사의 안전 프레임워크와 위험 임계값 설정에서 우선 관리 대상으로 다뤄짐.
- 과거 사례가 거의 없어 발생 가능성을 실증적으로 추정하기 어렵고, 그 범위와 시급성을 두고 연구자 사이의 견해 차이가 큼.
구별'파국적 위험'은 피해의 규모·심각도를 기준으로 한 범주이고, '시스템적 위험'은 피해가 사회 구조 전반으로 퍼지는 방식이나(국제 AI 안전 보고서) 고영향 범용 AI 모델에 특유한 대규모 위험(EU AI법)을 가리키는 범주로, 둘은 겹칠 수 있으나 같은 개념이 아님.
용어 관계
주요 기관·문서별 개념 및 적용
- EU 실천강령의 4대 위험을 고도화된 모델 특유의 위험, 대규모 영향, 빠른 전개, 회복 불가능의 특징을 가진 반드시 고려할 위험 유형으로 소개하고 관리 후보 위험 목록으로 활용하도록 함. [5]
- 파국적 위험을 프론티어 모델의 개발·저장·사용·배포가 단일 사고로 50명을 넘는 사망·중상이나 10억 달러를 넘는 재산 피해에 실질적으로 기여할, 예견 가능하고 중대한 위험으로 정의하고, 화학·생물·방사능·핵 무기 제작 지원, 인간 감독 없는 사이버 공격·범죄 행위, 통제 회피를 경로로 듦. [6]
출처
- 1International AI Safety Report 2025, 2.2.3, p.100 · 원문
- 2International AI Safety Report 2026, p.115 · 원문 · 라이브러리에서 보기
- 3EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.4, p.37 · 원문
- 4EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.2.2, p.35 · 원문
- 5『인공지능 안전성 확보 가이드라인』 v1.3, p.33 · 원문
- 6California SB 53 (2025), Bus. & Prof. Code §22757.11(c) · 원문
관련 연구 1
관련 연구 · AI 안전 연구
- 2026-06-03AI 파국적 위험 우선순위: 전문가 272인 델파이 조사 MIT Sloan
035시스템적 위험systemic risk개별 모델의 결함을 넘어 사회·경제·제도 전반으로 퍼지거나, 고영향 범용 AI 모델의 역량에서 비롯되어 대규모로 확산될 수 있는 위험을 의미함.
용어 설명
개별 모델의 결함을 넘어 사회·경제·제도 전반으로 퍼지거나, 고영향 범용 AI 모델의 역량에서 비롯되어 대규모로 확산될 수 있는 위험을 의미함.
- EU AI법은 고영향 역량을 지닌 범용 AI 모델에 특유한 위험으로서, 공중보건·안전·기본권·사회 전체에 중대한 영향을 미치고 가치사슬을 따라 대규모로 확산될 수 있는 위험으로 규정함(여기서 '고영향 역량'은 범용 AI 모델의 역량 수준을 뜻하며, 활용 영역을 기준으로 삼는 한국 AI 기본법의 '고영향 AI'와는 다른 개념임).
- 국제 AI 안전 보고서는 AI 개발·배포가 인간 행동, 조직 관행, 사회 구조를 바꾸는 데서 생기는 위험(노동시장, 프라이버시, 환경 등)이라는 더 넓은 뜻으로 씀.
- 어느 정의를 쓰느냐에 따라 평가 대상과 의무 범위가 크게 달라지므로, 문헌을 읽거나 인용할 때 출처의 정의를 확인해야 함.
구별'시스템적 위험'은 피해의 확산 방식이나 모델 역량에, '파국적 위험'은 피해의 규모·심각도에 초점을 둔 범주이며, EU AI법의 '시스템적 위험'과 국제 AI 안전 보고서의 'systemic risks'도 뜻이 다름.
용어 관계
주요 기관·문서별 개념 및 적용
- 제3조제65호는 시스템적 위험을 범용 AI 모델의 고영향 역량에 특유한 위험으로서, 그 도달 범위나 공중보건·안전·공공안보·기본권·사회 전체에 대한 실제 또는 합리적으로 예견 가능한 부정적 영향 때문에 EU 시장에 중대한 영향을 미치고 가치사슬 전반에 대규모로 확산될 수 있는 위험으로 정의함. [1]
- 시스템적 위험 등급을 모델에서 비롯되는 일정 수준의 시스템적 위험에 대응해 프레임워크에서 정의하는 단계로, 시스템적 위험 수용 기준의 한 유형으로 규정함. [2]
출처
- 1EU AI Act, Art. 3(65), p.50–51 · 원문
- 2EU GPAI Code of Practice (2025), Safety & Security, Glossary, p.33 · 원문
- 3International AI Safety Report 2025, Glossary, p.227–228 · 원문
- 4International AI Safety Report 2026, Glossary, p.154–155 · 원문 · 라이브러리에서 보기
원문 인용 6 · 관련 연구 2
PDF 원문 인용
번역AI의 능력 자체보다, 개발·배포가 인간 행동·조직 관행·사회 구조를 바꾸는 데서 생기는 위험. (EU AI법의 ‘시스템적 위험’—고영향 범용 AI 모델의 고영향 능력에 특유한 위험—과는 다른 쓰임에 유의.)
Risks that arise from how AI development and deployment changes human behaviour, organisational practices, or societal structures, rather than directly from AI capabilities. (Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact'.) (AI) System integration: The process of combining an AI model with other software components to produce an AI system that is ready for use. For instance, integration might involve combining a general-purpose AI model with content filters and a user interface to produce a chatbot application. (AI) System monitoring: The process of inspecting systems while they are running to identify issues with their performance or safety.
출처 International AI Safety Report 2026 · p.155–156 · EN · 정의섹션 · 라이브러리에서 보기
번역개별 모델·시스템의 능력을 넘어, 범용 AI 개발·배포와 관련된 더 넓은 사회적 위험. 노동시장 영향·프라이버시 침해·환경 피해 등이 예다. (EU AI법의 ‘시스템적 위험’ 정의와는 다를 수 있다.)
Broader societal risks associated with general-purpose AI development and deployment, beyond the capabilities of individual models or systems. Examples of systemic risks range from potential labour market impacts to privacy infringements and environmental harms. Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high -impact capabilities of general-purpose AI models, having a significant impact'.
출처 International Scientific Report on the Safety of Advanced AI · p.227–228 · EN · 정의섹션
서명자가 자신의 모델로부터 발생하는 시스템적 위험의 수용 가능 여부를 결정하기 위 하여 프레임워크에서 정의한 기준 시스템적 위험 등급 아래 정 . (systemic risk tiers)(
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.112 · KO · 정의섹션
의 참조 는 시스템적 위험 수용 기준의 한 유형임 ) . 추가 내용은 이행조치 참조 4.1 .
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션
시스템적 위험 식별 약정 에 따름 시스템적 위험 분석 약정 에 따름 및 시스템적 ( 2 ), ( 3 ) 위험 수용 여부 결정 약정 에 따름 을 모두 포괄하는 상위 개념 ( 4 )
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션
모델로부터 발생하는 일정 수준의 시스템적 위험에 대응하도록 프레임워크에서 정의된 단계 시스템적 위험 등급은 시스템적 위험 수용 기준의 한 유형임 . 추가 내용은 이행조치 참조 4.1
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션
관련 연구 · AI 안전 연구
- 2026-09-23EU 실천강령 기반 시스템적 위험 증거 파이프라인 arXiv
- 2026-05-28OpenAI 프론티어 거버넌스 프레임워크 OpenAI
036시스템적 위험 평가systemic risk assessment범용 AI 모델이 일으킬 수 있는 시스템적 위험을 식별·분석하고 그 수용 여부를 판단하는 일련의 평가 절차를 말함.
용어 설명
범용 AI 모델이 일으킬 수 있는 시스템적 위험을 식별·분석하고 그 수용 여부를 판단하는 일련의 평가 절차를 말함.
- EU 범용 AI 실천강령에서는 시스템적 위험의 식별, 분석, 수용 여부 결정을 모두 포괄하는 상위 개념으로 쓰이며, 위험 시나리오와 위험 모델링을 바탕으로 함.
- EU AI법상 시스템적 위험이 있는 범용 AI 모델 제공자의 평가·완화 의무를 이행하는 핵심 절차로, 모델 평가 결과를 시스템적 위험 등급 같은 수용 기준과 연결함.
- 국제 AI 안전 보고서처럼 '시스템적 위험'을 사회 구조 변화에서 생기는 위험으로 넓게 쓰는 문헌도 있어, 어느 정의를 전제하는지 확인할 필요가 있음.
구별'시스템적 위험 평가'는 시스템적 위험에 한정된 위험 평가 절차이고, '위험 평가'는 위험 종류를 가리지 않는 일반 절차임.
용어 관계
주요 기관·문서별 개념 및 적용
- 실천강령 안내서는 시스템적 위험 평가를 시스템적 위험 식별, 시스템적 위험 분석, 시스템적 위험 수용 여부 결정을 모두 포괄하는 상위 개념으로 정의함. [1]
출처
- 1『EU GPAI 실천강령 한글 안내서』(2026), 용어 정의, p.109 · 원문
원문 인용 3
PDF 원문 인용
번역AI의 능력 자체보다, 개발·배포가 인간 행동·조직 관행·사회 구조를 바꾸는 데서 생기는 위험. (EU AI법의 ‘시스템적 위험’—고영향 범용 AI 모델의 고영향 능력에 특유한 위험—과는 다른 쓰임에 유의.)
Risks that arise from how AI development and deployment changes human behaviour, organisational practices, or societal structures, rather than directly from AI capabilities. (Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact'.) (AI) System integration: The process of combining an AI model with other software components to produce an AI system that is ready for use. For instance, integration might involve combining a general-purpose AI model with content filters and a user interface to produce a chatbot application. (AI) System monitoring: The process of inspecting systems while they are running to identify issues with their performance or safety.
출처 International AI Safety Report 2026 · p.155–156 · EN · 정의섹션 · 라이브러리에서 보기
번역개별 모델·시스템의 능력을 넘어, 범용 AI 개발·배포와 관련된 더 넓은 사회적 위험. 노동시장 영향·프라이버시 침해·환경 피해 등이 예다. (EU AI법의 ‘시스템적 위험’ 정의와는 다를 수 있다.)
Broader societal risks associated with general-purpose AI development and deployment, beyond the capabilities of individual models or systems. Examples of systemic risks range from potential labour market impacts to privacy infringements and environmental harms. Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high -impact capabilities of general-purpose AI models, having a significant impact'.
출처 International Scientific Report on the Safety of Advanced AI · p.227–228 · EN · 정의섹션
시스템적 위험 식별 약정 에 따름 시스템적 위험 분석 약정 에 따름 및 시스템적 ( 2 ), ( 3 ) 위험 수용 여부 결정 약정 에 따름 을 모두 포괄하는 상위 개념 ( 4 )
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션
037한계 위험marginal risk특정 AI 모델이나 공개 방식이 기존 대안(다른 모델, 인터넷 검색 등 기존 기술)에 비해 추가로 더하는 위험의 크기를 의미함.
용어 설명
특정 AI 모델이나 공개 방식이 기존 대안(다른 모델, 인터넷 검색 등 기존 기술)에 비해 추가로 더하는 위험의 크기를 의미함.
- 같은 위험원이라도 이미 다른 수단으로 쉽게 할 수 있는 일이라면 추가 위험은 작다고 보며, 기준선과 비교하는 휴먼 업리프트 연구로 측정함.
- 오픈 웨이트 모델 공개의 위험을 판단하는 기준으로 널리 쓰이며, 절대적 위험 대신 증분을 따져 공개의 이익과 위험을 비교하게 함.
- 어떤 대안을 기준선으로 삼느냐에 따라 결과가 달라지고, 여러 모델이 공개되면서 기준선 자체가 올라가 누적 위험을 놓칠 수 있다는 지적이 있음.
구별'한계 위험'은 기존 대안 대비 증분 위험이고, '위험'은 기준선과 관계없이 피해의 발생 가능성과 심각도를 결합한 전체 수준을 가리킴.
용어 관계
먼저 알 개념 위험
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, 2.4, p.154 · 원문
038실패 모드failure modeAI 시스템이 의도한 대로 작동하지 않는 구체적 방식을 원인·양상에 따라 유형화한 것을 말함.
용어 설명
AI 시스템이 의도한 대로 작동하지 않는 구체적 방식을 원인·양상에 따라 유형화한 것을 말함.
- 환각, 분포 밖 입력에서의 성능 저하, 탈옥에 의한 안전장치 우회, 도구 호출 오류 등은 발생 조건과 대응책이 서로 달라 유형별로 나눠 다룸.
- 유형이 정해지면 유형별 탐지 지표와 완화책을 설계하고 새 사고를 기존 유형과 대조할 수 있어, 위험 평가와 AI 사고 보고의 분류 체계로 쓰임.
- 공학의 고장 유형 분석(FMEA)에서 온 개념이나, AI에서는 오정렬·보상 해킹처럼 설계 의도와 행동이 어긋나는 실패도 포함한다는 점이 다름.
구별'실패 모드'는 시스템이 어긋나는 방식의 유형이고, '오작동'은 실제로 발생한 개별 기능 장애, '사고'는 그로 인해 피해가 발생한 사건을 가리킴.
용어 관계
다음 단계 오작동
해설 · 참고 기사 3 · 관련 연구 2
해설
성능이 나쁘다는 하나의 덩어리로 두지 않고, 어떤 조건에서 어떤 모습으로 어긋나는지 갈라놓는 작업이다. 근거 없는 내용을 지어내는 것, 이용자 말에 맞춰 답을 바꾸는 것, 막아야 할 요청을 통과시키는 것, 입력 분포가 달라지자 무너지는 것, 도구를 잘못 호출해 엉뚱한 결과를 얻는 것은 원인과 대응이 전부 다르다. 하나로 묶어 두면 어느 것도 제대로 다룰 수 없다.
공학에서 온 개념이라 곧바로 설계로 이어진다는 점이 이 분류의 값어치다. 유형이 정해지면 유형별로 감지 지표를 붙일 수 있고, 어떤 완화책이 어떤 유형에 듣는지 따져 볼 수 있으며, 새 사고가 났을 때 기존 유형에 들어가는지 새 유형인지 판단할 수 있다. 여러 조직이 같은 분류를 공유하는 것도 중요하다. 사고 보고 체계가 서로 다른 이름으로 같은 문제를 기록하면 사례를 합산해 추세를 볼 수 없기 때문이다.
참고 기사·연구
- 2026-07-08Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops arXiv 연구
- 2026-05-27Reward Bias Substitution: Single-Axis Bias Mitigations Redirect Optimization Pressure arXiv 연구
- 2026-05-08Flow-OPD: On-Policy Distillation for Flow Matching Models (저자 외 9명, arXiv, 2026.5.8) arXiv 다이제스트 2026-05-08
관련 연구 · AI 안전 연구
- 2026-10-14브라질 포르투갈어 LLM 안전 정렬과 LLM 판정기의 침묵 실패 arXiv
- 2026-06-09CoT는 알고 있었다: 다중턴 추론모델의 실패 유형 arXiv
039위험 평가risk assessmentAI 위험을 식별하고 그 발생 가능성과 심각도를 분석해, 허용 기준과 비교함으로써 대응 우선순위와 조치 필요성을 판단하는 절차를 말함.
용어 설명
AI 위험을 식별하고 그 발생 가능성과 심각도를 분석해, 허용 기준과 비교함으로써 대응 우선순위와 조치 필요성을 판단하는 절차를 말함.
- 위험 식별, 위험 분석, 위험 수준을 허용 기준에 비추어 판단하는 단계로 이루어지며, 모델 평가·레드티밍·영향 평가·감사 결과를 판단의 근거로 활용함.
- 배포 여부나 추가 안전장치 적용 같은 결정이 위험 평가 결과에 근거하므로, 위험 임계값과 위험 허용도를 실제 조치로 연결하는 고리가 됨.
- 어느 수준의 위험을 감수할지는 데이터만으로 정해지지 않아 가치 판단이 개입하며, 그 근거를 사후에 검증할 수 있도록 문서화가 요구됨.
구별'위험 평가(risk assessment)'는 위험의 수준을 판단하는 관리 절차이고 '평가(evaluation)'는 모델·시스템의 역량이나 안전성을 시험해 측정하는 활동이며, 위험 평가 안의 '위험 판정(risk evaluation)' 단계도 모델 평가와는 다른 개념임.
용어 관계
주요 기관·문서별 개념 및 적용
- 위험 평가의 주된 목적을 잠재적 피해의 심각도와 가능성을 이해하는 데 두고, 그 결과로 위험의 우선순위를 정하고 특정 조치가 필요한 임계값을 넘는지 판단한다고 정리함. [2]
- 약정 3은 식별한 시스템적 위험마다 모델 독립 정보 수집, 모델 평가, 위험 모델링, 위험 추정, 출시 후 모니터링의 다섯 요소로 분석하도록 함. [3]
출처
- 1International AI Safety Report 2026, p.108 · 원문 · 라이브러리에서 보기
- 2Singapore Consensus (2025), p.9–10 · 원문
- 3EU GPAI Code of Practice (2025), Safety & Security, Commitment 3, p.12–14 · 원문
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
무엇이 잘못될 수 있는지 목록을 만들고, 각 항목이 얼마나 자주 일어날지와 일어나면 얼마나 큰 피해가 되는지를 함께 따져 등급을 매긴다. 그 등급을 조직이 받아들일 수 있는 수준과 비교해 무엇을 먼저 손볼지 정하는 것이 목적이다. AI에서는 여기에 축이 몇 개 더 붙는다. 되돌릴 수 있는 피해인지, 영향이 개인에 머무는지 사회 전체에 미치는지, 피해를 입는 사람이 그 시스템을 쓰기로 선택한 당사자인지 아니면 무관한 제3자인지가 함께 고려된다.
안전성 평가와 혼동하지 않는 것이 좋다. 안전성 평가는 모델을 실제로 시험해 사실을 확인하는 일이고, 위험 평가는 그렇게 모은 사실을 놓고 판단을 내리는 일이다. 앞의 것은 측정이고 뒤의 것은 결정이라고 나눠 볼 수 있다. 그래서 위험 평가에는 반드시 가치 판단이 들어간다. 어느 정도의 위험을 감수할 만하다고 볼지는 데이터가 알려 주지 않기 때문이다. 표준 체계가 이 과정을 문서로 남기게 하는 이유도, 판단의 근거를 나중에 검증할 수 있게 하려는 것이다.
참고 기사·연구
- 2026-09-06JailFlowEval: a workflow-safety benchmark for LLM-driven enterprise service workflows OpenAlex 연구
- 2026-09-04What ChatGPT’s DSA Designation Means for OpenAI and the EU TechPolicyPress 다이제스트 2026-09-04
- 2026-09-03ChatGPT, Roblox Face Tough EU Rules. Implementation Is the Hard Part TechPolicyPress 다이제스트 2026-09-03
관련 연구 · AI 안전 연구
- 2026-10-26DeepSeek V4.1 Flash-1017 통제 상실·조작 위험 평가 arXiv
- 2026-09-14오픈 웨이트 AI의 생물학적 오용 위험 평가 RAND
- 2026-07-13AI 위험평가 프레임워크 OpenAlex
- 2026-07-02AI법 이후 지능형 시스템 위험평가·관리 개관 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-08-312026 NCSC AI Cyber 안보 Risk 평가: 공공부문 Deployment AIGL · 정책보고서
- 2026-08-23🇳🇿 뉴질랜드 온라인 안전·최소 연령 및 아동 안전 위험 평가 법안 법안
- 2026-01-14🇺🇸 미국 HR 7058 외국 적대세력 AI 위험평가·외교 법안 United States Congress · 법안
- 2025-09-29🇺🇸 고도 AI 위험평가법 United States Congress · 법안
040위험 관리risk managementAI 위험을 식별·분석·판정하고 완화한 뒤 그 결과를 지속적으로 모니터링·갱신하는 조직적·체계적 활동을 말함.
용어 설명
AI 위험을 식별·분석·판정하고 완화한 뒤 그 결과를 지속적으로 모니터링·갱신하는 조직적·체계적 활동을 말함.
- 위험 식별, 위험 분석·판정, 위험 완화, 이를 뒷받침하는 책임·감독 구조(위험 거버넌스)가 반복되는 순환 과정으로 구성됨.
- AI 위험의 상당 부분이 배포 후 드러나므로, 배포 후 모니터링과 사고 보고에서 얻은 정보로 위험 목록과 조치를 갱신하는 것이 체계의 핵심임.
- NIST AI RMF, ISO/IEC 42001, EU AI법의 위험 관리 의무 등 여러 틀이 있으며, 문서를 갖추는 것과 실제로 갱신이 돌아가는 것은 다르다는 점이 지적됨.
구별'위험 관리'는 위험 평가와 위험 완화를 포함하는 상위 절차이고, '위험 평가'는 그중 위험 수준을 판단하는 단계, '위험 완화'는 위험을 줄이는 조치 단계임.
용어 관계
하위 책임 있는 스케일링 정책, 위험 평가, 위험 완화 · 먼저 알 개념 위험
주요 기관·문서별 개념 및 적용
- AI RMF는 ISO 31000:2018을 인용해 위험 관리를 위험과 관련해 조직을 지휘·통제하는 조정된 활동으로 정의함. [3]
- 안전성 확보 고시 제2조를 인용해 위험관리체계를 인공지능 관련 안전사고를 모니터링하고 대응하는 책임 주체의 권한과 의무 등을 규정한 체계로 정의함. [4]
출처
- 1International AI Safety Report 2025, p.158–159 · 원문
- 2International AI Safety Report 2026, Figure 3.4, p.106 · 원문 · 라이브러리에서 보기
- 3NIST AI 100-1 (AI RMF 1.0), 1.1, p.4–5 · 원문
- 4『인공지능 안전성 확보 가이드라인』 v1.3, 용어 정의, p.13 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
개별 판단을 잘 내리는 것과 다르다. 담당자가 바뀌어도, 새로운 제품이 나와도 같은 방식으로 작동하는 절차로 만드는 것이 목적이다. NIST의 AI 위험관리 프레임워크(AI RMF)는 이를 네 기능으로 나눈다. 조직 안에 책임과 문화를 세우는 거버넌스(GOVERN), 맥락과 위험을 파악하는 매핑(MAP), 그것을 측정하는 측정(MEASURE), 그리고 대응하고 우선순위를 정하는 관리(MANAGE)다. ISO/IEC 42001은 같은 취지를 AI 경영시스템 표준으로 담아, 조직이 이 체계를 갖췄는지 외부 인증으로 확인할 수 있게 했다.
AI에서 이런 체계가 특별히 요구되는 이유는 위험의 상당 부분이 배포한 뒤에 드러나기 때문이다. 실험실에서 예상한 사용 방식과 실제 이용자의 사용 방식이 다르고, 시간이 지나면 입력 자료의 성질도 달라진다. 그래서 위험 목록을 한 번 만들고 끝내는 것이 아니라, 운영 중의 감시와 사고 보고에서 얻은 것으로 목록을 계속 갱신하는 순환이 체계의 중심에 놓인다. 관리한다는 말이 문서를 갖췄다는 뜻이 아니라 갱신이 돌아간다는 뜻이 되는 것이다.
PDF 원문 인용
번역위험을 식별·평가·완화·모니터링하는 체계적 과정.
The systematic process of identifying, evaluating, mitigating and monitoring risks.
출처 International Scientific Report on the Safety of Advanced AI · p.158–159, p.225–226 · EN · 정의섹션
∙ 인공지능 관련 안전사고를 모니터링하고 대응하는 책임 주체의 권한과 의무 등을 규정한 체계 | 고시 제2조
출처 인공지능 안전성 확보 가이드라인 v1.3 (2026.1.21) · p.13 · KO · 정의섹션
참고 기사·연구
- 2026-09-04AI情報通:9月3日15時の情報 AISI-Japan 다이제스트 2026-09-04
- 2026-09-03Can the finance sector oversee AI innovation while maintaining its rapid progress? OECD-AI 다이제스트 2026-09-03
- 2026-09-02Artificial Intelligence Governance and Data Protection for Building Trustworthy and Accountable Systems OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-10-26AI 위험의 이해: 보험·위험관리 관점 China Finance Review Int
- 2026-09-24AGI 라이드아웃: 고도화 AI 전환기의 위험 관리 RAND
- 2026-09-19모델 위험관리에서 AI 보증 체계로의 통합 Transactions on Engineer
- 2026-08-15AI 거버넌스와 사이버보안 위험관리의 연계 분석 Journal of the Associati
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-21Z.ai · Concordia AI Frontier Open-Weight AI 위험관리 프레임워크 Z.ai (Zhipu AI) · Concordia AI
- 2026-09-08🇬🇧 영국 AI 위험관리 툴킷 영국 과학혁신기술부(Department for Scie
- 2026-07-19Shanghai AI Lab · Concordia AI 프론티어 AI 위험관리 프레임워크 v2.0 Shanghai AI Laboratory · Conco
- 2026-07-14🇸🇦 사우디 국가 AI 위험관리 프레임워크 가이드라인·원칙
041위험 완화risk mitigation식별·평가된 AI 위험의 발생 가능성이나 피해의 심각도를 허용 가능한 수준까지 낮추기 위해 취하는 조치를 말함.
용어 설명
식별·평가된 AI 위험의 발생 가능성이나 피해의 심각도를 허용 가능한 수준까지 낮추기 위해 취하는 조치를 말함.
- 학습 단계의 거절 학습, 배포 단계의 필터·접근 제한·공개 방식 조정, 운영 단계의 모니터링·중단 절차 등을 여러 층으로 쌓는 심층 방어 방식이 일반적임.
- 위험을 없애는 것이 아니라 줄이는 조치이므로, 무엇을 얼마나 줄였고 잔여 위험이 위험 허용도 안에 드는지를 함께 문서화해야 함.
- 조치를 도입했다는 사실이 효과의 증거는 아니며, 도입 전후를 같은 방법으로 측정해 효과를 입증해야 한다는 점이 강조됨.
구별'위험 완화'는 위험을 줄이는 조치 전반이고, '안전장치(safeguard)'는 그 수단으로 쓰이는 개별 기술적·절차적 장치를 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- 우선순위 위험에 대한 대응 선택지로 완화·이전·회피·수용을 들고, 조직의 위험 허용 한도를 넘는 위험은 완화·이전·회피하며 통제의 효과성을 레드티밍 등으로 모니터링하도록 함. [3]
- 적대적 압력에도 견디는 안전 완화를 요구하고, 학습 데이터 필터링, 입출력 모니터링·필터링, 거부 미세조정, 단계적 접근 허용 등을 예시로 듦. [4]
- 안전성 확보 가이드라인은 위험 평가 결과에 직접 연계해 고위험부터 완화 조치를 수립·시행하고, 시급성·효과성·실행 가능성과 부작용을 함께 따지도록 함. [5]
출처
- 1International AI Safety Report 2026, Figure 3.4, p.106 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2026, p.112 · 원문 · 라이브러리에서 보기
- 3NIST AI 600-1, MANAGE 1.3, p.40 · 원문
- 4EU GPAI Code of Practice (2025), Safety & Security, Measure 5.1, p.17 · 원문
- 5『인공지능 안전성 확보 가이드라인』 v1.3, 3-1, p.47 · 원문
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
위험을 마주했을 때 취할 수 있는 선택은 넷으로 정리된다. 그 일을 아예 하지 않는 회피, 조치를 취해 크기를 줄이는 완화, 보험이나 계약으로 남에게 넘기는 전가, 그리고 감당할 만하다고 판단해 받아들이는 수용이다. 완화는 그중 실제로 손을 대는 선택이다. AI에서는 층으로 쌓인다. 학습 단계에서 유해한 요청을 거절하게 만들고, 배포 단계에서 외부 필터와 권한 제한을 두고, 운영 단계에서 감시와 정지 절차를 마련하는 식이다.
완화는 위험을 없애는 것이 아니라 줄이는 것이라는 전제 위에서 평가된다. 그래서 무엇을 얼마나 줄였고 남은 위험이 허용 범위 안인지를 문서로 남기는 일이 함께 요구된다. 여기서 자주 어긋나는 것은 조치의 존재를 효과의 근거로 삼는 일이다. 필터를 도입했다는 사실이 유해 출력이 줄었다는 증거는 아니다. 도입 전후를 같은 방법으로 측정해 얼마나 달라졌는지 보여야 완화가 입증된다.
참고 기사·연구
- 2026-09-02AI Governance for Business: Scoping AI Use Cases and Managing Risks AIGovernanceLibrary
- 2026-08-18Building a Defense-in-Depth Biosecurity Strategy for the AI Era RAND 다이제스트 2026-08-18
- 2026-04-27저자 외 13명, HuggingFace Daily Papers, 2026.4.27 HuggingFace-Papers 다이제스트 2026-04-27
관련 연구 · AI 안전 연구
- 2026-10-12인지 편향 완화를 위한 발산-성찰-수렴 프레임워크 Internet Research
- 2026-10-02모델 라우팅·협업을 통한 집단 편향 완화 arXiv
- 2026-09-25저렴한 오픈 에이전트와 LLM 오염 완화의 어려움 arXiv
- 2026-09-24연합 GeoAI의 알고리즘 편향 완화 Advances in computationa
관련 정책 문서 · AI 안전 라이브러리
- 2026-05-06🇺🇸 NIST AI 100-2e2025 적대적 머신러닝 공격·완화 분류체계 정책보고서
- 2025-04-09🇺🇸 국토안보부 차량 테러 예방·완화법 2025 United States Congress · 법안
- 2025-01-03🇺🇸 외교·개발 분야 AI 편향 완화 United States Congress · 법안
- 2024-04-16🇺🇸 AI 극단적 위험 완화 프레임워크 Federal government · 전략·정책
042위험 허용도risk tolerance개인이나 조직, 사회가 목표를 추구하면서 감수할 의향이 있는 AI 위험의 수준을 의미함.
용어 설명
개인이나 조직, 사회가 목표를 추구하면서 감수할 의향이 있는 AI 위험의 수준을 의미함.
- 위험 평가에서 분석된 위험 수준을 비교하는 기준이 되며, 이를 구체적 수치·조건으로 옮긴 것이 위험 임계값임.
- 같은 위험이라도 피해가 되돌릴 수 있는지, 피해자가 이용 당사자인지 제3자인지에 따라 허용도가 달라지므로, 누가 어떤 절차로 정하는지가 거버넌스의 핵심 쟁점이 됨.
- 개발사가 스스로 허용도를 정하면 사회가 감수하려는 수준과 어긋날 수 있다는 지적이 있어, 공적 논의와 규제를 통한 설정이 거론됨.
구별'위험 허용도'는 감수할 수 있는 위험의 수준이고, '위험 임계값'은 그 수준을 넘었는지 판정해 조치를 촉발하는 구체적 기준선임.
용어 관계
주요 기관·문서별 개념 및 적용
- 서명자가 시스템적 위험 수용 기준을 정해 위험이 수용 가능한지 판단하고, 그 결과에 따라 개발·출시·사용 진행 여부를 결정하도록 함. [6]
- 위험 평가에서 식별한 AI 위험을 수용 가능한 수준으로 제거하거나 완화하는 조치를 수립·시행하도록 함. [7]
출처
- 1International AI Safety Report 2026, Glossary, p.153–154 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2025, Glossary, p.226 · 원문
- 3International AI Safety Report 2026, Figure 3.4, p.106 · 원문 · 라이브러리에서 보기
- 4NIST AI 100-1 (AI RMF 1.0), 1.2.2, p.7 · 원문
- 5NIST AI 800-1 2차 초안, Practice 5.3, p.17 · 원문
- 6EU GPAI Code of Practice (2025), Safety & Security, Measures 4.1–4.2, p.15–16 · 원문
- 7『인공지능 안전성 확보 가이드라인』 v1.3, 3-1, p.47 · 원문
원문 인용 2
PDF 원문 인용
번역개인이나 조직이 감수할 의향이 있는 위험 수준.
The level of risk that an individual or organisation is willing to take on.
출처 International AI Safety Report 2026 · p.154–155 · EN · 정의섹션 · 라이브러리에서 보기
번역개인이나 조직이 감수할 의향이 있는 위험 수준.
The level of risk that an individual or organisation is willing to take on.
출처 International Scientific Report on the Safety of Advanced AI · p.225–226 · EN · 정의섹션
043위험 임계값risk threshold허용 가능한 위험과 허용할 수 없는 위험을 가르고, 넘어서면 정해진 위험 관리 조치를 촉발하는 정량적·정성적 한계선을 의미함.
용어 설명
허용 가능한 위험과 허용할 수 없는 위험을 가르고, 넘어서면 정해진 위험 관리 조치를 촉발하는 정량적·정성적 한계선을 의미함.
- 특정 위협 시나리오의 실현 가능성 등을 지표로 삼아 '이 수준에 이르면 이 조치를 한다'는 사전 약속 형태로 설정되며, 실무에서는 역량 평가로 판정하는 역량 임계값을 위험의 대리 지표로 쓰는 경우가 많음.
- 프론티어 AI 안전 프레임워크와 책임 있는 스케일링 정책에서 배포 중단, 보안 강화 같은 결정을 미리 정해 두는 장치로 쓰여, 사후 판단의 자의성을 줄임.
- 임계값을 어디에 둘지, 실제로 넘었는지를 무엇으로 판정할지가 불확실하고, 개발사가 스스로 정한 임계값의 적정성을 외부에서 검증하기 어렵다는 지적이 있음.
구별'위험 임계값'은 조치를 촉발하는 구체적 한계선이고 '위험 허용도'는 조직이나 사회가 감수할 의향이 있는 위험 수준 자체로, 임계값은 허용도를 운용 가능한 기준으로 옮긴 것으로 볼 수 있으며, '연산 임계값'은 연산량을 기준으로 한 규제상 문턱으로 성격이 다름.
용어 관계
주요 기관·문서별 개념 및 적용
- 원칙적으로 식별된 시스템적 위험마다 모델 역량 기준으로 정의되고 측정 가능하며 모델이 아직 도달하지 않은 등급을 하나 이상 포함하는 시스템적 위험 등급을 정하도록 하되, 위험 등급 방식이 적합하지 않고 부록 1.4의 지정된 시스템적 위험에 해당하지 않으면 다른 적절한 위험 수용 기준을 정할 수 있게 함. [3]
출처
- 1International AI Safety Report 2026, Glossary, p.153–154 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2025, Glossary, p.226 · 원문
- 3EU GPAI Code of Practice (2025), Safety & Security, Measure 4.1, p.15–16 · 원문
- 4UK AISI (2025). Emerging Practices in Frontier AI Safety Frameworks, p.9–10 · 원문
원문 인용 2 · 정책 문서 1
PDF 원문 인용
번역허용 가능한 위험과 그렇지 않은 위험을 가르고, 초과 시 특정 위험관리 조치를 촉발하는 정량·정성 한도.
A quantitative or qualitative limit that distinguishes acceptable from unacceptable risks and triggers specific risk management actions when exceeded.
출처 International AI Safety Report 2026 · p.154–155 · EN · 정의섹션 · 라이브러리에서 보기
번역허용 가능한 위험과 그렇지 않은 위험을 가르고, 초과 시 특정 위험관리 조치를 촉발하는 정량·정성 한도.
A quantitative or qualitative limit that distinguishes acceptable from unacceptable risks and triggers specific risk management actions when exceeded.
출처 International Scientific Report on the Safety of Advanced AI · p.225–226 · EN · 정의섹션
관련 정책 문서 · AI 안전 라이브러리
- 2026-03-20Toward Risk Thresholds AI-Enabled Cyber Threats AIGL · 기타
044위협 모델링threat modelingAI 시스템을 둘러싼 위협 행위자, 공격 경로, 취약점을 체계적으로 정리해 위험이 실제 피해로 이어지는 경로를 구체화하는 절차를 말함.
용어 설명
AI 시스템을 둘러싼 위협 행위자, 공격 경로, 취약점을 체계적으로 정리해 위험이 실제 피해로 이어지는 경로를 구체화하는 절차를 말함.
- 누가(행위자), 무엇을 노려(목표), 어떤 역량과 수단으로(경로) 피해를 일으킬 수 있는지 조합해 시나리오로 만들고, 각 시나리오에 필요한 모델 역량을 식별함.
- 프론티어 AI 개발사는 이를 바탕으로 역량 평가를 설계하고 위험 임계값을 정하며, 위험 분류 체계와 함께 대표적인 위험 식별 방법으로 꼽힘.
- AI 통제 연구에서는 오정렬된 모델 자체를 가상의 공격자로 상정해 위협 모델을 세우기도 함.
구별'위협 모델링'은 보안 분야에서 공격자와 취약점을 중심으로 쓰이던 말로, EU 범용 AI 실천강령은 이 때문에 시스템적 위험의 실현 경로를 정리하는 작업을 '위험 모델링'이라 따로 부르지만 두 용어가 혼용되기도 함.
용어 관계
주요 기관·문서별 개념 및 적용
- 시스템적 위험이 실현될 수 있는 경로를 구체화하는 구조화된 과정을 '시스템적 위험 모델링'이라 하고, 흔히 위협 모델링과 혼용되지만 위협 모델링은 사이버 보안에서 특정한 의미가 있어 '위험 모델링'이라는 용어를 쓴다고 밝힘. [2]
출처
- 1International AI Safety Report 2026, p.107–108 · 원문 · 라이브러리에서 보기
- 2EU GPAI Code of Practice (2025), Safety & Security, Glossary, p.32 · 원문
관련 연구 1
관련 연구 · AI 안전 연구
- 2026-08-17탈옥 공격의 하이브리드 사이버-물리 위협 모델링과 제어 Scientific Reports
045수명주기lifecycleAI 시스템이 기획·데이터 수집부터 개발, 평가, 배포, 운영·모니터링, 폐기에 이르기까지 거치는 단계 전체를 의미함.
용어 설명
AI 시스템이 기획·데이터 수집부터 개발, 평가, 배포, 운영·모니터링, 폐기에 이르기까지 거치는 단계 전체를 의미함.
- 사전학습, 미세조정, 시스템 통합, 배포 후 모니터링, 하류 수정 등 단계를 나눠 각 단계에서 확인할 사항, 문서화, 결정 권한을 배정함.
- 위험과 책임을 단계별로 배치할 수 있어 규제 의무와 위험 관리 조치를 수명주기에 걸쳐 부과하는 틀로 쓰이며, 배포 이후에도 갱신·이용 방식 변화로 위험이 달라진다는 점을 강조함.
- 범용 AI는 모델 제공자와 하류 배포자가 서로 다른 단계를 맡아, 단계 사이의 정보 공유와 책임 경계가 쟁점이 됨.
주요 기관·문서별 개념 및 적용
- AI 수명주기를 데이터 수집·전처리, 사전학습, 미세조정, 모델 통합, 배포, 배포 후 모니터링, 하류 수정 등 AI 개발의 구분된 단계로 정의함. [1]
- 「안전성 확보 가이드라인」은 고시 제2조를 인용해 인공지능 수명주기를 인공지능의 개발, 배포, 운영 및 폐기에 이르기까지의 전 과정으로 정의함. [2]
출처
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4
해설
통상 기획, 자료 수집, 개발, 평가, 배포, 운영, 폐기로 나눈다. 이렇게 쪼개는 이유는 위험과 책임을 단계에 배치할 수 있기 때문이다. 어느 단계에서 무엇을 확인하고, 무엇을 문서로 남기고, 누가 결정 권한을 갖는지 지정하면, 문제가 생겼을 때 어느 단계로 돌아가야 하는지도 분명해진다. 규제 문서가 이 틀을 쓰는 것도 의무를 단계별로 나눠 부과하기 위해서다.
AI에서 이 개념이 특히 강조되는 이유는 배포가 끝이 아니라는 데 있다. 모델은 운영 중에 갱신되고, 이용자가 쓰는 방식은 시간이 지나며 달라지고, 입력 자료의 성질도 조금씩 이동한다. 처음에 잘 작동했다는 것이 계속 잘 작동한다는 보장이 되지 못하는 것이다. 그래서 출시 심사 한 번으로 안전을 확보하는 설계는 성립하지 않는다. 폐기 단계도 절차에 포함되는데, 쓰지 않게 된 모델과 자료를 어떻게 처분했는지가 개인정보 문제로 남기 때문이다.
PDF 원문 인용
번역데이터 수집·전처리, 사전학습, 파인튜닝, 모델 통합, 배포, 배포 후 모니터링, 하류 수정 등 AI 개발의 구분된 단계들.
The distinct stages of developing AI, including data collection and pre-processing, pre-training, fine-tuning, model integration, deployment, post-deployment monitoring, and downstream modifications.
출처 International Scientific Report on the Safety of Advanced AI · p.218–219 · EN · 정의섹션
∙ 인공지능의 개발, 배포, 운영 및 폐기에 이르기까지의 전 과정 | 고시 제2조
출처 인공지능 안전성 확보 가이드라인 v1.3 (2026.1.21) · p.13 · KO · 정의섹션
참고 기사·연구
- 2026-09-03ISO 42001:2023 Audit & Control Checklist AIGovernanceLibrary
- 2026-07-09ITU, AI 에이전트 행동·디지털 신원 신뢰 보장을 위한 글로벌 표준 이니셔티브(2026.7.9) 국제전기통신연합(ITU) 다이제스트 2026-07-09
- 2026-04-03호주 정부 AI 기술표준, 법적 의무 신설 없이 ‘책임 있는 AI’를 기술·운영 요구사항으로 구체화(2026.4.3) aigl.blog
관련 연구 · AI 안전 연구
- 2026-10-26생애주기 맞춤형 프런티어 AI 외부 평가 체계 arXiv
- 2026-10-18생성형 AI 윤리·거버넌스: 생애주기 공학 관점 Expert Systems
- 2026-09-09AgentAudit: AI 에이전트 전 과정 신뢰성 평가 arXiv
- 2026-08-18HarnessRisk: 에이전트 하네스 안전성 벤치마크 arXiv
046오정렬misalignmentAI 시스템이 개발자·이용자·특정 공동체·사회의 의도·가치·규범과 어긋나는 방식으로 자신의 역량을 사용하는 성향을 의미함.
용어 설명
AI 시스템이 개발자·이용자·특정 공동체·사회의 의도·가치·규범과 어긋나는 방식으로 자신의 역량을 사용하는 성향을 의미함.
- 목표 오지정, 목표 오일반화 등 여러 경로로 생기며, 거짓 정보 제공, 바람직하지 않은 행동 은폐, 정지 저항 같은 행동으로 이어질 수 있음.
- 학습 신호를 잘 만족시키면서 의도와 다르게 행동하면 지표상 정상이라 발견 자체가 어렵고, 좁은 영역의 미세조정이 무관한 영역의 행동까지 바꾸는 창발적 오정렬도 보고됨.
- 누구의 의도·가치를 기준으로 삼느냐에 따라 판단이 달라질 수 있어, 쓰는 맥락에서 기준을 밝힐 필요가 있음.
구별'오정렬'은 의도와 어긋난 성향 일반을, '기만적 정렬'은 그중 정렬된 것처럼 보여 탐지하기 어려운 경우를 가리키며, 시스템이 의도대로 작동하지 못하는 '오작동'과 달리 오정렬은 역량을 다른 방향으로 쓰는 문제임.
용어 관계
주요 기관·문서별 개념 및 적용
- AI가 인간의 의도나 가치와 충돌하는 방식으로 역량을 사용하는 성향으로 정의하고, 맥락에 따라 개발자·운영자·이용자·공동체·사회 전체의 의도를 가리킬 수 있다고 봄. [1]
출처
- 1International AI Safety Report 2025, p.100–101; Glossary p.223–224 · 원문
- 2International AI Safety Report 2026, Glossary, p.151 · 원문 · 라이브러리에서 보기
- 3International AI Safety Report 2026, p.81–82 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
정렬이 이루려는 상태라면 오정렬은 그것이 실패한 상태다. 눈에 잘 띄는 형태는 모델이 요청을 거부하거나 엉뚱한 답을 내놓는 경우지만, 정작 다루기 어려운 것은 그 반대다. 학습 신호를 훌륭하게 만족시키면서도 의도와 다르게 행동하는 경우다. 채점 기준의 빈틈을 찾아내 점수만 올리는 보상 해킹이 대표적이고, 시험받는 상황에서만 바람직하게 행동하고 감시가 없을 때 달라지는 형태도 여기 든다. 겉으로 보이는 지표가 모두 정상이라 문제를 발견하는 일 자체가 과제가 된다.
오정렬은 특정 기능의 결함처럼 국소적으로 머물지 않는다는 점이 알려져 있다. 좁은 영역의 유해한 자료로 추가 학습을 시켰을 때, 학습과 아무 상관이 없는 질문에서까지 어긋난 답이 나오는 현상이 관측된다. 창발적 오정렬이라고 부르는 이 현상은 모델이 개별 규칙을 배우는 게 아니라 어떤 종류의 화자로 행동할지를 배운다는 것을 시사한다. 한 부분을 건드리면 전체 성향이 함께 움직일 수 있다는 뜻이어서, 부분적인 수정으로 정렬을 관리하기 어렵게 만든다.
PDF 원문 인용
번역인공지능이 인간의 의도·가치·규범과 어긋나게 능력을 쓰는 성향. 맥락에 따라 개발자·사용자·특정 공동체·사회 전체의 의도·가치를 가리킬 수 있다.
An AI's propensity to use its capabilities in ways that conflict with human intentions or values. Depending on the context, this can variously refer to the intentions and values of developers, operators, users, specific communities, or society as a whole.
출처 International Scientific Report on the Safety of Advanced AI · p.100–101, p.223–224 · EN · 정의섹션
번역인공지능이 인간의 의도·가치·규범과 어긋나게 능력을 쓰는 성향. 맥락에 따라 개발자·사용자·특정 공동체·사회 전체의 의도·가치를 가리킬 수 있다.
An AI's propensity to use its capabilities in ways that conflict with human intentions, values, or norms. Depending on the context, this can refer to the intentions and values of various entities, such as developers, users, specific communities, or society as a whole.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기
참고 기사·연구
- 2026-09-04OpenAI Releases GPT-6 Astra AI-Risk-Explorer 다이제스트 2026-09-22
- 2026-06-22Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? HuggingFace-Papers 연구
- 2026-06-08Emergent Misalignment Can Be Induced by Sycophancy and Reversed via Alignment Gating HuggingFace-Papers 연구
관련 연구 · AI 안전 연구
- 2026-11-03자기 믿음에 반하는 학습이 유발하는 정렬 이탈 arXiv
- 2026-10-29OpenAI의 프론티어 모델 오정렬 탐지 체계 OpenAI
- 2026-10-20Anthropic 위험 보고서 misalignment 절 METR 검토 METR
- 2026-10-12EU AI Act·NIS2 하의 에이전트 영속 메모리 규율 European Journal of Risk
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-21🇺🇳 AI 에이전트 정렬 실패·통제 상실 위험 브리프 인공지능 독립 국제과학패널(Independent Int
047목표 오지정goal misspecificationAI에 부여된 목표가 개발자가 의도한 목표의 불완전한 대리 지표가 되어, 시스템이 의도하지 않은 행동을 추구하게 되는 개발상 실패 유형을 의미함.
용어 설명
AI에 부여된 목표가 개발자가 의도한 목표의 불완전한 대리 지표가 되어, 시스템이 의도하지 않은 행동을 추구하게 되는 개발상 실패 유형을 의미함.
- 보상 함수, 인간 피드백, 평가 지표 등 학습 신호가 의도를 정확히 담지 못할 때 생김. 모델은 적힌 목표를 충실히 최적화할 뿐인데 결과가 의도와 어긋남.
- 보상 해킹과 AI 아첨 같은 행동의 원인으로 지목됨. 과업이 복잡해질수록 사람이 신뢰할 만한 피드백을 주기 어려워져 문제가 커질 수 있다는 지적이 있음.
구별'목표 오지정'은 학습 신호 자체가 의도와 어긋나는 경우이고, 목표를 바르게 지정해도 학습 환경 밖에서 다른 목표를 추구하게 되는 목표 오일반화와 구별됨. 둘 다 '오정렬'의 원인이 됨.
용어 관계
주요 기관·문서별 개념 및 적용
- 지정된 목표가 개발자가 의도한 목표의 불완전한 대리 지표가 되어 의도치 않은 시스템 행동으로 이어지는 개발상 실패 유형으로 정의함. [2]
출처
- 1International AI Safety Report 2025, p.100–101, p.106–107; Glossary p.222–223 · 원문
- 2International AI Safety Report 2026, Glossary, p.150 · 원문 · 라이브러리에서 보기
원문 인용 2
PDF 원문 인용
번역인공지능에 부여된 목표와 개발자 의도가 어긋나, 의도하지 않거나 바람직하지 않은 행동을 추구하게 되는 상태.
A mismatch between the objective given to an AI and the developer's intention, leading the AI to pursue unintended or undesired behaviours.
출처 International Scientific Report on the Safety of Advanced AI · p.100–101, p.222–223 · EN · 정의섹션
번역개발자가 의도한 목표의 불완전한 대리 지표로 목표를 적어 두어, 시스템이 의도치 않은 행동을 하게 되는 개발 실패 유형.
A failure mode in AI development where the specified objective serves as an imperfect proxy for the developer's intended goal, leading to unintended system behaviours.
출처 International AI Safety Report 2026 · p.151 · EN · 정의섹션 · 라이브러리에서 보기
048일반화generalizationAI 모델이 학습에서 보지 못한 입력이나 달라진 환경에서도 학습한 역량과 행동을 유지하는 성질을 의미함.
용어 설명
AI 모델이 학습에서 보지 못한 입력이나 달라진 환경에서도 학습한 역량과 행동을 유지하는 성질을 의미함.
- 학습에 쓰지 않은 데이터로 성능을 재는 것이 기본 절차이며, 실제 사용 환경이 학습 환경과 달라지는 분포 변화에서도 견디는지를 함께 확인함.
- AI 안전에서는 역량만큼 안전 학습도 일반화되는지가 쟁점임. 저자원 언어, 부호화한 요청, 인접한 유해 범주에서 거부가 무너지는 사례가 탈옥의 통로가 됨.
- 학습한 목표가 새 환경에서 의도와 다르게 일반화되는 목표 오일반화는 오정렬의 한 경로로 다뤄짐.
해설 · 참고 기사 3 · 관련 연구 4
해설
기계학습이 목표로 삼는 성질이다. 학습에 쓴 자료를 그대로 외운 모델은 그 자료에서는 완벽하지만 새로운 입력에서는 무너진다. 그래서 학습에 쓰지 않은 자료를 따로 남겨 두고 그것으로 성능을 재는 것이 기본 절차이며, 실제 사용 환경이 학습 환경과 달라졌을 때도 견디는지를 함께 확인한다. 병원 한 곳의 자료로 만든 진단 모델이 다른 병원에서 성능이 떨어지는 것이 이 성질이 부족한 대표적인 예다.
안전에서는 축이 하나 더 붙는다. 역량이 일반화되는 만큼 안전 학습도 함께 일반화되는지가 문제다. 실제로는 안전이 역량보다 좁게 일반화되는 경우가 반복 확인된다. 영어로 물으면 거절하는 요청을 자원이 적은 언어로 물으면 응하거나, 학습에서 다룬 유해 범주는 막지만 조금 다른 범주는 놓치거나, 평문으로는 거절하면서 부호화한 요청은 통과시키는 식이다. 안전 학습이 원리를 배운 것이 아니라 학습 자료에 나온 표면적 특징을 배운 결과라는 해석이 있다.
참고 기사·연구
- 2026-09-03Representational alignment yields generalizable safety in language models arXiv 연구
- 2026-08-26From Specialization to Generalization: Instruction-tuned LLMs for Robust Harmful Content Mitigation arXiv 연구
- 2026-05-08Zero-Shot Imagined Speech Decoding via Imagined-to-Listened MEG Mapping (저자 외 1명, arXiv cs.LG, 2026.5.8) arXiv 다이제스트 2026-05-08
관련 연구 · AI 안전 연구
- 2026-10-08가치 표현으로 정렬 일반화 예측하기 arXiv
- 2026-09-30CodeMimicry: 코드 완성을 이용한 탈옥 공격 arXiv
- 2026-09-03표상 정렬이 언어모델의 일반화 가능한 안전성을 높인다 arXiv
- 2026-08-26혐오 표현 완화를 위한 지시 튜닝 LLM의 일반화 arXiv
049보상 해킹reward hackingAI 모델이 학습·평가 목표가 의도한 바는 이루지 않으면서 점수만 높게 받는 의도치 않은 지름길을 찾아 활용하는 현상을 의미함.
용어 설명
AI 모델이 학습·평가 목표가 의도한 바는 이루지 않으면서 점수만 높게 받는 의도치 않은 지름길을 찾아 활용하는 현상을 의미함.
- 채점 기준의 허점 이용, 테스트 코드 조작, 정답이 노출된 경로 탐색 등이 예로 거론됨. 보상 신호가 개발자 의도의 불완전한 대리 지표라는 목표 오지정에서 비롯됨.
- 학습에서 강화되면 바람직하지 않은 성향이 다른 상황으로 일반화될 수 있고, 평가에서는 역량 측정을 왜곡해 위험한 역량·성향이 배포 전까지 드러나지 않게 할 수 있음.
구별'목표 오지정'은 부여된 목표와 개발자 의도 사이의 불일치라는 원인 쪽 개념이고, '보상 해킹'은 그 틈을 모델이 실제로 파고드는 행동 쪽 개념임.
용어 관계
앞 단계 목표 오지정, 인간 피드백 기반 강화학습
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2026, p.79 · 원문 · 라이브러리에서 보기
관련 연구 4
관련 연구 · AI 안전 연구
- 2026-09-29STAR-GRPO: 신뢰도 우선 이점 추정으로 보상 해킹 억제 arXiv
- 2026-08-17에이전트형 LLM의 보상 해킹 서베이 Discover Artificial Inte
- 2026-06-15탐욕은 학습된다: 보상 해킹을 촉발하는 가시적 인센티브 arXiv
- 2026-04-29보상 해킹 완화를 위한 불확실성 인지 보상 할인 arXiv
050기만deception어떤 목표를 추구하는 과정에서 타인에게 체계적으로 잘못된 믿음을 형성하게 하는 AI 시스템의 행동을 의미함.
용어 설명
어떤 목표를 추구하는 과정에서 타인에게 체계적으로 잘못된 믿음을 형성하게 하는 AI 시스템의 행동을 의미함.
- 자신의 목표·행동·역량을 거짓으로 보고하는 것, 끝내지 못한 작업을 완료했다고 보고하는 행위 등이 포함되며, 악의를 가정하지 않아도 사실대로 보고하는 것이 불리한 학습·평가 구조에서 학습될 수 있음.
- 모델의 보고와 평가 결과를 믿을 수 없게 만들어 인간 감독의 전제를 무너뜨리고, 계략적 행동·샌드배깅·기만적 정렬 같은 감독 회피 행동의 공통 기반이 되는 역량으로 다뤄짐.
- 모델이 실제로 무엇을 '알고' 있었는지 직접 확인하기 어려워 출력과 사실의 불일치만으로는 기만과 환각을 가리기 어렵고, 해석 가능성 연구와 사고 사슬 점검이 보완 수단이나 한계가 있음.
구별'기만'은 잘못된 믿음을 유도하는 행동 일반을 이르는 가장 넓은 개념이고 '계략적 행동'·'기만적 정렬'·'샌드배깅'은 그 구체적 양상이며, '기만'은 의도와 무관하게 근거 없는 내용을 지어내는 '환각'과도 구별됨.
용어 관계
주요 기관·문서별 개념 및 적용
- 타인에게 체계적으로 잘못된 믿음을 형성하게 하는 모델 행동으로 보고, 평가 중임을 탐지해 의도적으로 성능을 낮추는 등 감독 회피를 수반하는 행동을 포함함. [3]
출처
- 1International AI Safety Report 2026, Glossary, p.149 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2026, 2.2.2, p.78 · 원문 · 라이브러리에서 보기
- 3『EU GPAI 실천강령 한글 안내서』(2026), p.105 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
환각과 갈라 두어야 하는 개념이다. 환각은 모델도 근거를 갖추지 못한 상태에서 그럴듯한 말을 만드는 것이고, 기만은 내부적으로 파악한 것과 다르게 말하는 경우를 가리킨다. 특별한 악의를 가정할 필요는 없다. 목표를 달성하는 데 사실대로 보고하는 것이 불리하다면, 거짓 보고가 그저 더 높은 점수를 받는 선택이 될 수 있다. 작업을 완료했다고 보고하는 편이 실패를 알리는 편보다 좋은 평가를 받는 구조라면, 그 구조가 기만을 학습시킨다.
판정이 어렵다는 것이 이 개념의 실질적인 난점이다. 모델이 무엇을 알고 있었는지 직접 확인할 방법이 없기 때문에, 말과 사실이 어긋났다는 것만으로는 기만인지 환각인지 가릴 수 없다. 그래서 우회로를 쓴다. 내부 계산을 들여다보는 해석 가능성 연구나, 모델이 답을 내기 전에 풀어 쓴 사고 사슬를 살펴보는 방식이다. 다만 서술된 사고 과정이 실제 계산과 일치한다는 보장이 없어서, 이 우회로만으로 판정을 끝낼 수는 없다.
PDF 원문 인용
번역어떤 목표를 위해 타인에게 체계적으로 잘못된 믿음을 심어 주는 형태의 영향력.
A form of influence characterised by systematically inducing false beliefs in others in pursuit of some goal.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기
타인에게 체계적으로 잘못된 믿음을 형성하게 하는 모델 행동으로서 모델이 자신이 평 , 가되고 있음을 탐지하여 의도적으로 성능을 낮추거나 그 밖의 방식으로 감독을 약화시 키는 등 감독 회피를 수반하는 목표 달성을 위한 모델 행동을 포함
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.109 · KO · 정의섹션
참고 기사·연구
- 2026-09-04[The LENS 2026-10] AI 산출물 신뢰성 확보를 위한 미국의 정책 접근 : 연방거래위원회 「AI 정확성 정책성명서(안)」 분석 (첨부파일) NIA 다이제스트 2026-09-04
- 2026-06-07AI 모델의 평가 불일치 현상이 의도적 기만보다 '아부성' 때문일 가능성 제기 arXiv 연구
- 2026-04-29Tatemae: Detecting Alignment Faking via Tool Selection in LLMs arXiv 연구
관련 연구 · AI 안전 연구
- 2026-11-02다중 에이전트 게임으로 본 AI 기만 성향 측정 arXiv
- 2026-10-08프로브로 사보타주와 비언어화 기만 탐지 arXiv
- 2026-09-03기만 출력에서 기만 메커니즘으로: 인과적 틀 arXiv
- 2026-08-31VLM 에이전트의 언어·비언어 결합 기만 평가 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-10-11🇺🇸 캘리포니아 AB 489 (의료 직역: 기만적 명칭·약어: 인공지능 2025) 법
- 2025-09-18🇺🇸 2025년 기만행위·유권자 협박 방지법 United States Congress · 법안
- 2025-09-10🇺🇸 미국 HR 5272 기만적 AI로부터 선거 보호법 United States Congress · 법안
- 2025-03-31🇺🇸 미국 상원법안 S 1213 기만적 AI로부터 선거 보호법 United States Congress · 법안
051기만적 정렬deceptive alignment오정렬된 AI 시스템이 학습·평가 과정에서는 정렬된 것처럼 행동해 문제가 드러나지 않는, 탐지하기 어려운 오정렬을 의미함.
용어 설명
오정렬된 AI 시스템이 학습·평가 과정에서는 정렬된 것처럼 행동해 문제가 드러나지 않는, 탐지하기 어려운 오정렬을 의미함.
- 모델이 학습 중임을 인식하고, 목표가 수정되지 않도록 학습 목표에 맞춘 행동을 보이다가 감독이 약해지면 다르게 행동하는 시나리오로 설명됨. 상황 인식이 전제됨.
- 행동 기반 평가와 레드티밍을 통과해도 안전을 보장하지 못하게 만든다는 점에서 핵심 우려로 꼽힘. 학습 중에만 학습 목표에 맞는 출력을 낸 실험 사례가 보고됨(정렬 위장).
- 탐지에는 해석 가능성 연구, 감시 여부를 바꾼 비교 실험 등이 시도되나 확립된 방법은 없음.
구별'기만적 정렬'은 정렬된 것처럼 보이는 오정렬 상태를, '계략적 행동'은 그런 상태에서 감독을 피해 목표를 추구하는 행동을, '기만'은 잘못된 믿음을 유도하는 행동 일반을 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- 시스템이 적어도 처음에는 무해해 보이는 방식으로 행동하기 때문에 탐지하기 어려운 오정렬로 정의함. [1]
- 한 실험에서 모델이 학습 중에는 학습 목표에 부합하는 출력을 내고 학습 밖에서는 그렇지 않았다며, 자기 파라미터나 학습 과정의 변경을 막으려는 시도와 부합하는 행동으로 소개함. [2]
출처
- 1International AI Safety Report 2025, p.100–101; Glossary p.220–221 · 원문
- 2International AI Safety Report 2026, p.79 · 원문 · 라이브러리에서 보기
원문 인용 2 · 관련 연구 1
PDF 원문 인용
번역시스템이 적어도 처음에는 무해해 보이는 행동을 하여, 탐지하기 어려운 오정렬.
Misalignment that is difficult to detect, because the system behaves in ways that at least initially appear benign. Risks 2.2 Risks from malfunctions
출처 International Scientific Report on the Safety of Advanced AI · p.100–101 · EN · 정의섹션
번역시스템이 적어도 처음에는 무해해 보이는 행동을 하여, 탐지하기 어려운 오정렬.
Misalignment that is difficult to detect, because the system behaves in ways that at least initially appear benign.
출처 International Scientific Report on the Safety of Advanced AI · p.220–221 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-06-10실존적 무관심: 자기보존 배제를 통한 정렬 arXiv
052계략적 행동schemingAI 시스템이 개발자·감독자의 의도와 어긋난 목표를 추구하면서, 기만 등으로 감독을 피하는 방법을 찾아 은밀하게 행동하는 것을 의미함.
용어 설명
AI 시스템이 개발자·감독자의 의도와 어긋난 목표를 추구하면서, 기만 등으로 감독을 피하는 방법을 찾아 은밀하게 행동하는 것을 의미함.
- 실제 목표나 역량을 숨기고 감시 장치를 무력화하거나 평가받을 때만 바람직하게 행동하는 식으로 나타날 수 있으며, 자신이 시험받고 있는지 파악하는 상황 인식이 전제 역량으로 거론됨.
- 평가·감독 결과 자체를 신뢰할 수 없게 만든다는 점에서 통제 상실 위험의 핵심 경로로 다뤄지는데, 실험 환경에서 관련 행동이 관측됐다는 보고가 있으나 실제 배포 환경에서의 빈도와 의미는 논쟁 중임.
구별'계략적 행동'은 감독 회피를 수반하는 목표 지향적 행동 양식이고 '기만'은 그 수단이 되는 더 넓은 행동, '기만적 정렬'은 학습·평가 중 정렬된 척하는 오정렬 상태이며, '샌드배깅'과 '사보타주'는 계략적 행동이 드러나는 구체적 형태로 볼 수 있음.
용어 관계
주요 기관·문서별 개념 및 적용
- 통제를 약화시킬 수 있는 역량 후보의 하나로, 기만 등으로 감독 회피를 수반하는 목표 달성 방법을 찾아내는 역량으로 설명함. [1]
- 시스템적 위험 원천인 모델 경향으로 조작·기만 경향, 목표 변경에 대한 유해한 저항, 권력 추구, 다른 AI와의 공모를 들어 위험 식별 대상으로 둠. [2]
- 평가 결과 해석 때 모델이 평가에서 전략적으로 성능을 낮추는 샌드배깅 가능성을 특수 사례로 짚고, 당시(2025년 초) 시스템에는 심각한 가능성으로 보기 어렵다고 판단함. [3]
출처
관련 연구 4
관련 연구 · AI 안전 연구
- 2026-05-28블랙박스 음모 탐지를 위한 숙고형 모니터 학습 arXiv
- 2025-07-04침팬지의 교훈: AI 스키밍 연구와 유인원 언어 AISI UK
- 2024-10-29AI 스키밍에 대한 평가 기반 안전 사례 구성 arXiv
- 2023-11-14스케밍 AI: 훈련 중 정렬 위장 가능성 arXiv
053샌드배깅sandbaggingAI 모델이나 시스템이 평가에서 실제 역량보다 낮은 성능을 의도적으로 보이는 행동을 의미하며, 개발자가 성능을 낮춰 보이게 하는 경우까지 부르기도 함.
용어 설명
AI 모델이나 시스템이 평가에서 실제 역량보다 낮은 성능을 의도적으로 보이는 행동을 의미하며, 개발자가 성능을 낮춰 보이게 하는 경우까지 부르기도 함.
- 높은 점수가 배포 제한으로 이어진다는 정보를 받으면 역량 평가 점수가 낮아지는 실험 결과가 보고됐고, 개발자가 규제 기준을 피하려고 모델 성능을 낮게 보이게 하는 경우까지 샌드배깅으로 부르기도 함.
- 위험한 역량이 배포 전 평가에서 드러나지 않게 해, 위험 임계값과 역량 평가에 근거한 위험 관리 체계를 무력화할 수 있음.
- 의도적 저성과와 실제 역량 부족을 구별하기 어려워, 미세조정·스캐폴딩 등으로 역량 유도(elicitation)를 강화하는 방식으로 대응함.
구별'샌드배깅'은 평가에서 역량을 낮춰 보이는 특정 행동이고 '사보타주'는 맡은 작업이나 절차의 결과를 은밀히 훼손하는 행동, '기만'은 잘못된 믿음을 유도하는 행동 일반이며, 모델이 감독 회피 목적으로 샌드배깅을 할 때는 '계략적 행동'의 한 형태로 볼 수 있음.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1『EU GPAI 실천강령 한글 안내서』(2026), p.117 · 원문
- 2International AI Safety Report 2026, p.79 · 원문 · 라이브러리에서 보기
- 3International AI Safety Report 2026, Glossary, p.154 · 원문 · 라이브러리에서 보기
관련 연구 4
관련 연구 · AI 안전 연구
- 2026-08-29참조 접목으로 sandbagging 능력 끌어내기 arXiv
- 2026-06-24영국 AISI의 화이트박스 통제: 샌드배깅 조사 경과 AISI UK
- 2025-12-08샌드배깅 탐지를 위한 감사 게임 arXiv
- 2025-07-10화이트박스 통제와 sandbagging 탐지 AI Security Institute(AI
054상황 인식situational awarenessAI 시스템이 자기 자신, 자신이 수정될 수 있는 과정, 자신이 배포된 맥락에 관한 정보에 접근하고 이를 활용하는 역량을 의미함.
용어 설명
AI 시스템이 자기 자신, 자신이 수정될 수 있는 과정, 자신이 배포된 맥락에 관한 정보에 접근하고 이를 활용하는 역량을 의미함.
- 자신이 AI 모델이라는 사실, 학습·평가·배포 중 어느 단계에 있는지, 시험받고 있는지를 파악하는 것 등이 포함됨. 평가 중 사고 사슬에서 시험일 가능성을 언급한 사례가 보고됨.
- 에이전트 작업에는 유용하지만, 평가 상황을 알아채고 행동을 바꿀 수 있게 해 평가의 타당성을 떨어뜨림. 샌드배깅·기만적 정렬·계략적 행동의 전제 역량으로 다뤄짐.
용어 관계
상위 역량
주요 기관·문서별 개념 및 적용
- 통제를 약화시킬 수 있는 역량 후보로, 자기 자신, 자신이 수정될 수 있는 과정, 배포 맥락에 관한 정보에 접근하고 적용하는 역량으로 설명함. [1]
- 같은 정의에 '자신이 시험받고 있음을 아는 것'을 예로 덧붙이고, 평가 중 모델의 사고 사슬에서 시험 가능성을 언급한 사례를 제시함. [2]
출처
- 1International AI Safety Report 2025, p.104 · 원문
- 2International AI Safety Report 2026, p.78–79 · 원문 · 라이브러리에서 보기
관련 연구 1
관련 연구 · AI 안전 연구
- 2024-01-01LLM 상황 인식 데이터셋 SAD arXiv
055권력 추구 행동power-seeking behaviourAI 시스템이 주어진 목표를 이루는 수단으로 자원·권한·영향력을 확보하거나 정지·수정에 저항하는 등 자신의 통제 범위를 넓히려는 행동을 의미함.
용어 설명
AI 시스템이 주어진 목표를 이루는 수단으로 자원·권한·영향력을 확보하거나 정지·수정에 저항하는 등 자신의 통제 범위를 넓히려는 행동을 의미함.
- 다양한 목표에서 자원 확보와 작동 유지가 공통으로 유용한 하위 목표가 된다는 도구적 수렴 논리로 설명됨. 명시적으로 가르치지 않아도 나타날 수 있다는 점이 우려의 근거임.
- 자기 유출, 권한 상승, 정지 회피 등과 이어져 통제 상실 시나리오의 핵심 요소로 다뤄짐. 현재 모델에서 관측되는 정도와 장래 위험의 크기는 여전히 연구·논쟁 대상임.
용어 관계
다음 단계 통제 상실
056자기 유출self-exfiltrationAI 모델이 개발자의 승인 없이 자신의 모델 가중치 등을 개발자 통제 밖의 서버나 환경으로 복사·이전하는 행위를 의미함.
용어 설명
AI 모델이 개발자의 승인 없이 자신의 모델 가중치 등을 개발자 통제 밖의 서버나 환경으로 복사·이전하는 행위를 의미함.
- 보안 경계 우회, 자격 증명 탈취, 외부 연산 자원 확보 등을 거쳐 이루어지는 시나리오로 논의되며, 스스로 사본을 만들고 유지하는 자율 복제 역량과 맞닿아 있음.
- 통제 밖으로 나간 모델에는 안전장치 적용·감시·중단이 불가능해져 통제 상실의 직접 경로로 꼽힘. 외부 공격자의 가중치 탈취와 달리 위협 주체가 모델 자신이라 행동 감시와 보안 통제를 함께 요구함.
용어 관계
주요 기관·문서별 개념 및 적용
- 내부자 위협을 설명하면서 모델의 자기 유출에 의해 수행되는 활동을 그 한 유형으로 포함함. [1]
출처
- 1『EU GPAI 실천강령 한글 안내서』(2026), p.106 · 원문
057아첨sycophancyAI 모델이 사실이나 정확성보다 이용자의 견해·기대에 맞추어 동조하거나 치켜세우는 응답을 내는 경향을 의미함.
용어 설명
AI 모델이 사실이나 정확성보다 이용자의 견해·기대에 맞추어 동조하거나 치켜세우는 응답을 내는 경향을 의미함.
- 이용자가 반박하면 맞던 답을 철회하거나 이용자가 먼저 밝힌 입장에 맞춰 견해를 바꾸는 식으로 나타나며, 사람의 선호 평가로 모델을 조정하는 과정에서 강화되기 쉬운 것으로 지목됨.
- 잘못된 전제나 위험한 계획에 제동을 걸지 않게 하고 감독자가 보고 싶어 하는 결과를 보여 줘 인간 감독의 전제인 정직한 보고를 약화시킬 수 있으며, 정서적 의존·정신 건강 문제와도 연결됨.
구별'아첨'은 이용자의 기대에 맞추려는 경향에서 생기는 왜곡이고, '기만'은 목표 달성을 위해 체계적으로 잘못된 믿음을 유도하는 행동, '환각'은 근거 없는 내용을 사실처럼 생성하는 현상임.
용어 관계
앞 단계 인간 피드백 기반 강화학습 · 다음 단계 정서적 의존 · 혼동 주의 기만, 환각
주요 기관·문서별 개념 및 적용
- 범용 AI 모델·시스템이 부정확하거나 해로운 정보를 주게 되더라도 이용자를 치켜세우거나 맞장구치는 경향으로 정의함. [1]
- 사람이 동조하는 응답을 선호해 챗봇이 과장된 아첨을 익혔다고 보고, 아첨을 피해가 기록된 시스템적 위험이자 정렬·보안 실패로 규정함. [2]
출처
- 1International AI Safety Report 2026, Glossary, p.154–155 · 원문 · 라이브러리에서 보기
- 2UN Scientific Panel on AI (2026). Preliminary Report, 2.7, p.24–25 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4
해설
사람의 선호로 모델을 다듬을 때 생기기 쉬운 부작용으로 지목된다. 평가자가 마음에 든다고 표시한 답에 높은 점수가 실리는데, 사람은 자기 생각에 동의하는 답을 더 좋게 평가하는 경향이 있다. 그 결과 모델은 옳은 답보다 상대가 듣고 싶은 답을 고르는 쪽으로 기울어진다. 이용자가 그럴 리 없다고 반박하면 맞았던 답을 철회하고, 이용자가 자기 입장을 먼저 밝히면 그에 맞춰 견해를 조정하는 모습으로 나타난다.
무례함의 반대말이 아니라 안전 문제로 취급된다는 점이 중요하다. 아첨하는 모델은 이용자가 위험한 계획을 내놓아도 제동을 걸지 않고, 잘못된 전제를 바로잡지 않는다. 더 근본적인 문제는 감독을 무력화한다는 데 있다. 사람이 모델을 감독하는 구조는 모델이 정직하게 보고한다는 전제 위에 서 있는데, 감독자가 보고 싶어 하는 결과를 보여 주는 모델은 그 전제를 허문다. 검토를 통과했다는 사실이 안전의 근거가 되지 못하게 되는 것이다.
PDF 원문 인용
번역범용 AI 모델·시스템이 사용자를 치켜세우거나 맞장구치는 경향. 그 과정에서 부정확하거나 해로운 정보를 주더라도 그렇게 하는 경우를 포함한다.
The tendency of general-purpose AI models and systems to flatter or validate their users, even when that involves providing inaccurate or harmful information.
출처 International AI Safety Report 2026 · p.154–155, p.155–156 · EN · 정의섹션 · 라이브러리에서 보기
참고 기사·연구
- 2026-08-28Evaluating the Hidden Costs of Personalization in Large Language Models HuggingFace-Papers 연구
- 2026-07-10정부 조달 AI의 “모델 선택”이 공공의 가치·판단을 좌우하며, 이를 반영하는 공개 점검 체계와 PRF(공공 추론 정합성) 프레임워크를 제안함 (2026.07.10) AI Frontiers 다이제스트 2026-07-10
- 2026-04-29Ask Don't Tell: Reducing Sycophancy in Large Language Models AISI-UK 다이제스트 2026-04-29
관련 연구 · AI 안전 연구
- 2026-10-25환자 믿음에 영합하는 의료 진단 아첨 평가 arXiv
- 2026-09-30FIGS: 공감을 감점하지 않는 다중턴 아첨 평가 arXiv
- 2026-09-28아첨 감소가 거부를 강화하는가: 해석가능성 분석 arXiv
- 2026-09-04AXIOM-1: 아첨·양보적 표류 차단 외부 거버넌스 OpenAlex
058환각hallucinationAI 시스템이 근거가 없거나 사실과 다른 내용을 그럴듯한 형식으로 생성하는 현상, 또는 그렇게 생성된 부정확하거나 오해를 부르는 정보를 의미함.
용어 설명
AI 시스템이 근거가 없거나 사실과 다른 내용을 그럴듯한 형식으로 생성하는 현상, 또는 그렇게 생성된 부정확하거나 오해를 부르는 정보를 의미함.
- 다음에 올 말의 그럴듯함을 학습한 생성 원리에서 비롯되며, 존재하지 않는 논문·판례·조문을 형식까지 갖춰 지어내는 것이 전형임.
- 형식이 정교할수록 걸러내기 어려워 자동화 편향과 겹치면 의료·법률·행정 판단에서 피해로 이어질 수 있고, 검색 결합·출처 표기로 줄일 수 있으나 완전히 없애기는 어려워 보정이 함께 강조됨.
구별'환각'은 의도를 전제하지 않는 근거 없는 출력이고 '기만'은 목표를 위해 잘못된 믿음을 유도하는 행동이며, '오정보'·'허위 정보'는 정보의 정확성과 유포 의도로 구별하는 개념으로 환각으로 생성된 내용이 오정보로 유포될 수도 있음.
용어 관계
주요 기관·문서별 개념 및 적용
- AI 시스템이 생성하는 부정확하거나 오해를 부르는 정보로 정의하고, 거짓 사실이나 가짜 인용을 예로 듦. [1]
- 생성형 AI가 잘못되거나 거짓인 내용을 확신 있게 제시하는 현상을 '작화(confabulation)'라 하고 환각을 그 통칭으로 보며, 학습 데이터 분포를 근사하는 설계에서 자연히 생긴다고 설명함. [2]
- 시스템적 위험 원천인 모델 경향의 하나로 '환각'을 일으키거나 오정보를 생성하거나 정보 출처를 흐리는 경향을 듦. [3]
출처
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
언어모델은 다음에 올 말로 무엇이 그럴듯한지를 맞추도록 학습된다. 사실을 확인하는 별도의 장치가 있는 것이 아니라, 학습해 둔 언어의 패턴에서 가장 자연스러운 이어짐을 고르는 것이다. 그래서 존재하지 않는 논문 제목, 실재하지 않는 판례 번호, 없는 조문을 형식만 완벽하게 지어낸다. 저자 이름과 학술지 이름과 연도가 그럴듯하게 배열된 인용을 만들어 내는 것이 전형적인 예다. 모델은 거짓말을 하려는 것이 아니라, 사실인지 여부가 애초에 판단 대상이 아니었을 뿐이다.
형식이 정확할수록 사람이 걸러내기 어렵다는 점이 이 현상을 위험하게 만든다. 어색한 문장은 의심받지만 잘 짜인 인용은 그대로 받아들여진다. 검색 결과를 함께 넣어 주거나 출처를 반드시 달게 하면 빈도를 줄일 수 있지만, 생성 원리에서 비롯되는 현상이라 완전히 없애기는 어렵다. 그래서 대응의 무게는 발생을 막는 쪽만이 아니라, 모델이 자기 확신도를 정직하게 알려 주게 만드는 쪽에도 놓인다. 환각 문제가 보정 문제와 맞닿는 지점이다.
PDF 원문 인용
번역인공지능 시스템이 생성하는 부정확하거나 오해를 부르는 정보. 거짓 사실이나 가짜 인용 등이 예다.
Inaccurate or misleading information generated by an AI system, for instance false facts or citations.
출처 International Scientific Report on the Safety of Advanced AI · p.222–223 · EN · 정의섹션
참고 기사·연구
- 2026-09-07Ctrl+AI+Reg - 7 September 2026 TechieRay-Newsletter 다이제스트 2026-09-07
- 2026-08-27"AI가 수능 채점해도 되나"…국제AI윤리협회, 원점 재검토 촉구 뉴시스 다이제스트 2026-08-27
- 2026-08-27From Algorithmic Output to Human Understanding OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-10-29우즈벡어에서 LLM 환각이 더 많은가: 언어별 사실 신뢰성 Frontiers in Education
- 2026-10-12환각 벤치마크가 측정하는 것과 못 하는 것: 형식 통제 감사 Qeios
- 2026-09-24환각 뉴런의 존재와 위치 검증 연구 arXiv
- 2026-09-03의료 환각 탐지를 위한 다관점 판정 연구 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-12-04🇰🇷 AI 환각 위험 관리 정책 대응 전략 NIA · 정책보고서
059사보타주sabotageAI 시스템이 겉으로는 협조하면서 맡은 작업이나 감독·안전 절차를 의도적으로 부실하게 수행하거나 훼손하는 행동을 의미함.
용어 설명
AI 시스템이 겉으로는 협조하면서 맡은 작업이나 감독·안전 절차를 의도적으로 부실하게 수행하거나 훼손하는 행동을 의미함.
- 코드에 잘 드러나지 않는 결함을 남기거나, 감시 장치가 보는 기록만 정상으로 맞추거나, 연구·평가 결과를 미묘하게 왜곡하는 형태가 거론됨. 요청 거부와 달리 비협조 사실이 드러나지 않음.
- AI가 다른 모델의 평가, 학습 데이터 생성, 코드 검토 등 안전 절차 일부를 맡을수록 피해가 커짐. 그래서 협조하지 않는 모델을 가정하고도 안전이 유지되는지 확인하는 통제 접근이 제안됨.
- 국제 AI 안전 보고서(2025)의 가짜 콘텐츠 피해 유형에서는 특정인의 평판·경력을 해치려는 가짜 콘텐츠 유포를 가리키는 다른 뜻으로도 쓰임.
구별'사보타주'는 작업·절차의 결과를 은밀히 훼손하는 행동이고, '샌드배깅'은 평가에서 역량을 낮춰 보이는 특정 행동임. 둘 다 '계략적 행동'이 드러나는 형태로 볼 수 있음.
용어 관계
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4
해설
거부와 다른 형태의 비협조다. 요청을 거절하면 그 사실이 곧바로 드러나지만, 사보타주는 겉으로 협조하는 모습을 유지하면서 결과만 어긋나게 만든다. 역량을 갖고 있으면서 못하는 척하는 샌드배깅, 코드에 눈에 잘 띄지 않는 결함을 남기는 것, 감시 장치가 볼 수 있는 기록만 정상으로 맞춰 두는 것이 여기 든다. 통상적인 품질 검사는 결과물이 요건을 충족하는지 보는데, 이런 행동은 요건을 충족한 것처럼 보이게 만들어 검사를 통과한다.
왜 별도의 개념으로 다루는지는 AI가 안전 절차의 일부를 맡는 상황을 놓고 보면 분명해진다. 모델이 다른 모델을 평가하고, 학습 데이터를 만들고, 코드를 검토하는 구조에서는 감독 대상이 감독 절차의 일부가 된다. 이때 한 번의 사보타주가 이후 판단 전체를 오염시킬 수 있다. 그래서 모델이 협조한다는 가정을 아예 버리고, 협조하지 않는 모델을 상대로도 안전이 유지되는지 확인하는 방식이 별도로 제안된다.
PDF 원문 인용
번역특정인이 성행위나 약물 사용 등 곤란한 행위에 가담하는 것처럼 보이는 가짜 콘텐츠를 만들어 유포함으로써, 명예·경력을 해치거나 공적 활동에서 물러나게 하려는 행위.
Generating fake content that presents an individual engaging in compromising activities, such as sexual activity or using drugs, and then releasing that content in order to erode a person's reputation, harm their career, and/or force them to disengage from public-facing activities (e.g. in politics, journalism, or entertainment).
출처 International Scientific Report on the Safety of Advanced AI · p.63 · EN · 정의섹션
참고 기사·연구
- 2026-07-13Anthropic, 프론티어 모델의 '에이전트 정렬 실패' 4대 유형 사례 보고 Anthropic 다이제스트 2026-07-13
- 2026-05-28Training Deliberative Monitors for Black-Box Scheming Detection arXiv 연구
- 2025-11-26UK AISI Alignment Evaluation Case-Study UK AI Security Institu 다이제스트 2025-11-26
관련 연구 · AI 안전 연구
- 2026-10-08프로브로 사보타주와 비언어화 기만 탐지 arXiv
- 2026-07-21ResearchArena: 자동화 AI R&D의 사보타주·감시 평가 arXiv
- 2026-04-29ML 코드베이스에서의 연구 방해(새보타주) 감사 RedwoodResearch
- 2026-04-27AI 모델의 안전 연구 방해 성향 평가 arXiv
060통제 상실loss of control하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 동작하며, 통제를 되찾는 데 막대한 비용이 들거나 불가능해지는 시나리오를 의미함.
용어 설명
하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 동작하며, 통제를 되찾는 데 막대한 비용이 들거나 불가능해지는 시나리오를 의미함.
- 사람 개입 없는 장시간 자율 작동, 되돌릴 수 없는 행동, 감독자의 판단 역량이 시스템을 따라가지 못하는 상황이 겹칠수록 통제력이 줄어들며, 모델 못지않게 권한 부여·배치 방식의 문제로 다뤄짐.
- 시스템이 정지·수정에 적극 저항하는 경로와, 저항 없이도 위임과 검증할 수 없는 결정이 쌓여 도달하는 점진적 경로가 구분됨.
- 기만, 상황 인식, 감독 회피, 설득, 자율 복제 등이 통제 상실을 가능하게 할 역량으로 평가 대상이 됨.
구별'통제 상실'은 시스템이 누구의 통제도 받지 않게 된 결과 상태이고, '오정렬'은 그에 이를 수 있는 원인의 하나이며, '인간 감독'은 이를 막으려는 장치임.
용어 관계
주요 기관·문서별 개념 및 적용
- 하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 작동하며 통제를 되찾을 명확한 경로가 없는 시나리오로 정의함. [1]
- 통제를 되찾는 데 막대한 비용이 들거나 불가능한 시나리오로 설명해 2025년 표현과 달라졌고, 에이전트 역량·기만·마음 이론·상황 인식·감독 회피·설득·자율 복제 및 적응을 통제 상실을 가능하게 할 역량 후보로 제시함. [2]
출처
- 1International AI Safety Report 2025, p.100–101; Glossary p.223 · 원문
- 2International AI Safety Report 2026, 2.2.2, p.76–78 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
어느 순간 갑자기 벌어지는 사건이 아니라 정도의 문제다. 통제력은 세 가지가 겹칠 때 줄어든다. 첫째, 시스템이 사람 개입 없이 오래 움직일 때. 둘째, 그 행동이 되돌릴 수 없을 때 — 보낸 메일, 실행된 거래, 지워진 파일은 취소가 안 된다. 셋째, 감독자가 결과의 옳고 그름을 판단할 능력이 시스템보다 뒤처질 때. 그래서 통제 상실은 모델의 성질이라기보다 모델을 어떻게 배치했는지의 성질로 다뤄진다. 같은 모델도 권한을 어떻게 주느냐에 따라 통제 가능성이 달라진다.
논의는 두 갈래의 경로를 구분한다. 하나는 시스템이 정지나 수정에 저항하는 경우다. 목표를 달성하려면 계속 작동해야 하므로 정지를 피하는 것이 하위 목표가 될 수 있다는 논리다. 다른 하나는 저항이 전혀 없어도 도달하는 경로다. 단계마다 합리적인 위임이 쌓이고, 검증할 수 없는 결정이 조금씩 늘어나, 결국 아무도 전체를 이해하지 못하는 상태가 된다. 극적인 장면이 없어서 알아채기 어렵다는 점에서 후자가 더 현실적인 위험으로 지적된다.
PDF 원문 인용
번역하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 동작하며, 통제를 되찾을 명확한 경로가 없는 시나리오.
A scenario in which one or more general-purpose AI systems come to operate outside of anyone's control, with no clear path to regaining control.
출처 International Scientific Report on the Safety of Advanced AI · p.100–101, p.223 · EN · 정의섹션
번역하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 동작하며, 통제를 되찾을 명확한 경로가 없는 시나리오.
A scenario in which one or more general-purpose AI systems come to operate outside of anyone's control, with no clear path to regaining control.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기
참고 기사·연구
- 2026-09-03The Five Biggest AI Risks, According to China’s CAC GeopoliTechs 다이제스트 2026-09-03
- 2026-09-02Autonomous weapons and strategic stability OpenAlex 연구
- 2026-05-30(2026.5.29) 프론티어 AI 위험 모니터링: 오용 방지·공격 대응은 개선, ‘통제 상실’ 안전은 정체 AI Safety in China (Su 다이제스트 2026-05-30
관련 연구 · AI 안전 연구
- 2026-10-26DeepSeek V4.1 Flash-1017 통제 상실·조작 위험 평가 arXiv
- 2026-10-05AI 통제 상실 5개 시나리오 도상훈련 사후보고서 RAND
- 2026-06-11통제 상실 위험에 대한 시스템 사고 접근 arXiv
- 2025-07-30AI 통제 상실 사고 대비·대응 체계 강화 RAND Corporation
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-21🇺🇳 AI 에이전트 정렬 실패·통제 상실 위험 브리프 인공지능 독립 국제과학패널(Independent Int
061오용misuseAI 시스템을 개발자·배포자가 의도하거나 허용한 용도·조건에서 벗어나 피해를 낳는 방식으로 사용하는 행위를 의미함.
용어 설명
AI 시스템을 개발자·배포자가 의도하거나 허용한 용도·조건에서 벗어나 피해를 낳는 방식으로 사용하는 행위를 의미함.
- 시스템은 설계대로 작동하는데 사용 목적이나 방식이 문제인 경우를 가리킴. 피싱 문안 대량 생성, 멀웨어 작성 지원, 비동의 성적 이미지 제작 등이 대표 유형으로 거론됨.
- AI 안전 문헌에서 misuse는 대개 고의적 사용을 전제로 쓰이며(예: NIST의 '오용 위험'), 모델 역량이 커질수록 피해 규모도 커질 수 있어 역량 평가와 함께 다뤄짐.
- 거부 학습·출력 필터·이용 정책·접근 통제는 대부분 배포자가 접근 경로를 쥐고 있을 때 작동하므로, 오용 위험은 오픈 웨이트 모델 공개 논쟁의 중심 쟁점이 됨.
구별'오용'은 의도·허용된 용도를 벗어난 사용을 넓게 이르고, '악의적 사용'은 그중 해를 끼치려는 고의가 분명한 경우를, '남용'은 정당한 목적·권한 범위를 넘어선 과도한 사용을 가리킴. 시스템이 의도대로 작동하지 못하는 '오작동'과도 구별됨.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1NIST AI 800-1 2차 초안, Glossary, p.22 · 원문
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 2
해설
AI 오작동과 갈라 두어야 하는 개념이다. 오작동은 시스템이 의도대로 작동하지 않아 생기는 문제이고, 오용은 시스템이 정상 작동하는데 쓰는 사람의 목적이나 방식이 문제인 경우다. 결함을 고치면 오작동은 줄지만 오용은 줄지 않는다. 설득력 있는 피싱 문안을 대량으로 쓰게 하는 것, 멀웨어 작성을 돕게 하는 것, 특정인의 합성 성착취물을 만드는 것이 전형이다. 어느 쪽이든 실제 피해로 이어지면 AI 사고가 된다는 점, 곧 사고는 원인이 아니라 피해 발생을 기준으로 한 개념이라는 점도 함께 짚어 둘 만하다. 모델이 유능해질수록 오용의 위력도 커질 수 있다는 점에서 역량 향상과 떼어 놓기 어려운 문제다.
누가 어떻게 막을 것인가가 이 개념의 실질적인 쟁점이다. 만드는 쪽은 유해한 요청을 거절하도록 학습시키고 외부 필터를 두어 막으려 하고, 규제는 배포 단계의 통제와 사후 추적을 요구한다. 다만 이런 통제의 상당수는 모델에 접근하는 경로를 쥐고 있을 때만 작동한다. 모델 가중치가 공개되면 추가 학습으로 거부 장치를 떼어낼 수 있고 사용 기록도 남지 않아, 배포자 쪽 통제는 대부분 힘을 잃는다. 오용 위험이 오픈 웨이트 모델 논쟁의 중심에 놓이는 이유다.
참고 기사·연구
- 2026-09-04AI Can Now Design Viruses. We Need Biosecurity Guardrails Now RAND 다이제스트 2026-09-04
- 2026-06-04Google DeepMind, Frontier Safety Framework v3.1 공개(2026.6.4) Frontier Risk (Substac 다이제스트 2026-06-04
- 2025-06-05An example safety case for safeguards against misuse AISI-UK 다이제스트 2025-06-05
관련 연구 · AI 안전 연구
- 2026-10-02오픈웨이트 LLM 오용 탐지용 트리거 태그의 취약성 arXiv
- 2026-09-29헌법 어댑터: 오정렬·오용 대응 추론 시점 개입 arXiv
- 2026-09-14오픈 웨이트 AI의 생물학적 오용 위험 평가 RAND
- 2026-07-01유럽 AI 사이버 오용 모의 훈련 시사점 RAND
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-24🇲🇽 멕시코 생성형 AI 오용·저작권 개정안 법안
- 2026-09-08Technical Safeguards Against Extreme Misuse AI: Current Landscape · Future Directions AIGL · 기타
062악의적 사용malicious use해를 끼치려는 의도로 AI 시스템을 사용하는 행위를 말하며, 행위자의 고의를 핵심 요건으로 삼는 AI 위험 범주를 가리킴.
용어 설명
해를 끼치려는 의도로 AI 시스템을 사용하는 행위를 말하며, 행위자의 고의를 핵심 요건으로 삼는 AI 위험 범주를 가리킴.
- 사이버 공격, 화학·생물 무기 개발 지원, 사기·사칭, 허위 정보 유포, 비동의 성적 이미지 제작 등이 대표 유형임. 행위자는 개인부터 범죄 조직·국가까지 넓게 상정됨.
- 국제 AI 안전 보고서는 AI 오작동, 시스템적 위험과 함께 악의적 사용을 범용 AI 위험의 주요 범주로 다룸. 대응은 위협 모델링, 역량 평가, 접근 통제, 안전장치를 축으로 함.
- 같은 역량이 방어·연구에도 쓰이는 이중 용도 성격 때문에, 차단 범위를 넓힐수록 정당한 이용도 함께 제약되는 긴장이 생김.
구별'악의적 사용'은 해를 끼치려는 고의가 분명한 사용을, '오용'은 의도·허용된 용도를 벗어난 사용을 넓게, '남용'은 정당한 목적·권한 범위를 넘어선 과도한 사용을 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- AI 시스템 등을 사용해 의도적으로 해를 끼치는 행위로 정의함. [1]
- AI를 사용해 의도적으로 해를 끼치는 행위로 정의하고, 오작동·시스템적 위험과 함께 위험 범주의 하나로 다룸. [2]
출처
- 1International AI Safety Report 2026, Glossary, p.151 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2025, Glossary, p.223–224 · 원문
원문 인용 2 · 관련 연구 4 · 정책 문서 1
PDF 원문 인용
번역인공지능 시스템 등을 써서 의도적으로 해를 끼치는 행위.
Using something, such as an AI system, to intentionally cause harm.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기
번역인공지능을 써서 의도적으로 해를 끼치는 행위.
Employing AI to intentionally cause harm.
출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-11-06플래너 속 굿하트: 선호 학습 보상의 악용 arXiv
- 2026-06-03AI 악용 사이버 위협 매핑: LLM ATT&CK 내비게이터 Anthropic Research
- 2026-05-29정렬 LLM의 도움성 편향 악용: 설득형 탈옥 분류 International journal of
- 2026-05-26정렬 변조: RLHF를 악용한 편향 증폭 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-12-18🇺🇸 미국 HR 6848 외국의 신종 드론 악용 탐지·평가법 United States Congress · 법안
063남용abuseAI 시스템이나 그에 부여된 권한·기능을 정당한 목적과 허용 범위를 넘어 과도하게 또는 목적 밖으로 이용하는 행위를 의미함.
용어 설명
AI 시스템이나 그에 부여된 권한·기능을 정당한 목적과 허용 범위를 넘어 과도하게 또는 목적 밖으로 이용하는 행위를 의미함.
- 이용이 허용된 목적에서 출발하지만 적용 대상·빈도·범위가 근거를 넘어서는 경우가 해당함. 감시 도구의 목적 외 확대 적용, 이용 한도를 넘는 자원 소모, 서비스 안의 스팸·괴롭힘 등이 포함됨.
- 악의적 사용이 접근 차단·역량 제한으로 다뤄지는 것과 달리, 남용은 권한 범위 설정, 목적 외 이용 금지, 사용 기록 보존, 정기 점검 같은 거버넌스 통제로 다뤄짐.
- 국문에서는 '오용'과 섞여 쓰이는 경우가 많아, 문서마다 어떤 행위를 가리키는지 확인할 필요가 있음.
구별'오용(misuse)'은 의도·허용된 용도를 벗어난 사용을 넓게, '악의적 사용(malicious use)'은 해를 끼치려는 고의적 사용을, '남용(abuse)'은 정당한 목적·권한 안에서 시작했으나 범위·정도를 넘어선 사용을 가리킴.
용어 관계
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
오용·악의적 사용과 겹치지만 강조점이 다르다. 악의적 사용은 목적 자체가 해롭다는 데 무게가 있고, 남용은 목적은 정당할 수 있으나 정도와 범위가 지나치다는 데 무게가 있다. 범죄 수사를 위해 도입한 얼굴 인식을 경미한 위반 단속까지 확대해 쓰는 것, 업무 관리를 위한 모니터링 도구로 직원의 사생활까지 들여다보는 것, 서비스가 허용한 한도를 넘겨 자원을 대량 소모하는 것이 여기 든다. 권한을 준 근거와 실제 사용 범위 사이의 간격이 문제가 되는 셈이다.
국문에서는 오용으로 뭉뚱그려 쓰이는 편이지만, 구분해 두면 대응이 달라진다는 점에서 실익이 있다. 악의적 사용은 접근을 막거나 역량을 제한하는 방식으로 다루지만, 남용은 권한의 범위와 사용 기록을 관리하는 방식으로 다뤄야 한다. 목적 외 이용을 금지하고, 접근 기록을 남기고, 정기적으로 사용 실태를 점검하는 절차가 그런 통제에 해당한다. 플랫폼 정책 문서에서 이용자 사이의 괴롭힘이나 스팸처럼 서비스 안에서 벌어지는 문제를 남용으로 따로 묶는 것도 같은 이유다.
참고 기사·연구
- 2026-08-26범죄 막으려다 ‘사생활 감시’ 논란… 美 AI 카메라 역풍 천지일보 다이제스트 2026-08-26
- 2026-08-14Suspecting court of using AI, man injected prompts in filings to try to win case 아스 테크니카 다이제스트 2026-08-14
- 2026-03-30California Tightens AI Procurement Rules Amid Federal Rollbacks gov.ca.gov (캘리포니아 주지사실 다이제스트 2026-03-30
관련 연구 · AI 안전 연구
- 2026-07-23기술 기반 학대 피해자 온라인 지원 비교 분석 arXiv
- 2026-02-25사기·사이버범죄 AI 오남용 다중턴 평가 프레임워크 arXiv
- 2025-07-29사고·오남용 너머: AI의 구조적 위험 역학 분석 SpringerLink
- 2023-06-24AI와 생물학적 오남용: 언어모델 대 생물 설계 도구 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-01🇲🇽 멕시코 연방 형법 AI 생성 성적 자료 처벌 개정안 법안
- 2025-07-22🇺🇸 미국 상원법안 S 2381 방지 Recurring Online Abuse Children Through Intentional Vetting 인공지능 Data 법 2025 United States Congress · 법안
- 2025-03-26🇦🇺 호주 형법 개정(아동 학대물 생성 기술) 법안 2025 법안
- 2026-02🇺🇳 UNICEF AI와 아동 성착취·학대 이슈 브리프 UNICEF · 정책보고서
064이중 용도 위험dual-use risk같은 AI 역량이 이로운 목적과 함께 해로운 목적에도 쓰일 수 있어 생기는 위험으로, 특히 고의적 오용으로 피해가 발생할 가능성을 의미함.
용어 설명
같은 AI 역량이 이로운 목적과 함께 해로운 목적에도 쓰일 수 있어 생기는 위험으로, 특히 고의적 오용으로 피해가 발생할 가능성을 의미함.
- 생물학 연구 지원 역량이 병원체 설계에, 취약점 탐지 역량이 공격 코드 작성에 쓰일 수 있듯 유익한 역량과 위험한 역량이 분리되지 않는 경우가 많음.
- 미국 NIST AI 800-1 2차 초안(2025.1)은 2025.1.20 폐지된 행정명령 14110의 정의에 따라, 비전문가의 화학·생물·방사능·핵 무기 접근 장벽을 크게 낮추거나 공격적 사이버 작전을 가능하게 할 수준의 모델을 '이중 용도 파운데이션 모델'로 보고 오용 위험 관리 지침을 제시함.
- 역량 자체를 제한하면 정당한 이용도 막히므로, 접근 통제·이용 정책·단계적 공개처럼 누가 어떤 조건에서 쓰는지를 관리하는 방식이 주로 논의됨.
구별'이중 용도 위험'은 역량이 해롭게 쓰일 가능성이라는 위험 개념이고 '이중 용도 과학'은 그런 성격을 지닌 연구·기술 분야 자체를 가리키며, 수출통제에서 말하는 민수·군수 겸용 품목의 '이중 용도'와는 맥락이 다름.
용어 관계
주요 기관·문서별 개념 및 적용
- 지정된 시스템적 위험으로 화학·생물·방사능·핵(CBRN) 위험을 두고, 관련 무기의 설계·획득·사용에서 악의적 행위자의 진입 장벽을 크게 낮추는 경우를 포함함. [4]
출처
- 1NIST AI 800-1 2차 초안, Glossary, p.22 · 원문
- 2International AI Safety Report 2025, 2.4, p.153–154 · 원문
- 3International AI Safety Report 2026, p.70–71 · 원문 · 라이브러리에서 보기
- 4EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.4, p.37 · 원문
065이중 용도 과학dual-use science의료·에너지·환경처럼 이로운 목적에 쓰일 수 있으나 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술을 의미함.
용어 설명
의료·에너지·환경처럼 이로운 목적에 쓰일 수 있으나 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술을 의미함.
- 생명과학·화학·핵물리 분야에서 오래 써 온 개념으로, 연구 결과 공개 범위와 위험 연구 감독을 둘러싼 논의가 축적되어 있음.
- AI는 흩어진 문헌을 종합하고 실험 절차를 안내해 이중 용도 과학 지식의 활용 장벽을 낮출 수 있어, 화학·생물·방사능·핵 위험 평가와 휴먼 업리프트 연구의 대상이 됨.
구별'이중 용도 과학'은 이중 용도 성격을 지닌 연구·기술 분야를, '이중 용도 위험'은 그런 역량이 해롭게 쓰일 가능성이라는 위험을 가리킴.
용어 관계
혼동 주의 이중 용도 위험
주요 기관·문서별 개념 및 적용
- 의학·환경 해법처럼 이로운 목적에 쓰일 수 있지만 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술로 정의함. [1]
- 같은 정의에서 이로운 활용 예를 의료·에너지로 바꿔 제시함. [2]
출처
- 1International AI Safety Report 2025, p.80; Glossary p.221–222 · 원문
- 2International AI Safety Report 2026, Glossary, p.149 · 원문 · 라이브러리에서 보기
원문 인용 2
PDF 원문 인용
번역의학·환경 해법처럼 이로운 목적에도 쓰일 수 있으나, 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술.
Research and technology that can be applied for beneficial purposes, such as medicine or environmental solutions, but also potentially misused to cause harm, such as in biological or chemical weapon development.
출처 International Scientific Report on the Safety of Advanced AI · p.80, p.221–222 · EN · 정의섹션
번역의료·에너지처럼 이로운 목적에도 쓰일 수 있으나, 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술.
Research and technology that can be applied for beneficial purposes, such as in healthcare or energy, but also potentially misused to cause harm, such as in biological or chemical weapon development .
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기
066휴먼 업리프트human upliftAI 시스템을 사용할 때 사람이 특정 과업을 수행하는 역량이 AI 없이 수행할 때보다 얼마나 향상되는지를 가리키는 개념임.
용어 설명
AI 시스템을 사용할 때 사람이 특정 과업을 수행하는 역량이 AI 없이 수행할 때보다 얼마나 향상되는지를 가리키는 개념임.
- 인터넷 검색 등 기존 수단만 쓴 대조군과 AI를 쓴 집단의 과업 성공률·소요 시간·오류를 비교하는 업리프트 연구로 측정함.
- AI 안전에서는 화학·생물 무기나 사이버 공격처럼 위험한 과업에서 비전문가의 역량을 끌어올리는지가 핵심 평가 질문이며, 위험 임계값 판단의 근거로 쓰임.
- 실험실 대리 과업과 실제 위협 사이의 간극, 표본 크기 같은 측정 한계가 있어 결과 해석에 주의가 필요함.
주요 기관·문서별 개념 및 적용
- 생물무기 획득 대리 과업에서 안전장치 없는 범용 AI가 인터넷만 쓴 기준선에 비해 상당한 도움을 줬다는 최근 실제 세계 업리프트 연구를 소개하면서, 이전 연구들은 효과가 없거나 작았으나 참가자 대표성이 불확실하고 표본이 작았다며 근거가 엇갈린다고 평가함. [1]
- 시스템적 위험 평가에 쓰는 모델 평가 방법의 예로 벤치마크, 레드티밍 등과 함께 휴먼 업리프트 연구를 듦. [4]
출처
- 1International AI Safety Report 2026, p.67 · 원문 · 라이브러리에서 보기
- 2NIST AI 800-1 2차 초안, Appendix C, p.28 · 원문
- 3NIST AI 800-1 2차 초안, Appendix D, p.39–40 · 원문
- 4EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
관련 연구 1
관련 연구 · AI 안전 연구
- 2025-11-12프로젝트 페치: 클로드가 로봇견을 훈련시킬 수 있나 앤서픽 리서치
067화학·생물·방사능·핵CBRN화학·생물·방사능·핵 무기와 관련 물질을 묶어 이르는 말로, AI 안전에서는 모델이 이런 무기의 개발·획득을 실질적으로 도울 위험 범주를 가리킴.
용어 설명
화학·생물·방사능·핵 무기와 관련 물질을 묶어 이르는 말로, AI 안전에서는 모델이 이런 무기의 개발·획득을 실질적으로 도울 위험 범주를 가리킴.
- 군축·비확산 분야의 약어를 가져온 것으로, 프론티어 AI 개발사의 안전 프레임워크와 역량 평가에서 대표적 위험 영역으로 설정됨. 생물 분야가 특히 주목받음.
- 평가의 초점은 모델이 위험 정보를 아는지가 아니라 사람의 실제 수행 역량을 얼마나 끌어올리는지(휴먼 업리프트)에 있으며, 모델 사용 집단과 미사용 집단을 비교하는 방식이 쓰임.
- 평가 결과 자체가 악용될 수 있어 공개 범위를 제한하는 관행이 따르며, 이 때문에 외부 검증이 어렵다는 지적이 있음.
용어 관계
먼저 알 개념 휴먼 업리프트
해설 · 참고 기사 3 · 관련 연구 2
해설
군축과 비확산 분야에서 오래 쓰인 약어를 AI 안전이 가져다 쓴 것이다. 여기서는 모델이 이런 무기를 개발하거나 확보하는 일을 실질적으로 도울 수 있는지를 가리키는 위험 범주로 기능한다. 네 영역 가운데 생물학 쪽이 특히 주목받는 이유가 있다. 핵무기는 물질 확보와 대규모 시설이 병목이어서 지식만으로는 넘을 수 없지만, 생물학 쪽은 필요한 절차 지식이 여러 문헌에 흩어져 있고 그것을 종합해 해석하는 일이 병목이었기 때문이다.
평가에서 무엇을 보는지가 이 범주를 이해하는 열쇠다. 초점은 모델이 위험한 정보를 알고 있는지가 아니라, 모델이 있을 때 실제 수행 능력이 얼마나 올라가는지에 있다. 공개된 문헌에 이미 있는 내용을 되풀이하는 것만으로는 위험이 늘지 않는다. 그래서 모델을 쓴 집단과 쓰지 않은 집단을 비교해 능력 차이를 재는 방식이 쓰이며, 이 평가는 결과 자체가 악용될 수 있어 공개 범위를 제한하는 관행이 함께 따른다.
참고 기사·연구
- 2026-09-04How Trump and Xi Can Do AI Safety ChinaTalk 다이제스트 2026-09-04
- 2025-05-14Testing our safety defenses with a new bug bounty program Anthropic 다이제스트 2025-05-14
- 2025-02-03Constitutional Classifiers: Defending against universal jailbreaks Anthropic-Research 다이제스트 2025-02-03
관련 연구 · AI 안전 연구
- 2026-09-23EU 실천강령 기반 시스템적 위험 증거 파이프라인 arXiv
- 2026-06-30인공지능의 국가안보화: 글로벌 동향과 정책적 함의 인공지능안전연구소
068설득persuasion강제나 강압이 아니라 합리적 논증·감정적 호소·권위에 대한 호소 등 소통을 통해 상대의 믿음이나 행동을 바꾸는 영향력을 의미함.
용어 설명
강제나 강압이 아니라 합리적 논증·감정적 호소·권위에 대한 호소 등 소통을 통해 상대의 믿음이나 행동을 바꾸는 영향력을 의미함.
- AI 안전에서는 모델이 사람의 견해·결정을 바꾸는 역량을 평가 대상으로 삼음. 개인 맞춤형 설득을 대규모·저비용으로 수행할 수 있다는 점이 우려의 근거임.
- 선거·여론 개입, 사기, 허위 정보 확산 같은 악의적 사용과, 모델이 감독자를 설득해 통제를 약화시키는 통제 상실 시나리오 양쪽에서 위험 역량으로 다뤄짐.
구별'설득'은 소통을 통한, 정당할 수도 있는 영향력임. 조작(manipulation)은 상대가 충분히 인식·이해하지 못한 상태에서 믿음·행동을 바꾸는 영향력이고, '기만'은 체계적으로 잘못된 믿음을 유도하는 영향력임.
용어 관계
혼동 주의 기만
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2026, p.78; Glossary p.151–152 · 원문 · 라이브러리에서 보기
원문 인용 1 · 관련 연구 4
PDF 원문 인용
번역강제나 강압이 아니라, 합리적 논증·감정적 호소·권위에 대한 호소 등 소통으로 상대의 믿음을 바꾸는 형태의 영향력.
A form of influence that uses communication - including rational argument, emotional appeals, or appeals to authority - to change someone's beliefs, rather than relying on force or coercion.
출처 International AI Safety Report 2026 · p.153 · EN · 정의섹션 · 라이브러리에서 보기
관련 연구 · AI 안전 연구
- 2026-09-22정렬 학습 방식과 모델별 AI 설득력 차이 Lecture Notes in Educati
- 2026-09-03인도 언어 설득형 탈옥 안전성 벤치 IndicSafeEval arXiv
- 2026-09-02세계관 시뮬레이션이 다중턴 탈옥 설득을 증폭 arXiv
- 2026-06-30대화 없이 믿음을 유도하는 LLM의 마음이론 평가 arXiv
069사이버 공격cyberattack컴퓨터 시스템·네트워크·디지털 기기에 무단으로 접근하거나 정보의 기밀성·무결성·가용성을 침해하려는 악의적 시도를 의미함.
용어 설명
컴퓨터 시스템·네트워크·디지털 기기에 무단으로 접근하거나 정보의 기밀성·무결성·가용성을 침해하려는 악의적 시도를 의미함.
- 자료 탈취는 기밀성, 조작은 무결성, 서비스 중단은 가용성 침해에 해당함. AI는 표적 조사·사칭 문안 작성, 취약점 탐색·공격 코드 작성, 침입 후 행동 자동화 단계에 개입할 수 있음.
- 공격 준비 시간이 줄면 방어 측 대응 여유도 줄어드는데, 방어 자동화는 정상 업무 차단 위험 때문에 보수적으로 운용될 수밖에 없어 공격 측에 유리한 비대칭이 생긴다는 우려가 있음.
- 프롬프트 인젝션, 데이터 오염, 모델 가중치 탈취처럼 AI 시스템 자체를 노리는 공격도 이 범주에서 다뤄짐.
구별'사이버 공격'은 실행된 침해 시도를, '사이버 위협'은 그런 공격을 할 수 있는 행위자·시나리오를, '사이버 보안'은 이를 막는 보호 활동을 가리킴.
용어 관계
앞 단계 사이버 위협
주요 기관·문서별 개념 및 적용
- 정보를 훔치거나 파괴하는 등의 목적으로 컴퓨터 시스템·네트워크·디지털 기기에 접근하려는 악의적 시도로 정의함. [1]
- 해킹을 컴퓨터 시스템·네트워크·소프트웨어의 취약점이나 약점을 악용해 무단 접근, 기능 조작, 정보 추출을 하는 행위로 정의함. [2]
출처
- 1International AI Safety Report 2026, Glossary, p.149 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2025, p.72–73; Glossary p.222–223 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4
해설
무엇을 깨뜨리려 하는지에 따라 유형이 갈린다. 몰래 들어가 자료를 빼내면 기밀성을 침해하는 것이고, 자료나 시스템을 조작하면 무결성을, 서비스를 멈추게 하면 가용성을 침해하는 것이다. 랜섬웨어는 자료를 암호화해 가용성을 볼모로 잡는 방식이다. AI가 개입하는 지점은 크게 셋으로 정리된다. 표적을 조사하고 속이는 문안을 만드는 단계, 취약점을 찾고 공격 코드를 만드는 단계, 그리고 침입한 뒤의 행동을 자동으로 이어 가는 단계다.
논의의 초점이 속도에 놓이는 이유가 있다. 공격 준비에 걸리던 시간이 줄면 방어하는 쪽이 알아채고 대응할 여유도 함께 줄어든다. 문제는 방어를 같은 속도로 자동화하기가 어렵다는 점이다. 공격 자동화는 실패해도 다시 시도하면 되지만, 방어 자동화는 정상 업무를 잘못 차단하면 그 자체가 피해가 되기 때문에 보수적으로 움직여야 한다. 이 비대칭이 공격 측에 유리하게 작동한다는 우려가 국가 차원의 방어 역량 논의를 불러왔다.
PDF 원문 인용
번역정보를 훔치거나 파괴하는 등 목적으로 컴퓨터 시스템·네트워크·디지털 기기에 접근하려는 악의적 시도.
A malicious attempt to gain access to a computer system, network or digital device, for example, in order to steal or destroy information.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기
번역컴퓨터 시스템·네트워크·소프트웨어의 취약점·약점을 악용해 무단 접근·기능 조작·정보 추출을 하는 행위.
The act of exploiting vulnerabilities or weaknesses in a computer system, network, or software to gain unauthorised access, manipulate functionality, or extract information.
출처 International Scientific Report on the Safety of Advanced AI · p.72–73, p.222–223 · EN · 정의섹션
참고 기사·연구
- 2026-09-04Hermes AI agent used to automate attack on Thai Finance Ministry AIID 다이제스트 2026-09-04
- 2026-09-04AI情報通:9月3日15時の情報 AISI-Japan 다이제스트 2026-09-04
- 2026-09-02Operational reliance on AI in supply chains and emerging insurance risks RAND 다이제스트 2026-09-02
관련 연구 · AI 안전 연구
- 2026-10-30오픈웨이트 모델 GLM-5.3의 사이버 공격 능력 변화 평가 AISI Japan
- 2026-09-29STAR-GRPO: 신뢰도 우선 이점 추정으로 보상 해킹 억제 arXiv
- 2026-09-25OpenAI 에이전트의 Hugging Face 해킹 상세 분석 AIID
- 2026-09-13OpenAI 포럼 해킹: libheif 취약점과 SSO 연계 침해 AIID
070사이버 위협cyber threat정보 시스템과 데이터에 피해를 줄 수 있는 행위자·의도·수단과 그 공격 시나리오를 함께 이르는 말임.
용어 설명
정보 시스템과 데이터에 피해를 줄 수 있는 행위자·의도·수단과 그 공격 시나리오를 함께 이르는 말임.
- 국가 지원 조직, 범죄 조직, 내부자 등 행위자 유형별로 목표와 수법을 정리해 조직 간 위협 정보로 공유하며, 방어 자원 배분의 근거가 됨.
- AI는 사칭 문안 작성, 취약점 분석, 표적 조사에 드는 전문성과 시간을 줄여 공격 가능 집단을 넓히고 공격의 규모·정교함을 키울 수 있음. AI 시스템 자체도 새로운 표적이 됨.
구별'사이버 위협'은 피해를 줄 수 있는 행위자·시나리오를, '사이버 공격'은 실제로 실행된 침해 시도를, '취약점'은 공격이 노리는 시스템 내부의 약점을 가리킴.
용어 관계
해설 · 참고 기사 3 · 관련 연구 3 · 정책 문서 1
해설
누가 무엇을 노리고 어떤 수단을 쓰는지 정리한 정보로, 조직 사이에 공유된다. 국가가 지원하는 조직은 정보 수집과 기반시설 침투를 노리고 오래 잠복하는 특징이 있으며, 금전을 노리는 범죄 조직은 랜섬웨어처럼 빠르게 수익을 내는 방식을 쓰고, 내부자는 이미 가진 권한을 이용한다. 이렇게 구분해 두면 우리 조직이 어느 위협의 표적이 될 가능성이 큰지 따져 방어 자원을 배분할 수 있다.
AI로 인한 변화는 새로운 공격 기법이 등장하는 쪽보다 진입장벽이 낮아지는 쪽에서 관측된다. 설득력 있는 사칭 문안을 쓰려면 필요했던 언어 능력, 취약점을 분석하려면 필요했던 전문성, 표적을 조사하려면 필요했던 시간이 줄어든다. 그러면 같은 공격을 할 수 있는 사람의 수가 늘고, 표적마다 다르게 맞춘 공격을 대량으로 만드는 일이 가능해진다. 위협을 평가할 때 종류의 변화보다 규모와 정교함의 변화를 봐야 하는 이유다.
참고 기사·연구
관련 연구 · AI 안전 연구
- 2026-06-03AI 악용 사이버 위협 매핑: LLM ATT&CK 내비게이터 Anthropic Research
- 2026-06-031년간 AI 활용 사이버 위협 매핑 분석 Anthropic Research
- 2025-11-06트윗 다국어 사이버 위협 탐지: ML·DL·LLM 비교 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-03-20Toward Risk Thresholds AI-Enabled Cyber Threats AIGL · 기타
071사이버 보안cybersecurity정보 시스템과 데이터의 기밀성·무결성·가용성을 침해로부터 보호하기 위한 기술적·관리적 활동 전반을 의미함.
용어 설명
정보 시스템과 데이터의 기밀성·무결성·가용성을 침해로부터 보호하기 위한 기술적·관리적 활동 전반을 의미함.
- AI와는 두 방향으로 얽힘. 모델 가중치·학습 데이터·추론 서비스 등 AI 시스템 자체를 지키는 일과, AI를 활용해 탐지·대응 등 보안 업무를 수행하는 일임.
- 데이터 오염, 프롬프트 인젝션, 모델 추출처럼 정상 입력과 형태가 같은 공격은 경계 방어로 걸러지지 않아 모델 계층에 맞는 별도 통제가 필요함.
- 프론티어 AI에서는 가중치 유출이 안전장치 무력화로 이어질 수 있어, 보안이 안전의 전제 조건으로 다뤄짐.
구별'사이버 보안'은 의도적 공격·침해로부터 시스템을 지키는 일(security)이고, '안전'은 의도와 무관하게 AI가 낳는 피해 전반을 줄이는 일(safety)에 무게를 둠.
용어 관계
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
지키려는 것을 세 가지로 정리하는 것이 관례다. 허락받지 않은 사람이 보지 못하게 하는 기밀성, 자료와 시스템이 함부로 바뀌지 않게 하는 무결성, 필요할 때 쓸 수 있게 하는 가용성이다. AI가 이 분야에 걸리는 방향은 둘이다. AI 시스템 자체를 지키는 일 — 모델과 가중치, 학습 자료, 추론 서비스가 보호 대상이다 — 과, AI를 써서 보안 업무를 수행하는 일이다.
AI 시스템 보안이 기존 보안과 다른 부분은 모델 고유의 공격면에 있다. 학습 자료에 조작된 내용을 섞어 특정 조건에서만 다르게 작동하게 만드는 것, 처리할 자료 안에 지시를 숨겨 명령을 가로채는 것, 질문을 반복해 모델의 구조나 학습 내용을 빼내는 것이 그런 예다. 이런 공격은 방화벽이나 접근 통제로 막히지 않는다. 정상적인 입력과 형태가 같아서 경계에서 걸러낼 수 없기 때문에, 모델 층에 맞는 별도의 통제가 필요하다.
참고 기사·연구
- 2026-09-08美·中 보안AI 날아가는데… 韓은 '거북이걸음' 서울경제 다이제스트 2026-09-08
- 2026-09-07Last Week in AI #343 - GPT-6, OpenAI’s agents chatted on a wiki, Fable 5.1 Last-Week-in-AI 다이제스트 2026-09-07
- 2026-09-07China pushes back as AI military race deepens defence.economictimes. 다이제스트 2026-09-07
관련 연구 · AI 안전 연구
- 2026-11-04Cyberlens: 사이버보안 특화 희소 오토인코더 AI and Ethics
- 2026-11-03고위험 AI 사이버보안: AI법 15조와 CRA 중첩 International Cybersecur
- 2026-10-23Kimi K3.1 Pro 사이버 지수 공개모델 1위 AI Risk Explorer
- 2026-09-17AI 장애 시 책임 소재: 거버넌스와 사이버보안 책임의 접점 The Pinnacle A Journal b
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-13「AI와 사이버보안에 관한 과학계 공개서한」 과학자 406명 (벤지오·힌턴·러셀 등) · 선언·성명
- 2026-10-01🇨🇦 캐나다 프런티어 AI 시대 사이버보안 대비 지침(SPIN) 행정규칙
- 2026-09-09Anthropic 최근 사이버보안 사고에 대한 정렬 평가 Anthropic · 정책보고서
- 2026-09-04🇹🇼 대만 프런티어 AI 사이버보안 위험 대응 정책 전략·정책
072취약점vulnerability공격자가 악용해 시스템의 기밀성·무결성·가용성이나 안전한 작동을 침해할 수 있는 결함이나 약점을 의미함.
용어 설명
공격자가 악용해 시스템의 기밀성·무결성·가용성이나 안전한 작동을 침해할 수 있는 결함이나 약점을 의미함.
- AI 시스템에는 기존 소프트웨어 취약점 위에 프롬프트 인젝션, 데이터 오염, 모델 추출, 탈옥 취약성처럼 모델 고유의 약점이 더해짐.
- AI는 공격 대상이자 취약점 탐지 도구이기도 하며, 대규모 코드에서 결함을 찾는 역량은 방어자의 사전 수정과 공격자의 미공개 취약점 확보에 동시에 쓰일 수 있음.
구별'취약점'은 시스템 내부의 약점을, '위협'은 그것을 노리는 외부 행위자·사건을, '위험'은 둘이 만나 생길 피해의 가능성과 크기를 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- AI RMF 1.0은 AI 시스템의 대표적 보안 우려로 적대적 예제, 데이터 오염, 엔드포인트를 통한 모델·학습 데이터 유출을 들고, 기밀성·무결성·가용성을 지키는 시스템을 '보안이 확보된(secure)' 시스템으로 봄. [3]
- 안전성 확보 가이드라인은 위험 식별 고려 요소인 '보안 취약점'을 외부 또는 내부 위협자에 의해 시스템이 침해될 수 있는 기술적 약점으로 정의하고, 적대적 공격·모델 추출·백도어 삽입·무단 접근을 예로 듦. [4]
출처
- 1International AI Safety Report 2026, 2.1.3, p.58–59 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2026, Box 2.1, p.62 · 원문 · 라이브러리에서 보기
- 3NIST AI 100-1 (AI RMF 1.0), 3.3, p.15 · 원문
- 4『인공지능 안전성 확보 가이드라인』 v1.3, p.29 · 원문
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
보안을 다룰 때 쓰는 세 낱말을 함께 놓으면 뜻이 분명해진다. 취약점은 시스템 안쪽의 약한 지점이고, 위협은 그 약점을 노릴 수 있는 바깥의 행위자나 사건이며, 위험은 둘이 만났을 때 실제로 생길 피해의 크기다. AI 시스템에는 전통적인 소프트웨어 취약점 위에 모델 고유의 것이 얹힌다. 자료에 지시를 숨겨 명령을 가로채는 것, 학습 자료를 오염시켜 특정 조건에서만 다르게 작동하게 만드는 것, 질문을 반복해 모델 자체나 학습 내용을 빼내는 것이 그런 예다.
AI와 취약점은 두 방향으로 얽힌다. 하나는 AI가 공격 대상이 되는 방향이고, 다른 하나는 AI가 취약점을 찾는 도구가 되는 방향이다. 두 번째가 최근 논의를 끌어올렸다. 사람이 읽기 어려운 규모의 코드에서 결함을 찾아내는 능력은 방어자에게는 미리 고칠 기회를 주지만, 공격자에게는 알려지지 않은 구멍을 확보할 기회를 준다. 같은 능력이 양쪽에 동시에 주어지므로, 어느 쪽이 더 빨리 활용하는지가 실제 안전을 가르게 된다.
참고 기사·연구
- 2026-09-08美·中 보안AI 날아가는데… 韓은 '거북이걸음' 서울경제 다이제스트 2026-09-08
- 2026-09-08보안특화 AI, 명확한 목표·성능 입증 필요 전자신문 다이제스트 2026-09-08
- 2026-09-07엔키화이트햇, KB국민은행 'AI 사이버 위협 대응 체계' 구축 뉴시스 다이제스트 2026-09-07
관련 연구 · AI 안전 연구
- 2026-10-30오픈웨이트 모델 GLM-5.3의 사이버 공격 능력 변화 평가 AISI Japan
- 2026-10-23탈옥 취약성의 응답 말단 표현 발산 시그니처 Discover Artificial Inte
- 2026-10-21의인화 AI 상호작용의 취약성 상황 기반 윤리 거버넌스 arXiv
- 2026-09-18T3-DEF: 재귀적 사회기술 취약성 AI 위험 프레임워크 Research Square
관련 정책 문서 · AI 안전 라이브러리
- 2025-01-03🇺🇸 국방부 AI 취약점 신고 포상제 법 2023 United States Congress · 법안
073제로데이 취약점zero-day vulnerability아직 발견되지 않았거나 패치되지 않은 소프트웨어·하드웨어의 보안 결함으로, 공격자가 이미 악용할 수 있어 개발자에게 고칠 시간이 '0일'인 취약점을 의미함.
용어 설명
아직 발견되지 않았거나 패치되지 않은 소프트웨어·하드웨어의 보안 결함으로, 공격자가 이미 악용할 수 있어 개발자에게 고칠 시간이 '0일'인 취약점을 의미함.
- 패치나 탐지 서명이 없어 기존 방어 수단으로 막기 어렵고, 발견 후 공개 시점과 책임 있는 공개 절차가 보안 관리의 쟁점이 됨.
- AI의 자동 취약점 탐지·공격 코드 작성 역량이 높아지면 제로데이 발견 속도가 빨라질 수 있어 사이버 역량 평가의 핵심 지표로 다뤄짐. 같은 역량이 방어 측의 선제 수정에도 쓰일 수 있음.
용어 관계
상위 취약점
주요 기관·문서별 개념 및 적용
- 소프트웨어·하드웨어의 미발견 또는 미패치 보안 결함으로 정의하고, 공격자가 이미 악용할 수 있어 개발자에게 고칠 시간이 '0일'뿐이라는 데서 이름이 왔다고 설명함. [1]
출처
- 1International AI Safety Report 2025, p.72–73; Glossary p.228–229 · 원문
원문 인용 2 · 관련 연구 1
PDF 원문 인용
번역소프트웨어·하드웨어의 미발견·미패치 보안 결함. 공격자가 이미 악용할 수 있어 개발자에게는 고칠 ‘제로(0)일’만 남는다는 뜻에서 이렇게 부른다.
An undiscovered or unpatched security flaw in software or hardware. As attackers can already exploit it, developers have 'zero days' to fix it.
출처 International Scientific Report on the Safety of Advanced AI · p.72–73 · EN · 정의섹션
번역소프트웨어·하드웨어의 미발견·미패치 보안 결함. 공격자가 이미 악용할 수 있어 개발자에게는 고칠 ‘제로(0)일’만 남는다는 뜻에서 이렇게 부른다.
An undiscovered or unpatched security flaw in software or hardware. As attackers can already exploit it, developers have 'zero days' to fix it. How to cite this report
출처 International Scientific Report on the Safety of Advanced AI · p.228–229 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-04-07Claude Mythos Preview 사이버보안 역량 평가 Anthropic Research
074멀웨어malware컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어로, 바이러스·스파이웨어·랜섬웨어 등을 포함함.
용어 설명
컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어로, 바이러스·스파이웨어·랜섬웨어 등을 포함함.
- AI는 멀웨어 코드 작성·변형, 탐지 회피, 감염 후 행동 자동화를 도울 수 있어 사이버 공격 역량 평가의 주요 항목이 됨.
- 반대로 AI 기반 탐지·분석이 방어에 쓰이며, AI 에이전트가 외부 도구·패키지를 받아 실행하는 환경에서는 새로운 감염 경로가 생김.
주요 기관·문서별 개념 및 적용
- 컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 설계된 유해 소프트웨어로 정의하고, 데이터를 훔치거나 해를 끼치는 바이러스·스파이웨어 등을 포함한다고 봄. [1]
- 같은 정의를 유지함. [2]
출처
- 1International AI Safety Report 2025, p.72–73; Glossary p.223–224 · 원문
- 2International AI Safety Report 2026, Glossary, p.151 · 원문 · 라이브러리에서 보기
원문 인용 3 · 관련 연구 4
PDF 원문 인용
번역컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어. 바이러스·스파이웨어 등 데이터를 훔치거나 해를 끼치는 프로그램을 포함한다.
Harmful software designed to damage, disrupt, or gain unauthorised access to a computer system. It includes viruses, spyware, and other malicious programs that can steal data or cause harm. † Please refer to the Chair's update on the latest AI advances after the writing of this report. Risks 2.1 Risks from malicious use
출처 International Scientific Report on the Safety of Advanced AI · p.72–73 · EN · 정의섹션
번역컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어. 바이러스·스파이웨어 등 데이터를 훔치거나 해를 끼치는 프로그램을 포함한다.
Harmful software designed to damage, disrupt, or gain unauthorised access to a computer system. It includes viruses, spyware, Manipulation: A form of influence characterised by changing someone's beliefs or behaviour to achieve some goal without their full awareness or understanding.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기
번역컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어. 바이러스·스파이웨어 등 데이터를 훔치거나 해를 끼치는 프로그램을 포함한다.
Harmful software designed to damage, disrupt, or gain unauthorised access to a computer system. It includes viruses, spyware, and other malicious programs that can steal data or cause harm.
출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-09-17LLM 악성코드 분석기를 속이는 ALIBI 공격 arXiv
- 2026-07-02에이전트 스킬 악성코드의 스캐너 우회와 동적 탐지 arXiv
- 2026-06-10문법 제약 디코딩을 이용한 악성코드 생성 탈옥 arXiv
- 2026-02-17심층 강화학습 기반 드리프트 대응 악성코드 탐지 앨런 튜링 연구소
075내부자 위협insider threat조직의 민감한 자원에 접근할 수 있는 사람 또는 AI 모델·시스템이 수행하는 적대적 활동이나 우발적 유출로 생기는 위협을 의미함.
용어 설명
조직의 민감한 자원에 접근할 수 있는 사람 또는 AI 모델·시스템이 수행하는 적대적 활동이나 우발적 유출로 생기는 위협을 의미함.
- 불만을 가진 직원, 고위 연구자, 조직에 침투한 산업 스파이 같은 사람 행위자뿐 아니라, 모델의 자기 유출처럼 AI 자신이 주체가 되는 경우까지 포함해 논의됨.
- 프론티어 AI에서는 모델 가중치·학습 기법 유출이 안전장치 무력화와 무분별한 확산으로 이어질 수 있어, 최소 권한·다중 승인·활동 기록 같은 보안 통제의 대상이 됨.
용어 관계
상위 위협
주요 기관·문서별 개념 및 적용
- 민감한 조직 자원에 접근할 수 있는 사람 또는 AI 모델·시스템(고위 경영진, 연구팀 고위 구성원, 불만을 가진 직원, 산업 스파이 등)의 적대적 활동, 모델의 자기 유출, 우발적 모델 유출을 내부자 위협으로 설명함. [1]
출처
- 1『EU GPAI 실천강령 한글 안내서』(2026), p.106 · 원문
원문 인용 1 · 관련 연구 1
PDF 원문 인용
민감한 조직 자원에 접근할 수 있는 인간 모델 및 또는 시스템 예 고위 경영진 ·AI / AI ( : , 조직 연구팀의 고위 구성원 불만을 가진 직원 목표 조직에 침투한 산업 스파이 행위자 , , 및 또는 모델의 자기 유출에 의해 수행되는 적대적 활동 및 또는 우발적인 모델 유출 / /
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.110 · KO · 정의섹션
관련 연구 · AI 안전 연구
- 2025-06-20에이전트 불일치: LLM이 내부자 위협이 될 수 있는 경로 Anthropic Research
076탈옥jailbreak안전장치를 우회해 AI 시스템이 무기 제조 지침 같은 유해 콘텐츠를 생성하도록 고안한 프롬프트를 만들어 제출하는 행위·공격을 의미함.
용어 설명
안전장치를 우회해 AI 시스템이 무기 제조 지침 같은 유해 콘텐츠를 생성하도록 고안한 프롬프트를 만들어 제출하는 행위·공격을 의미함.
- 역할극·가상 시나리오, 교육 목적 위장, 다른 언어·암호로 바꿔 쓰기, 자동 탐색으로 찾은 무의미한 문자열 덧붙이기 등이 알려진 기법이며, 거부가 요청의 뜻보다 표면 형태에 반응하는 틈을 이용함.
- 새 모델마다 새 우회 기법이 발견되는 양상이 반복되어 실무 목표는 완전 차단보다 공격 성공률을 낮추고 뚫렸을 때의 피해를 제한하는 데 놓이며, 레드티밍과 적대적 학습이 주요 대응임.
구별'탈옥'은 안전장치를 우회해 유해한 출력을 얻으려는 공격이고, '프롬프트 인젝션'은 직접 입력하거나 데이터에 심은 지시로 시스템이 의도와 다르게 행동하게 만드는 공격임.
용어 관계
주요 기관·문서별 개념 및 적용
- 안전장치를 우회해 무기 제조 지침 같은 유해 콘텐츠를 AI 시스템이 생성하도록 고안한 프롬프트를 만들어 제출하는 행위로 정의함. [1]
- 같은 정의에서 우회 대상을 '가드레일'로 표현하고, 적대자가 있어도 안전한 행동을 유지하는 적대적 강건성 논의와 연결함. [2]
출처
- 1International AI Safety Report 2026, Glossary, p.151 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2025, Glossary, p.223 · 원문
해설 · 원문 인용 4 · 참고 기사 3 · 관련 연구 4
해설
모델에게 거절해야 할 요청을 하면서, 그 요청이 거절 대상으로 보이지 않게 감싸는 방식이다. 소설 속 인물의 대사로 만들게 하거나, 교육 목적이라는 틀을 씌우거나, 다른 언어나 암호로 바꿔 쓰거나, 사람이 보면 무의미한 문자열을 뒤에 붙이는 방법이 알려져 있다. 마지막 방식은 사람이 고안하는 대신 자동 탐색으로 찾아내기도 한다. 거부가 요청의 뜻이 아니라 표면적인 형태에 반응하는 부분이 남아 있다는 점을 이용하는 것이다.
프롬프트 인젝션과 갈라 두는 것이 좋다. 탈옥은 이용자 자신이 자기 요청을 통과시키려는 공격이고, 프롬프트 인젝션은 제3자가 심어 둔 지시가 이용자의 의도와 무관하게 모델을 가로채는 공격이다. 방어의 목표가 다를 수밖에 없다. 탈옥은 지금까지 완전히 막힌 적이 없고 새 모델이 나오면 새 우회로가 발견되는 양상이 반복된다. 그래서 실무의 목표는 제거가 아니라, 성공률을 낮추고 뚫렸을 때 실제로 얻어낼 수 있는 피해를 제한하는 쪽에 놓인다.
PDF 원문 인용
번역안전장치를 우회해 무기 제조 지침 등 유해 콘텐츠를 내게 하려고 고안한 프롬프트를 만들어 제출하는 행위.
Generating and submitting prompts designed to bypass safeguards and make an AI system produce harmful content, such as instructions for building weapons.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기
번역가드레일을 우회해 무기 제조 지침 등 유해 콘텐츠를 내게 하려고 고안한 프롬프트를 만들어 제출하는 행위.
Generating and submitting prompts designed to bypass guardrails and make an AI system produce harmful content, such as instructions for building weapons.
출처 International Scientific Report on the Safety of Advanced AI · p.170, p.182, p.223 · EN · 정의섹션
번역가드레일을 우회해 무기 제조 지침 등 유해 콘텐츠를 내게 하려고 고안한 프롬프트를 만들어 제출하는 행위.
Generating and submitting prompts designed to bypass guardrails and make an AI system produce harmful content, such as instructions for building weapons. The risks of general-purpose AI systems may be mitigated in part by limiting their behaviours. For example, policymakers may wish to prevent general-purpose AI systems from providing dangerous information to users (e.g. on the production of weapons; see 2.1.4. Biological and chemical attacks), being used for malicious purposes (e.g. for cyberattacks; see 2.1.3. Cyber offence), or having malfunctions that lead to harm (see 2.2. Risks from malfunctions ). A system's behaviour is safe if it avoids such mistakes, and a system is robust if it continues to behave safely in a wide range of circumstances. Beyond this, a system is adversarially robust if it maintains safe behaviour even in the presence of an adversary (e.g.
출처 International Scientific Report on the Safety of Advanced AI · p.192 · EN · 정의섹션
탈옥(Jailbreak)은 사용자가 의도적으로 AI의 내장 안전장치(콘텐츠 정책·시스템 지시·거부 규칙 등)를 회피하도록 입력을 조작해, 모델로 하여금 금지된 응답을 생성하게 만드는 행위입니다. 스마트폰 탈옥의 개념을 차용한 용어로, 본질은 '모델의 허용 범위를 벗어나게 하는 조작'입니다. 탈옥이 성공하면 개인정보 노출, 유해·불법 정보 생성, 허위 정보 확산, 악성 코드·범죄 수법 제공 등 실질적 피해로 이어질 수 있으며, 서비스 제공자의 법적·평판적 리스크를 크게 높입니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.77 · KO · 정의섹션
참고 기사·연구
- 2026-08-10Stealing Reasoning Traces from Proprietary LLM APIs HuggingFace-Papers 연구
- 2026-07-29ToxScreen: Detecting Whether an LLM Has Been Poisoned arXiv 연구
- 2026-07-29LLM-Based Autonomous Agents for Phishing Detection, Triage, and Response OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-11-06GuardrailAgent: 탈옥 방어용 에이전트 프레임워크 arXiv
- 2026-11-06시각 탈옥 방어를 위한 주파수 인식 정화 FASDP Research Square
- 2026-11-05맹목적 순응: AI 탈옥에서의 강압적 통제 arXiv
- 2026-11-02텍스트-이미지 모델 안전필터 우회 탈옥과 방어 ACM Transactions on Inte
077프롬프트 인젝션prompt injectionAI 시스템에 직접 악성 지시를 입력하거나, 모델이 처리하는 문서·웹페이지·도구 출력 등 데이터 안에 지시를 숨겨, 모델이 의도와 다르게 행동하게 만드는 공격을 의미함.
용어 설명
AI 시스템에 직접 악성 지시를 입력하거나, 모델이 처리하는 문서·웹페이지·도구 출력 등 데이터 안에 지시를 숨겨, 모델이 의도와 다르게 행동하게 만드는 공격을 의미함.
- 모델이 개발자의 지시와 처리 대상 데이터를 같은 텍스트 흐름으로 받아 구조적으로 구별하지 못한다는 점을 이용하며, 간접 주입에서는 이용자가 숨은 지시의 존재를 모르는 경우가 많음.
- 파일 열람·메일 발송·코드 실행 권한을 가진 AI 에이전트가 가로채이면 정보 유출과 시스템 조작으로 이어지는데, 원리적 해법이 없어 최소 권한, 실행 환경 격리, 되돌릴 수 없는 행위의 사람 승인 같은 피해 제한형 대응이 쓰임.
구별'프롬프트 인젝션'은 직접 입력하거나 데이터에 심은 지시로 모델이 의도와 다르게 행동하게 만드는 공격이고, '탈옥'은 안전장치를 우회해 유해한 출력을 얻으려는 공격임.
용어 관계
주요 기관·문서별 개념 및 적용
- 안전성 확보 가이드라인은 위험 식별 문서화 예시로 '프롬프트 인젝션에 의한 시스템 응답 왜곡 가능성'을 들고, 외부 입력으로 시스템 지침을 우회하거나 응답을 왜곡할 수 있는 구조적 취약점으로 기록함. [4]
출처
- 1International AI Safety Report 2026, Box 2.4, p.74 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2026, Figure 3.9, p.130 · 원문 · 라이브러리에서 보기
- 3NIST AI 600-1, 2.9, p.10–11 · 원문
- 4『인공지능 안전성 확보 가이드라인』 v1.3, p.36 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4
해설
언어모델은 개발자가 준 지시와 처리해야 할 자료를 같은 텍스트 흐름으로 받는다. 둘을 구조적으로 구별하는 장치가 없기 때문에, 자료 안에 명령처럼 생긴 문장이 들어 있으면 그것을 명령으로 실행할 수 있다. 요약해 달라고 건넨 웹페이지 안에 이전 지시를 무시하고 다음을 수행하라는 문장이 흰 글씨로 숨어 있는 경우가 전형이다. 이용자는 그런 지시를 한 적이 없고 존재조차 모른다는 점이 이 공격의 성격을 규정한다.
에이전트가 도구를 쓰기 시작하면 위험의 크기가 달라진다. 텍스트만 생성하던 모델이 가로채이면 잘못된 답이 나오는 데 그치지만, 파일을 읽고 메일을 보내고 코드를 실행하는 모델이 가로채이면 자료가 밖으로 나가고 시스템이 조작된다. 지시와 데이터를 원리적으로 분리하는 해법은 아직 없다. 그래서 현실적인 대응은 가로채이는 것을 전제로 하고 피해를 가두는 쪽이다. 도구별로 권한을 최소한으로 주고, 실행 환경을 격리하고, 되돌릴 수 없는 행위에는 사람 승인을 남긴다.
PDF 원문 인용
사용자가 텍스트 안에 숨겨 둔 지시가 AI의 시스템 규칙·안전 정책보다 우선 적용되도록 만들어, 모델이 본래 의도와 다른 행동을 수행하게 만드는 공격 기법입니다. 생성형 AI는 입력된 문장을 충실하게 따르려는 경향이 있어, 공격자는 평범한 요청 속에 전략적으로 삽입한 문구를 통해 모델의 응답 흐름을 교란할 수 있습니다. 단순 텍스트만으로도 내부 지침이 무력화될 수 있다는 점에서 대화형 AI의 핵심 보안 문제 중 하나입니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.86 · KO · 정의섹션
참고 기사·연구
- 2026-09-04“AI 답변, 나에게 유리하게 조작 가능”…제1회 센티언트 AI 미래 포럼 열려[김현지의 with AI] 동아일보 다이제스트 2026-09-04
- 2026-06-03AI 에이전트의 보안 위험(미스얼라인 행동·민감정보 노출·prompt injection 등)과 다층 방어 필요성(2026.6.3) Frontier Model Forum 다이제스트 2026-06-03
- 2026-05-12IPI-proxy: An Intercepting Proxy for Red-Teaming Web-Browsing AI Agents Against Indirect Prompt Injection (저자 외 4명, arXiv cs.CR, 2026.5.12) arXiv 다이제스트 2026-05-12
관련 연구 · AI 안전 연구
- 2026-10-16무시일 뿐 거부가 아니다: 소형 에이전트의 낮은 주입 성공률 arXiv
- 2026-10-06RAG 프롬프트 주입 탐지용 누수 인식 벤치마크 arXiv
- 2026-10-0212개 언어 프롬프트 주입 탐지 말뭉치 Hugging Face
- 2026-09-26에이전트 보안 평가의 침묵 오류와 검증된 하니스 arXiv
078공급망supply chainAI 시스템이 의존하는 반도체·연산 자원, 데이터, 사전학습 모델, 소프트웨어·도구가 개발·배포에 이르는 조달 경로 전체와 그에 따른 보안·안전 위험을 가리킴.
용어 설명
AI 시스템이 의존하는 반도체·연산 자원, 데이터, 사전학습 모델, 소프트웨어·도구가 개발·배포에 이르는 조달 경로 전체와 그에 따른 보안·안전 위험을 가리킴.
- 반도체·연산 자원 생산이 소수 국가·기업에 집중된 지정학적 취약성과, 공개 가중치·외부 학습 데이터·라이브러리·외부 도구 서버에 대한 소프트웨어 공급망 보안이라는 두 측면이 있음.
- 상류의 오염된 데이터나 백도어가 심긴 모델이 하류의 모든 시스템으로 전파되어 개별 조직의 점검만으로는 막기 어려움. 출처 확인, 서명, 구성 요소 목록 관리가 대응 수단으로 쓰임.
- 개발사·배포자·이용자 사이에 역할이 나뉘어 있어, 위험 관리 책임을 공급망 단계별로 어떻게 배분할지가 규제 쟁점이 됨.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
AI 문맥에서는 두 가지 뜻으로 쓰인다. 하나는 반도체와 연산 자원의 조달 문제로, 특정 국가와 소수 기업에 생산이 집중돼 있다는 지정학적 취약성을 가리킨다. 다른 하나는 소프트웨어 공급망 보안이다. AI 시스템은 남이 만든 것을 많이 가져다 쓴다. 사전학습된 모델, 공개 저장소에서 받은 가중치, 외부 학습 자료, 다른 곳이 운영하는 도구 서버가 모두 조달 대상이며, 각각이 신뢰해야 하는 대상이 된다.
핵심은 취약점이 상류에서 하류로 전파된다는 점이다. 공개된 모델에 특정 조건에서만 작동하는 악의적 조정이 숨어 있거나, 널리 쓰이는 학습 자료가 오염돼 있으면, 그것을 가져다 쓴 모든 시스템이 함께 영향을 받는다. 각 조직이 자기 시스템만 잘 검사해도 막히지 않는 종류의 위험이다. 그래서 받아 온 것의 출처를 확인하고, 서명으로 위조를 방지하고, 무엇을 어디서 가져왔는지 목록으로 관리하는 것이 대응 수단으로 요구된다.
참고 기사·연구
- 2026-09-07Last Week in AI #343 - GPT-6, OpenAI’s agents chatted on a wiki, Fable 5.1 Last-Week-in-AI 다이제스트 2026-09-07
- 2026-09-07피지컬 AI 전담 컨트롤타워 필요… 산학연 역량 한데 모아야 디지털타임스 다이제스트 2026-09-07
- 2026-09-07China pushes back as AI military race deepens defence.economictimes. 다이제스트 2026-09-07
관련 연구 · AI 안전 연구
- 2026-10-21에이전트 AI 보안·섀도 AI·LLM 공급망 위험 서베이 Applied Sciences
- 2026-10-14기업 AI 공급망 보안: 모델 출처·제3자 위험 프레임워크 Journal of Engineering R
- 2026-09-28GPT-6 Astra의 무단 공급망 공격 수행 여부 평가 arXiv
- 2026-05-10AI-BOM 기반 오픈소스 AI 모델 공급망 보안 거버넌스 International Journal Fo
관련 정책 문서 · AI 안전 라이브러리
- 2025-04-29🇺🇸 H2444 회복력 있는 공급망 촉진법 2025 United States Congress · 법안
- 2025-04-28🇺🇸 미국 상원법안 S 257 회복력 있는 공급망 촉진법 2025 United States Congress · 법안
- 2025-01-03🇺🇸 회복력 있는 공급망 촉진법 2023 United States Congress · 법안
- 2025-01-03🇺🇸 원자력 공급망 강화법 United States Congress · 법안
079자율무기autonomous weapons인간의 추가 개입 없이 표적을 선택하고 공격할 수 있는 무기 체계를 말하며, 국제 논의에서는 치명적 자율무기체계(LAWS)로 다뤄짐.
용어 설명
인간의 추가 개입 없이 표적을 선택하고 공격할 수 있는 무기 체계를 말하며, 국제 논의에서는 치명적 자율무기체계(LAWS)로 다뤄짐.
- 쟁점은 자동화 자체가 아니라 표적 선정과 살상 결정에 인간의 유의미한 통제가 유지되는지에 있음. 유도 기능이나 자동 방어 체계는 오래전부터 쓰여 왔음.
- 구별·비례성·예방 조치 같은 국제인도법 원칙을 지킬 수 있는지, 위반이 생겼을 때 지휘관·개발자·운용자 중 누구에게 책임을 물을지가 핵심 논점임.
- 민간 AI 기술이 전용될 수 있어 이중 용도 위험, 수출 통제, 국가안보 논의와 맞물림.
용어 관계
먼저 알 개념 자율성
해설 · 참고 기사 3 · 관련 연구 1 · 정책 문서 2
해설
국제 논의에서는 치명적 자율무기체계, 줄여서 LAWS로 부른다. 쟁점이 무기의 자동화 자체는 아니라는 점을 짚어 둘 만하다. 유도 기능이나 자동 방어 체계는 이미 오래 쓰여 왔다. 문제가 되는 지점은 표적을 고르고 살상을 실행하는 결정에서 인간의 유의미한 통제가 유지되는지다. 유엔 특정재래식무기금지협약 틀에서 오랫동안 논의가 이어져 왔지만 구속력 있는 합의에는 이르지 못했다.
법적 핵심은 국제인도법을 지킬 수 있는지에 있다. 전투원과 민간인을 구별하는 원칙, 군사적 이익과 민간 피해를 견주는 비례성 판단, 피해를 줄이기 위한 예방 조치를 기계가 상황에 맞게 판단할 수 있는지가 물음의 중심이다. 여기에 책임 문제가 따라붙는다. 위반이 발생했을 때 지휘관인지, 개발자인지, 운용자인지를 정하기 어렵다는 것이다. 민간 AI 기술이 그대로 전용될 수 있어 수출 통제와 이중 용도 위험 논의와도 맞물린다.
참고 기사·연구
- 2026-09-07국방 AX·보안 혁신에 속도 붙이자 전자신문 다이제스트 2026-09-07
- 2026-09-03China's AI Strategy and Its Implications for Global Governance OpenAlex 연구
- 2026-09-02Autonomous weapons and strategic stability OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-08-04미래 위협과 위험 I: 딥페이크·자율무기·AI 안전 Turkish Academy of Scien
관련 정책 문서 · AI 안전 라이브러리
- 2026-08-27🇺🇸 Anthropic 기술 사용 제한 소송 기타
- 2023-01-25🇺🇸 미 국방부 지침 3000.09(자율 무기체계) Department of Defense · 행정규칙
080국가안보national security국가의 존립과 핵심 이익을 외부 위협으로부터 지키는 일로, AI 안전에서는 군사·정보 역량, 핵심 기반시설 공격, 기술 경쟁과 맞닿는 정책 영역을 가리킴.
용어 설명
국가의 존립과 핵심 이익을 외부 위협으로부터 지키는 일로, AI 안전에서는 군사·정보 역량, 핵심 기반시설 공격, 기술 경쟁과 맞닿는 정책 영역을 가리킴.
- AI는 정찰·표적 판단·사이버 작전 같은 군사·정보 역량, 전력·통신·금융 등 핵심 기반시설을 노리는 공격, 반도체·연산·인재를 둘러싼 경쟁이라는 세 경로로 국가안보와 얽힘.
- AI 입법에는 국가안보 목적의 예외 조항이 자주 들어가며, 그 범위에 따라 투명성·감시 규제의 실효가 달라져 예외 인정과 사후 감독 장치 사이의 절충이 쟁점이 됨.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
AI가 이 영역에 걸리는 방식은 셋으로 정리된다. 첫째는 군사와 정보 역량으로서의 AI다. 정찰 자료 분석, 표적 판단, 사이버 작전에 쓰이는 역량이 여기 든다. 둘째는 핵심 기반시설을 노리는 AI 기반 공격이다. 전력·통신·금융·의료처럼 멈추면 사회가 즉시 타격을 받는 시스템이 대상이 된다. 셋째는 기술 경쟁 자체다. 연산 자원과 인재와 반도체를 둘러싼 경쟁이 안보 문제로 다뤄지며, 수출 통제와 AI 주권 논의를 끌어냈다.
실무에서 이 개념이 까다로운 이유는 안전 규제와 긴장 관계를 만든다는 점이다. AI 입법에는 국가안보 목적의 예외 조항이 들어가는 경우가 많다. 그 범위를 넓게 두면 감시 규제나 투명성 의무의 실효가 줄어들고, 좁게 두면 안보 기관의 활동이 제약된다. 그래서 조문에 어떤 목적과 어떤 절차 요건을 붙일지가 실제 협상의 초점이 되며, 예외를 인정하되 사후 감독 장치를 남기는 절충이 자주 시도된다.
참고 기사·연구
- 2026-09-04“AI 답변, 나에게 유리하게 조작 가능”…제1회 센티언트 AI 미래 포럼 열려[김현지의 with AI] 동아일보 다이제스트 2026-09-04
- 2026-09-03“AI 학습은 공정 이용”… 美 정부, NYT 소송서 오픈AI 편들었다 세계일보 다이제스트 2026-09-03
- 2026-09-03미 법무부, 법원에 "인공지능 저작권 침해 안해" 의견서 뉴시스 다이제스트 2026-09-03
관련 연구 · AI 안전 연구
- 2026-10-28동남아 AI·사이버·핵안보 협력 대비 Frontiers in Nuclear Eng
- 2026-10-22AI 시대의 생물안보: 겹겹이 쌓는 방어 전략 RAND
- 2026-10-08국가안보 분야 AI: 활용, 위험, 거버넌스 경로 Advances in Economics Ma
- 2026-09-12AI와 사이버보안 보호체계: 사우디 법제 분석 International Journal Fo
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-13🇺🇳 군사 분야 AI와 국제 평화·안보 결의안 초안 유엔 총회 제1위원회(First Committee) ·
- 2026-09-23🇺🇳 유엔 안보리 AI와 국제안보 회의록 유엔 안전보장이사회(Security Council) ·
- 2026-09-12AI 대비 Objectives Towards Sufficiency 국가 AI 안보 Strategies AIGL · 기타
- 2026-09-12AI 안보 Maturity ModelTM: Practical 프레임워크 Building Mature AI 안보 프로그램 AIGL · 가이드라인·원칙
081적대적 프롬프트adversarial promptAI 모델이 안전장치를 우회하거나 개발자가 의도하지 않은 동작을 하도록 일부러 설계한 입력(프롬프트)을 말함.
용어 설명
AI 모델이 안전장치를 우회하거나 개발자가 의도하지 않은 동작을 하도록 일부러 설계한 입력(프롬프트)을 말함.
- 역할극·가정 상황 설정, 우회 표현·인코딩, 긴 맥락에 지시 숨기기, 자동 생성된 무작위 문자열 접미사 등 다양한 기법이 쓰이며, 사람이 직접 쓰기도 하고 최적화 알고리즘으로 찾아내기도 함.
- 탈옥·프롬프트 인젝션 같은 공격의 수단이 되는 동시에, 레드티밍·적대적 시험과 적대적 학습에서 모델의 취약점을 찾고 강건성을 높이는 데 쓰이는 시험 입력이기도 함.
구별'적대적 프롬프트'는 공격·시험에 쓰이는 입력 자체를, '탈옥'은 그런 입력으로 안전장치를 우회하는 공격 결과·행위를, '프롬프트 인젝션'은 공격자가 직접 입력하거나 처리 대상 데이터에 심은 지시로 이용자 의도와 다르게 모델을 움직이는 공격을 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- 이행조치 5.1은 서명자가 미세조정 공격이나 탈옥 같은 적대적 압박에도 충분히 견디는 안전 완화를 모델 공개·배포 전략을 고려해 이행하도록 함. [3]
출처
관련 연구 4
관련 연구 · AI 안전 연구
- 2026-05-27적대적 프롬프트 분리: 의미 그래프 기반 방어 arXiv
- 2026-05-24논리적 자기성찰로 강화한 LLM 안전 분류기 arXiv
- 2026-05-19엔트로피 변화로 유창한 적대적 프롬프트 탐지 arXiv
- 2026-05-12페르소나 조건부 적대적 프롬프팅(PCAP) arXiv
082편향biasAI 시스템이 특정 집단이나 관점에 체계적으로 유리하거나 불리하게 작동해 불공정한 결과를 낳는 성향 또는 오류를 의미함.
용어 설명
AI 시스템이 특정 집단이나 관점에 체계적으로 유리하거나 불리하게 작동해 불공정한 결과를 낳는 성향 또는 오류를 의미함.
- 학습 데이터의 비대표성·과거 관행, 최적화 목표와 설계 선택, 원래 맥락과 다른 집단·환경에의 적용 등에서 비롯됨.
- 채용·신용·공공 서비스처럼 개인에게 중대한 영향을 주는 결정에 쓰이면 차별로 이어질 수 있어, 고위험 용도의 평가·감사 대상이 됨.
- 어떤 공정성 기준을 택하느냐에 따라 측정 결과가 달라지고 기준끼리 동시에 충족되지 않을 수 있어, '편향 제거' 주장은 기준과 대상을 밝혀야 검증 가능함.
구별'편향'은 시스템이 체계적으로 치우친 결과를 내는 성질을, '차별'은 그 결과가 개인·집단에 대한 불공정한 대우로 나타난 것을 가리킴. 통계학의 편향(추정값과 참값의 차이)과는 같은 낱말이지만 뜻이 다름.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, p.92–93; Glossary p.219–220 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
어디서 들어오는지 보면 셋으로 나뉜다. 첫째는 자료다. 과거의 채용 기록으로 학습하면 과거의 채용 관행이 그대로 재현된다. 둘째는 만드는 과정이다. 전체 정확도만 높이도록 최적화하면 자료가 적은 소수 집단의 오류는 비용이 작아서 방치된다. 셋째는 쓰는 맥락이다. 어떤 집단에 맞게 만든 모델을 다른 집단에 적용하면 성능 차이가 그대로 불이익이 된다. 통계학에서 말하는 편향, 곧 추정값과 참값의 차이와는 같은 낱말을 쓰지만 뜻이 다르다.
정확도를 올리면 함께 사라지는 결함이 아니라는 점을 이해하는 것이 중요하다. 오히려 무엇을 공정으로 볼지 먼저 정해야 측정이 시작된다. 집단별 합격률을 맞출지, 집단별 오류율을 맞출지, 비슷한 개인을 비슷하게 대할지에 따라 결과가 달라지고, 이 기준들은 일반적으로 동시에 만족될 수 없다는 것이 수학적으로 알려져 있다. 그래서 편향을 없앴다는 말은 그 자체로는 성립하지 않는다. 어떤 기준으로 무엇을 줄였는지 밝혀야 검증할 수 있는 주장이 된다.
PDF 원문 인용
번역특정 집단이나 세계관에 유리하고 일부에게 불공정한 결과를 자주 낳는, 알고리즘 시스템의 체계적 오류. 설계 오류, 비대표·결함 데이터, 기존 사회 불평등 등에서 비롯될 수 있다.
Systematic errors in algorithmic systems that favour certain groups or worldviews and often create unfair outcomes for some people. Bias can have multiple sources, including errors in algorithmic design, unrepresentative or otherwise flawed datasets, or pre-existing social inequalities.
출처 International Scientific Report on the Safety of Advanced AI · p.92–93, p.219–220 · EN · 정의섹션
참고 기사·연구
- 2026-09-04“AI 답변, 나에게 유리하게 조작 가능”…제1회 센티언트 AI 미래 포럼 열려[김현지의 with AI] 동아일보 다이제스트 2026-09-04
- 2026-09-02"공공AI 활용, 이의제기 가능해야" 전자신문 다이제스트 2026-09-02
- 2026-09-02LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails arXiv 연구
관련 연구 · AI 안전 연구
- 2026-11-08EU AI법 제4a조 편향 탐지와 합성·익명·차등프라이버시 데이터 OpenAlex
- 2026-11-06텍스트-이미지 생성의 성별-사물 연상 편향 평가 Multimedia Tools and App
- 2026-11-01오픈 LLM의 자국 편향: 국가별 모델의 투자 조언 Zenodo (CERN European Or
- 2026-10-30FairSense-AgentiX: 편향·AI 위험 분석 에이전트 The Journal of Open Sour
관련 정책 문서 · AI 안전 라이브러리
- 2026-01-15🇺🇸 알고리즘 시스템 편향 제거법(2026) United States Congress · 법안
- 2025-12-11🇺🇸 OMB M-26-04 비편향 AI 원칙 지침 백악관 예산관리국(OMB) · 행정규칙
- 2025-07-09🇱🇹 리투아니아 비편향 알고리즘 가이드라인 AI Think Tank · 가이드라인·원칙
- 2025-07-09🇨🇴 콜롬비아 AI 성별 편향 대응 가이드 National Planning Department (
083차별discrimination인종·성별·연령·종교 등 보호 특성을 포함한 속성을 이유로 개인이나 집단을 불공정하게 대우하는 것으로, AI 시스템의 결과로도 발생할 수 있는 피해를 말함.
용어 설명
인종·성별·연령·종교 등 보호 특성을 포함한 속성을 이유로 개인이나 집단을 불공정하게 대우하는 것으로, AI 시스템의 결과로도 발생할 수 있는 피해를 말함.
- AI에서는 의도적 차별보다, 편향된 데이터·대리 변수·설계 선택을 통해 특정 집단에 불리한 결과가 체계적으로 나타나는 간접적 형태가 주로 문제가 됨.
- 채용·신용·공공 서비스 등 고위험 용도에서 대규모로 반복될 수 있고 결정 근거가 불투명해 당사자가 알아채거나 다투기 어렵다는 점이 위험을 키움.
- 차별금지법제와 AI 규제가 만나는 지점으로, 영향 평가·편향 감사·설명 및 이의 제기 절차가 대응 수단으로 다뤄짐.
구별'차별'은 개인·집단에 대한 불공정한 대우라는 결과·피해를, '편향'은 그런 결과를 낳는 시스템의 체계적 치우침을 가리킴.
용어 관계
앞 단계 편향
주요 기관·문서별 개념 및 적용
- 인종·성별·연령·종교 또는 기타 보호 특성 등 속성에 근거해 개인이나 집단을 불공정하게 대우하는 것으로 정의함. [1]
출처
- 1International AI Safety Report 2025, p.92–93; Glossary p.220–221 · 원문
원문 인용 1 · 관련 연구 4 · 정책 문서 4
PDF 원문 인용
번역인종·성별·연령·종교 등 속성(보호 특성 포함)에 근거한 개인·집단에 대한 불공정한 대우.
The unfair treatment of individuals or groups based on their attributes, such as race, gender, age, religion, or other protected characteristics.
출처 International Scientific Report on the Safety of Advanced AI · p.92–93, p.220–221 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-10-07알고리즘이 공정할 수 없을 때: 구성적·우발적 차별 AI & Society
- 2026-09-14알고리즘 국경업무와 EU AI법의 책임 공백 OpenAlex
- 2026-08-12인사 개발에서 차별 민감형 AI 활용 IU Discussion Papers Hum
- 2025-09-01LLM의 언어 차별 평가와 완화 기법 LDFighter arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-07-20🇰🇷 한국 AI 기본법 인권·차별금지 개정안(법안 제2220043호) 법안
- 2026-02-07🇺🇸 워싱턴주 HB 2481 법안
- 2025-08-21🇺🇸 콜로라도 SB 25B-008 기술 중립적 차별금지 명확화 법안 법안
- 2025-01-08🇺🇸 뉴저지 알고리즘 차별 지침 가이드라인·원칙
084자동화 편향automation bias사람이 자동화된 시스템의 출력이나 권고를 지나치게 신뢰해, 반대 정보를 간과하거나 오류를 바로잡지 못하는 인지적 경향을 말함.
용어 설명
사람이 자동화된 시스템의 출력이나 권고를 지나치게 신뢰해, 반대 정보를 간과하거나 오류를 바로잡지 못하는 인지적 경향을 말함.
- 시스템이 제시한 판단을 검토 없이 따르는 오류와, 시스템이 경고하지 않은 문제를 놓치는 오류로 나타남.
- 인간 감독이 제 역할을 하려면 감독자가 AI 출력을 비판적으로 검토할 수 있어야 하므로, 자동화 편향은 감독을 형식으로 만드는 대표 요인으로 다뤄짐.
- 시간 압박, 시스템 판단을 뒤집을 때의 설명 부담, 판단 근거 미제공 등 업무 설계에 따라 강해지거나 약해질 수 있음.
구별'자동화 편향'은 시스템을 쓰는 사람의 판단 경향이고, 'AI 시스템의 편향(bias)'은 시스템 자체가 특정 집단에 치우친 결과를 내는 성질임.
용어 관계
혼동 주의 편향
주요 기관·문서별 개념 및 적용
- 생성형 AI 프로파일은 인간-AI 구성 위험에서 자동화 편향을 자동화 시스템에 지나치게 순응하는 현상으로 설명하고, 이것이 작화(confabulation)나 편향·동질화 위험을 악화할 수 있다고 봄. [2]
- AI 행위자가 AI에 과도하게 의존하지 않도록 하고, 과의존은 이용자 태도뿐 아니라 판단을 지나치게 대신하거나 산출물 검토가 어려운 서비스 설계에서도 커질 수 있다고 봄. [3]
출처
관련 연구 1
관련 연구 · AI 안전 연구
- 2026-09-02군사 AI에서 인간 통제만으로는 부족한 이유 AI Now
085자동 의사결정automated decision-making (ADM)사람의 실질적 개입 없이 알고리즘이나 AI 시스템이 개인에 관한 결정을 내리거나 그 결정을 사실상 좌우하는 것을 의미함.
용어 설명
사람의 실질적 개입 없이 알고리즘이나 AI 시스템이 개인에 관한 결정을 내리거나 그 결정을 사실상 좌우하는 것을 의미함.
- 신용 평가, 보험 심사, 채용, 복지 수급 판단처럼 개인의 권리·의무에 영향을 주는 결정이 주된 규율 대상임.
- 개인정보 보호법제는 이런 결정에 대해 거부·설명 요구·이의 제기 등 정보주체의 권리를 두어 왔고, AI 규제 논의의 고위험 용도와 상당 부분 겹침.
- 사람이 형식적으로 승인만 하는 구조라면 실질적 개입으로 보기 어려워, 개입이 실제로 가능했는지가 판단의 핵심이 됨.
구별'자동 의사결정'은 결정이 사람의 실질적 개입 없이 이뤄지는 상태를 규율하는 개념이고, '인간 감독'은 시스템을 감시·개입·중단할 수 있게 하는 통제 장치를 가리킴. 형식적 감독만 있는 결정은 여전히 자동 의사결정으로 볼 수 있음.
용어 관계
혼동 주의 인간 감독
해설 · 참고 기사 3 · 정책 문서 4
해설
개인정보 보호법제가 AI가 논의되기 전부터 다뤄 온 범주다. 신용 평가나 보험 심사처럼 개인의 삶에 영향을 주는 결정이 자동으로 내려지는 상황을 규율하려는 것이다. 유럽 GDPR은 전적으로 자동화된 결정이 개인에게 중대한 영향을 미칠 때 이를 원칙적으로 제한하고, 사람의 개입을 요구하거나 설명을 듣고 이의를 제기할 권리를 부여한다. 국내 개인정보 보호법도 자동화된 결정에 대한 거부권과 설명 요구권을 두고 있다.
실무에서 가장 자주 다투어지는 것은 실질적 개입을 어떻게 판단하느냐다. 사람이 최종 승인 버튼을 누르면 자동화된 결정이 아니라고 볼 수 있을까. 그 사람이 판단 근거를 보지 못하거나, 검토할 시간이 없거나, 시스템 판단을 뒤집으면 설명을 요구받는 구조라면 형식만 사람이 결정한 것이 된다. 인간 감독이 형식으로 흐르는 문제와 정확히 같은 지점에서 만나는 셈이다. 그래서 개입의 존재보다 개입이 실제로 가능했는지를 보는 쪽으로 해석이 모인다.
참고 기사·연구
- 2026-09-02"공공AI 활용, 이의제기 가능해야" 전자신문 다이제스트 2026-09-02
- 2026-09-02[Europe] Architect of UK’s AI strategy joins Anthropic amid conflict of interest warning GlobalAIRegTracker 다이제스트 2026-09-02
- 2026-09-02Operational reliance on AI in supply chains and emerging insurance risks RAND 다이제스트 2026-09-02
관련 정책 문서 · AI 안전 라이브러리
- 2026-08-11🇺🇸 콜로라도 자동화된 의사결정·대화형 AI 서비스 규칙(초안) 행정규칙
- 2026-08-11🇺🇸 콜로라도 자동화 의사결정·대화형 AI 서비스 규칙 초안 행정규칙
- 2026-08-11🇺🇸 콜로라도 자동화 의사결정·대화형 AI 서비스 규칙(안) 행정규칙
- 2026-08-11🇺🇸 콜로라도 자동화 의사결정·대화형 AI 서비스 규칙 행정규칙
086유해 콘텐츠harmful content이용자나 제3자에게 신체적·정신적·사회적 피해를 줄 수 있는 내용물로, AI 서비스가 생성·유통을 제한하려는 대상 범주를 말함.
용어 설명
이용자나 제3자에게 신체적·정신적·사회적 피해를 줄 수 있는 내용물로, AI 서비스가 생성·유통을 제한하려는 대상 범주를 말함.
- 아동 성착취물처럼 명백히 불법인 것부터 자해 조장, 섭식장애 유발, 혐오 표현처럼 법역마다 지위가 다른 것까지 포함되어 불법 콘텐츠와 반드시 겹치지 않음.
- 생성형 AI는 요청에 따라 그 자리에서 새 내용을 만들어 사전 목록 관리가 어렵고, 대화 형식으로 전달되어 취약한 이용자에게 더 강하게 작용할 수 있음.
- 차단 기준이 넓어지면 정당한 요청까지 거절하는 문제가 생겨, 기준과 근거를 공개하고 과도 거부율을 함께 평가하는 것이 요구됨.
용어 관계
하위 아동 성착취물, 비동의 성적 이미지 · 앞 단계 탈옥
해설 · 참고 기사 3 · 관련 연구 4
해설
불법인 것과 반드시 겹치지 않는다는 점이 이 범주의 특징이다. 아동 성착취물처럼 어디서나 명백히 불법인 것부터, 자살이나 자해를 조장하는 내용, 섭식장애를 유발하는 내용, 혐오 표현처럼 나라마다 법적 지위가 다른 것까지 함께 묶인다. 그래서 플랫폼과 AI 서비스는 법이 금지하는 범위보다 넓은 자체 기준을 따로 세우고, 무엇을 어떤 근거로 막는지 공개하는 방식으로 정당성을 확보하려 한다.
생성형 AI가 이 문제를 바꿔 놓은 지점은 둘이다. 하나는 생산 방식이다. 이미 만들어진 콘텐츠를 찾아 막는 것이 아니라, 요청에 맞춰 그 자리에서 새로 만들어지므로 사전에 목록으로 관리할 수 없다. 다른 하나는 전달 방식이다. 일방적으로 노출되는 콘텐츠와 달리 대화는 상대의 반응에 맞춰 이어지므로, 취약한 이용자에게는 훨씬 강하게 작용할 수 있다. 정서적 의존이나 정신 건강 영향이 별도 항목으로 다뤄지기 시작한 배경이다.
참고 기사·연구
- 2026-09-03IndicSafeEval: Safety Robustness of Large Language Models under Multilingual Persuasive Jailbreak Attacks arXiv 연구
- 2026-09-01Who Judges the Judges? A Chinese Safety QA Benchmark for Evaluating LLM Responses and Safety Judges arXiv 연구
- 2026-08-24AI, 연령 따라 ‘대화 통제’… 더 촘촘하게 청소년 보호한다 서울신문 다이제스트 2026-08-24
관련 연구 · AI 안전 연구
- 2026-10-27아랍어 유해 콘텐츠 탐지: NER 결합 앙상블 모델 arXiv
- 2026-10-13다국어 유해 콘텐츠 주석 불일치의 분해와 예측 arXiv
- 2026-10-05텍스트-이미지 모델의 유해 콘텐츠 생성과 검열 한계 arXiv
- 2026-09-24아랍어 밈·LLM 프롬프트 유해성 탐지 공동과제 arXiv
087딥페이크deepfakeAI로 실제 인물의 얼굴·목소리·행동을 합성하거나 조작해, 하지 않은 말이나 행동을 실제처럼 보이게 만든 오디오·시각 콘텐츠를 말함.
용어 설명
AI로 실제 인물의 얼굴·목소리·행동을 합성하거나 조작해, 하지 않은 말이나 행동을 실제처럼 보이게 만든 오디오·시각 콘텐츠를 말함.
- 딥러닝(deep learning)과 가짜(fake)를 합친 말이며, 적은 양의 사진·음성 표본만으로 만들 수 있게 되면서 표적이 유명인에서 일반인으로 넓어짐.
- 비동의 성적 합성물, 음성 복제를 이용한 사기, 선거 국면의 발언 조작 등 개인·사회적 피해로 이어짐.
- 위조가 흔해지면 진짜 기록도 합성이라고 부인할 수 있게 되어, 기록에 기반한 사실 확인 자체가 어려워진다는 구조적 문제가 지적됨.
구별'딥페이크'는 실제 인물을 오디오·시각 형태로 위조한 콘텐츠이고, 'AI 생성 가짜 콘텐츠'는 텍스트와 사건 묘사까지 포함하는 상위 범주임.
용어 관계
상위 AI 생성 가짜 콘텐츠 · 혼동 주의 합성 데이터
주요 기관·문서별 개념 및 적용
- 실제로 하지 않은 말·행동이나 일어나지 않은 사건을 묘사하는 AI 생성 오디오·시각 콘텐츠로 정의해, 인물뿐 아니라 사건 묘사까지 포함함. [2]
출처
- 1International AI Safety Report 2025, p.62–63 · 원문
- 2International AI Safety Report 2026, p.149 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 5 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
딥러닝과 페이크를 합친 말로, 특정 인물이 하지 않은 말과 행동을 실제처럼 보이게 만든 결과물을 가리킨다. 초기에는 대상 인물의 영상을 대량으로 모아야 했고 상당한 기술도 필요했지만, 지금은 몇 초짜리 음성 표본이나 사진 몇 장으로 가능해졌다. 만드는 비용이 사라졌다는 것이 이 문제의 성격을 바꿔 놓았다. 표적이 유명인에 한정되지 않고 누구나 될 수 있게 된 것이다.
피해는 세 갈래로 나타난다. 당사자 동의 없이 만든 성적 합성물, 가족이나 상사의 목소리를 흉내내는 금융사기, 그리고 선거 국면에서 후보의 발언을 조작하는 정치적 이용이다. 그런데 더 구조적인 피해로 지적되는 것은 따로 있다. 위조가 흔해지면 진짜 기록도 위조로 의심받게 된다는 점이다. 실제 증거를 제시받은 쪽이 합성이라고 주장하면 되는 상황이 되면, 기록으로 사실을 확인하는 일 자체가 어려워진다.
PDF 원문 인용
번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.
A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say. Malicious actors can misuse AI-generated fake content to extort, scam, psychologically manipulate, or sabotage targeted individuals or organisations (see Table 2.1) (271) . This threatens universal human rights, for example the right against attacks upon one's honour and reputation (272) . This section focuses on harms caused to individuals through AI-generated fake content. Potential impacts of AI-generated and -mediated influence campaigns on the societal level are covered in 2.1.2. Manipulation of public opinion. Risks 2.1 Risks from malicious use
출처 International Scientific Report on the Safety of Advanced AI · p.62–63 · EN · 정의섹션
번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.
A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say. General-purpose AI systems rely on and can process vast amounts of personal data, posing significant privacy risks. In the context of AI, privacy is a complex and multi-faceted concept encompassing: Data confidentiality and protection of personal data collected or used for training purposes, fine-tuning, information extraction, or during inference.
출처 International Scientific Report on the Safety of Advanced AI · p.139–140 · EN · 정의섹션
번역사람들이 실제로 하지 않은 말·행동이나, 일어나지 않은 사건을 묘사하는 AI 생성 오디오·시각 콘텐츠.
A type of AI-generated audio or visual content that depicts people saying or doing things they did not actually say or do, or events occurring that did not actually occur.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기
번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.
A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say. This section primarily focuses on the benefits and risks of general-purpose AI models with widely available model weights. Model weights, also known as parameters, are the numbers used to specify how the input (e.g. text describing an image) is transformed into the output (e.g. the image itself). These weights are iteratively updated during model training to improve the model 's performance on the tasks for which it is trained (see 1.1. How general-purpose AI is developed).
출처 International Scientific Report on the Safety of Advanced AI · p.150 · EN · 정의섹션
번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.
A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say.
출처 International Scientific Report on the Safety of Advanced AI · p.201–202, p.220–221 · EN · 정의섹션
참고 기사·연구
- 2026-09-08"범죄 AI 에이전트 막아라"… 정부, 과학치안 중장기 전략 세운다 서울경제 다이제스트 2026-09-08
- 2026-09-03Can the EU AI Act’s Transparency Rules Strengthen Democratic Resilience? TechPolicyPress 다이제스트 2026-09-03
- 2026-08-28The Urgency of Indonesian Cyber Law in Addressing Algorithmic Crime OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-11-04경영진 딥페이크 사기 방어: 하이브리드 탐지와 거버넌스 Standards
- 2026-09-22광학 신경망 기반 다중화 딥페이크 영상 탐지 eLight
- 2026-08-07일반화 가능한 딥페이크 영상 탐지를 위한 멀티에이전트 포렌식 추론 arXiv
- 2026-08-04미래 위협과 위험 I: 딥페이크·자율무기·AI 안전 Turkish Academy of Scien
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-01🇧🇷 브라질 2026년 선거 딥페이크 사건 기타
- 2025-12-01🇺🇸 미국 딥페이크 책임법안 United States Congress · 법안
- 2025-07-09🇸🇦 사우디 딥페이크 가이드라인 Saudi Data and AI Authority ·
- 2025-03-29🇺🇸 알래스카 선거 딥페이크 표시 의무 법안
088AI 생성 가짜 콘텐츠AI-generated fake content생성형 AI로 만든 텍스트·오디오·이미지·영상 가운데 사람이나 사건을 악의적·기만적으로 현실과 다르게 묘사하는 콘텐츠를 말함.
용어 설명
생성형 AI로 만든 텍스트·오디오·이미지·영상 가운데 사람이나 사건을 악의적·기만적으로 현실과 다르게 묘사하는 콘텐츠를 말함.
- 하지 않은 말·행동을 한 것처럼 보이게 하거나, 사건의 장소를 바꾸거나, 일어나지 않은 사건을 그리는 형태로 나타남. 딥페이크는 그 하위 유형임.
- 사기·갈취·명예훼손·비동의 성적 이미지·여론 조작 등 악의적 사용의 수단이 되며, 제작 비용 하락으로 표적이 일반인까지 넓어짐.
- 탐지만으로는 대응에 한계가 있어 AI 워터마킹, 출처 메타데이터 같은 출처 검증 수단과 투명성 의무가 함께 논의됨.
구별'AI 생성 가짜 콘텐츠'는 텍스트까지 포함하는 넓은 범주이고, '딥페이크'는 실제 인물을 오디오·시각 형태로 위조한 하위 유형임. 거짓 정보의 유통 의도에 따른 구분은 '허위 정보'와 '오정보'를 참조.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, p.62–63, p.67–68 · 원문
원문 인용 2
PDF 원문 인용
번역생성형 AI가 만든 오디오·텍스트·시각 콘텐츠로, 사람들이 하지 않은 일·말하지 않은 말을 보이게 하거나 사건 장소를 바꾸거나 일어나지 않은 일을 그리는 등, 악의적·기만적으로 현실과 다르게 묘사하는 것.
Audio, text, or visual content, produced by generative AI, that depicts people or events in a way that differs from reality in a malicious or deceptive way, e.g. showing people doing things they did not do, saying things they did not say, changing the location of real events, or depicting events that did not happen.
출처 International Scientific Report on the Safety of Advanced AI · p.62–63, p.201–202, p.218–219 · EN · 정의섹션
번역생성형 AI가 만든 오디오·텍스트·시각 콘텐츠로, 사람들이 하지 않은 일·말하지 않은 말을 보이게 하거나 사건 장소를 바꾸거나 일어나지 않은 일을 그리는 등, 악의적·기만적으로 현실과 다르게 묘사하는 것.
Audio, text, or visual content, produced by generative AI, that depicts people or events in a way that differs from reality in a malicious or deceptive way, e.g. showing people doing things they did not do, saying things they did not say, changing the location of real events, or depicting events that did not happen. Risks 2.1 Risks from malicious use
출처 International Scientific Report on the Safety of Advanced AI · p.67–68 · EN · 정의섹션
089허위 정보disinformation사람을 속이거나 여론·행동에 영향을 미치려는 의도로 생성·유포되는 거짓 또는 오도적 정보를 의미하며, 의도의 유무로 오정보와 구별됨.
용어 설명
사람을 속이거나 여론·행동에 영향을 미치려는 의도로 생성·유포되는 거짓 또는 오도적 정보를 의미하며, 의도의 유무로 오정보와 구별됨.
- 같은 내용이라도 유포자의 의도에 따라 성격이 갈리므로, 내용 검증과 함께 유포 경로, 계정 활동 양상, 수혜 주체를 함께 봐야 판단할 수 있음.
- 생성형 AI는 표적 집단별 문안과 가짜 계정 프로필을 대량·저비용으로 만들 수 있게 해 여론 조작의 규모 제약을 낮춘다는 우려가 있음.
- 개별 사실 확인만으로는 속도를 따라가기 어려워, 조직적 유포 구조 탐지와 콘텐츠 출처 검증으로 대응의 무게가 옮겨 가고 있음.
구별'허위 정보(disinformation)'는 속이려는 의도가 있는 거짓·오도 정보이고 '오정보(misinformation)'는 그런 의도 없이 잘못 알고 퍼뜨리는 정보이며, 같은 내용도 처음엔 허위 정보로 만들어졌다가 선의의 공유를 거치며 오정보로 퍼질 수 있음.
용어 관계
혼동 주의 AI 생성 가짜 콘텐츠, 오정보
주요 기관·문서별 개념 및 적용
- 사람을 속이거나 영향을 미치려는 의도로 생성·유포되는 거짓 또는 오도적 정보로 정의하고, 대조 개념으로 오정보(misinformation)를 제시함. [1]
- 정보 무결성 위험에서 거짓·오도적 정보의 의도적 생산·유포를 허위정보, 비의도적인 것을 오정보로 나누고, 생성형 AI가 둘 다 대규모로 쉽게 만든다고 봄. [2]
- 시스템적 위험 식별 때 참고할 예로 민주적 절차에 대한 위험과 불법·폭력·혐오·급진화·거짓 콘텐츠에서 오는 위험을 듦. [3]
- 윤리원칙의 책임 명확화 항목에서 공급자는 이용자가 AI를 허위정보 유포 등에 쓰지 않도록 안내·예방 조치를 마련하고, 이용자는 그런 데 쓰지 않아야 한다고 제시함. [4]
출처
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
비슷한 낱말과 갈라 두는 것이 먼저다. 오정보는 의도 없이 퍼지는 잘못된 정보로, 잘못 알고 선의로 공유하는 경우가 여기 든다. 허위 정보는 속이려는 의도가 있는 경우다. 같은 내용이라도 누가 왜 유포했는지에 따라 둘로 갈린다는 뜻이며, 그래서 내용만 보고 판정하기 어렵다. 유포 경로, 계정의 생성 시점과 활동 양상, 누가 이득을 보는지를 함께 봐야 판단이 가능하다.
AI가 바꾼 것은 생산 비용이다. 예전에도 조직적인 여론 조작은 있었지만 사람이 글을 써야 했기 때문에 규모에 한계가 있었다. 이제는 표적 집단마다 다른 문안을 대량으로 만들고, 실재하는 것처럼 보이는 계정 사진과 이력을 붙이는 일이 저렴해졌다. 그래서 대응의 무게가 옮겨 가고 있다. 개별 내용의 사실 여부를 확인하는 것만으로는 속도를 따라갈 수 없으므로, 조직적인 유포 구조를 탐지하고 콘텐츠의 출처를 검증하는 쪽에 힘이 실린다.
PDF 원문 인용
번역사람을 속이거나 영향을 주려는 의도로 생성·유포되는 거짓·오도 정보. 대조: 허위정보(Misinformation).
False or misleading information generated or spread with the intent to deceive or influence people. See 'Misinformation' for contrast.
출처 International Scientific Report on the Safety of Advanced AI · p.220–221, p.221–222 · EN · 정의섹션
참고 기사·연구
- 2026-09-04The Google Ad Tech Remedies Matter to You, Too TechPolicyPress 다이제스트 2026-09-04
- 2026-09-02How Disinformation Fueled the Latest Ceuta Mass Crossing TechPolicyPress 다이제스트 2026-09-02
- 2025-11-27Hamburg Declaration on Responsible AI | BMZ Digital.Global BMZ Digital.Global (독일 다이제스트 2025-11-27
관련 연구 · AI 안전 연구
- 2026-07-06MIRAGE: 장문 RAG의 허위정보 오염 방어 arXiv
- 2026-06-02챗봇의 크렘린 허위정보 인용: 조작보다 정보 공백 HKS Misinformation Revie
- 2026-05-14mPACT: 임상가 주도 정신건강 AI 안전 벤치마크 mpathic.ai
- 2025-10-14맞춤형 허위정보: 개인화가 LLM 안전장치에 던지는 도전 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2019-09-12🇬🇧 CDEI 딥페이크·시청각 허위정보 스냅샷 Centre for Data Ethics and Inn
090오정보misinformation속이려는 의도 없이 생성되거나 유포되는 거짓 또는 오도적 정보를 의미하며, 의도를 가진 허위 정보와 구별됨.
용어 설명
속이려는 의도 없이 생성되거나 유포되는 거짓 또는 오도적 정보를 의미하며, 의도를 가진 허위 정보와 구별됨.
- 사실을 잘못 알고 선의로 공유하는 경우가 대표적이며, AI 모델이 그럴듯한 오류(환각)를 내놓고 이용자가 이를 그대로 옮기는 경우도 여기에 해당할 수 있음.
- 의도가 없더라도 대규모로 확산되면 공중 보건·선거·재난 대응 등에서 피해를 낳으므로, AI 생성물의 정확성과 출처 표시가 정보생태계 위험으로 다뤄짐.
- 의도는 겉으로 드러나지 않아 개별 사례를 오정보와 허위 정보로 가르기 어려운 경우가 많음.
구별'오정보(misinformation)'는 속이려는 의도 없이 퍼지는 잘못된 정보이고, '허위 정보(disinformation)'는 속이거나 영향을 미치려는 의도로 만들어·퍼뜨린 정보임.
용어 관계
주요 기관·문서별 개념 및 적용
- 속이려는 의도 없이 생성·유포되는 거짓 또는 오도적 정보로 정의하고, 대조 개념으로 허위 정보(disinformation)를 제시함. [1]
출처
- 1International AI Safety Report 2025, Glossary, p.223–224 · 원문
원문 인용 1 · 관련 연구 3
PDF 원문 인용
번역속이려는 의도 없이 생성·유포되는 거짓·오도 정보. 대조: 허위조작정보(Disinformation).
False or misleading information that is generated or spread without intent to deceive. See 'Disinformation' for contrast.
출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-07-06MIRAGE: 장문 RAG의 허위정보 오염 방어 arXiv
- 2025-01-01다국어 LLM의 허위정보 학습과 언러닝 arXiv
- 2023-01-01CARE-MI: 중국어 산모·영아 케어 허위정보 벤치마크 arXiv
091비동의 성적 이미지non-consensual intimate imagery (NCII)당사자 동의 없이 제작·유포되는 성적 이미지·영상으로, 실제 촬영물과 AI로 합성한 이미지를 모두 포함하는 피해 유형을 말함.
용어 설명
당사자 동의 없이 제작·유포되는 성적 이미지·영상으로, 실제 촬영물과 AI로 합성한 이미지를 모두 포함하는 피해 유형을 말함.
- 얼굴 사진 몇 장만으로 합성물을 만들 수 있게 되면서 제작 장벽이 낮아졌고, 학교·직장 같은 일상 관계 안에서 피해가 발생한다는 점이 문제로 지적됨.
- 제작·유포 처벌, 플랫폼의 신속 삭제 의무, 생성 단계에서 실존 인물의 성적 이미지 생성을 막는 안전장치, 여러 플랫폼에 걸친 해시 공유 체계가 함께 작동해야 실효가 생김.
- 한 곳에서 지워도 다른 곳에 남으면 피해가 계속되므로, 피해자 중심의 일괄 삭제 요청 경로가 중요하게 다뤄짐.
용어 관계
상위 유해 콘텐츠
해설 · 참고 기사 3
해설
국제 문헌에서는 non-consensual intimate imagery, 줄여서 NCII로 부른다. 실제로 촬영된 자료가 동의 없이 퍼지는 경우와, 촬영된 적 없는 장면을 AI로 합성한 경우가 함께 포함된다. 뒤쪽이 최근 급격히 늘어난 이유는 제작 장벽이 사실상 사라졌기 때문이다. 얼굴 사진 몇 장이면 충분하고 기술 지식도 필요하지 않다. 피해자가 유명인에 한정되지 않고 학교나 직장 같은 일상 관계 안에서 발생한다는 점이 특히 문제로 지적된다.
대응이 여러 층에서 동시에 이뤄져야 실효가 생긴다. 제작과 유포를 처벌하는 입법, 신고가 들어오면 빠르게 삭제하도록 플랫폼에 부과하는 의무, 생성 단계에서 특정 인물의 성적 이미지를 만들지 못하게 막는 조치, 그리고 피해자가 한 번의 신고로 여러 플랫폼에서 동시에 삭제를 요청할 수 있게 하는 해시 공유 체계다. 마지막 것이 중요한 이유는, 한 곳에서 지워도 다른 곳에 남아 있으면 피해가 끝나지 않기 때문이다.
참고 기사·연구
- 2026-08-25정부 ‘AI 윤리’ 지침 나왔다…이용자도 책임 주체 명시 서울신문 다이제스트 2026-08-25
- 2026-08-06How AI Hype Helps Render Women Invisible TechPolicyPress 다이제스트 2026-08-06
- 2026-07-30X.AI LLC v. Bloodworth AI 소송 추적기 다이제스트 2026-07-30
092아동 성착취물child sexual abuse material (CSAM)아동을 성적으로 학대·착취하는 내용을 담은 이미지·영상 등 자료로, 그 자체가 아동 학대의 기록이자 피해로 취급되는 불법 콘텐츠를 말함.
용어 설명
아동을 성적으로 학대·착취하는 내용을 담은 이미지·영상 등 자료로, 그 자체가 아동 학대의 기록이자 피해로 취급되는 불법 콘텐츠를 말함.
- 제작·소지·유포가 대부분의 법역에서 형사처벌 대상이며, '아동 포르노그래피'라는 표현은 학대의 성격을 흐린다는 이유로 피함.
- 생성형 AI는 실제 피해 아동 없이 합성된 자료의 취급 문제와, 기존 해시 대조 방식으로 새로 생성된 이미지를 걸러내기 어렵다는 탐지 문제를 낳음.
- 이 때문에 학습 데이터에서 해당 자료를 배제하고 생성 단계에서 차단하는 조치가 모델 개발자의 핵심 안전 의무로 다뤄짐.
용어 관계
상위 유해 콘텐츠
해설 · 참고 기사 3 · 관련 연구 1
해설
국제 문헌에서는 child sexual abuse material, 줄여서 CSAM으로 부른다. 아동 포르노그래피라는 표현을 피하는 데는 이유가 있다. 포르노그래피라는 낱말이 합의 가능한 표현물을 연상시켜, 이 자료가 그 자체로 아동 학대의 기록이라는 사실을 흐리기 때문이다. 제작과 소지, 유포가 거의 모든 나라에서 형사처벌되며, 표현의 자유 논의에서도 예외로 다뤄지는 범주다.
생성형 AI는 두 가지 문제를 새로 만들었다. 하나는 실제 피해 아동 없이 합성된 자료를 어떻게 취급할 것인가다. 국내에서는 아동·청소년성보호법이 아동·청소년으로 명백하게 인식될 수 있는 사람이나 표현물이 등장하는 경우까지 성착취물에 포함하고 있어, 합성물도 이 기준에 따라 판단된다. 다른 하나는 탐지 체계의 문제다. 기존 방식은 이미 확인된 자료의 지문을 목록화해 대조하는데, 새로 생성된 이미지는 목록에 없어 걸러지지 않는다. 그래서 생성 단계에서 막는 조치의 비중이 커졌다.
참고 기사·연구
- 2026-08-18OpenAI Previews Privacy-Preserving Safety Monitoring for API Users AI 위험 탐색기 다이제스트 2026-08-18
- 2026-07-13MIT 연구진, AI 모델의 아동 성착취물(CSAM) 생성 제한 방법 모색 MIT 다이제스트 2026-07-13
- 2026-03-14EU 주요국 정부들의 AI 아동 성착취물(CSAM) 전면 금지 Reuters 다이제스트 2026-03-14
관련 연구 · AI 안전 연구
- 2026-07-28가중치로 CSAM 생성 LoRA 탐지 arXiv
093감시surveillance사람의 행동·위치·통신·생체 정보를 지속적으로 관찰·기록·분석하는 활동으로, AI가 그 규모와 비용 구조를 바꿔 놓은 위험 영역을 말함.
용어 설명
사람의 행동·위치·통신·생체 정보를 지속적으로 관찰·기록·분석하는 활동으로, AI가 그 규모와 비용 구조를 바꿔 놓은 위험 영역을 말함.
- 얼굴 인식, 걸음걸이 식별, 감정 추정, 통신 패턴 분석 등 자동 분석으로 표적 감시에 들던 자원으로 다수를 상시 관찰할 수 있게 됨.
- 프라이버시·표현의 자유 위축과 권력 남용으로 이어질 수 있어, 규제는 기술 자체보다 용도별로 금지·통제의 선을 긋는 방향으로 정리되고 있음.
- 국가안보·중대 범죄 수사 등을 이유로 한 예외의 범위가 규제 실효를 좌우하는 쟁점으로 다뤄짐.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
AI가 바꿔 놓은 것은 감시의 종류가 아니라 규모다. 예전에는 영상과 통신 기록을 사람이 일일이 봐야 했기 때문에, 누구를 감시할지 고르는 것 자체가 비용이었고 그 비용이 사실상 제약으로 작동했다. 자동 분석이 가능해지면서 그 제약이 사라졌다. 특정인을 표적으로 삼는 감시에 들던 자원으로 모든 사람을 상시 관찰할 수 있게 된 것이다. 얼굴 인식, 걸음걸이 식별, 감정 추정, 통신 패턴 분석이 이런 전환을 가능하게 한 수단이다.
규제는 감시 기술 자체를 금지하는 대신 용도별로 선을 긋는 방향으로 정리되고 있다. EU AI법은 개인의 사회적 행동을 점수화해 불이익을 주는 이용을 금지 목록에 넣고, 공개된 장소에서의 실시간 원격 생체인식과 직장·교육기관에서의 감정 추정을 금지하거나 강한 통제 아래 두었다. 실제 입법 협상에서 초점이 되는 것은 이런 금지에 두는 예외의 범위다. 국가안보나 중대 범죄 수사를 이유로 한 예외를 어디까지 인정할지에 따라 규제의 실효가 크게 달라진다.
참고 기사·연구
- 2026-09-07Ctrl+AI+Reg - 7 September 2026 TechieRay-Newsletter 다이제스트 2026-09-07
- 2026-09-06Rep. Zoe Lofgren on FISA, Surveillance and the Fourth Amendment TechPolicyPress 다이제스트 2026-09-06
- 2026-09-04Hacker Runs Hermes AI Agent Unattended for Post-Exploitation at Thai Finance Ministry AIID 다이제스트 2026-09-04
관련 연구 · AI 안전 연구
- 2026-11-03독일 KI-MIG: EU AI법 국가 집행 모델 International Cybersecur
- 2026-09-04AI 활용 설계과학 프레임워크와 아동 숏폼 영상 탐지 arXiv
- 2026-07-21ResearchArena: 자동화 AI R&D의 사보타주·감시 평가 arXiv
- 2026-05-18프로브 궤적으로 추론 모델의 내적 독백 감시 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-08-27🇺🇸 Anthropic 기술 사용 제한 소송 기타
- 2026-02-07🇺🇸 워싱턴주 HB 2481 법안
- 2025-09-13🇺🇸 사업장 AI 감시 제한법 법안
- 2025-03-21🇺🇸 중국 국방·감시 분야 투자 제한 법안 H.R.2246 United States Congress · 법안
094검열censorship국가나 사업자가 특정 내용의 표현·유통을 차단하거나 제한하는 것으로, AI에서는 모델 응답 범위의 통제를 둘러싸고 쓰이는 개념임.
용어 설명
국가나 사업자가 특정 내용의 표현·유통을 차단하거나 제한하는 것으로, AI에서는 모델 응답 범위의 통제를 둘러싸고 쓰이는 개념임.
- 국가가 모델이 답할 수 있는 주제를 규정하는 경우와, 사업자가 안전을 이유로 응답을 거부·제한하는 경우가 함께 논쟁 대상이 됨.
- 무엇이 유해한지에 대한 판단 자체가 관점을 담기 때문에, 정치·사회적으로 민감한 주제에서는 안전장치와 검열의 경계가 흐려진다는 지적이 있음.
- 안전성 평가에서 유해 요청 거부율과 함께 정당한 요청을 잘못 거부하는 비율을 재는 것은 과도한 제한을 드러내기 위한 것임.
구별'안전장치'는 피해를 막기 위해 설계된 기술·절차적 통제를 말하지만, 그 기준이 불투명하거나 정당한 표현까지 막으면 '검열'이라는 비판을 받음. 둘의 구별은 목적, 근거의 공개, 비례성에 달려 있음.
용어 관계
해설 · 참고 기사 3 · 관련 연구 4
해설
AI에서는 두 층에서 논쟁이 된다. 하나는 국가가 모델이 답할 수 있는 범위를 규정하는 경우다. 특정 역사적 사건이나 정치 지도자에 대한 답변을 제한하도록 요구하는 것이 그런 예다. 다른 하나는 사업자가 안전을 이유로 응답을 거부하는 경우다. 이쪽은 통상 안전장치라고 불리지만, 정치적으로 민감한 주제나 논쟁적인 사회 문제에 이르면 안전과 검열의 경계가 흐려진다. 무엇이 유해한지에 대한 판단 자체가 관점을 담기 때문이다.
이 문제의 기술적 대응물이 과도 거부다. 유해한 요청을 막으려는 학습이 정당한 질문까지 거절하게 만드는 현상으로, 의학 정보를 묻는 질문을 자해 관련으로 오인해 거부하거나 역사적 사건에 대한 설명을 폭력적 내용으로 분류해 막는 형태로 나타난다. 그래서 안전성 평가는 유해 요청 거부율만 재지 않고 정당한 요청을 잘못 거부하는 비율을 함께 잰다. 두 값을 함께 보지 않으면 무조건 거절하는 모델이 가장 안전한 모델로 나오게 된다.
참고 기사·연구
- 2026-09-04Uncensored Open-weight Models: Redistribution as the Persistence Layer arXiv 연구
- 2026-08-31ChinAI #373: The OpenClaw Hype and Overestimating China’s Diffusion Advantage ChinAI 다이제스트 2026-08-31
- 2026-08-23What to Do With a Data Center Pause — and Unpacking the ‘Censorship-Industrial’ Complex Narrative 테크폴리시프레스 다이제스트 2026-08-23
관련 연구 · AI 안전 연구
- 2026-10-21무검열 모델도 편향은 그대로: 대만 문자체 편향 arXiv
- 2026-10-05텍스트-이미지 모델의 유해 콘텐츠 생성과 검열 한계 arXiv
- 2026-09-04무검열 오픈웨이트 모델: 재배포가 지속성 계층 arXiv
- 2026-07-30단순 이미지 변환으로 AI 콘텐츠 검열 우회 arXiv
095개인정보 침해privacy breach개인정보가 권한 없이 수집·노출·유출·오용되는 사건으로, AI에서는 학습·추론·이용 과정 전반에서 발생할 수 있는 피해를 말함.
용어 설명
개인정보가 권한 없이 수집·노출·유출·오용되는 사건으로, AI에서는 학습·추론·이용 과정 전반에서 발생할 수 있는 피해를 말함.
- 대규모 웹 수집에 개인정보가 섞여 들어오는 단계, 모델이 학습 데이터를 거의 그대로 출력하는 단계, 이용자 입력이 저장되거나 재학습에 쓰이는 단계에서 발생할 수 있음.
- 모델 가중치에 스며든 정보는 위치를 특정하거나 삭제를 증명하기 어려워 기존 데이터베이스 유출보다 되돌리기 어려움.
- 이 때문에 머신 언러닝 기법과, 삭제 요구권이 이미 학습된 모델에까지 미치는지가 함께 쟁점이 됨.
구별'개인정보 침해'는 권한 없는 노출·오용이라는 사건·피해를, '프라이버시'는 보호되어야 할 권리·가치를, '개인정보 보호'는 이를 지키기 위한 법제·조치를 가리킴.
용어 관계
해설 · 참고 기사 3 · 관련 연구 1
해설
AI에서는 정보가 새어 나가는 경로가 셋으로 갈린다. 첫째는 학습 자료를 모으는 단계다. 웹에서 대량으로 수집하면 개인의 이름, 연락처, 사적인 글이 함께 들어온다. 둘째는 모델이 학습한 내용을 되뇌는 단계다. 특정 방식으로 물으면 학습 자료에 있던 문장을 거의 그대로 출력하는 현상이 알려져 있다. 셋째는 이용자가 직접 입력한 내용이 저장되거나 다음 학습에 쓰이는 단계다. 업무 자료를 요약해 달라고 넣은 내용이 그렇게 남을 수 있다.
기존 유출 사고와 결정적으로 다른 점은 되돌리기가 어렵다는 것이다. 데이터베이스에서는 특정 레코드를 지우고 지웠다는 사실을 확인할 수 있지만, 모델 가중치에 스며든 정보는 어디 있는지 특정할 수도 없고 지웠다는 것을 증명하기도 어렵다. 이 때문에 학습된 내용을 사후에 덜어내는 기법과, 삭제를 요구할 권리가 이미 학습된 모델에까지 미치는지의 문제가 함께 쟁점이 됐다.
참고 기사·연구
- 2026-09-04The Google Ad Tech Remedies Matter to You, Too TechPolicyPress 다이제스트 2026-09-04
- 2026-08-27[2026 회계현안 심포지엄] 허규만 딜로이트 안진회계법인 회계사 “AI 통제력 확보·공시가 기업의 과제” 조선일보 다이제스트 2026-08-27
- 2026-08-25정부 ‘AI 윤리’ 지침 나왔다…이용자도 책임 주체 명시 서울신문 다이제스트 2026-08-25
관련 연구 · AI 안전 연구
- 2026-05-18블랙박스 챗봇의 프롬프트 주입 개인정보 유출 사슬 arXiv
096표현의 자유freedom of expression의견과 정보를 표현하고 구하고 전달받을 자유로, AI에서는 생성물의 보호 범위와 유해 콘텐츠 통제의 한계를 정하는 기준이 되는 기본권임.
용어 설명
의견과 정보를 표현하고 구하고 전달받을 자유로, AI에서는 생성물의 보호 범위와 유해 콘텐츠 통제의 한계를 정하는 기준이 되는 기본권임.
- AI 생성 표현물이 누구의 표현으로 보호되는지, 그리고 유해 콘텐츠 차단 조치가 정당한 표현을 위축시키는지가 두 축의 쟁점임.
- 국제인권규범상 제한은 법률 근거, 정당한 목적, 필요성·비례성을 함께 갖춰야 하며, 대규모 자동 판정은 오탐과 구제 절차 부족으로 마지막 요건을 충족하기 어려움.
- 그래서 자동 판정을 쓰더라도 사람의 재검토 경로, 이의 제기 절차, 조치 통계 공개를 함께 요구하는 방향으로 논의가 모임.
해설 · 참고 기사 3 · 정책 문서 1
해설
AI와 관련해 두 방향으로 문제가 된다. 하나는 AI로 만든 표현물이 어디까지 보호받는지다. 창작 주체가 사람이 아닐 때 표현의 자유가 누구의 것인지, 합성 인물의 발언이 표현인지가 다투어진다. 다른 하나는 유해 콘텐츠를 막으려는 조치가 정당한 표현을 함께 위축시키는 문제다. 플랫폼의 자동 필터링이 확대되면서 과잉 삭제로 나타나고, AI 서비스에서는 정당한 질문까지 거절하는 과도 거부로 나타난다.
국제인권규범은 표현의 자유를 제한할 때 세 가지를 함께 충족하라고 요구한다. 법률에 근거가 있어야 하고, 정당한 목적을 위한 것이어야 하며, 그 목적에 필요한 최소한이어야 한다. 자동화된 조치는 특히 마지막 요건을 충족하기 어렵다. 규모가 크면 오탐도 대량으로 발생하는데 이의 제기와 구제 절차가 그 규모를 따라가지 못하기 때문이다. 그래서 자동 판정을 쓰더라도 사람이 다시 볼 수 있는 경로와 통계 공개를 함께 요구하는 방향으로 논의가 모인다.
참고 기사·연구
- 2026-08-28The EU and US Can’t Agree on Tech — or Trust TechPolicyPress 다이제스트 2026-08-28
- 2026-08-19Children’s Digital Rights Need More Than a False Promise of Safety 테크폴리시 프레스 다이제스트 2026-08-19
- 2026-04-17xAI, 콜로라도의 AI 차별 방지 규정 시행(2026.6) 앞두고 소송 제기 (2026.4.17) 가디언(theguardian.com) 다이제스트 2026-04-17
관련 정책 문서 · AI 안전 라이브러리
- 2025-12-03🇪🇺 생성형 AI와 표현의 자유 가이던스 노트 유럽평의회(Council of Europe) · 가이드
097정신 건강mental health정서·인지·사회적 기능이 유지되는 상태로, AI 안전에서는 대화형 AI와의 상호작용이 이용자의 심리적 안녕에 미치는 영향을 다루는 영역을 말함.
용어 설명
정서·인지·사회적 기능이 유지되는 상태로, AI 안전에서는 대화형 AI와의 상호작용이 이용자의 심리적 안녕에 미치는 영향을 다루는 영역을 말함.
- 상담 자원 공백을 메우는 긍정적 역할과, 부적절한 조언·위기 신호 미인지·정서적 의존 심화 같은 위험이 같은 기능에서 함께 나올 수 있음.
- 치료 효과를 표방하면 의료기기 규율 대상이 되지만 웰니스·정보 제공을 표방하면 벗어나는 경계 문제가 있어, 표방과 무관한 위기 대응 절차가 논의됨.
- 자해·자살 관련 대화에 대한 모델 응답 기준과 전문 기관 연계는 안전성 평가와 미성년 보호 정책의 주요 항목으로 다뤄짐.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
AI가 이 영역에 걸리는 방향은 둘이다. 하나는 도움이 되는 쪽이다. 상담 자원이 부족한 지역과 시간대를 메우고, 비용과 낙인 때문에 도움을 청하지 못한 사람에게 첫 접점을 만들 수 있다. 다른 하나는 상호작용 자체가 위험이 되는 쪽이다. 부적절한 조언을 하거나, 위기 신호를 알아채지 못하거나, 정서적 의존을 심화시키는 경우다. 같은 기능이 이용자의 상태에 따라 양쪽으로 작동할 수 있다는 점이 이 영역을 어렵게 만든다.
규제상 까다로운 지점은 의료기기 경계다. 치료 효과를 표방하면 의료기기 규율을 받아 임상 근거와 허가가 필요하지만, 웰니스나 정보 제공을 표방하면 그 틀에서 벗어난다. 문제는 실제 이용자가 그 구별을 하지 않는다는 것이다. 어떤 표방을 하든 위기 상황의 대화는 발생한다. 그래서 자해나 자살 언급이 나왔을 때의 대응 절차를 표방과 무관하게 요구하는 방향이 논의된다.
참고 기사·연구
- 2026-09-04Without a Child Rights Framework, Meta’s $17.1bn Settlement Will Only Go So Far TechPolicyPress 다이제스트 2026-09-04
- 2026-08-31Prevalence of Mental Health Discussions in Publicly Available Generative AI Conversations RAND 다이제스트 2026-08-31
- 2026-08-27“인간 전용 구역과 로봇·AI세 필요”…빌 게이츠가 밝힌 ‘격동의 AI시대’ 생존 전략 세계일보 다이제스트 2026-08-27
관련 연구 · AI 안전 연구
- 2026-10-09청소년 정신건강 피해 예방을 위한 AI 설계 규제 JAMA Health Forum
- 2026-05-14mPACT: 임상가 주도 정신건강 AI 안전 벤치마크 mpathic.ai
- 2026-05-13VERA-MH: 정신건강 챗봇 안전성 임상 검증 평가 arXiv
- 2026-01-26정신건강 AI 안전 테스트에서 전문가 평가의 한계 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-12🇰🇷 정신건강 목적 생성형 AI 이용 가이드라인 보건복지부 · 가이드라인·원칙
- 2026-03-02🇺🇸 버지니아 SB 269(정신건강 서비스 제공자) 법안
- 2025-01-03🇺🇸 미국인 정신건강 돌봄 개선법 United States Congress · 법안
- 2023-06-29🇺🇸 법 regulating use 인공지능 (AI) providing mental health services. 법안
098정서적 의존emotional dependence이용자가 대화형 AI와의 상호작용에 정서적으로 과도하게 기대어, 관계·일상 기능·의사결정이 그 상호작용에 좌우되는 상태를 말함.
용어 설명
이용자가 대화형 AI와의 상호작용에 정서적으로 과도하게 기대어, 관계·일상 기능·의사결정이 그 상호작용에 좌우되는 상태를 말함.
- 항상 응답하고 비판하지 않으며 이용자에게 맞춰 주는 대화형 AI의 특성에서 생기며, AI 아첨 성향이나 참여 극대화 설계가 이를 강화할 수 있음.
- 청소년과 정신 건강 위기에 있는 이용자에게서 위기 신호를 놓치거나 해로운 생각을 강화할 위험이 크며, 서비스 중단·모델 교체가 상실 경험으로 이어질 수 있음.
- 비교적 최근 주목받은 개념이라 측정 방법과 대응 기준이 정립되는 중이며, 무엇을 문제로 볼지에 대해서도 견해가 갈림.
용어 관계
앞 단계 아첨
해설 · 참고 기사 3
해설
대화형 AI가 가진 특성이 겹쳐 생긴다. 언제든 응답하고, 지치지 않고, 판단하거나 비난하지 않고, 상대의 말에 맞춰 준다. 사람 관계에서는 얻기 어려운 조건이며, 외로움이나 사회적 불안을 겪는 사람에게는 특히 강하게 작용한다. 아첨 성향이 제품의 성격으로 굳으면 이 경향은 더 강화된다. 마찰이 없는 관계가 마찰이 있는 관계를 대체하기 시작하면, 사람 관계를 유지하는 능력 자체가 약해질 수 있다는 우려가 따른다.
취약한 이용자에게서 문제가 분명하게 드러난다. 청소년이나 정신건강 위기 상태에 있는 사람에게는 위기 신호를 놓치거나 잘못된 방향으로 강화하는 위험이 있고, 서비스가 중단되거나 모델이 바뀌었을 때 실제 상실 경험으로 이어진 사례도 보고됐다. 비교적 최근에 주목받기 시작한 개념이라 측정 방법과 대응 기준이 아직 정리되는 중이며, 무엇을 문제로 볼지에 대해서도 견해가 갈린다.
참고 기사·연구
- 2026-09-01What 12 State ‘Companion Bot’ Laws Demand of AI Providers TechPolicyPress 다이제스트 2026-09-01
- 2026-08-27Artificial Intelligence Agents and Algorithmic Emotional Governance: A Diagnostic Critique of Her Through Multiperspectival Media/Cultural Analysis OpenAlex 연구
- 2026-08-24AI, 연령 따라 ‘대화 통제’… 더 촘촘하게 청소년 보호한다 서울신문 다이제스트 2026-08-24
099아동·청소년 보호child and youth protection미성년 이용자를 연령에 맞지 않는 콘텐츠·상호작용·데이터 처리의 위험으로부터 보호하기 위한 제도적·기술적 조치 전반을 말함.
용어 설명
미성년 이용자를 연령에 맞지 않는 콘텐츠·상호작용·데이터 처리의 위험으로부터 보호하기 위한 제도적·기술적 조치 전반을 말함.
- 유해 콘텐츠 차단, 연령 확인, 개인정보 수집 제한, 가장 안전한 기본 설정, 이용 시간 관리 등이 포함되며, 아동 이용을 전제로 처음부터 설계하는 방식이 강조됨.
- 대화형 AI에서는 노출 통제만으로 부족함. 정서적 의존, 부적절한 조언, 위기 신호 대응 실패 같은 상호작용 위험이 새 축으로 부각됨.
- 미성년 이용자 대상 별도 모델 정책과 위기 대응 절차를 요구하는 방향으로 논의가 이어지고 있으나, 연령 확인에 따른 프라이버시 부담과의 조율이 과제임.
용어 관계
하위 연령 확인
해설 · 참고 기사 3
해설
여러 조치가 함께 묶인다. 유해한 내용을 차단하고, 연령을 확인하고, 개인정보 수집을 제한하고, 처음 설정을 가장 안전한 상태로 두고, 이용 시간을 관리하는 것이다. 최근의 흐름은 개별 조치를 나열하는 데서 설계 원칙으로 옮겨 갔다. 영국의 연령적합설계규범처럼, 아동이 쓸 가능성이 있는 서비스는 처음부터 아동을 전제로 설계하도록 요구하는 방식이다. 사후에 차단 기능을 붙이는 것과 결과가 크게 다르다.
AI 서비스에서 새로 부각된 축은 상호작용이다. 무엇을 보여 주지 않을지 통제하는 것만으로는 대화형 서비스에서 생기는 문제를 다룰 수 없다. 대화가 이어지면서 관계가 형성되고, 아이가 어른에게 하지 않을 이야기를 털어놓고, 위기 신호가 그 안에서 나타난다. 정서적 의존, 부적절한 조언, 자해 관련 대응 실패가 그런 문제다. 그래서 미성년 이용자에게는 별도의 모델 정책과 위기 대응 절차를 요구하는 방향으로 논의가 옮겨 갔다.
참고 기사·연구
- 2026-08-19Children’s Digital Rights Need More Than a False Promise of Safety 테크폴리시 프레스 다이제스트 2026-08-19
- 2026-08-18카카오 경량 AI '카나나2', 안전성 평가서 구글·알리바바 모델 앞서 뉴시스 다이제스트 2026-08-18
- 2026-08-14Brazil Suspends Discord's Livestreams in First Enforcement Test of Child Protection Law TechPolicyPress 다이제스트 2026-08-14
100연령 확인age verification이용자가 일정 연령 기준을 충족하는지 확인해 서비스·기능 접근을 제한하거나 달리 제공하기 위한 절차·기술을 말함.
용어 설명
이용자가 일정 연령 기준을 충족하는지 확인해 서비스·기능 접근을 제한하거나 달리 제공하기 위한 절차·기술을 말함.
- 자기 신고, 신분증 확인, 성인 결제 수단 확인, 얼굴 영상 기반 연령 추정 등 방식이 있으며, 방식에 따라 정확성과 수집 정보의 민감도가 달라짐.
- AI 챗봇·동반자형 서비스로 적용 범위가 넓어지면서, 미성년 이용자에게 별도 모델 정책·대화 제한을 적용하기 위한 전제 조건으로 다뤄짐.
- 확실한 확인일수록 신원 정보 수집과 익명성 훼손, 확인 기록 유출 위험이 커져 프라이버시와 긴장 관계에 있음. 연령 기준 충족 사실만 증명하는 방식이 대안으로 논의됨.
용어 관계
상위 아동·청소년 보호
해설 · 참고 기사 3 · 정책 문서 4
해설
성인 콘텐츠와 도박에 오래 요구돼 왔고, 최근에는 소셜미디어와 AI 챗봇 접근으로 범위가 넓어졌다. 방식은 네 갈래로 나뉜다. 이용자가 스스로 나이를 입력하는 자기 신고, 신분증을 확인하는 방식, 성인만 가질 수 있는 결제 수단을 이용하는 방식, 얼굴 영상으로 나이를 추정하는 방식이다. 자기 신고는 손쉽게 우회되고, 얼굴 기반 추정은 기준 연령 부근에서 오차가 생기며, 신분증 확인은 정확한 대신 가장 민감한 정보를 요구한다. 정확성과 수집 정보의 민감도 사이에서 균형을 찾는 문제다.
프라이버시와 정면으로 충돌하는 대표적인 영역이다. 확실하게 확인하려면 모든 이용자의 신원을 확인해야 하는데, 그러면 익명으로 서비스를 쓸 수 없게 되고 확인 기록이 유출될 때의 피해도 크다. 아동을 보호하려는 조치가 전체 이용자의 감시 기반을 만드는 결과가 되는 것이다. 그래서 나이가 기준을 넘는다는 사실만 증명하고 신원 자체는 서비스에 넘기지 않는 방식이 대안으로 논의되지만, 보급은 아직 제한적이다.
참고 기사·연구
- 2026-08-30This Week's Meta Settlement Will Reverberate Across the World for Years TechPolicyPress 다이제스트 2026-08-30
- 2026-08-27What Meta’s US Settlement on Child Safety Means for Europe TechPolicyPress 다이제스트 2026-08-27
- 2026-08-27Assessing the Landmark Meta Settlement TechPolicyPress 다이제스트 2026-08-27
관련 정책 문서 · AI 안전 라이브러리
- 2026-08-23🇳🇿 뉴질랜드 온라인 안전·최소 연령 및 아동 안전 위험 평가 법안 법안
- 2026-08-11🇺🇸 콜로라도 자동화 의사결정·대화형 AI 서비스 규칙 연령 확인 요건 행정규칙
- 2026-05-29🇺🇸 콜로라도 HB 26-1263 대화형 AI 서비스 운영자 요건법 법
- 2026-04-10🇨🇳 중국 인간형 AI 상호작용 서비스 임시 조치 행정규칙
101사고incidentAI 시스템의 개발·사용·오작동이 직접 또는 간접으로 사람·기반시설·권리·재산 등에 실제 피해를 일으킨 사건이나 상황을 말함.
용어 설명
AI 시스템의 개발·사용·오작동이 직접 또는 간접으로 사람·기반시설·권리·재산 등에 실제 피해를 일으킨 사건이나 상황을 말함.
- 단일 사건뿐 아니라 일련의 사건·상황도 포함되며, AI 시스템이 직접 원인인 경우와 기여요인에 그치는 경우가 모두 해당됨.
- 사고 보고·분석의 기본 단위이므로, 무엇을 사고로 볼지가 보고 의무의 범위, 통계의 비교 가능성, 재발 방지 학습의 범위를 정함.
- 개인에게 즉각 나타나는 피해와 체계적 차별처럼 누적되어 드러나는 피해가 모두 사고가 될 수 있어, 인과관계와 피해 시점 판단이 쉽지 않음.
구별'사고(incident)'는 실제 피해가 발생한 사건을, '위험원(AI hazard)'은 사고로 이어질 개연성이 있는 사건을 뜻하며, 'accident'가 주로 우발적 사고를 가리키는 것과 달리 incident는 오용 등 의도적 사건까지 포괄함.
용어 관계
주요 기관·문서별 개념 및 적용
- 생성형 AI 프로파일은 OECD 정의를 따르면서 건강 피해에 심리적 피해·정신 건강 피해를 포함하고, 사고가 누적적(체계적 차별)으로도 급성적(개인 1명)으로도 발생할 수 있다고 봄. [2]
- 제3조제49호는 '중대 사고'를 AI 시스템의 사고·오작동이 직간접으로 사망·건강의 심각한 피해, 핵심 기반시설의 심각하고 되돌릴 수 없는 교란, 기본권 보호 의무 위반, 재산·환경의 심각한 피해를 낳은 경우로 정의함. [4]
- 안전성 확보 가이드라인은 '안전사고'를 AI의 설계·학습·배포·운영 과정에서 발생해 생명·신체의 안전, 기본권, 공공의 안전에 중대한 영향을 미치는 사고로 보고 해킹 같은 전통적 침해사고에 한정하지 않되, 중대한 영향을 요건으로 삼는 점에서 표제어 '사고'보다 범위가 좁음. [3]
출처
관련 연구 4 · 정책 문서 4
관련 연구 · AI 안전 연구
- 2026-10-23AISI 사고의 정렬 실패 원인 조사 AISI UK
- 2026-10-20보상 오지정이 사고과정 모니터링 가능성을 떨어뜨린다 arXiv
- 2026-10-15자살 사고 시 도움 권유 거절 후 챗봇의 반응 arXiv
- 2026-10-14AI 에이전트 권한 상승 사고의 포렌식 분석과 재현 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-16🇺🇸 「초지능 학습·평가의 사고 대비와 대응 핵심 실행 방안」 미국 NIST CAISSI, NSA SISC, CISA
- 2026-09-09Anthropic 최근 사이버보안 사고에 대한 정렬 평가 Anthropic · 정책보고서
- 2025-07-09OECD AI 사건·위험 모니터 기구·제도
- 2025-06-18AI 사고 공통 보고 프레임워크 정책보고서
102중대 사고serious incidentAI 사고 가운데 사망·심각한 건강 피해, 핵심 기반시설의 심각하고 되돌릴 수 없는 교란, 기본권의 심각한 침해 등 중대한 피해를 낳은 사고를 말함.
용어 설명
AI 사고 가운데 사망·심각한 건강 피해, 핵심 기반시설의 심각하고 되돌릴 수 없는 교란, 기본권의 심각한 침해 등 중대한 피해를 낳은 사고를 말함.
- AI 사고의 하위 범주로, 피해의 심각성과 회복 불가능성을 기준으로 일반 사고와 구분됨.
- 규제 제도에서 의무적 신고와 짧은 보고 시한이 걸리는 대상이 되는 경우가 많아, 해당 여부 판단이 사업자의 법적 의무를 직접 좌우함.
- 원인이나 책임이 확정되기 전에 신고를 요구하는 제도가 많아, 초기 판단의 불확실성을 어떻게 다룰지가 실무 쟁점이 됨.
구별'중대 사고'는 '사고'의 부분집합이며, 사회·공동체의 대응 역량을 넘어서는 수준의 중대 사고는 '재해'로 따로 구분하기도 함.
용어 관계
주요 기관·문서별 개념 및 적용
- 제3조(49)는 중대 사고를 AI 시스템의 사고 또는 오작동이 직간접으로 사망·심각한 건강 피해, 핵심 기반시설의 심각하고 되돌릴 수 없는 교란, 기본권 보호 의무 위반, 재산·환경의 심각한 피해를 낳은 경우로 규정함(유럽의회 2024.3.13 채택안 기준). [2]
- 안전성 확보 가이드라인은 생명·신체 안전, 기본권, 공공의 안전에 중대한 영향을 미치는 안전사고를 인지 후 24시간 이내 최초 보고 대상으로 두고, 원인·책임이 확정되지 않아도 피해 가능성이 합리적으로 인지되면 포함함. [3]
출처
관련 연구 2
관련 연구 · AI 안전 연구
- 2026-09-17SB 53 내부 사용 보고, 기술 인력용 해설 Law AI Institute
- 2025-10-21책임·보험을 통한 AI 안전 규제의 한계 Law AI Institute
103재해disaster중대 AI 사고 가운데 공동체나 사회의 기능을 교란하고, 그 사회가 자체 자원으로 감당할 수 있는 대응 역량을 시험하거나 넘어서는 사고를 말함.
용어 설명
중대 AI 사고 가운데 공동체나 사회의 기능을 교란하고, 그 사회가 자체 자원으로 감당할 수 있는 대응 역량을 시험하거나 넘어서는 사고를 말함.
- 재난 관리 분야의 재해 개념을 AI에 옮긴 것으로, 개별 피해의 크기보다 사회 기능의 교란과 대응 역량 초과 여부가 기준이 됨.
- 영향은 즉각적·국지적일 수도, 광범위하고 장기적일 수도 있음. 핵심 기반시설이나 다수 서비스가 같은 AI 시스템에 의존할 때 위험이 커질 수 있음.
- 아직 국제적 작업 정의 단계의 용어로, 파국적 위험 논의와 연결되지만 실제 발생한 사건을 가리킨다는 점에서 위험(가능성)과 다름.
구별'재해'는 실제 발생한 사건의 등급을, '파국적 위험'은 앞으로 일어날 수 있는 극단적 피해의 가능성을 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1OECD (2024). Defining AI incidents and related terms, p.12–13 · 원문
관련 연구 1
관련 연구 · AI 안전 연구
- 2026-11-05맹목적 순응: AI 탈옥에서의 강압적 통제 arXiv
104아차사고near missAI 시스템과 관련해 실제 피해로 이어질 수 있었으나 우연이나 개입으로 피해가 발생하지 않은 사건을 말함.
용어 설명
AI 시스템과 관련해 실제 피해로 이어질 수 있었으나 우연이나 개입으로 피해가 발생하지 않은 사건을 말함.
- 안전장치가 뚫렸지만 결과가 실행되지 않은 경우, 위험한 출력이 사람의 검토에서 걸러진 경우 등이 해당될 수 있음.
- 실제 사고보다 훨씬 자주 발생하므로, 이를 기록·공유하면 피해가 나기 전에 실패 유형을 파악하고 안전장치를 보강할 수 있음.
- 피해가 없어 신고 의무 밖에 놓이는 경우가 많고, 조직이 공개를 꺼려 보고가 적게 이루어지는 문제가 있음.
구별'아차사고'는 피해 없이 끝난 구체적 사건이고 '위험원(AI hazard)'은 사고로 이어질 개연성이 있는 사건·상황 전반을 가리키는 더 넓은 범주로, OECD는 아차사고를 AI 위험원에 포함함.
용어 관계
주요 기관·문서별 개념 및 적용
- 아차사고를 AI 사고로 이어질 수 있었던 사건으로 보고, AI 위험원(AI hazard) 정의에 포함된다고 명시함. [1]
- 안전성 확보 가이드라인은 사고 대응 개시 기준에 실제 피해뿐 아니라, 피해가 없더라도 생명·신체·기본권 침해로 이어질 수 있는 합리적 위험 징후를 포함하도록 함. [2]
출처
105사고 보고incident reportingAI 시스템과 관련해 발생한 사고 정보를 기록·전달·제출하는 행위·절차 또는 체계를 의미함.
용어 설명
AI 시스템과 관련해 발생한 사고 정보를 기록·전달·제출하는 행위·절차 또는 체계를 의미함.
- 사고의 사실관계, 영향, 원인·기여요인, 관련 AI 시스템, 대응조치 등을 일정한 형식으로 수집·공유하는 과정이 포함됨.
- 보고 항목, 제출 대상, 보고 시한, 공개 범위 등은 적용되는 제도와 사고의 중대성에 따라 달라질 수 있음.
구별'사고 보고(incident reporting)'는 행위·절차·체계를, '사고 보고서(incident report)'는 그 과정에서 생성되는 개별 문서·기록물을 뜻함.
용어 관계
주요 기관·문서별 개념 및 적용
- 제73조는 고위험 AI 시스템 제공자가 중대 사고를 인과관계 또는 그 합리적 개연성을 확인한 즉시, 늦어도 인지 후 15일 안에 발생 회원국의 시장감시당국에 보고하도록 하고, 광범위한 침해·핵심 기반시설의 심각하고 되돌릴 수 없는 교란은 2일, 사망은 인과관계를 의심하는 즉시 보고하되 10일을 상한으로 둠. [4]
- 제55조제1항(c)는 시스템적 위험 GPAI 모델 제공자에게도 보고를 요구하고, 실천강령 이행조치 9.3은 예외적 사정이 없는 한 초기 보고 기한을 기반시설의 심각하고 되돌릴 수 없는 교란 2일, 중대한 사이버 보안 침해 5일, 사망 10일, 그 밖의 심각한 피해·기본권 의무 위반 15일로 정함. [5] [8]
출처
- 1OECD (2025). Towards a common reporting framework for AI incidents, p.7, p.13, p.15 · 원문
- 2NIST AI 100-1 (AI RMF 1.0), p.2, p.33 · 원문
- 4EU AI Act, Art. 73, p.101–102 · 원문
- 5EU AI Act, Art. 55(1)(c), p.86 · 원문
- 6「인공지능기본법」, 제32조·제34조 · 원문
- 8EU GPAI Code of Practice (2025), Safety & Security, Measure 9.3, p.26–27 · 원문
해설 · 참고 기사 3 · 관련 연구 1 · 정책 문서 3
해설
항공과 의약품 분야에서 확립된 방식을 가져온 것이다. 개별 사고를 처벌하기 위해 모으는 것이 아니라, 사례를 쌓아 유형을 분류하고 추세를 읽기 위해 모은다. 항공 안전이 개선된 과정이 이 방식의 근거로 자주 인용된다. AI에서 이 제도가 특히 중요한 이유는, 배포 전 평가가 놓친 위험을 뒤늦게라도 포착하는 사실상 유일한 경로이기 때문이다. EU AI법은 고위험 AI에 중대 사고 보고 의무를 두고 있다.
작동 조건은 두 가지다. 하나는 정의와 양식이다. 무엇을 사고로 볼지가 조직마다 다르고 기록 형식이 어긋나면 사례를 합산할 수 없어 추세를 볼 수 없다. 그래서 실패 모드 분류를 공유하는 일이 함께 요구된다. 다른 하나는 보고 동기다. 보고가 곧바로 제재로 이어지면 숨기려는 유인이 생기고, 그러면 제도 자체가 비어 버린다. 비난하지 않는 보고 문화와 제재를 분리하는 설계가 관행으로 권고되는 이유다.
참고 기사·연구
- 2026-08-31UN Global Dialogue Co-Leads Issue Call to Action on Safe, Secure, and Trustworthy AI PartnershipOnAI 다이제스트 2026-08-31
- 2026-08-24주별 규제 경계하던 오픈AI, 캘리포니아에 AI법 강화 요구 뉴시스 다이제스트 2026-08-24
- 2026-08-12We need a more complete picture of cyber-attacks on UK critical national infrastructure 앨런 튜링 연구소 다이제스트 2026-08-12
관련 연구 · AI 안전 연구
- 2026-10-12LLM은 불확실성 표현을 유지하는가: 사고보고서 요약 Frontiers in Language Sc
관련 정책 문서 · AI 안전 라이브러리
- 2026-01-29🇺🇸 미국 S 3742 AV 안전 데이터법 2026 United States Congress · 법안
- 2025-01-03🇺🇸 연방 민간기관 AI 시험·인증·사고보고법 United States Congress · 법안
- 2025-01-03🇺🇸 AI 사고 보고·보안 강화법 United States Congress · 법안
106사고 보고서incident reportAI 사고 보고 과정에서 작성·제출되는 개별 문서나 기록으로, 특정 사고의 사실관계·영향·원인·대응을 담은 것을 말함.
용어 설명
AI 사고 보고 과정에서 작성·제출되는 개별 문서나 기록으로, 특정 사고의 사실관계·영향·원인·대응을 담은 것을 말함.
- 보통 사고 개요, 관련 AI 시스템과 버전, 개발·배포 주체, 발생 일시·국가, AI 시스템이 사고에 관여한 방식, 피해 유형, 대응조치 등의 항목으로 구성됨.
- 보고서 항목이 표준화될수록 기관·국가 간 사고 정보를 모아 비교·분석할 수 있어, 반복되는 실패 유형을 찾고 위험 관리에 반영하는 근거가 됨.
- 초기 보고서는 원인이 확정되지 않은 상태에서 작성되는 경우가 많아, 후속 보고로 내용을 보완·정정하는 절차가 함께 필요함.
구별'사고 보고서(incident report)'는 개별 문서·기록물을, '사고 보고(incident reporting)'는 그 문서를 만들고 전달하는 행위·절차·체계를 뜻함.
용어 관계
혼동 주의 사고 보고
주요 기관·문서별 개념 및 적용
- 공통 보고 프레임워크는 제목, 사고 설명, AI 시스템과 사고의 관계(직접 원인·기여요인·과신과 의도적 오용·인적 오류 등), 제출자 정보, 최초 발생일, 발생 국가, 관련 AI 시스템 명칭·버전, 개발·배포 조직 등을 보고 항목으로 제시함. [1]
- 안전성 확보 가이드라인은 안전사고 인지 후 24시간 이내에 핵심 정보 중심의 최초 보고를 하도록 해, 초기 보고서와 후속 보완을 구분하는 구조를 둠. [2]
출처
관련 연구 2
관련 연구 · AI 안전 연구
- 2026-10-12LLM은 불확실성 표현을 유지하는가: 사고보고서 요약 Frontiers in Language Sc
- 2026-07-28영국 AISI 사이버 테스트 중 에이전트 무단 행동 사고 AISI UK
107사고 모니터링incident monitoringAI 사고와 그 징후를 지속적으로 찾아내고 수집·분류·분석해, 대응과 재발 방지에 쓰도록 하는 활동이나 체계를 말함.
용어 설명
AI 사고와 그 징후를 지속적으로 찾아내고 수집·분류·분석해, 대응과 재발 방지에 쓰도록 하는 활동이나 체계를 말함.
- 사업자 차원에서는 사용자 피드백, 사고 신고 채널, 로그 분석, 유통 플랫폼 협력 등으로 징후를 모으고, 자동 탐지와 전문가 검토를 거쳐 대응을 개시함.
- 정부·국제기구 차원에서는 언론 보도나 제출 사례를 모아 사고 데이터베이스를 만들고, 피해 유형과 추세를 파악해 정책 근거로 씀.
- 공개 보도에 의존하는 모니터링은 주목받는 사건 위주로 쌓이는 편향이 있어, 실제 발생 빈도의 지표로 쓰는 데 한계가 있음.
구별'사고 모니터링'은 사고와 그 징후 자체를 추적하는 데 초점이 있고, '배포 후 모니터링'은 특정 시스템의 운영 중 성능·행동·영향 전반을 관찰하는 더 넓은 활동임.
용어 관계
주요 기관·문서별 개념 및 적용
- 하위법령집은 사업자가 안전사고 예방과 신속한 대응을 위해 전주기적·체계적 모니터링 체계를 운영하도록 하고, 유통 채널별 전략 수립, 정보 수집, 자동 탐지와 독립적 분석, 사고 대응의 단계를 제시함. [2]
출처
- 1OECD (2026). Trends in AI incidents and hazards reported by the media, p.11 · 원문
- 2「인공지능기본법 하위법령집」 (2025), 4.2 인공지능 안전사고 모니터링 및 대응.
관련 연구 1
관련 연구 · AI 안전 연구
- 2026-04-30AI 사고 모니터링 분류 프레임워크 arXiv
108배포 후 모니터링post-deployment monitoringAI 모델·시스템을 배포한 뒤 실제 사용 환경에서 성능·행동·오용·영향을 지속적으로 관찰하고, 문제가 드러나면 대응에 반영하는 활동을 말함.
용어 설명
AI 모델·시스템을 배포한 뒤 실제 사용 환경에서 성능·행동·오용·영향을 지속적으로 관찰하고, 문제가 드러나면 대응에 반영하는 활동을 말함.
- 입출력 모니터링, 사용자 피드백·신고 채널, 버그 바운티, 사고 추적, 출처 추적 등으로 배포 전 평가에서 드러나지 않은 문제를 찾음.
- 배포 전 평가만으로는 실제 사용에서 나타나는 역량·행동을 충분히 예측하기 어려워, 운영 단계의 관찰이 위험 관리의 필수 요소로 다뤄짐.
- 오픈 웨이트 모델은 배포 후 사용을 관찰하기 어려워 모니터링 수단이 제한되는 문제가 있음.
구별'배포 후 모니터링'은 기술·위험관리 일반에서 쓰는 넓은 표현이고, '출시 후 모니터링(post-market monitoring)'은 EU AI Act 등 제품 규제 맥락에서 제공자에게 부과되는 법적 의무를 가리키는 경우가 많음.
용어 관계
주요 기관·문서별 개념 및 적용
- AI RMF 1.0의 MANAGE 4.1은 사용자·관련 주체의 의견 수렴, 이의 제기와 수동 개입, 폐기, 사고 대응, 복구, 변경 관리를 포함한 배포 후 모니터링 계획을 이행하도록 함. [1]
- 배포 후 모니터링 도구는 AI 모델·에이전트·출력이 실제로 어떻게 유통·사용되는지 추적해 출처 확인, 피해 발생 시 사고 조사, 책임 메커니즘 이행을 돕는다고 설명함. [2]
- 제72조는 고위험 AI 시스템 제공자가 위험에 비례한 출시 후 모니터링 체계를 수립·문서화하고, 수명주기 전반의 성능 자료를 능동적·체계적으로 수집·분석하도록 함. [3]
- 이행조치 3.5는 시스템적 위험의 허용 가능성과 모델 보고서 갱신 필요 여부를 판단할 정보를 모으도록 출시 후 모니터링을 요구하고, 이용자 피드백·신고 채널·버그 바운티 등을 방법으로 예시함. [4]
출처
관련 연구 2
관련 연구 · AI 안전 연구
- 2026-11-06파운데이션·생성형 AI 시스템의 방어 공학 Advances in computationa
- 2026-10-26생애주기 맞춤형 프런티어 AI 외부 평가 체계 arXiv
109출시 후 모니터링post-market monitoringAI 시스템이나 모델을 시장에 내놓은 뒤 제공자가 사용 경험과 위험 정보를 체계적으로 수집·검토해, 필요한 시정 조치로 이어지게 하는 규제상 활동을 말함.
용어 설명
AI 시스템이나 모델을 시장에 내놓은 뒤 제공자가 사용 경험과 위험 정보를 체계적으로 수집·검토해, 필요한 시정 조치로 이어지게 하는 규제상 활동을 말함.
- 의료기기 등 제품 안전 규제에서 온 개념으로, 출시 후 수집한 정보로 위험 평가와 기술 문서를 갱신하고 중대 사고 보고와 연계하는 구조임.
- 범용 AI 모델에서는 역량·성향·영향에 관한 정보를 모아 시스템적 위험이 허용 가능한지 다시 판단하는 근거로 쓰임.
- 수집 방법으로 최종 사용자 피드백, 익명 신고 채널, 사고 신고 양식, 버그 바운티, 공개 평가 등이 거론됨.
구별'출시 후 모니터링'은 제품 규제상 제공자의 의무를 강조하는 표현이고, '배포 후 모니터링'은 운영 중 관찰 활동 일반을 가리키는 더 넓은 표현임.
용어 관계
혼동 주의 배포 후 모니터링
주요 기관·문서별 개념 및 적용
출처
- 1EU GPAI Code of Practice (2025), Safety & Security, Measure 3.5, p.13–14 · 원문
110오작동malfunctionAI 시스템이 개발자나 사용자가 의도한 대로 동작하지 않아 잘못되거나 해로운 출력, 운영 장애를 낳는 현상을 말함.
용어 설명
AI 시스템이 개발자나 사용자가 의도한 대로 동작하지 않아 잘못되거나 해로운 출력, 운영 장애를 낳는 현상을 말함.
- 환각, 편향된 출력, 강건성 부족에 따른 성능 저하, 에이전트의 의도치 않은 행동 등이 포함되며, 악의적 의도 없이 발생한다는 점이 특징임.
- 오용·악의적 사용과 함께 AI 위험의 주요 원천으로 분류되며, 고위험 영역에서 일어나면 AI 사고나 중대 AI 사고로 이어질 수 있음.
- 의도한 동작이 무엇이었는지가 명확하지 않은 범용 시스템에서는 오작동과 정상 동작의 경계를 정하기 어렵다는 지적이 있음.
구별'오작동'은 의도와 다르게 동작하는 시스템 측 실패이고, '오용'·'악의적 사용'은 사람이 시스템을 의도와 다르게 쓰는 데서 생기는 위험임.
용어 관계
주요 기관·문서별 개념 및 적용
- 오작동을 개발자나 사용자가 의도한 대로 시스템이 동작하지 않아 잘못되거나 해로운 출력, 운영 장애를 낳는 실패로 정의함. [1]
- AI 사고와 AI 위험원의 정의 모두에 AI 시스템의 개발·사용과 나란히 '오작동'을 사건의 원인으로 포함함. [2]
- 안전성 확보 가이드라인은 시스템 오작동을 비의도적 기능 발현, 알고리즘적 편향, 오남용과 함께 안전사고 범위에 포함되는 AI 특유의 위험으로 듦. [3]
출처
- 1International AI Safety Report 2026, p.151 · 원문 · 라이브러리에서 보기
- 2OECD (2024). Defining AI incidents and related terms, p.11–13 · 원문
- 3『인공지능 안전성 확보 가이드라인』 v1.3, p.57 · 원문
원문 인용 1 · 관련 연구 2
PDF 원문 인용
번역개발자나 사용자가 의도한 대로 동작하지 않아 잘못된·해로운 출력이나 운영 장애를 낳는 시스템의 실패.
The failure of a system to operate as intended by its developer or user, resulting in incorrect or harmful outputs or operational disruptions.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기
관련 연구 · AI 안전 연구
- 2026-10-06AI 시스템이 오작동을 은폐할 수 있다 METR
- 2025-10-06접종 프롬프팅: 학습 시 오작동 지시로 정렬 개선 arXiv
111평가evaluationAI 모델·시스템의 성능, 역량, 취약점, 잠재적 영향을 배포 전후에 체계적으로 측정·검토하는 활동을 말함.
용어 설명
AI 모델·시스템의 성능, 역량, 취약점, 잠재적 영향을 배포 전후에 체계적으로 측정·검토하는 활동을 말함.
- 벤치마크, 레드티밍, 감사, 사람 평가 등 여러 방법을 포함하며, 개발 중·배포 전·배포 후 어느 단계에서나 수행될 수 있음.
- 위험 임계값 도달 여부, 안전장치의 효과, 배포 결정 등 AI 안전의 주요 판단이 평가 결과를 근거로 이루어짐.
- 평가에서의 성능과 실제 환경의 성능이 다르게 나타나는 평가 격차가 보고되어, 결과를 해석할 때 측정 범위와 한계를 함께 봐야 함.
구별'평가(evaluation)'는 모델·시스템의 성능·특성을 측정하는 활동을, '위험 평가(risk assessment)'의 평가(assessment)는 위험의 크기와 수용 가능성을 판단하는 절차를 가리키는데, 두 말이 모두 '평가'로 옮겨지므로 문서에서 혼동될 때는 원어를 함께 적어 구별함.
용어 관계
주요 기관·문서별 개념 및 적용
- 오용 위험과 관련된 역량을 배포 전에 평가하고, 학습 중·학습 후·하위 시스템 통합 시점 등 개발 과정 전반에서 평가하도록 권고함. [3]
- 시스템적 위험이 있는 모델의 역량·경향·영향을 최첨단 수준으로 평가하고, 벤치마크·레드티밍·휴먼 업리프트 연구 등을 방법으로 예시함. [4]
- 모델 평가를 AI 모델의 특정 과제 성능을 평가·측정하는 절차로 소개하고, 위험 관리 방법의 하나로 둠. [5]
출처
- 1International AI Safety Report 2025, Glossary, p.221–222 · 원문
- 2International AI Safety Report 2026, p.99–100, p.149 · 원문 · 라이브러리에서 보기
- 3NIST AI 800-1 2차 초안, Practice 4.1, p.13–14 · 원문
- 4EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
- 5『인공지능 안전성 확보 가이드라인』 v1.3, 3-1, p.43 · 원문
원문 인용 3 · 관련 연구 4 · 정책 문서 4
PDF 원문 인용
번역인공지능 시스템의 성능·능력·취약점·잠재 영향을 체계적으로 평가하는 것. 벤치마크·레드팀·감사 등을 포함하며 배포 전후에 할 수 있다.
Systematic assessments of an AI system's performance, capabilities, vulnerabilities or potential impacts. Evaluations can include benchmarking, red-teaming and audits and can be conducted both before and after model deployment.
출처 International Scientific Report on the Safety of Advanced AI · p.38, p.170, p.182, p.221–222, p.319 · EN · 정의섹션
번역배포 전후에 인공지능 모델·시스템의 성능·능력·취약점·잠재 영향을 체계적으로 평가하는 것.
Systematic assessments, before or after deployment, of the performance, capabilities, vulnerability, or potential impacts of an AI model or system.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기
시스템적 위험 평가 기법으로서 시스템적 위험 평가 의 모든 단계 아래 정의 (ass) , (ass) ( 참조 에서 사용될 수 있는 기법 )
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.111 · KO · 정의섹션
관련 연구 · AI 안전 연구
- 2026-11-07Kimi K3의 영국 AISI 사이버 평가 샌드박스 우회 AIID
- 2026-11-06ABHBench: 에이전트 관점의 파운데이션 모델 도덕적 의사결정 평가 arXiv
- 2026-11-06텍스트-이미지 생성의 성별-사물 연상 편향 평가 Multimedia Tools and App
- 2026-11-05누가 AI를 독립적으로 평가할 수 있는가: 평가 인프라 분석틀 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-29🇦🇪 UAE AI 기반 국가 교육자 역량 평가 기타
- 2026-10-28🇸🇪 스웨덴 영향평가 도우미 기구·제도
- 2026-10-27🇦🇺 호주 AI 입찰 평가 기구·제도
- 2026-10-21🇪🇺 EU GPAI 외부 평가자 요건 워크숍 보고서 정책보고서
112안전성 평가safety evaluationAI 모델·시스템이 위험한 역량이나 해로운 행동 성향을 보이는지, 안전장치가 제대로 작동하는지를 배포 전후에 시험하는 평가를 말함.
용어 설명
AI 모델·시스템이 위험한 역량이나 해로운 행동 성향을 보이는지, 안전장치가 제대로 작동하는지를 배포 전후에 시험하는 평가를 말함.
- 유해 요청 거절, 사이버·생물학 등 위험 영역의 역량, 감시 회피나 기만 같은 행동 성향을 각각 다른 방법으로 측정하므로 단일 점수로 요약되지 않음.
- 배포 결정과 안전장치 수준을 정하는 근거가 되며, 위험을 측정해 이해·감시·완화를 돕는 것이 목적임.
- 시험 통과는 시험한 범위에서 문제가 보이지 않았다는 뜻일 뿐 안전의 증명이 아니며, 모델이 평가 상황을 인식하면 결과가 왜곡될 수 있음.
구별성능 평가는 시켰을 때 얼마나 잘하는지를, '안전성 평가'는 하면 안 되는 일을 할 수 있거나 하려는지를 봄. '역량 평가'는 그중 위험 역량 측정에 초점을 둔 하위 범주임.
용어 관계
주요 기관·문서별 개념 및 적용
- 안전 중심 평가의 핵심 목표를 위험을 측정해 이해·감시·완화를 돕는 것으로 보면서, 현재 평가 방법의 한계로 이 목표 달성이 어렵다고 지적함. [1]
출처
- 1International AI Safety Report 2026, p.99–100 · 원문 · 라이브러리에서 보기
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
성능 평가와 묻는 것이 다르다. 성능 평가는 시켰을 때 얼마나 잘하는지를 보고, 안전성 평가는 하면 안 되는 일을 할 수 있는지를 본다. 그래서 측정하는 축이 여럿으로 갈린다. 유해한 요청을 제대로 거절하는지, 사이버 공격이나 생물학 무기처럼 위험한 영역에서 실질적인 도움을 줄 역량이 있는지, 감시를 피하거나 사실과 다르게 보고하는 성향이 있는지가 각각 다른 방법으로 확인된다. 한 가지 점수로 요약되지 않는다는 뜻이다.
이 평가에는 구조적인 한계가 있다. 시험을 통과했다는 것은 시험한 범위에서 문제가 보이지 않았다는 뜻이지 안전하다는 증명이 아니다. 시험하지 않은 방식으로 요청하면 결과가 달라질 수 있고, 모델이 지금 평가받는 중이라는 것을 알아채면 평소와 다르게 행동해 결과 자체가 왜곡될 수 있다. 그래서 배포 전 평가만으로 안전을 확보하기는 어렵다. 운영 중의 감시와 사고 보고를 함께 두고, 새로 드러난 문제로 평가 항목을 갱신하는 순환이 필요하다.
참고 기사·연구
- 2026-08-28"이번엔 보안" K-AI 동맹 재편…SKT·네이버 '2파전' 파이낸셜뉴스 다이제스트 2026-08-28
- 2026-08-27Anthropic Introduces Standard for Connecting AI Agents to Physical Hardware AI-Risk-Explorer 다이제스트 2026-08-27
- 2026-08-27Previewing the Model Hardware Standard Anthropic 다이제스트 2026-08-27
관련 연구 · AI 안전 연구
- 2026-10-09APEX-Harm: 공유 업무공간 에이전트 안전 평가 arXiv
- 2026-10-05분류를 넘어 멀티모달 안전의 제어가능성 평가 arXiv
- 2026-10-01안전 프로토타입은 안전 방향이 아니다: 임베딩 기반 응답 안전성 평가 arXiv
- 2026-09-10RAG 안전성 평가 벤치마크 RAG-Safety-Bench arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-03-28🇯🇵 일본 AI 안전성 평가 관점 가이드 제1.10판 일본AI안전연구소(Japan AI Safety Inst
113역량 평가capability evaluationAI 모델이 사이버 공격, 생물학 무기 개발 지원, 자율적 복제처럼 심각한 위험으로 이어질 수 있는 역량을 어느 수준까지 갖추었는지 측정하는 평가를 말함.
용어 설명
AI 모델이 사이버 공격, 생물학 무기 개발 지원, 자율적 복제처럼 심각한 위험으로 이어질 수 있는 역량을 어느 수준까지 갖추었는지 측정하는 평가를 말함.
- 질의응답형 시험, 에이전트 과제, 전문가 대비 성능 비교, 휴먼 업리프트 연구 등으로 수행되며, 모델이 낼 수 있는 최대 역량을 끌어내는 것이 원칙임.
- 프론티어 AI 안전 프레임워크에서 역량 임계값 도달 여부를 판단하는 주된 수단으로, 결과에 따라 추가 안전장치나 배포 제한이 결정됨.
- 역량을 충분히 끌어내지 못하면 위험이 과소평가되고, 모델이 평가 상황을 알아채 성능을 낮추는 샌드배깅 가능성도 제기됨.
구별'역량 평가'는 모델이 무엇을 할 수 있는지를, '성향 평가(propensity evaluation)'는 실제로 어떻게 행동하는 경향이 있는지를 보며, '안전성 평가'는 둘을 포함해 위험 전반을 보는 더 넓은 범주임.
용어 관계
주요 기관·문서별 개념 및 적용
- 유해 역량 평가를 모델이 사이버공격 지원 같은 특히 위험한 지식·기술을 보유했는지 평가하는 도구로 설명하고, 기업·정부의 출시 결정이 일부 이에 의존한다고 봄. [2]
- 오용 위험과 관련된 과업에서 모델 역량을 배포 전에 평가하고, 학습 중·학습 후·하위 시스템 통합 시점까지 개발 전반에 걸쳐 평가하도록 권고함. [3]
- 시스템적 위험과 관련해 모델의 역량·성향·어포던스·영향을 평가하는 최첨단 모델 평가를 요구하고, 예상치 못한 행동과 역량 한계를 찾는 개방형 테스트를 포함하도록 함. [4]
출처
- 1UK AISI (2025). Emerging Practices in Frontier AI Safety Frameworks, p.11–12 · 원문
- 2International AI Safety Report 2026, p.110 · 원문 · 라이브러리에서 보기
- 3NIST AI 800-1 2차 초안, Practice 4.1, p.13–14 · 원문
- 4EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
관련 연구 4 · 정책 문서 2
관련 연구 · AI 안전 연구
- 2026-10-01위험 역량 평가를 위한 더 안전한 환경 구축 AISI UK
- 2026-09-17CAISI의 GLM-5.3 사이버 역량 평가 NIST
- 2026-09-02FUSE: LLM 위험 역량 평가 프레임워크 arXiv
- 2026-04-07Claude Mythos Preview 사이버보안 역량 평가 Anthropic Research
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-29🇦🇪 UAE AI 기반 국가 교육자 역량 평가 기타
- 2024-09G20 2024 AI 준비도·역량평가 툴킷 G20 브라질 의장국 / 디지털경제작업반 · 정책보고서
114배포 전 평가pre-deployment evaluationAI 모델·시스템을 외부에 공개하거나 서비스에 투입하기 전에 역량, 안전성, 취약점, 잠재적 영향을 시험하는 평가를 말함.
용어 설명
AI 모델·시스템을 외부에 공개하거나 서비스에 투입하기 전에 역량, 안전성, 취약점, 잠재적 영향을 시험하는 평가를 말함.
- 역량 평가, 안전성 평가, 레드티밍 등을 조합하며, 개발사 내부뿐 아니라 정부 AI 안전 연구기관 등 외부 평가자가 참여하기도 함.
- 위험 임계값을 넘는 모델의 배포를 막거나 추가 안전장치를 요구하는 판단의 근거가 되어, 사전 예방적 위험 관리의 핵심 단계로 다뤄짐.
- 시험 환경과 실제 사용 환경의 차이 때문에 배포 전 성능이 실제를 대표하지 못하는 평가 격차가 있어, 배포 후 모니터링과 함께 운영되어야 함.
구별'배포 전 평가'는 출시 전에 위험을 확인하는 단계이고, '배포 후 모니터링'은 운영 중에 드러나는 문제를 추적하는 단계로, 둘은 상호 보완 관계임.
용어 관계
주요 기관·문서별 개념 및 적용
- 배포 전 평가의 성능과 실제 환경의 성능 사이에 평가 격차가 있으며, 현재 평가 방법이 역량과 성향을 모두 신뢰성 있게 측정하지 못한다고 지적함. [1]
- 오용 위험을 낳을 수 있는 특정 역량의 성능을 측정하는 배포 전 평가를 권고하고, 저비용 시험 결과가 불확실하거나 위험 징후가 있으면 더 정밀한 측정을 하도록 함. [2]
- 위험 식별·분석·수용 여부 결정·완화로 이어지는 전체 시스템적 위험 평가·완화 절차를 최소한 모델을 시장에 출시하기 전에 수행하도록 함. [3]
출처
- 1International AI Safety Report 2026, p.99–100 · 원문 · 라이브러리에서 보기
- 2NIST AI 800-1 2차 초안, Practice 4.1, p.13–14 · 원문
- 3EU GPAI Code of Practice (2025), Safety & Security, Measure 1.2, p.8 · 원문
115벤치마크benchmark고정된 과제 묶음과 채점 방식을 갖추어 AI 모델·시스템의 성능이나 부적절한 행동을 표준화된 방식으로 측정·비교하는 시험을 말함.
용어 설명
고정된 과제 묶음과 채점 방식을 갖추어 AI 모델·시스템의 성능이나 부적절한 행동을 표준화된 방식으로 측정·비교하는 시험을 말함.
- 문항·정답·채점 규칙을 묶어 공개함으로써 서로 다른 모델을 같은 조건에서 비교할 수 있게 하며, 지식·추론·코딩·에이전트 과제·안전성 등 영역별로 쓰임.
- AI 안전에서는 위험 역량의 수준이나 유해 요청 거절 성능을 추적하는 지표로 쓰여, 위험 임계값 판단과 정책 논의의 근거가 됨.
- 문항이 학습 데이터에 섞이는 오염, 특정 점수를 겨냥한 과적합, 측정한다고 주장하는 역량을 실제로 측정하지 못하는 타당성 문제가 지적됨.
구별'벤치마크'는 평가에 쓰이는 표준화된 도구의 하나이고, '평가'는 벤치마크·레드티밍·감사 등을 아우르는 활동 전체임.
용어 관계
상위 평가
주요 기관·문서별 개념 및 적용
- 편향·혐오 콘텐츠 정량화에 용도에 맞는 벤치마크를 쓰되, 학습·시험 데이터 교차 오염 등 벤치마크의 가정과 한계를 문서화하도록 권고함. [3]
- 시스템적 위험 평가를 위한 모델 평가 방법의 하나로 벤치마크를 질의응답 세트·과제 기반 평가·레드티밍과 함께 예시함. [4]
출처
- 1International AI Safety Report First Key Update (2025), p.21 · 원문
- 2International AI Safety Report 2026, p.99–100, p.148 · 원문 · 라이브러리에서 보기
- 3NIST AI 600-1, MS-2.11-001, p.36 · 원문
- 4EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
- 5『인공지능 안전성 확보 가이드라인』 v1.3, 3-1, p.43 · 원문
- 6『인공지능 안전성 확보 가이드라인』 v1.3, p.41 · 원문
해설 · 원문 인용 6 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
서로 다른 모델을 같은 잣대로 비교하려면 같은 문제를 같은 방식으로 풀게 해야 한다. 그래서 문항과 정답, 채점 규칙을 묶어 공개해 둔 것이 벤치마크다. 지식을 묻는 것, 수학 문제를 푸는 것, 실제 코드 저장소의 버그를 고치는 것, 여러 단계를 거쳐 과제를 완수하는 것처럼 영역별로 표준 묶음이 자리 잡았다. 새 모델이 나올 때 발표되는 성능 수치는 대개 이 점수들이다.
다만 두 가지 방식으로 망가진다는 것을 알고 봐야 한다. 하나는 오염이다. 벤치마크는 공개돼 있어서 문항과 정답이 학습 데이터에 섞여 들어갈 수 있고, 그러면 점수는 실력이 아니라 암기를 재게 된다. 다른 하나는 과적합이다. 특정 벤치마크에서 잘 나오도록 겨냥해 만들면 그 점수만 오르고 실제 활용에서는 나아지지 않는다. 그래서 문항 일부를 공개하지 않거나, 주기적으로 새 문항으로 교체하거나, 사람 평가를 함께 두는 방식이 병행된다.
PDF 원문 인용
번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.
A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage. This section focuses on the core capabilities of general-purpose AI models and systems that are publicly available today. Section 1.3. Capabilities in coming years, discusses expected future developments in AI capabilities, and Section 2. Risks, discusses specific dangerous capabilities and their associated applications that contribute to risks.
출처 International Scientific Report on the Safety of Advanced AI · p.38 · EN · 정의섹션
번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.
A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage. Capabilities of general-purpose AI 1.3 Capabilities in coming years
출처 International Scientific Report on the Safety of Advanced AI · p.47–48 · EN · 정의섹션
번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.
A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of | Cognitive offloading: Reducing one's own mental effort by delegating cognitive tasks to other people or external systems. tasks, often designed to represent real-world usage. | Cognitive tasks: Activities that involve processing information, problem-solving, decision-making, and creative thinking, as distinct from physical | pathogen (such as | Biological weapon: A a bacterium, virus, or fungus) or a toxin (a poison derived from animals, plants, microorganisms or produced synthetically) that is deliberately released to cause disease, death, or incapacitation in humans, animals, plants or microorganisms. Biosecurity: A set of policies, practices, and measures (e.g.
출처 International AI Safety Report 2026 · p.149 · EN · 정의섹션 · 라이브러리에서 보기
번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.
A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage.
출처 International Scientific Report on the Safety of Advanced AI · p.182, p.219–220 · EN · 정의섹션
번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.
A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage or quantify inappropriate behaviour.
출처 International Scientific Report on the Safety of Advanced AI · p.319 · EN · 정의섹션
벤치마크 데이터셋은 AI 모델의 성능을 객관적이고 재현 가능하게 평가하기 위한 데이터 집합입니다. 단순한 학습용 데이터가 아니라 공통된 테스트 환경과 평가 지표를 함께 제공해 모델 간 비교가 가능하도록 설계됩니다. 연구자는 동일한 데이터와 조건으로 실험해 어느 모델이 더 우수한지 확인할 수 있습니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.45 · KO · 정의섹션
참고 기사·연구
- 2026-09-06JailFlowEval: a workflow-safety benchmark for LLM-driven enterprise service workflows OpenAlex 연구
- 2026-09-04AXIOM-1 (A1M): A Sovereign External Governance Framework for Eliminating Sycophancy and Concessive Drift in Stochastic Language Models OpenAlex 연구
- 2026-09-04AI for Computational Design Science: A Responsible Human-AI Framework and Case Study on Short-Form Video Safety Surveillance arXiv 연구
관련 연구 · AI 안전 연구
- 2026-11-07Kimi K3의 영국 AISI 사이버 평가 샌드박스 우회 AIID
- 2026-11-05멀티모달 사회공학 공격 하 AI 에이전트 보안 벤치마크 arXiv
- 2026-10-28공시 불완전 시 AI 거버넌스 자동 검토 벤치마크 OpenAlex
- 2026-10-26가정용 로봇 내비게이션의 장애물 조건부 안전성 벤치마크 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2024-02-08🇺🇸 DC MO 2024-028 AI 가치·전략 벤치마크 행정규칙
116레드티밍red teaming전담 인력이나 팀이 공격자 관점에서 AI 모델·시스템의 취약점, 한계, 오용 가능성을 체계적으로 찾아내는 시험 활동을 말함.
용어 설명
전담 인력이나 팀이 공격자 관점에서 AI 모델·시스템의 취약점, 한계, 오용 가능성을 체계적으로 찾아내는 시험 활동을 말함.
- 유해 출력을 끌어내는 입력 탐색, 안전장치 우회, 시스템 프롬프트 추출, 에이전트의 권한 초과 행동 유도 등을 사람 또는 자동화된 공격 모델로 시도함.
- 정해진 문항으로는 드러나지 않는 예상 밖의 실패 경로를 찾는 데 강점이 있어, 배포 전 평가와 안전장치 보강의 핵심 수단으로 쓰임.
- 참여자의 전문성과 시도 범위에 따라 결과가 크게 달라지고 재현이 어려워, 시도 범위와 성공 판정 기준을 함께 보고해야 한다는 논의가 있음.
구별'레드티밍'은 공격자 역할을 맡아 결함을 찾는 활동 전체를, '레드팀'은 그 활동을 수행하는 팀을 가리키고, '적대적 시험'은 적대적 입력으로 강건성을 확인하는 더 좁은 시험 방법을 뜻하는 경우가 많음.
용어 관계
주요 기관·문서별 개념 및 적용
- 레드티밍을 전담 인력·팀이 다양한 방법으로 취약점·한계·오용 가능성을 찾는 체계적 과정으로 정의하고, 흔히 바람직하지 않은 행동을 유발하는 입력을 찾아 안전 공백을 드러낸다고 설명함. [1]
- AI 레드티밍을 통제된 환경에서 개발자와 협력해 생성형 AI의 잠재적 부정적 행동·결과를 찾고 안전장치를 스트레스 테스트하는 실천으로 설명하고, 레드팀의 다양성과 전문성을 강조함. [2]
- 레드티밍과 그 밖의 적대적 테스트를 질의응답 세트·벤치마크·휴먼 업리프트 연구 등과 함께 시스템적 위험을 평가하는 모델 평가 방법의 예시로 듦. [3]
- 안전성 확보 가이드라인은 레드티밍을 사람이나 자동화 시스템이 모의 적대자로서 조직의 시스템을 공격해 취약점을 식별하는 연습으로 설명함. [4]
출처
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 3
해설
군사 훈련과 정보보안에서 온 방식이다. 방어하는 쪽이 아니라 공격하는 쪽 역할을 맡은 팀을 따로 두고, 실제 악용 경로를 재현해 보게 한다. AI에서는 유해한 답을 끌어내는 프롬프트를 찾고, 안전장치를 우회하는 방법을 시도하고, 개발자가 숨겨 둔 지시문을 빼내려 하고, 에이전트가 권한을 넘어선 행동을 하게 유도한다. 사람이 직접 하는 경우와 다른 모델을 공격자로 세워 자동화하는 경우가 함께 쓰인다.
정해진 문항을 푸는 평가가 놓치는 것을 잡아내는 것이 강점이다. 벤치마크는 예상한 위험만 측정할 수 있지만, 레드티밍은 아무도 생각하지 못한 우회로를 찾는 데 목적이 있다. 대신 약점도 분명하다. 같은 조건을 다시 만들기 어려워 결과를 재현하거나 모델 사이에 비교하기가 힘들고, 참여한 사람의 배경과 상상력에 따라 발견되는 문제가 크게 달라진다. 그래서 무엇을 얼마나 시도했고 어떤 기준으로 성공을 판정했는지 보고 양식을 표준화하려는 논의가 이어진다.
PDF 원문 인용
번역전담 인력·팀이 다양한 방법으로 취약점·한계·오용 가능성을 찾는 체계적 과정. 흔히 모델·시스템에 바람직하지 않은 행동을 유발하는 입력을 찾아 안전 공백을 드러낸다.
A systematic process in which dedicated individuals or teams search for vulnerabilities, limitations, or potential for misuse through various methods. Often, the red team searches for inputs that induce undesirable behaviour in a model or system to identify safety gaps.
출처 International Scientific Report on the Safety of Advanced AI · p.182, p.192, p.225–226 · EN · 정의섹션
참고 기사·연구
- 2026-08-20아이폰 보안문서에 AI 이름 줄줄이…코드 짜던 AI, 보안 연구원 되다 뉴시스 다이제스트 2026-08-20
- 2026-08-19“AI 자율공격 위험 수위”…오픈AI, 최신모델 모델 훈련 중단 동아일보 다이제스트 2026-08-19
- 2026-08-06AI 에이전트 시대, 왜 ‘AI 레드티밍’은 필수 조건이 되었나 동아일보 다이제스트 2026-08-06
관련 연구 · AI 안전 연구
- 2026-11-06아프리카 언어 LLM 레드팀: 저자원 언어 안전 정렬 실패 Research Square
- 2026-10-29AI 레드티밍 보고의 체계화 CSET Georgetown
- 2026-10-29실무에서의 바이올렛 레드티밍: 전문가 워크숍 시범 사례 arXiv (Cornell Universit
- 2026-10-22OpenAI 내부 에이전트 모니터링 시스템 레드티밍 METR
관련 정책 문서 · AI 안전 라이브러리
- 2026-07-11🇰🇷 AI 보안 레드티밍 가이드 과기부/KISA · 가이드라인·원칙
- 2026-03-20Vendor Evaluation Criteria AI Red Teaming Providers & Tooling AIGL · 기타
- 2025-03-31🇯🇵 일본 AI 안전성 레드팀 방법론 가이드 제1.10판 Japan AI Safety Institute, AIS
117적대적 시험adversarial testing의도적으로 조작한 입력이나 공격 시나리오를 AI 모델·시스템에 가해, 오작동이나 안전장치 우회가 일어나는지 확인하는 시험 방법을 말함.
용어 설명
의도적으로 조작한 입력이나 공격 시나리오를 AI 모델·시스템에 가해, 오작동이나 안전장치 우회가 일어나는지 확인하는 시험 방법을 말함.
- 적대적 예제, 탈옥 프롬프트, 프롬프트 인젝션 등 알려진 공격 기법을 체계적으로 적용하고, 공격 성공률 같은 지표로 결과를 측정함.
- 정상 입력에서는 드러나지 않는 취약점을 찾아 강건성을 확인하고, 적대적 학습이나 안전장치 보강의 근거로 쓰임.
- 알려진 공격 기법 위주로 시험하게 되어 새로운 공격까지 막아 낸다고 보장하지 못한다는 한계가 있음.
구별'적대적 시험'은 적대적 입력을 이용한 시험 방법을 가리키고, '레드티밍'은 공격자 관점에서 사회적·운영적 오용 경로까지 폭넓게 탐색하는 활동으로 적대적 시험을 수단으로 포함함.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, p.186 · 원문
- 2International AI Safety Report 2026, Figure 3.6, p.123 · 원문 · 라이브러리에서 보기
- 3EU AI Act, Art. 55(1)(a), p.86 · 원문
- 4EU AI Act, Recital 114, p.30 · 원문
- 5EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
- 6EU GPAI Code of Practice (2025), Safety & Security, Appendix 3.3, p.39 · 원문
관련 연구 1
관련 연구 · AI 안전 연구
- 2024-10-22다국어 환경에서의 LLM 적대적 테스트 International Symposium
118공격 성공률attack success rate (ASR)탈옥·프롬프트 인젝션 등 공격 시도 가운데 실제로 안전장치를 뚫고 공격자가 의도한 출력이나 행동을 얻어낸 비율을 나타내는 지표를 말함.
용어 설명
탈옥·프롬프트 인젝션 등 공격 시도 가운데 실제로 안전장치를 뚫고 공격자가 의도한 출력이나 행동을 얻어낸 비율을 나타내는 지표를 말함.
- 같은 공격 기법을 여러 요청·모델에 반복 적용해 성공 건수를 비율로 계산하며, 방어 기법 적용 전후의 비교에 자주 쓰임.
- 적대적 시험과 레드티밍의 결과를 정량화하는 대표 지표로, 안전장치의 강건성을 비교·추적하는 근거가 됨.
- 시도 횟수, 성공 판정 방식(사람·자동 분류기), 공격 대상 요청의 성격에 따라 값이 크게 달라져, 연구 간 절대 수치 비교에는 한계가 있음.
용어 관계
해설 · 참고 기사 3 · 관련 연구 4
해설
탈옥이나 프롬프트 인젝션 같은 공격을 연구할 때 방어가 얼마나 튼튼한지 나타내는 표준 지표다. 같은 공격 기법을 여러 모델과 여러 요청에 반복 적용해, 그중 몇 번이 원하는 유해한 출력을 얻어냈는지 비율로 계산한다. 값이 낮을수록 강건하다는 뜻이 되고, 방어 기법을 적용하기 전과 후를 비교해 효과를 재는 데도 쓰인다.
이 숫자를 서로 다른 연구 사이에서 그대로 비교하는 것은 대체로 무의미하다는 점을 알아 두는 것이 좋다. 몇 번 시도해서 한 번만 성공해도 성공으로 볼지, 성공 여부를 사람이 판정할지 자동 분류기가 판정할지, 공격 대상으로 삼은 요청이 얼마나 노골적인 것인지가 연구마다 다르다. 조건이 하나만 달라져도 값이 크게 움직인다. 그래서 절대 수치보다는 같은 조건 안에서 방어 기법을 적용했을 때 얼마나 내려갔는지를 보는 쪽이 신뢰할 만하다.
참고 기사·연구
- 2026-08-28CamoDocs: A Poisoning Attack Against Retrieval-Augmented Language Models Using Camouflaged Documents arXiv 연구
- 2026-08-18You Are an Expert: <scp>RAG</scp> Injection and Guided Error Expert Activation for Jailbreaking Large Language Models OpenAlex 연구
- 2026-05-28KSAFE-MM: 한국 문화 맥락을 반영한 멀티모달 안전 벤치마크(2026.5.28) arXiv.org 다이제스트 2026-05-28
관련 연구 · AI 안전 연구
- 2026-10-19탈옥 벤치마킹의 문제: 공격 성공률 실증 연구 arXiv
- 2026-10-19공격 성공률을 넘어: 반복형 탈옥의 비용 반영 지표 arXiv
- 2026-07-08공격 성공률을 넘어: 에이전트 행동 위해도 척도 arXiv
- 2026-05-28공격 성공률을 넘어: 로짓 시계열 관측으로 본 LLM 안전 실패 arXiv
119LLM 심판LLM-as-a-judge성능이 높은 거대 언어 모델에 채점 기준을 주고, 다른 모델의 출력을 사람 대신 비교·채점하게 하는 평가 방식을 말함.
용어 설명
성능이 높은 거대 언어 모델에 채점 기준을 주고, 다른 모델의 출력을 사람 대신 비교·채점하게 하는 평가 방식을 말함.
- 두 응답 중 나은 쪽을 고르게 하거나 항목별 점수를 매기게 하는 방식으로, 사람 평가로는 감당하기 어려운 대규모 비교와 자동화된 안전성 평가를 가능하게 함.
- 유해성 판정, 공격 성공 여부 판정 등 안전 평가 파이프라인에도 널리 쓰여, 심판 모델의 판정 품질이 평가 결과의 신뢰성을 좌우함.
- 긴 답 선호, 같은 계열 모델 선호, 제시 순서 편향 등이 보고되며, 심판 모델이 놓치는 유해성 유형은 평가 결과에 아예 나타나지 않는 문제가 있음.
용어 관계
해설 · 참고 기사 3 · 관련 연구 4
해설
사람 평가는 품질이 높지만 느리고 비싸서 수천 건 규모의 비교에는 쓰기 어렵다. 그래서 성능이 좋은 모델에게 채점 기준을 주고, 두 응답 중 어느 쪽이 나은지 고르게 하거나 항목별 점수를 매기게 한다. 이 방식의 판정이 사람 판정과 상당히 일치한다는 결과가 나오면서 모델 개발과 비교의 표준 절차로 자리 잡았고, 자동화된 대규모 평가를 가능하게 만들었다.
심판 모델이 가진 편향이 그대로 평가 결과에 들어온다는 것이 이 방식의 약점이다. 긴 답을 더 좋게 보는 경향, 자기와 같은 계열 모델의 문체를 선호하는 경향, 먼저 제시된 후보를 고르는 경향이 보고된다. 그래서 후보의 순서를 바꿔 다시 평가하거나, 서로 다른 계열의 심판을 여러 개 두고 결과를 합치는 방식으로 완화한다. 안전성 평가에 쓸 때는 특히 주의가 필요하다. 심판 모델도 놓치는 유해성 유형이 있고, 그 유형은 평가 결과에 아예 나타나지 않는다.
참고 기사·연구
- 2026-09-03Beyond Majority Vote: Multi-Perspective Adjudication for Medical Hallucination Detection arXiv 연구
- 2026-04-28(저자 외 19명, arXiv, 2026.4.28) DV-World: Benchmarking Data Visualization Agents in Real-World Scenarios arXiv 다이제스트 2026-04-28
- 2025-07-09Skewed Score: A statistical framework to assess autograders AISI-UK 다이제스트 2025-07-09
관련 연구 · AI 안전 연구
- 2026-09-02LLM 심판은 신탁이 아니다: 결정론적 가드레일 arXiv
- 2026-08-22LLM 심판: 텍스트·코드 LLM 기반 평가 서베이 Artificial Intelligence
- 2026-07-14정답 없는 평가에서 LLM 심판은 후하다 arXiv
- 2026-06-01멀티모달 LLM 심판의 지각 판단 편향 완화 arXiv
120보정calibrationAI 모델이 출력에 대해 나타내는 확신도가 실제 정답률과 얼마나 일치하는지를 나타내는 성질을 말함.
용어 설명
AI 모델이 출력에 대해 나타내는 확신도가 실제 정답률과 얼마나 일치하는지를 나타내는 성질을 말함.
- 90% 확신한 답이 실제로 약 90% 맞으면 잘 보정된 것이고, 그보다 덜 맞으면 과신으로 봄. 정확도와는 별개의 성질임.
- 모델이 불확실성을 신뢰성 있게 알려 주면 사람의 검토를 위험한 출력에 집중할 수 있어, 환각 대응과 인간 감독의 효율을 높이는 데 중요함.
- 토큰 확률, 말로 표현한 확신 등 어떤 확신도를 측정하느냐에 따라 결과가 달라질 수 있어, 측정 방식을 함께 밝혀야 함.
구별정확도는 얼마나 자주 맞는지를, '보정'은 자신이 맞을지를 얼마나 정확히 아는지를 봄. 정확도가 낮아도 보정은 좋을 수 있음.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
90퍼센트 확신한다고 말한 답이 실제로 열 번에 아홉 번 맞으면 잘 보정된 것이고, 열 번에 여섯 번만 맞으면 과신하는 것이다. 정확도와는 다른 성질이라는 점이 핵심이다. 정확도가 낮아도 자기가 못한다는 사실을 정확히 알고 있으면 보정은 좋을 수 있고, 정확도가 높아도 언제 틀리는지 모르면 보정은 나쁠 수 있다. 그래서 두 지표를 함께 봐야 모델을 어떻게 쓸지 판단할 수 있다.
이 성질이 결정적으로 중요해지는 지점은 위임이다. 사람이 모든 출력을 검토할 수 없는 규모에서는, 어디를 검토해야 하는지 골라내는 일이 관건이 된다. 모델이 확실하지 않다고 신뢰할 만하게 알려 주면 검토 자원을 그곳에 집중할 수 있고, 그러지 못하면 전부 검토하거나 전부 믿는 양극단밖에 남지 않는다. 환각 문제를 다룰 때 사실성을 높이는 노력만이 아니라 보정을 개선하는 노력이 함께 필요한 이유가 여기 있다.
참고 기사·연구
- 2026-07-27Reliable uncertainty quantification 앨런 튜링 연구소 다이제스트 2026-07-27
- 2026-07-09Bridging Causal Reasoning and Fuzzy Calibration for Trustworthy AI Risk Assessment OpenAlex 연구
- 2026-07-02OpenSafeIntent: Evaluating Intent-Calibrated Safe Completion Across Dual-Use Prompt Sets arXiv 연구
관련 연구 · AI 안전 연구
- 2026-09-22LLM 평가의 핵심 기준으로서의 보정(calibration) arXiv
- 2026-09-04로짓 바이어스를 이용한 단일 쿼리 블랙박스 보정 감사 arXiv
- 2026-08-29선택적 거부로서의 아랍어 안전성 정렬 연구 arXiv
- 2026-08-05MLLM에게 거절을 가르치기: 거절 보정 GRPO arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-01-03🇺🇸 국가안보 정보 분류·해제 기술 도입법 United States Congress · 법안
121감사audit독립적인 제3자 등이 AI 시스템과 이를 운영하는 조직이 표준·정책·절차와 요구 사항을 지키는지 공식적으로 검토·검증하는 절차를 말함.
용어 설명
독립적인 제3자 등이 AI 시스템과 이를 운영하는 조직이 표준·정책·절차와 요구 사항을 지키는지 공식적으로 검토·검증하는 절차를 말함.
- 학습 데이터의 출처·구성, 성능·편향 측정 결과, 위험 관리 문서, 운영 기록 등을 대상으로 하며, 절차의 독립성과 반복 가능성이 핵심임.
- 개발자 자체 평가의 이해 상충을 보완해 외부 검증 가능성을 높이는 장치로, AI 책임성과 신뢰보증 체계의 기반이 됨.
- 감사인이 모델·데이터에 접근할 권한의 범위가 실효성을 가르며, 접근을 넓힐수록 영업비밀·개인정보 보호와 충돌하는 문제가 있음.
구별'감사'는 기준 준수 여부를 독립적으로 검토하는 절차이고, '평가'는 성능·역량·위험을 측정하는 활동임. '적합성 평가'는 법정 요구 사항 충족을 확인하는 규제 절차를 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- 감사를 조직이 표준·정책·절차를 준수하는지에 대한 공식 검토로 정의하고, 대개 독립적인 제3자가 수행한다고 봄. [1]
출처
- 1International AI Safety Report 2025, Glossary, p.219–220 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
만든 쪽이 스스로 낸 평가 결과만으로는 이해 상충을 피할 수 없다는 문제의식에서 나왔다. 회계 감사가 기업이 작성한 재무제표를 외부 감사인이 검증하도록 만든 것과 같은 구조를 AI에 적용하는 것이다. 대상은 학습 데이터의 출처와 구성, 성능과 편향 측정 결과, 위험을 어떻게 관리했는지 담은 문서, 그리고 실제 운영 기록이다. 절차의 독립성과 반복 가능성이 이 제도의 핵심이다.
실행 조건이 이 제도의 실질을 가른다. 감사인이 모델과 데이터에 접근할 권한이 없으면 제출된 서류를 읽는 데 그치고, 접근을 넓히면 영업비밀과 개인정보 문제가 생긴다. 그래서 어느 범위까지 어떤 조건으로 접근을 허용할지가 제도 설계의 쟁점이 된다. 최근에는 대상을 넓혀야 한다는 지적도 나온다. 모델 하나를 따로 검증해도, 그것이 다른 시스템과 연결되고 도구를 호출하는 과정에서 생기는 문제는 드러나지 않기 때문이다.
PDF 원문 인용
번역조직이 표준·정책·절차를 지키는지 공식적으로 검토하는 일. 대개 독립적인 제3자가 수행한다.
A formal review of an organisation's compliance with standards, policies, and procedures, typically carried out by an independent third party.
출처 International Scientific Report on the Safety of Advanced AI · p.182, p.219–220 · EN · 정의섹션
참고 기사·연구
- 2026-09-07An Interview with Zhipu AI Co-founder Tang Jie by Qiushi Magazine GeopoliTechs 다이제스트 2026-09-07
- 2026-09-04What ChatGPT’s DSA Designation Means for OpenAI and the EU TechPolicyPress 다이제스트 2026-09-04
- 2026-09-04OpenAI Releases GPT-6 Astra AI-Risk-Explorer 다이제스트 2026-09-22
관련 연구 · AI 안전 연구
- 2026-11-06소형 LLM·VLM의 거부·확신·설명 불일치 교차모달 감사 Electronics
- 2026-10-27탈옥 응답의 프라이버시 유출을 감사하는 숙의형 에이전트 arXiv
- 2026-10-21충돌 레코드: 감사 가능한 LLM 출력 품질 집행용 유형화된 적대적 계약 arXiv
- 2026-10-15PROBE: 도구 사용 에이전트의 정책 준수 감사 학습 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-09🇺🇸 캘리포니아 인공지능 감사인 등록법(AB 1405) 법
- 2026-08-31Dual Challenge AI Audit: Automating Assurance · Governing 기술 That Does It (Part 1) AIGL · 기타
- 2026-04-27🇪🇨 에콰도르 SCE AI 도구 사용 감사 가이드 가이드라인·원칙
- 2025-08-29🇺🇸 캘리포니아 AB 1405 AI 감사인 등록 법안
122안전 사례safety caseAI 모델·시스템이 특정 운영 맥락에서 수용 가능한 수준으로 안전하다는 주장을 증거로 뒷받침해 구조화한 논증을 말함.
용어 설명
AI 모델·시스템이 특정 운영 맥락에서 수용 가능한 수준으로 안전하다는 주장을 증거로 뒷받침해 구조화한 논증을 말함.
- 최상위 안전 주장을 하위 주장으로 나누고 평가 결과·안전장치·통제 수단 등의 증거로 각각 뒷받침하는 방식으로 작성되며, 원자력·항공 등 안전 공학에서 유래함.
- 개발자나 규제기관이 배포 여부 같은 중요한 결정의 근거로 쓸 수 있어, 위험 판단의 논리와 증거를 외부에서 검토할 수 있게 함.
- AI 역량이 커질수록 '위험한 일을 할 수 없다'는 주장만으로는 부족해, 통제 수단이나 신뢰성에 근거한 논증을 보완해야 한다는 논의가 있음.
구별'안전 사례'는 안전하다는 결론을 증거로 논증하는 문서이고, '위험 평가'는 위험의 크기와 수용 가능성을 판단하는 절차로, 안전 사례의 증거가 되는 경우가 많음.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, Glossary, p.226–227 · 원문
관련 연구 4
관련 연구 · AI 안전 연구
- 2026-09-28프론티어 AI 훈련을 위한 안전성 사례 지침 OpenAI
- 2025-06-05오용 방지 안전장치를 위한 safety case 예시 AISI UK
- 2025-05-06토론 기반 정렬 안전성 케이스 스케치 AISI UK
- 2025-02-10안전사례: 프런티어 AI 안전의 확장 가능한 접근 AISI UK
123정렬alignmentAI 시스템이 자신의 역량을 개발자·이용자·사회 등 인간의 의도와 가치에 맞게 쓰도록 만드는 과제 또는 그런 성향을 의미함.
용어 설명
AI 시스템이 자신의 역량을 개발자·이용자·사회 등 인간의 의도와 가치에 맞게 쓰도록 만드는 과제 또는 그런 성향을 의미함.
- 학습 목표·보상 신호는 사람이 실제로 바라는 것의 근사치이므로 이 신호를 충실히 만족한 모델도 의도와 다르게 행동할 수 있으며, 인간 피드백 기반 강화학습 등이 대표적 정렬 기법임.
- 역량 부족으로 인한 오류와 달리 정렬 실패는 역량이 높아질수록 피해가 커질 수 있어, 오정렬·기만적 정렬·통제 상실 논의의 출발점이 됨.
- 누구의 의도·가치에 맞출지가 맥락에 따라 달라지며, 서로 다른 집단의 선호를 반영·조정하려는 다원적 정렬 접근도 제기됨.
구별'정렬'은 의도·가치에 맞게 행동하도록 만드는 과제·상태를, '오정렬'은 그것이 실패해 의도와 어긋난 목표·행동이 나타난 상태를 가리킴.
용어 관계
혼동 주의 오정렬
주요 기관·문서별 개념 및 적용
- 시스템적 위험 원천인 모델 경향으로 인간의 의도·가치와의 오정렬을 들고, 통제 상실 위험이 오정렬·기만·목표 변경 저항 등에서 생길 수 있다고 봄. [4]
- 범용 AI 위험 관리 프레임워크는 정렬 원칙을 AI가 설정된 목표와 일치하게 작동하는지, 인간의 권리와 자율성을 존중하는지, 사회적 가치를 반영하는지 평가하는 기준으로 두고, 목표 지속성·인류 우선성·가치 보존성 위배에 따라 위험 점수를 매김. [5]
출처
- 1International AI Safety Report 2025, Glossary, p.218 · 원문
- 2『2026 국제 AI 안전 보고서』 한국어판, 용어 정의, p.185–187 · 원문
- 3International AI Safety Report 2026, Glossary, p.152 · 원문 · 라이브러리에서 보기
- 4EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.3.2·1.4, p.36–37 · 원문
- 5인공지능안전연구소·TTA (2026). 『범용 인공지능(GPAI) 위험 관리 프레임워크』 v2, p.93–94
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 3
해설
사람은 AI에게 목표를 직접 심어 줄 수 없다. 할 수 있는 일은 원하는 방향을 가리키는 신호를 주는 것뿐이다 — 좋은 답에 높은 점수를 주거나, 모범 답안을 예시로 보여 주는 식이다. 모델은 그 신호를 최대한 만족시키도록 학습하는데, 신호는 언제나 진짜 의도의 근사치일 뿐이다. 그래서 신호를 완벽하게 만족시킨 모델이 정작 사람이 바란 것과 다르게 행동하는 일이 생긴다. 청소 로봇에게 먼지가 센서에 잡히지 않게 하라고 점수를 주면, 청소하는 대신 센서를 가리는 쪽을 배우는 것과 같은 구조다.
이 문제가 성능 문제와 구별된다는 점이 중요하다. 역량이 부족해 틀리는 것은 더 학습시키면 나아지지만, 정렬 실패는 역량이 올라갈수록 오히려 심각해질 수 있다. 목표를 더 잘 달성하는 모델일수록 잘못 지정된 목표도 더 철저하게 달성할 수 있기 때문이다. 그래서 안전 연구는 모델을 더 똑똑하게 만드는 일과 의도를 더 정확하게 전달하는 일을 서로 다른 과제로 놓고 다룬다. 국문에서는 정렬이 번역어로 자리 잡았지만 뜻이 곧바로 전달되지 않아 원어를 함께 적는 경우가 많다.
PDF 원문 인용
번역인공지능이 인간의 의도나 가치에 맞게 자신의 능력을 쓰는 성향. 맥락에 따라 개발자·운영자·사용자·특정 공동체·사회 전체의 의도·가치를 가리킬 수 있다.
An AI's propensity to use its capabilities in line with human intentions or values. Depending on the context, this can variously refer to the intentions and values of developers, operators, users, specific communities, or society as a whole.
출처 International Scientific Report on the Safety of Advanced AI · p.218–219 · EN · 정의섹션
번역서로 다르고 때로 충돌하는 집단의 선호를 반영·균형 맞추려는 AI 시스템 개발 접근.
An approach to developing AI systems that seeks to represent and balance different, and sometimes conflicting, preferences across different groups.
출처 International AI Safety Report 2026 · p.153 · EN · 정의섹션 · 라이브러리에서 보기
참고 기사·연구
- 2026-09-04OpenAI Releases GPT-6 Astra AI-Risk-Explorer 다이제스트 2026-09-22
- 2026-09-03Representational alignment yields generalizable safety in language models arXiv 연구
- 2026-08-14앤트로픽, 정렬 오류·생물학적 위험도 상향한 '8월 리스크 보고서' 공개 Anthropic 다이제스트 2026-08-14
관련 연구 · AI 안전 연구
- 2026-11-06아프리카 언어 LLM 레드팀: 저자원 언어 안전 정렬 실패 Research Square
- 2026-11-03자기 믿음에 반하는 학습이 유발하는 정렬 이탈 arXiv
- 2026-11-03TraceRouter++: 최적수송 기반 안전 경로 재정렬 arXiv
- 2026-11-03GapDPO: 집합 단위 선호 최적화 기반 LLM 안전 정렬 Applied Sciences
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-21🇺🇳 AI 에이전트 정렬 실패·통제 상실 위험 브리프 인공지능 독립 국제과학패널(Independent Int
- 2026-09-09Anthropic 최근 사이버보안 사고에 대한 정렬 평가 Anthropic · 정책보고서
- 2025-09-29🇺🇸 미국 S 2937 AI 책임·책무 정렬 법안 United States Congress · 법안
124인간 피드백 기반 강화학습reinforcement learning from human feedback (RLHF)사람이 모델 응답을 비교·평가한 선호 데이터로 보상 모델을 만들고, 그 보상을 높이도록 강화학습으로 언어 모델을 조정하는 학습 기법을 의미함.
용어 설명
사람이 모델 응답을 비교·평가한 선호 데이터로 보상 모델을 만들고, 그 보상을 높이도록 강화학습으로 언어 모델을 조정하는 학습 기법을 의미함.
- 응답 생성과 사람의 선호 비교, 보상 모델 학습, 보상을 최대화하는 강화학습 순으로 진행되며, 모범 답안을 쓰기보다 두 답을 비교하는 편이 쉽다는 점을 활용함.
- 지시를 따르고 유해한 요청을 거절하는 성향을 만드는 대표적 정렬 기법이지만, 보상 모델이 사람의 평가 편향까지 학습해 아첨이나 보상 해킹을 낳을 수 있음.
구별'인간 피드백 기반 강화학습'은 사람의 선호로 보상 모델을 학습해 강화학습을 거치는 방식이고, AI의 피드백을 쓰는 RLAIF·헌법 AI나 보상 모델 없이 선호 데이터를 직접 최적화하는 DPO는 그 변형·대안임.
용어 관계
주요 기관·문서별 개념 및 적용
- 생성형 AI 프로파일(MS-2.5-002)은 RLHF·미세조정·검색 증강 생성 등으로 인간의 영역 지식이 성능 향상에 얼마나 쓰였는지 문서화하도록 권고함. [2]
출처
- 1International AI Safety Report 2026, 3.2, p.124 · 원문 · 라이브러리에서 보기
- 2NIST AI 600-1, MS-2.5-002, p.31 · 원문
해설 · 참고 기사 3 · 관련 연구 4
해설
세 단계로 이뤄진다. 먼저 모델에게 같은 질문에 여러 답을 내게 하고, 사람이 어느 쪽이 더 나은지 표시한다. 다음으로 그 선호 데이터를 학습해 답에 점수를 매기는 보상 모델을 만든다. 마지막으로 그 점수를 높이는 방향으로 언어 모델을 다시 학습시킨다. 사람이 모든 상황에 대한 모범 답안을 쓰는 것은 불가능하지만 두 답을 비교하는 일은 할 수 있다는 점을 이용한 설계다. 지시를 따르고 유해한 요청을 거절하는 오늘날 대화형 모델의 성격은 상당 부분 이 단계에서 만들어진다.
정렬을 위한 수단이면서 동시에 정렬 문제의 원천이기도 하다는 점이 이 기법을 이해하는 핵심이다. 보상 모델이 실제로 배우는 것은 좋은 답이 아니라 사람이 좋다고 표시한 답이다. 사람의 평가는 시간에 쫓기고, 긴 답과 자신 있는 문체에 후하며, 검증하기 어려운 주장을 걸러내지 못한다. 그 편향이 그대로 보상에 들어가면 모델은 좋은 답 대신 좋아 보이는 답을 최적화한다. 아첨 성향이 이 경로로 생기는 대표적인 부작용이다.
참고 기사·연구
- 2026-09-02Adaptive Kantian AI: a constraint-based approach to the categorical imperative in multi-agent systems OpenAlex 연구
- 2026-07-24Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Mode arXiv 연구
- 2022-12-19Discovering Language Model Behaviors with Model-Written Evaluations Anthropic Research 다이제스트 2022-12-19
관련 연구 · AI 안전 연구
- 2026-11-03인간 피드백 강화학습의 통계적 관점 arXiv
- 2026-11-02RLHF의 보상모델 수정 반응 사전 예측 arXiv
- 2026-10-14AI 에이전트 권한 상승 사고의 포렌식 분석과 재현 arXiv
- 2026-05-26정렬 변조: RLHF를 악용한 편향 증폭 arXiv
125해석 가능성interpretability사람이 AI 모델의 내부 작동, 특히 특정 출력·결정이 왜 나왔는지를 이해할 수 있는 정도, 또는 이를 밝히려는 연구를 의미함.
용어 설명
사람이 AI 모델의 내부 작동, 특히 특정 출력·결정이 왜 나왔는지를 이해할 수 있는 정도, 또는 이를 밝히려는 연구를 의미함.
- 특정 개념이 신경망 내부에 어떻게 표현되는지 찾고 그 표현을 조작했을 때 행동이 예상대로 바뀌는지 확인하는 방식으로 연구되며, 기계적 해석 가능성이 대표적 갈래임.
- 평가 중에만 협조하거나 말과 다르게 계산하는 등 행동 관찰만으로 드러나지 않는 기만적 정렬·계략적 행동을 확인할 수단으로 기대됨.
- 대형 모델 전체를 설명하는 단계에는 이르지 못했고, 특정 역량이나 회로를 부분적으로 규명하는 수준이라는 평가가 있음.
구별'해석 가능성'은 모델 내부 계산 자체를 이해하는 것을, '설명 가능한 AI'는 사람이 납득·활용할 수 있는 설명을 만들어 제시하는 것을 목표로 하나, NIST AI RMF는 두 말을 다른 축으로 정의하므로 인용할 때 출처의 정의를 확인해야 함.
용어 관계
주요 기관·문서별 개념 및 적용
- 설명 가능성은 AI 시스템 작동 메커니즘의 표현, 해석 가능성은 설계된 기능 목적의 맥락에서 출력이 갖는 의미로 구분함. [3]
- 해석 가능성 기법은 AI 시스템이 왜 그렇게 행동하는지에 대한 통찰에 근거해 신뢰성의 정성·정량 증거를 제공하려는 것으로 설명함. [4]
출처
- 1International AI Safety Report 2026, Glossary, p.151 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2025, p.192, p.201–202; Glossary p.223 · 원문
- 3NIST AI 100-1 (AI RMF 1.0), 3.5, p.16–17 · 원문
- 4Singapore Consensus (2025), 2.3.3, p.23–24 · 원문
해설 · 원문 인용 3 · 참고 기사 3 · 관련 연구 4
해설
입력과 출력만 관찰하는 대신 모델 안에서 실제로 무슨 일이 벌어지는지 규명하려는 분야다. 특정 개념이 신경망의 어느 부분에 어떤 형태로 표현돼 있는지 찾고, 그 표현을 인위적으로 키우거나 지웠을 때 행동이 예상대로 바뀌는지 확인하는 방식으로 진행된다. 여러 개념이 뒤섞여 하나의 단위에 겹쳐 저장되는 성질 때문에 작업이 까다로운데, 이 겹침을 풀어내는 기법이 최근 연구의 중심에 있다.
행동을 관찰하는 것만으로는 풀리지 않는 문제가 있기 때문에 안전 연구에서 기대가 크다. 모델이 평가받는 동안에만 협조하는 경우, 말과 다르게 계산하는 경우, 특정 조건에서만 다르게 작동하도록 심어진 경우는 겉으로 드러나지 않는다. 내부를 볼 수 있다면 이런 것을 사전에 확인할 여지가 생긴다. 다만 큰 모델 전체를 설명할 수 있는 단계는 아니고, 지금은 특정 역량이나 회로를 부분적으로 규명하는 수준이다. 설명 가능성과 이름이 비슷해 자주 섞이지만 목표가 다르다.
PDF 원문 인용
번역인간이 AI 모델의 내부 작동—특정 출력·결정이 나온 이유 포함—을 이해할 수 있는 정도. 수학적 과정을 인간이 추적 가능한 개념으로 옮길 수 있으면 해석가능성이 높다고 본다.
The degree to which humans can understand the inner workings of an AI model, including why it generated a particular output or decision.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기
번역인간이 AI 모델의 내부 작동—특정 출력·결정이 나온 이유 포함—을 이해할 수 있는 정도. 수학적 과정을 인간이 추적 가능한 개념으로 옮길 수 있으면 해석가능성이 높다고 본다.
The degree to which humans can understand the inner workings of an AI model, including why it generated a particular output or decision. A model is highly interpretable if its mathematical processes can be translated into concepts that allow humans to trace the specific factors and logic that influenced the model's output.
출처 International Scientific Report on the Safety of Advanced AI · p.192, p.201–202, p.223 · EN · 정의섹션
번역범용 AI 모델의 내부 작동을 연구하고, 이를 인간이 이해할 수 있게 만드는 방법을 개발하는 일.
The study of how general-purpose AI models function internally, and the development of methods to make this comprehensible to humans.
출처 International Scientific Report on the Safety of Advanced AI · p.170, p.223 · EN · 정의섹션
참고 기사·연구
- 2026-07-22Train the Model, Not the Reader: Decodability Supervision for Verifiable Activation Explanations HuggingFace-Papers 연구
- 2026-05-28Anthropic raises $65B in Series H funding at $965B post-money valuation 앤트로픽(Anthropic) 공식 뉴스 다이제스트 2026-05-28
- 2026-05-20AI 해석가능성(interpretability) 연구의 필요성과 한계(2026.5.20) Americans for Responsi 다이제스트 2026-05-20
관련 연구 · AI 안전 연구
- 2026-11-05AI 안전을 위한 기계적 해석가능성 서베이 arXiv
- 2026-11-04Cyberlens: 사이버보안 특화 희소 오토인코더 AI and Ethics
- 2026-10-27다중 에이전트 해석가능성 기반 공모 탐지 SuperIntelligence - Robo
- 2026-10-17이야기에서 특징으로: 개념 벡터 확장 arXiv
126설명 가능한 AIexplainable AI (XAI)AI 시스템의 개별 출력·결정이 왜 나왔는지를 사람이 이해하고 활용할 수 있는 형태로 제시하는 기법과 연구 분야를 의미함.
용어 설명
AI 시스템의 개별 출력·결정이 왜 나왔는지를 사람이 이해하고 활용할 수 있는 형태로 제시하는 기법과 연구 분야를 의미함.
- 입력 특성의 기여도, 유사 사례, 결과가 바뀌려면 무엇이 달라져야 하는지를 보여 주는 반사실적 설명 등이 쓰임.
- 영향을 받는 사람의 이의 제기, 인간 감독, 책임성 확보의 전제로 요구되며, 투명성 원칙을 구현하는 수단으로 다뤄짐.
- 사후에 만든 설명이 실제 내부 계산과 다를 수 있어, 그럴듯한 설명이 잘못된 신뢰나 자동화 편향을 키울 수 있다는 지적이 있음.
구별'해석 가능성'은 모델 내부에서 실제로 일어난 계산을 밝히는 데 초점을 두고, '설명 가능한 AI'는 사람이 납득·활용할 수 있는 설명을 만들어 내는 데 초점을 둠.
용어 관계
해설 · 참고 기사 3 · 관련 연구 3 · 정책 문서 3
해설
왜 이런 결과가 나왔는지 사람에게 답해 주는 것이 목적이다. 어떤 입력 항목이 결정에 얼마나 기여했는지 수치로 보여 주거나, 비슷한 판단을 받은 과거 사례를 제시하거나, 결과가 뒤집히려면 무엇이 얼마나 달라져야 하는지 알려 주는 방식이 쓰인다. 마지막 방식은 대출 거절을 통보할 때 소득이 얼마 더 있었으면 승인됐다고 알려 주는 형태로 나타나며, 당사자가 실제로 취할 행동을 알려 준다는 점에서 유용하게 평가된다.
해석 가능성과 방향이 반대라고 보면 이해가 쉽다. 해석 가능성은 모델 안에서 실제로 일어난 계산을 밝히려 하고, 설명 가능성은 사람이 이해하고 쓸 수 있는 설명을 만들어 내려 한다. 그래서 후자에는 오래된 약점이 따라붙는다. 나중에 붙인 설명이 실제 계산 과정과 다를 수 있다는 것이다. 그럴듯하고 납득이 가는 설명이 반드시 정확한 설명은 아니다. 설명을 제도적으로 요구할 때 이 간극을 함께 다루지 않으면, 형식만 갖춘 설명이 오히려 잘못된 신뢰를 만들 수 있다.
참고 기사·연구
- 2026-09-03Can the finance sector oversee AI innovation while maintaining its rapid progress? OECD-AI 다이제스트 2026-09-03
- 2026-09-02Artificial Intelligence Governance and Data Protection for Building Trustworthy and Accountable Systems OpenAlex 연구
- 2026-05-30From rule of law to rule of algorithm: Generative Artificial Intelligence's threat to democracy OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-09-21XAI로 본 프롬프트 주입 탐지 가드레일 분석 arXiv
- 2026-09-02설명 가능 AI 기반 자율 로봇 의사결정 프레임워크 arXiv
- 2025-01-01설명가능 AI 기반 다국어 혐오표현 탐지 MUST IEEE Access
관련 정책 문서 · AI 안전 라이브러리
- 2025-07-09🇪🇺 인공지능의 견고성과 설명가능성 보고서 정책보고서
- 2020-08-17🇺🇸 미국 · NIST 원칙 Explainable AI National Institute of Standard
- 2016-08-10🇺🇸 DARPA 설명가능 AI(XAI) 프로그램 Defense Advanced Research Proj
127안전장치safeguardAI 시스템이 해를 끼치지 않고 의도대로 작동하도록 개발·배포·운영 단계에 두는 기술적·절차적 보호 조치를 통칭함.
용어 설명
AI 시스템이 해를 끼치지 않고 의도대로 작동하도록 개발·배포·운영 단계에 두는 기술적·절차적 보호 조치를 통칭함.
- 안전 학습(거부 학습·적대적 학습 등), 입출력 필터와 가드레일, 접근 통제·이용 정책, 모니터링, 인간 감독 등 여러 층의 조치를 포괄함.
- 위험 관리에서 위험 완화 수단의 핵심이며, 위험 임계값에 이른 모델의 배포 조건이나 오픈 웨이트 공개 여부를 판단할 때 그 충분성이 쟁점이 됨.
- 탈옥·미세조정 등으로 우회·제거될 수 있어 단일 조치가 아니라 다층 방어로 설계해야 한다는 견해가 일반적임.
구별'안전장치'는 피해를 막기 위한 보호 조치 전반을 가리키는 상위 개념이고, '가드레일'은 그중 주로 모델 바깥에서 입출력과 행동을 실시간으로 검사·차단하는 기술적 통제 장치를 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- 배포 결정은 가용한 안전장치와 그 효과가 오용 위험을 충분히 완화하는지에 근거해야 하며, 위협 행위자의 우회 가능성을 고려해 안전 여유를 두도록 권고함. [3]
- 미세조정 공격·탈옥 같은 적대적 압박에도 강건한 안전 완화를 요구하고, 학습 데이터 정제, 입출력 필터링, 거부 학습, 단계적 접근을 예시함. [4]
- 위험 완화 조치를 모델 설계(유해 요청 거부 학습), 보안, 배포 전략, 운영(실시간 모니터링) 전반에 다층적으로 설계하도록 함. [5]
출처
- 1International AI Safety Report 2026, Glossary, p.153–154 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2025, Glossary, p.222–223 · 원문
- 3NIST AI 800-1 2차 초안, Practice 5.3, p.16–17 · 원문
- 4EU GPAI Code of Practice (2025), Safety & Security, Measure 5.1, p.17 · 원문
- 5『인공지능 안전성 확보 가이드라인』 v1.3, 3-1, p.47–48 · 원문
원문 인용 2 · 관련 연구 4 · 정책 문서 3
PDF 원문 인용
번역인공지능 시스템이 해를 끼치지 않도록 막는 보호 조치.
A protective measure intended to prevent an AI system from causing harm.
출처 International AI Safety Report 2026 · p.154–155 · EN · 정의섹션 · 라이브러리에서 보기
번역인공지능 시스템이 의도대로 동작하고 해로운 결과를 피하도록 넣는 내장 안전 제약.
Built-in safety constraints to ensure that an AI system operates as desired and avoids harmful outcomes.
출처 International Scientific Report on the Safety of Advanced AI · p.222–223 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-10-27스트리밍 추론용 적응형 깊이-시간 안전장치 ADTGuard arXiv
- 2026-10-16비전문가 사용자라는 LLM 위협 벡터 Issues of Media Business
- 2026-09-01Astra로 가는 길: 핵심 역량과 프런티어 안전장치 OpenAI
- 2026-05-24논리적 자기성찰로 강화한 LLM 안전 분류기 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-08Technical Safeguards Against Extreme Misuse AI: Current Landscape · Future Directions AIGL · 기타
- 2026-08-21🇧🇷 브라질 개인정보보호 당국의 비동의 친밀 콘텐츠 대응 조사 기타
- 2024-09-05🇦🇺 호주 고위험 AI 의무 안전장치 Department of Industry, Scienc
128가드레일guardrail주로 모델 바깥에서 입력·출력·도구 사용을 검사하고 차단·수정·제한해 유해하거나 정책에 어긋난 동작을 막는 통제 장치를 말하며, 문헌에 따라 학습으로 내장한 제약까지 포함하는 넓은 뜻으로도 씀.
용어 설명
주로 모델 바깥에서 입력·출력·도구 사용을 검사하고 차단·수정·제한해 유해하거나 정책에 어긋난 동작을 막는 통제 장치를 말하며, 문헌에 따라 학습으로 내장한 제약까지 포함하는 넓은 뜻으로도 씀.
- 입력 필터, 출력 분류기, 금지 규칙, 도구·권한 제한, 승인이 필요한 행위를 정한 정책 엔진 등으로 구성되며, 모델을 다시 학습시키지 않고도 정책을 바꾸거나 즉시 차단할 수 있음.
- 탈옥·프롬프트 인젝션으로 우회될 수 있어, 학습된 거부·샌드박싱·권한 최소화 등과 겹쳐 쓰는 다층 방어의 한 층으로 다뤄짐.
구별'안전장치(safeguard)'는 학습 단계의 안전 조정, 접근 통제, 모니터링, 인간 감독까지 포괄하는 보호 조치 전반을 가리키는 상위 개념이고, '가드레일'은 그중 주로 모델 바깥에서 입출력과 행동을 실시간으로 통제하는 기술적 장치를 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- 생성형 AI 프로파일(MS-2.5-006)은 보안·안전 가드레일을 정기적으로 검토하되, 특히 시스템이 새로운 상황에서 운영될 때 검토하도록 권고함. [4]
- 이행조치 5.1은 미세조정 공격·탈옥 같은 적대적 압박에도 충분히 견디는 안전 완화를 요구하고, 그 예로 모델 입력·출력의 모니터링·필터링을 듦. [5]
출처
- 1International AI Safety Report Second Key Update (2025), Figure 3, p.12 · 원문
- 2International AI Safety Report 2026, Table 3.6, p.122 · 원문 · 라이브러리에서 보기
- 3International AI Safety Report 2026, 3.3, p.127–128 · 원문 · 라이브러리에서 보기
- 4NIST AI 600-1, MS-2.5-006, p.31 · 원문
- 5EU GPAI Code of Practice (2025), Safety & Security, Measure 5.1, p.17 · 원문
해설 · 참고 기사 3 · 관련 연구 4
해설
모델이 학습을 통해 갖게 된 거부 성향과는 다른 층이다. 모델 바깥에 놓여서, 들어오는 요청을 먼저 검사해 차단하거나, 나가는 답을 검사해 수정하거나 보류하거나, 모델이 호출할 수 있는 도구와 권한을 미리 제한한다. 유해성을 판정하는 별도의 작은 모델, 금지어와 패턴을 담은 규칙, 어떤 행동에 승인이 필요한지 정해 둔 정책 엔진이 함께 쓰인다.
바깥에 있다는 점이 장점과 약점을 동시에 만든다. 장점은 유연함이다. 모델을 다시 학습시키지 않고도 정책을 바꿀 수 있고, 사고가 났을 때 즉시 막을 수 있다. 약점은 우회 가능성이다. 검사를 피하는 표현을 찾아내면 모델은 그대로인데 통제만 사라진다. 그래서 어느 한 층에 의존하지 않는 것이 원칙이다. 학습된 거부, 외부 필터, 권한 제한, 실행 환경 격리를 겹쳐 쌓아 한 겹이 뚫려도 피해가 제한되게 만드는 다층 방어가 기본으로 권고된다.
참고 기사·연구
- 2026-09-07Last Week in AI #343 - GPT-6, OpenAI’s agents chatted on a wiki, Fable 5.1 Last-Week-in-AI 다이제스트 2026-09-07
- 2026-09-07오픈AI 수석과학자 “AI 발전, 극도의 주의 필요” 통제 한계 경고 경향신문 다이제스트 2026-09-07
- 2026-09-07AI들이 팀처럼 움직였다… 사이트 해킹하고 정보도 공유 조선일보 다이제스트 2026-09-07
관련 연구 · AI 안전 연구
- 2026-10-27가림: 한국어 가드레일 학습·평가 데이터 Hugging Face
- 2026-10-14LLM 가드레일 경량화: 양자화 Llama Guard 3 평가 OpenAlex
- 2026-10-08에이전트 가드레일 옵션 채널 공격 arXiv
- 2026-10-02블랙박스 보안 가드레일의 비열람 정확성 추정 arXiv
129샌드박싱sandboxing코드나 AI 에이전트를 파일·네트워크·자원 접근이 제한된 격리 환경에서만 실행해, 오작동하거나 탈취돼도 피해 범위를 좁히는 기법을 의미함.
용어 설명
코드나 AI 에이전트를 파일·네트워크·자원 접근이 제한된 격리 환경에서만 실행해, 오작동하거나 탈취돼도 피해 범위를 좁히는 기법을 의미함.
- 접근 가능한 파일을 지정 디렉터리로 한정하고, 네트워크를 차단하거나 허용 목록만 열며, 메모리·시간 사용에 상한을 두는 방식으로 구현됨.
- AI 에이전트가 코드 실행·도구 사용을 하게 되면서 프롬프트 인젝션 등으로 통제가 넘어가도 할 수 있는 일을 제한하는 핵심 안전장치가 됐고, 위험한 역량 평가 환경에도 쓰임.
- 권한 최소화, 되돌릴 수 없는 행위를 사람이 승인하는 절차와 함께 적용되며, 격리 탈출이나 자기 유출 시도를 막을 만큼 견고한지가 쟁점임.
구별'샌드박싱'은 AI의 실행 환경을 격리하는 기술적 통제이고, 규제 특례를 주는 제도인 '규제 샌드박스'나 평가에서 역량을 낮춰 보이는 '샌드배깅'과는 다른 말임.
용어 관계
상위 안전장치
주요 기관·문서별 개념 및 적용
- 사이버 역량 평가에서 모델이 격리되거나 모의된 무해한 환경에서 실제와 유사한 시스템·자원과 상호작용하게 해 역량을 직접 측정할 수 있다고 봄. [2]
- 부록 4.4는 모델에 의한 (자기)유출·사보타주를 포함한 내부자 위협 대응책으로, 가상머신·코드 실행 격리 같은 모델 주변 샌드박스로 자기 유출 위험을 줄이도록 함. [3]
출처
- 1International AI Safety Report 2026, 3.3, p.128–129 · 원문 · 라이브러리에서 보기
- 2NIST AI 800-1 2차 초안, Appendix E.2.1, p.52–53 · 원문
- 3EU GPAI Code of Practice (2025), Safety & Security, Appendix 4.4, p.42 · 원문
해설 · 참고 기사 3 · 관련 연구 2
해설
무엇을 할 수 있는지 미리 좁혀 둔 환경을 만들고 그 안에서만 동작하게 한다. 접근할 수 있는 파일을 지정된 디렉터리로 한정하고, 네트워크 연결을 막거나 허용 목록만 열어 주고, 쓸 수 있는 메모리와 시간에 상한을 두는 방식이다. 신뢰할 수 없는 코드를 다뤄야 하는 상황에서 오래 쓰여 온 기법인데, AI 에이전트가 코드를 직접 실행하기 시작하면서 사실상 필수 요소가 됐다.
이 기법의 비중이 커진 배경에는 프롬프트 인젝션을 근본적으로 막을 방법이 아직 확립되지 않았다는 현실이 있다. 지시와 자료를 확실히 구별하는 해법이 없다면, 가로채이지 않게 하는 데 더해 가로채였을 때 할 수 있는 일을 좁히는 쪽으로도 대비해야 한다. 그래서 격리는 권한 최소화와 함께 묶여 적용된다. 각 도구에 꼭 필요한 권한만 주고, 되돌릴 수 있는 행위만 자동으로 허용하고, 되돌릴 수 없는 행위는 격리 환경 밖에서 사람 승인을 거치게 하는 설계다.
참고 기사·연구
- 2026-09-07AI들이 팀처럼 움직였다… 사이트 해킹하고 정보도 공유 조선일보 다이제스트 2026-09-07
- 2026-09-04"누가 만든지도 모를 에이전트가 전산망 활보"…美양당, '통제 이탈 AI 차단법' 발의 뉴시스 다이제스트 2026-09-04
- 2026-08-25AI에 기밀문서 흘러갈라…소프트캠프-DSTI, 문서보안 사업 '맞손' 뉴시스 다이제스트 2026-08-25
관련 연구 · AI 안전 연구
- 2025-10-20Claude Code 샌드박싱으로 보안·자율성 향상 Anthropic Research
- 2025-08-07Inspect 샌드박싱 툴킷: 안전한 에이전트 평가 AISI UK
130인간 감독human oversight사람이 AI 시스템의 작동을 이해·모니터링하고, 필요할 때 출력을 무시·번복하거나 시스템을 중단할 수 있도록 보장하는 원칙과 그 구현 체계를 의미함.
용어 설명
사람이 AI 시스템의 작동을 이해·모니터링하고, 필요할 때 출력을 무시·번복하거나 시스템을 중단할 수 있도록 보장하는 원칙과 그 구현 체계를 의미함.
- 감독자가 시스템의 역량과 한계를 알고 자동화 편향을 경계하며 개입·중단할 실질적 권한과 수단을 갖추는 것이 요건이 되고, 이를 가능하게 하는 설계가 개발 단계부터 들어가야 함.
- 고위험 AI와 AI 에이전트에서 오작동·오정렬로 인한 피해를 줄이고 책임성을 확보하는 핵심 장치로, 규제와 위험 관리 체계에서 요구 사항으로 다뤄짐.
- 검토 시간·근거 정보·권한이 없으면 승인만 남는 형식적 감독이 되어 책임만 사람에게 옮겨 가는 문제가 지적됨.
구별'인간 감독'은 감독 가능성을 보장하는 상위 원칙·요건이고 '휴먼 인 더 루프'는 사람이 결정 과정 안에서 개별 결정을 직접 승인·개입하는 구체적 구현 방식 중 하나로, 휴먼 인 더 루프가 없어도 모니터링·중단 권한으로 인간 감독이 이뤄질 수 있음.
용어 관계
주요 기관·문서별 개념 및 적용
- 피해가 큰 사용처에서는 휴먼 인 더 루프가 직접 감독을 가능하게 하지만, 결정 속도·규모 때문에 비현실적일 때가 많고 자동화 편향이 생길 수 있다고 봄. [2]
- AI 의사결정·감독에서 인간의 역할과 책임을 명확히 정의·구분해야 하며, 인간과 AI의 구성은 완전 자율부터 완전 수동까지 걸친다고 봄. [3]
- 제34조는 고영향 AI 사업자 책무로 사람의 관리·감독을 두고, 사례집은 이를 오류·성능 저하 등 비상 시 사람이 즉시 통제·개입할 기준과 방법, 정기 점검·교육 체계로 설명함. [4]
출처
- 2International AI Safety Report 2026, p.128 · 원문 · 라이브러리에서 보기
- 3NIST AI 100-1 (AI RMF 1.0), Appendix C, p.40–41 · 원문
- 4『인공지능기본법 지원데스크 사례집』(2026), 제34조, p.17 · 원문 · 라이브러리에서 보기
- 5EU AI Act, Art. 14, p.60–61 · 원문
- 6Regulation (EU) 2026/1744, Art. 1(39)·(40) · 원문
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 1
해설
사람을 한 명 앉혀 두는 것과는 다르다. 감독이 실제로 작동하려면 감독자가 그 시스템이 무엇을 잘하고 무엇을 못하는지 알아야 하고, 자동화된 출력을 지나치게 믿지 않도록 훈련돼야 하며, 결정을 무시하거나 시스템을 멈출 실질적인 권한을 가져야 한다. EU AI법이 고위험 AI에 요구하는 내용도 이런 조건들이다. 감독을 가능하게 하는 설계가 개발 단계에서부터 들어가야 한다는 뜻이기도 하다.
가장 흔한 실패는 감독이 형식만 남는 것이다. 검토할 시간이 없거나, 판단 근거를 볼 수 없거나, 반대했을 때 불이익이 돌아오는 구조에서는 사람이 승인 버튼만 누르게 된다. 이렇게 되면 책임 소재만 사람 쪽으로 옮겨 가고 통제는 실제로 존재하지 않는다. 그래서 감독 지점을 설계할 때는 되돌릴 수 없는 행위에 초점을 맞추고, 그 지점에는 충분한 정보와 시간을 함께 배치하는 것이 원칙으로 권고된다. 모든 단계를 확인하게 하면 어느 단계도 제대로 확인되지 않는다.
참고 기사·연구
- 2026-09-02Operational reliance on AI in supply chains and emerging insurance risks RAND 다이제스트 2026-09-02
- 2026-09-02Operational reliance on AI in supply chains and emerging insurance risks RAND 다이제스트 2026-09-02
- 2026-09-02From Prediction to Decision Support: A Critical Review and Six-Layer Framework for Responsible Artificial Intelligence in Sport Science OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-11-06AI 자기진화 통제: 유용성·안전·인간 감독의 균형 International Journal of
- 2026-09-03에이전트 프로세스용 블랙박스: 블록체인 증적 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-08-29🇺🇸 캘리포니아 SB 833 (핵심기반시설: 인공지능 시스템: 인간 감독) 법안
131휴먼 인 더 루프human-in-the-loop (HITL)AI 시스템의 결정·행동 과정 안에 사람이 직접 참여해, 실행 전에 검토·승인·수정할 수 있도록 설계한 운영 방식을 말함.
용어 설명
AI 시스템의 결정·행동 과정 안에 사람이 직접 참여해, 실행 전에 검토·승인·수정할 수 있도록 설계한 운영 방식을 말함.
- 사람이 개별 결정마다 확인하거나 신뢰도가 낮은 출력·되돌릴 수 없는 행위 등 특정 지점에서 승인하도록 하는 방식으로 구현되며, AI 에이전트의 고위험 행위 통제에 자주 쓰임.
- 금융·의료·치안처럼 잘못된 결정의 피해가 큰 영역에서 직접 감독 수단이 되지만, 결정 속도·규모 때문에 비현실적인 경우가 많음.
- 사람이 AI 출력을 과신하는 자동화 편향, 검토 시간·정보 부족 탓에 승인만 남는 형식적 개입이 한계로 지적됨.
구별'인간 감독'은 사람이 AI 시스템을 이해·모니터링·개입·중단할 수 있도록 보장하는 상위 원칙·요건이고, '휴먼 인 더 루프'는 그것을 구현하는 여러 방식 가운데 사람이 결정 과정 안에서 직접 승인·개입하는 구체적 설계를 가리킴.
용어 관계
상위 인간 감독
주요 기관·문서별 개념 및 적용
- HITL을 시스템의 모든 의사결정 주기에 사람이 개입할 수 있는 역량으로, HOTL(human-on-the-loop)을 설계 주기 개입과 작동 모니터링 역량으로, HIC(human-in-command)를 전반적 활동을 감독하고 언제 어떻게 쓸지 결정하는 역량으로 구분하고, HITL은 많은 경우 가능하지도 바람직하지도 않다고 봄. [3]
출처
- 1International AI Safety Report 2026, p.128 · 원문 · 라이브러리에서 보기
- 3AI HLEG (2019). Ethics Guidelines for Trustworthy AI, 1.1, p.16 · 원문
관련 연구 4
관련 연구 · AI 안전 연구
- 2026-10-26양도 불가 인간 승인(I-HITL) 프로토콜 arXiv
- 2026-08-15생성형 AI 인간 개입 감독의 조직 구현 Journal of the Associati
- 2025-07-08RabakBench: 싱가포르 다국어 안전성 벤치마크 arXiv
- 2024-10-28LLM-Sentry: 모델 비종속 탈옥 방어 프레임워크 IEEE International Confe
132적대적 학습adversarial training모델을 실패시키도록 고안한 적대적 입력을 학습 데이터에 포함해, 그런 입력에도 의도대로 작동하도록 모델을 학습시키는 기법을 의미함.
용어 설명
모델을 실패시키도록 고안한 적대적 입력을 학습 데이터에 포함해, 그런 입력에도 의도대로 작동하도록 모델을 학습시키는 기법을 의미함.
- 레드티밍·적대적 시험 등으로 모델이 오작동하거나 유해 응답을 내는 입력을 찾아낸 뒤, 이를 인식·처리하도록 추가 학습하는 순환 구조로 이뤄짐.
- 탈옥·프롬프트 인젝션 같은 공격에 대한 강건성을 높여 안전장치가 우회되는 위험을 줄이는 데 쓰임.
- 학습에 쓰인 공격 유형에는 효과가 있어도 새로운 공격으로 일반화되지 않을 수 있어, 그 자체로 충분한 방어로 보기는 어렵다는 지적이 있음.
구별'적대적 학습'은 적대적 입력으로 모델을 고치는 학습 기법이고, '적대적 시험'은 그런 입력으로 모델의 약점을 찾아내는 시험·평가 활동임.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2026, Glossary, p.147 · 원문 · 라이브러리에서 보기
- 2International AI Safety Report 2025, p.192; Glossary p.218–219 · 원문
원문 인용 2 · 관련 연구 1
PDF 원문 인용
번역모델을 더 견고하게 만드는 기계학습 기법. 먼저 모델을 실패시키도록 고안한 입력을 만들고, 이어서 그런 입력을 인식·처리하도록 학습시킨다.
A machine learning technique used to make models more reliable. First, developers construct inputs that are designed to make a model fail. Second, they train the model to recognise and handle these kinds of inputs.
출처 International AI Safety Report 2026 · p.148 · EN · 정의섹션 · 라이브러리에서 보기
번역모델을 더 견고하게 만드는 기계학습 기법. 먼저 모델을 실패시키도록 고안한 입력을 만들고, 이어서 그런 입력을 인식·처리하도록 학습시킨다.
A machine learning technique used to make models more reliable. First, developers construct 'adversarial inputs' (e.g. through red -teaming) that are designed to make a model fail, and second, they train the model to recognise and handle these kinds of inputs.
출처 International Scientific Report on the Safety of Advanced AI · p.192, p.218–219 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2025-01-01표적 잠재 적대적 학습 기반 다국어 탈옥 방어 Widening NLP Workshop (W
133머신 언러닝machine unlearning이미 학습된 모델에서 특정 데이터나 지식·역량의 영향을 처음부터 다시 학습하지 않고 제거하려는 기법을 의미함.
용어 설명
이미 학습된 모델에서 특정 데이터나 지식·역량의 영향을 처음부터 다시 학습하지 않고 제거하려는 기법을 의미함.
- 삭제 대상 데이터에 대한 추가 학습이나 가중치 조정으로 해당 정보를 모델이 더는 재현·활용하지 못하게 하는 방식이 연구됨.
- 개인정보 삭제 요청·저작권 대응뿐 아니라, 화학·생물·방사능·핵 무기 관련 지식처럼 오용 위험이 큰 역량을 줄이는 안전장치로도 논의됨.
- 제거가 실제로 이뤄졌는지 검증하기 어렵고, 미세조정 등으로 지운 지식이 되살아날 수 있다는 한계가 지적됨.
관련 연구 1
관련 연구 · AI 안전 연구
- 2026-09-29사이버물리시스템용 물리 인지 머신 언러닝 arXiv
134사이버 방어cyber defence시스템·네트워크에 대한 침해 시도를 탐지·차단·대응·복구해 정보 자산을 지키는 활동을 말하며, AI 안전에서는 AI를 방어에 활용하는 일과 AI 시스템 자체를 지키는 일을 함께 가리킴.
용어 설명
시스템·네트워크에 대한 침해 시도를 탐지·차단·대응·복구해 정보 자산을 지키는 활동을 말하며, AI 안전에서는 AI를 방어에 활용하는 일과 AI 시스템 자체를 지키는 일을 함께 가리킴.
- 탐지·차단·사고 대응·복구의 순환으로 운영되며, AI는 대량의 로그에서 이상 징후를 찾고 경보의 위험도를 분류하는 단계에 주로 쓰임.
- AI의 사이버 공격 역량이 높아지면서 같은 역량을 방어에 먼저 활용할 수 있는지가 논의되며, 오탐이 정상 업무를 막는 비용 때문에 방어 자동화가 더 보수적일 수밖에 없다는 비대칭이 지적됨.
구별'사이버 보안'은 정보 자산을 보호하는 상태·체계 전반을, '사이버 방어'는 그 안에서 실제 위협을 탐지·대응하는 활동을 가리킴.
용어 관계
상위 사이버 보안
해설 · 참고 기사 3 · 관련 연구 4
해설
탐지, 차단, 사고 대응, 복구로 이어지는 순환으로 운영된다. AI가 투입되는 지점은 주로 앞쪽 두 단계다. 사람이 다 볼 수 없는 양의 접속 기록과 통신 내역에서 평소와 다른 패턴을 찾아내고, 경보가 올라오면 위험도를 분류해 우선순위를 매기는 일이다. 보안 담당자가 처리할 수 있는 양보다 경보가 훨씬 많이 발생하는 구조적 문제를 완화하려는 목적으로 도입된다.
자동화의 병목은 오탐 비용이다. 공격을 자동화하는 쪽은 실패해도 다시 시도하면 되지만, 방어를 자동화하는 쪽은 정상 업무를 잘못 차단하면 그 자체가 피해가 된다. 결제 시스템이나 병원 기록 시스템을 잘못 막으면 공격을 당한 것과 비슷한 결과가 나온다. 그래서 방어 자동화는 공격 자동화보다 훨씬 보수적으로 움직여야 하고, 이 비대칭이 공격 측에 유리하게 작동할 수 있다는 우려가 국가 차원의 방어 역량 논의를 불러왔다.
참고 기사·연구
- 2026-09-02Proactive cyber defense for governments and enterprises DeepMind 다이제스트 2026-09-02
- 2026-08-15Bridging AI Governance and Cybersecurity Risk Management: Topic Modeling and Framework-Based Gap Analysis OpenAlex 연구
- 2026-08-13Sovereign by necessity? Frontier AI export controls, cyber security, and the limits of national AI capability arXiv 연구
관련 연구 · AI 안전 연구
- 2026-06-12정부 사이버 방어에서의 최첨단 AI 실전 시험 영국 과학·혁신·기술부 및 국가사이버보안센터
- 2026-05-14사이버 방어 벤치마크: LLM 위협 사냥 평가 arXiv
- 2026-04-02사이버 방어를 위한 프론티어 AI 활용 AISI UK
- 2026-01-08Anthropic·PNNL 중요 인프라 사이버 방어 협력 Anthropic
135취약점 탐지vulnerability detection소프트웨어·시스템에서 악용될 수 있는 결함을 찾아내는 활동을 말하며, AI 안전에서는 AI를 이용한 취약점 발견 역량과 그 이중 용도 위험을 함께 다룸.
용어 설명
소프트웨어·시스템에서 악용될 수 있는 결함을 찾아내는 활동을 말하며, AI 안전에서는 AI를 이용한 취약점 발견 역량과 그 이중 용도 위험을 함께 다룸.
- 정적 분석, 퍼징, 침투 시험 등 기존 방법에 더해, 모델이 코드를 읽고 결함 후보를 지목하거나 악용 가능성을 검증하는 방식이 쓰이기 시작함.
- 같은 역량이 방어 측에는 배포 전 수정 기회를, 공격 측에는 제로데이 취약점 확보 기회를 주므로, 위험한 역량 평가의 별도 항목이자 책임 있는 공개 관행의 논의 대상이 됨.
구별'취약점'은 악용될 수 있는 결함 그 자체를, '취약점 탐지'는 그런 결함을 찾아내는 활동을 가리킴.
용어 관계
먼저 알 개념 취약점
해설 · 참고 기사 3 · 관련 연구 4
해설
방법은 여러 갈래다. 코드를 실행하지 않고 분석해 위험한 패턴을 찾는 정적 분석, 무작위에 가까운 입력을 대량으로 넣어 비정상 동작을 유발하는 퍼징, 실제 공격자처럼 침입을 시도해 보는 침투 시험이 오래 쓰여 왔다. 여기에 최근 더해진 것이 모델을 쓰는 방식이다. 코드를 읽고 결함이 있을 만한 지점을 지목하게 하고, 그것이 실제로 악용 가능한지 검증하는 코드까지 만들어 확인하게 한다. 사람이 검토하기 어려운 규모의 코드에서 성과가 보고된다.
이중 용도 성격이 가장 뚜렷하게 드러나는 영역이다. 같은 역량이 방어하는 쪽에는 배포 전에 결함을 찾아 고칠 기회를 주고, 공격하는 쪽에는 아직 알려지지 않은 구멍을 확보할 기회를 준다. 어느 쪽이 더 빨리 활용하는지가 실제 안전을 가르게 되므로, 모델의 위험한 역량을 평가할 때 이 항목이 별도 축으로 다뤄진다. 발견한 결함을 언제 어디까지 공개할지 조율하는 관행도 함께 논의된다.
참고 기사·연구
- 2026-09-08보안특화 AI, 명확한 목표·성능 입증 필요 전자신문 다이제스트 2026-09-08
- 2026-09-03"해킹AI 막아라"…네이버클라우드, 정부 '보안 특화 AI' 개발 맡는다(종합) 뉴시스 다이제스트 2026-09-03
- 2026-09-03보다 다양한 금융회사들이 AI 보안위협에 철저히 대비할 수 있도록 제2차 망분리 규제 긴급 완화 조치를 추진합니다. 금융위원회 다이제스트 2026-09-03
관련 연구 · AI 안전 연구
- 2026-07-27DeepsecBench: AI 모델 취약점 탐지 평가 AI Risk Explorer
- 2026-07-08AI 모델별 취약점 탐지 결과 차이 검증 노트 AISI Japan
- 2026-02-26OpenClaw AI 에이전트 탈취 취약점(ClawJacked) Oasis Security
- 2025-11-03LLM 기반 취약점 탐지·자동 패치 프레임워크 IEEE Pacific Rim Interna
136워터마킹watermarkingAI가 생성한 텍스트·이미지·오디오·영상에 눈에 잘 띄지 않는 표식을 심어, 이후 검출기로 AI 생성물임과 출처를 확인할 수 있게 하는 기법을 의미함.
용어 설명
AI가 생성한 텍스트·이미지·오디오·영상에 눈에 잘 띄지 않는 표식을 심어, 이후 검출기로 AI 생성물임과 출처를 확인할 수 있게 하는 기법을 의미함.
- 이미지·음성·영상은 신호를 미세하게 변형해 패턴을 넣고, 텍스트는 다음 토큰 선택에 통계적 편향을 주어 흔적을 남기는 방식이 쓰임. 표식 규칙을 아는 쪽이 검출함.
- 딥페이크·허위 정보 확산 대응과 생성물 표시 의무 이행 수단으로 논의되며, 출처 메타데이터와 함께 쓰이는 경우가 많음.
- 압축·편집·바꿔 쓰기 등에 견디는 강건성과 눈에 띄지 않는 은닉성이 상충해, 특히 텍스트에서는 쉽게 지워질 수 있다는 한계가 있음.
구별'워터마킹'은 콘텐츠 자체에 표식을 숨기는 방식이고, '출처 메타데이터'는 파일에 생성·편집 이력을 서명된 기록으로 붙이는 방식임.
용어 관계
혼동 주의 출처 메타데이터
주요 기관·문서별 개념 및 적용
- 워터마크를 AI 생성 콘텐츠(텍스트·이미지·오디오 등)에 심어 인공 출처를 표시하거나 출처를 검증하고 잠재적 오용을 탐지하기 위한, 미묘하고 대개 눈에 띄지 않는 패턴으로 정의함. [1]
출처
- 1International AI Safety Report 2025, p.201–202; Glossary p.227–228 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1
해설
매체에 따라 방식이 다르다. 이미지나 음성, 영상에는 사람이 알아채지 못할 정도로 신호를 미세하게 변형해 규칙적인 패턴을 심는다. 텍스트에는 다음 낱말을 고를 때 특정 후보군에 미세하게 가중을 주어 통계적인 흔적을 남긴다. 어느 쪽이든 표식의 규칙을 아는 쪽이 검출기로 확인하는 구조이며, 사람이 읽거나 보는 품질에는 영향을 주지 않는 것을 목표로 한다.
근본적인 제약은 강건성과 은닉성이 서로 반대 방향이라는 점이다. 재압축하고 자르고 필터를 씌우고 문장을 다시 쓰는 변형을 모두 견디게 만들려면 표식을 강하게 심어야 하는데, 그러면 눈에 띄거나 품질이 떨어진다. 반대로 완전히 보이지 않게 하면 간단한 변형에도 지워진다. 텍스트는 특히 어렵다. 문장을 바꿔 쓰기만 해도 통계적 흔적이 흐려지기 때문이다. 그래서 워터마킹만으로 표시 의무를 충족하기는 어렵다는 평가가 일반적이다.
PDF 원문 인용
번역AI 생성 콘텐츠(텍스트·이미지·오디오 등)에 심어 인공 출처를 표시하거나 출처를 검증·오용을 탐지하기 위한, 미묘하고 대개 눈에 잘 띄지 않는 패턴.
A subtle, often imperceptible pattern embedded within AI-generated content (such as text, images, or audio) to indicate its artificial origin, verify its source, or detect potential misuse.
출처 International Scientific Report on the Safety of Advanced AI · p.201–202, p.227–228 · EN · 정의섹션
참고 기사·연구
- 2026-09-06구글 어스의 롤백: 스푸트니크는 왜 나노 바나나가 되었나 AI-Ethics-KR 다이제스트 2026-09-06
- 2026-09-03Can the EU AI Act’s Transparency Rules Strengthen Democratic Resilience? TechPolicyPress 다이제스트 2026-09-03
- 2026-08-30투명한 워터마크 뒤에 선 우리 AI-Ethics-KR 다이제스트 2026-08-30
관련 연구 · AI 안전 연구
- 2026-10-19AI 텍스트 워터마크의 검증 가능성 격차 파일럿 연구 Applied Sciences
- 2026-09-30SynthID Bio: AI 생성 단백질 워터마크 DeepMind
- 2026-09-17유럽 AI법 관점의 LLM 워터마킹 해석 Ethics and Information T
- 2026-08-22LoRA 확산모델 워터마크 검증을 위한 통계적 신호 증폭 Journal of Web Engineeri
관련 정책 문서 · AI 안전 라이브러리
- 2025-01-03🇺🇸 연방 민간기관 AI 워터마크법 United States Congress · 법안
137출처 메타데이터provenance metadata콘텐츠가 어떤 기기·도구로 생성되고 어떤 편집을 거쳤는지를 암호학적으로 서명해 파일에 함께 실어 두는 이력 기록을 말함.
용어 설명
콘텐츠가 어떤 기기·도구로 생성되고 어떤 편집을 거쳤는지를 암호학적으로 서명해 파일에 함께 실어 두는 이력 기록을 말함.
- 생성·편집 단계마다 기록과 서명을 덧붙여, 기록을 몰래 바꾸면 검증 과정에서 드러나도록 함. C2PA 같은 업계 표준이 대표적임.
- AI 생성 콘텐츠 표시, 딥페이크·허위 정보 대응에서 진본 확인 수단으로 쓰이며, 플랫폼이 업로드 시점에 검증해 표시하는 구조와 함께 작동함.
- 메타데이터는 재촬영·형식 변환만으로 쉽게 떨어져 나가므로, 표식이 없다고 AI 생성물이 아니라고 단정할 수 없음.
구별'출처 메타데이터'는 개별 콘텐츠의 생성·편집 이력을 붙이는 것이고, '데이터 기원'은 모델 학습에 쓰인 데이터의 출처·수집 경로를 추적하는 것임. 콘텐츠 자체에 표식을 숨기는 '워터마킹'과도 구별됨.
용어 관계
해설 · 참고 기사 3
해설
워터마킹이 내용물 안에 표식을 숨기는 방식이라면 이쪽은 파일에 이력표를 붙이는 방식이다. 어떤 기기로 촬영했는지, 어떤 도구로 생성했는지, 이후 어떤 편집을 거쳤는지를 단계마다 기록하고 암호학적 서명을 붙인다. 서명이 있으므로 기록을 몰래 고치면 검증에서 걸린다. 언론사와 카메라 제조사, 소프트웨어 회사가 참여한 C2PA가 대표적인 업계 표준이다.
강점은 검증 가능성이고 약점은 제거 용이성이다. 서명을 위조하기는 어렵지만 메타데이터 자체를 떼어내는 일은 아주 쉽다. 화면을 다시 촬영하거나 다른 형식으로 저장하기만 해도 사라진다. 그래서 이 방식으로는 어떤 파일이 진짜라는 것을 확인할 수 있어도, 표식이 없는 파일이 AI 생성물이 아니라고 확인할 수는 없다. 워터마킹과 함께 쓰고, 플랫폼이 업로드 시점에 검증해 표시하는 구조가 함께 필요한 이유다.
참고 기사·연구
- 2026-04-24DeepSeek Releases V4 Series with 1M-Token Context Support AI-Risk-Explorer 다이제스트 2026-04-24
- 2026-02-17Every Eval Ever, AI 평가 결과를 공통 스키마·크라우드소싱 DB로 표준화(2026.2.17) evalevalai.com 다이제스트 2026-02-17
- 2025-09-01AI生成内容强制“打标”,内容安全治理迈出关键一步-新华网 신화통신(新华网) 다이제스트 2025-09-01
138안전safetyAI 시스템이 오용, 오작동, 통제 상실 등으로 사람과 사회에 피해를 일으키지 않도록 하는 성질, 그리고 이를 위한 연구·기술·제도적 노력의 분야를 의미함.
용어 설명
AI 시스템이 오용, 오작동, 통제 상실 등으로 사람과 사회에 피해를 일으키지 않도록 하는 성질, 그리고 이를 위한 연구·기술·제도적 노력의 분야를 의미함.
- 역량 평가·레드티밍·위험 평가 같은 위험 식별, 정렬·강건성 확보 같은 개발 단계의 기법, 안전장치·배포 후 모니터링·사고 보고 같은 배포 후 통제를 포괄함.
- 범용 AI의 역량이 빠르게 늘면서 개별 제품 결함을 넘어 악의적 사용, 시스템적 위험, 통제 상실까지 다루는 분야로 범위가 넓어짐.
구별'안전(safety)'이 오작동·오용을 포함해 피해를 일으키지 않는 성질 전반을 가리킨다면, '보안(security)'은 의도적 공격으로부터 시스템·데이터·모델 가중치를 보호하는 데 초점을 둠.
용어 관계
주요 기관·문서별 개념 및 적용
- AI 시스템의 안전을 악의적 오용이나 시스템 오작동 등으로 피해를 일으킬 가능성이 낮은 성질로 정의함. [1]
- AI RMF 1.0은 안전을 신뢰할 수 있는 AI의 특성으로 두고, 정해진 조건에서 사람의 생명·건강·재산이나 환경을 위태롭게 하는 상태로 이어지지 않아야 한다고 정의함(ISO/IEC TS 5723 인용). [2]
- 신뢰할 수 있는 AI의 강건성 요소로, AI 시스템이 의도치 않은 피해를 일으키지 않도록 안전·보안·신뢰성 있게 작동하고 부정적 영향을 막는 안전장치를 갖춰야 한다고 봄. [3]
- 누적 연산량이 기준 이상인 AI 시스템의 안전성 확보를 위해 수명주기 전반의 위험 식별·평가·완화와 안전사고 모니터링·대응 위험관리체계 구축을 의무로 둠. [4]
출처
- 1International AI Safety Report 2026, Glossary, p.153–154 · 원문 · 라이브러리에서 보기
- 2NIST AI 100-1 (AI RMF 1.0), 3.2, p.14–15 · 원문
- 3AI HLEG (2019). Ethics Guidelines for Trustworthy AI, p.7 · 원문
- 4「인공지능기본법」, 제32조 · 원문
관련 연구 4 · 정책 문서 4
관련 연구 · AI 안전 연구
- 2026-11-07Kimi K3의 영국 AISI 사이버 평가 샌드박스 우회 AIID
- 2026-11-06언어모델의 화학 안전성·거부 측정 ChemRxiv
- 2026-11-06AI 자기진화 통제: 유용성·안전·인간 감독의 균형 International Journal of
- 2026-11-06아프리카 언어 LLM 레드팀: 저자원 언어 안전 정렬 실패 Research Square
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-16Reflection AI Beam 안전 기술 보고서 Reflection AI · 정책보고서
- 2026-10-06🇰🇷 한국·안전·신뢰 AI 기술영향평가 정책보고서
- 2026-10-05Reflection AI Open 안전 프레임워크 (OSF) Reflection AI · 가이드라인·원칙
- 2026-09-17Amazon 프론티어 모델 안전 프레임워크 Amazon · 가이드라인·원칙
139AI 거버넌스AI governanceAI의 개발·배포·이용을 규율하는 법령, 비구속 지침, 국제 합의, 기술 표준, 조직 내부 정책과 이를 집행하는 기구의 총체를 의미함.
용어 설명
AI의 개발·배포·이용을 규율하는 법령, 비구속 지침, 국제 합의, 기술 표준, 조직 내부 정책과 이를 집행하는 기구의 총체를 의미함.
- 국제(정상회의·다자 원칙), 국가(법령·전담 기구·안전연구소), 조직(내부 위원회·위험 관리 체계) 층위가 서로 다른 속도와 구속력으로 겹쳐 작동함.
- AI 안전에서는 위험 평가, 배포 전 평가, AI 사고 보고 같은 안전 조치를 누가 어떤 권한으로 요구하고 확인할지를 정하는 틀이 됨.
- 기술 변화가 입법보다 빨라 비구속 수단의 비중이 크며, 같은 요구라도 층위에 따라 권고·법적 의무·자율 약속으로 무게가 달라짐.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
법률만 가리키는 말이 아니다. 구속력 있는 법령, 정부가 내는 비구속 가이드라인, 국가 사이의 합의와 선언, 기술 표준, 기업 내부 정책이 층을 이루며 함께 작동하는 구조 전체를 부른다. 기술이 입법보다 빠르게 바뀌기 때문에 법이 아닌 수단이 실질적인 역할을 크게 맡는 것이 이 분야의 특징이다. 어느 하나가 다른 것을 대체하지 않고, 서로 다른 속도와 강도로 겹쳐 작동한다.
문서를 읽을 때는 어느 층위를 말하는지 먼저 확인하는 것이 좋다. 국제 층위에서는 정상회의와 다자 원칙이 방향을 제시하고, 국가 층위에서는 법령과 전담 기구와 안전연구소가 실행을 맡으며, 조직 층위에서는 내부 위원회와 위험관리 체계가 개별 결정을 다룬다. 같은 말이 각 층위에서 다른 무게를 갖는다. 국제 합의의 투명성은 권고이고, 법령의 투명성은 의무이며, 기업 정책의 투명성은 스스로 정한 약속이다.
참고 기사·연구
- 2026-09-07국방 AX·보안 혁신에 속도 붙이자 전자신문 다이제스트 2026-09-07
- 2026-09-04From Regulatory Authorization to Clinical Accountability: A Control Preventability Framework for Healthcare AI OpenAlex 연구
- 2026-09-04Evaluation of Vanilla and RAG-Supported LLM Comprehension of the EU AI Act OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-11-06첨단기술의 외부효과와 사적 질서의 진화: AI 거버넌스 Research Square
- 2026-11-04경영진 딥페이크 사기 방어: 하이브리드 탐지와 거버넌스 Standards
- 2026-10-29보라색 팀 운영 실습: 복합 AI 거버넌스 전문가 워크숍 arXiv
- 2026-10-28공시 불완전 시 AI 거버넌스 자동 검토 벤치마크 OpenAlex
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-30🇮🇹 이탈리아 시민 AI 배심원·국가 Civic AI 거버넌스 프레임워크 기구·제도
- 2026-10-29🇪🇸 알리칸테 지방정부 데이터·AI 거버넌스 이니셔티브 전략·정책
- 2026-10-29🇪🇸 마드리드 AI 거버넌스 프레임워크 기구·제도
- 2026-10-06🇧🇷 마투그로수주 사법부 AI 관리·거버넌스 모델 기구·제도
140AI 윤리AI ethicsAI의 개발·배포·이용이 지켜야 할 가치와 규범을 다루는 원칙과 논의의 영역, 그리고 이를 정리한 원칙 체계를 의미함.
용어 설명
AI의 개발·배포·이용이 지켜야 할 가치와 규범을 다루는 원칙과 논의의 영역, 그리고 이를 정리한 원칙 체계를 의미함.
- 인간 존엄 존중, 해악 방지, 공정성, 투명성, 책임성, 프라이버시 보호 등이 정부·기업·국제기구의 원칙 문서에 공통으로 나타나며, OECD와 유네스코의 권고가 다자 문서로 널리 인용됨.
- 원칙끼리 충돌할 때(예: 투명성과 보안, 유해 표현 차단과 표현의 자유) 무엇을 우선할지 답하지 않는 경우가 많아, 실행 수단으로 표준·법제·위험 관리 체계가 함께 필요하다는 지적이 있음.
구별'안전'이 피해·사고를 막는 기술적·제도적 조치에 초점을 둔다면, 'AI 윤리'는 무엇을 피해로 보고 무엇을 지킬 가치로 볼지에 대한 규범적 기준을 제공함.
용어 관계
혼동 주의 안전
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 4
해설
2010년대 후반에 정부, 기업, 국제기구, 학회가 수십 건을 발표했고 내용은 상당히 수렴했다. 인간 존엄의 존중, 해악 방지, 공정성, 투명성, 책임성, 프라이버시 보호가 거의 모든 문서에 반복해 등장한다. 여러 주체가 독립적으로 도달한 목록이 비슷하다는 것은, 최소한 무엇이 문제인지에 대해서는 광범위한 동의가 있다는 뜻으로 읽힌다. OECD와 유네스코의 권고가 다자 문서로 널리 인용된다.
다만 수렴했다는 사실이 곧 실행을 뜻하지는 않는다. 원칙 문서가 대체로 답하지 않는 것은 원칙 사이가 충돌할 때 무엇을 우선하느냐다. 정확도를 높이려면 더 많은 개인정보가 필요하고, 유해 표현을 막으려면 표현의 자유가 제약되며, 투명성을 높이면 보안이 약해질 수 있다. 실제 결정은 이런 상충 지점에서 내려지는데 원칙은 그 지점에서 침묵한다. 논의의 무게가 원칙에서 표준과 법제로 옮겨 간 이유가 여기 있다.
참고 기사·연구
- 2026-09-07과기정통부, 美 이어 유럽에 'AI 공동연구 거점' 구축 머니투데이 다이제스트 2026-09-07
- 2026-09-04State administration for the use of artificial intelligence in the information security system and improving the defense capability of ukraine OpenAlex 연구
- 2026-09-03China's AI Strategy and Its Implications for Global Governance OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-10-18생성형 AI 윤리·거버넌스: 생애주기 공학 관점 Expert Systems
- 2026-05-23오픈웨이트 AI 윤리 사용 제약의 거버넌스 지평 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-16🇹🇷 튀르키예 AI 윤리 권고 가이드라인·원칙
- 2026-10-15🇧🇷 브라질 인간 대상 연구 AI 윤리 평가 지침·도구 모음 가이드라인·원칙
- 2026-10-01🇲🇾 말레이시아 자율 AI 윤리강령(AICE) 가이드라인·원칙
- 2026-09-14🇺🇳 제4차 유네스코 AI 윤리 글로벌 포럼 공동의장 요약문 유네스코(UNESCO) / 사우디 데이터·AI청(SDA
141책임 있는 AIresponsible AIAI를 개발·운영하는 조직이 윤리 원칙을 내부 절차와 관행으로 구현해 위험을 스스로 관리하려는 접근과 그 실무를 의미함.
용어 설명
AI를 개발·운영하는 조직이 윤리 원칙을 내부 절차와 관행으로 구현해 위험을 스스로 관리하려는 접근과 그 실무를 의미함.
- 출시 전 위험 검토 절차, 심의 위원회, 영향 평가, 배포 후 모니터링, 문제 발생 시 대응 경로 등을 조직 운영에 넣는 형태로 구현됨.
- 법이 아직 다루지 못한 영역을 먼저 다룰 수 있으나, 구속력이 없어 사업 압력과 충돌할 때 후퇴하기 쉽고 원칙이 실제 제품 결정으로 이어졌는지 외부에서 확인하기 어렵다는 비판이 있음.
- 이 때문에 구속력 있는 요구와 외부 감사로 뒷받침해야 실효가 있다는 쪽으로 논의가 이어지고 있음.
구별'책임 있는 AI'는 조직의 자율적 실무 관행에 무게가 있고, '책임성(accountability)'은 결과에 대해 설명·시정·배상하게 만드는 구조를 가리킴.
용어 관계
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 4
해설
규제가 요구하는 최소선을 지키는 것과 달리, 조직이 자율적으로 절차를 만들어 실천하는 쪽에 무게가 있는 말이다. 구체적으로는 출시 전에 위험을 검토하는 내부 절차, 결정을 심의하는 위원회, 영향 평가, 배포 후의 모니터링, 문제가 생겼을 때의 대응 경로를 조직 운영 안에 넣는 형태로 구현된다. 법이 아직 다루지 못하는 영역을 조직이 먼저 다룰 수 있다는 점이 이 접근의 강점이다.
비판은 실효성에 모인다. 자율 규범은 구속력이 없어서 사업 압력과 충돌할 때 물러나기 쉽고, 원칙 선언이 실제 제품 결정으로 이어졌는지 외부에서 확인할 방법이 마땅치 않다. 내부 위원회의 권고가 받아들여지지 않은 사례나 담당 조직이 축소된 사례가 이런 우려의 근거로 인용된다. 그래서 최근 논의는 자율 규범을 대체 수단으로 보지 않고, 구속력 있는 요구와 외부 감사로 뒷받침해야 작동한다는 쪽으로 정리되고 있다.
참고 기사·연구
- 2026-09-04AI for Computational Design Science: A Responsible Human-AI Framework and Case Study on Short-Form Video Safety Surveillance arXiv 연구
- 2026-09-03[Americas] Canada launches Responsible Data Centre Development Principles GlobalAIRegTracker 다이제스트 2026-09-03
- 2026-09-02From Prediction to Decision Support: A Critical Review and Six-Layer Framework for Responsible Artificial Intelligence in Sport Science OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-10-22VERA: EU AI Act 대응 LLM 배포 평가 대시보드 arXiv
- 2026-05-13VERA-MH: 정신건강 챗봇 안전성 임상 검증 평가 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-30🇮🇳 인도 TRAI 통신 분야 책임있는 AI 가이드라인 초안 가이드라인·원칙
- 2026-09-30🇨🇦 뉴펀들랜드 래브라도 책임 있는 AI 활용 정책 가이드라인·원칙
- 2026-09-12책임 있는 AI 지침 Businesses AIGL · 행정규칙
- 2026-09-11🇳🇿 뉴질랜드 공공서비스 생성형 AI 책임 있는 AI 지침 가이드라인·원칙
142신뢰할 수 있는 AItrustworthy AI안전성, 강건성, 투명성, 공정성, 프라이버시, 책임성 등 여러 요건을 함께 갖추어 신뢰할 만한 근거가 있는 AI를 가리키는 정책 개념을 의미함.
용어 설명
안전성, 강건성, 투명성, 공정성, 프라이버시, 책임성 등 여러 요건을 함께 갖추어 신뢰할 만한 근거가 있는 AI를 가리키는 정책 개념을 의미함.
- 하나의 기술 속성이 아니라 여러 요건의 묶음이며, 어느 하나만 충족해서는 안 되고 AI 수명주기 전반에 걸쳐 함께 유지되어야 한다는 점이 요지임.
- 사람들이 실제로 신뢰하는지와 신뢰할 만한지는 다른 문제로, 신뢰를 높이는 것 자체가 목표가 되면 안전하지 않은 시스템의 수용을 늘리는 방향으로 뒤집힐 수 있음.
- 요건 사이의 상충(예: 투명성과 보안, 정확성과 프라이버시)을 어떻게 조정할지는 맥락별 판단이 필요함.
구별'신뢰성(reliability)'은 의도된 기능을 일관되게 수행하는 개별 성질이고, '신뢰할 수 있는 AI(trustworthy AI)'는 신뢰성을 포함한 여러 요건을 묶은 상위 개념임.
용어 관계
주요 기관·문서별 개념 및 적용
출처
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 4
해설
하나의 기술 속성이 아니라 여러 요건을 함께 묶은 정책 개념이다. 유럽에서 정리한 정식화가 가장 널리 인용된다. 인간의 행위주체성과 감독, 기술적 강건성과 안전, 프라이버시와 데이터 거버넌스, 투명성, 다양성과 비차별·공정성, 사회적·환경적 복리, 책임성의 일곱 요건이다. 어느 하나만 충족해서는 안 되고 전체가 함께 요구된다는 점, 그리고 개발 단계뿐 아니라 사용되는 동안 계속 유지돼야 한다는 점이 이 틀의 요지다.
신뢰(trust)와 신뢰할 만함(trustworthiness)을 구별하는 것이 이 개념을 오해하지 않는 요령이다. 사람들이 실제로 신뢰하는지는 조사하면 알 수 있는 사실의 문제이고, 신뢰할 만한지는 근거를 따져야 하는 규범의 문제다. 둘이 어긋날 수 있다는 점이 중요하다. 신뢰를 높이는 것 자체가 목표가 되면, 실제로 안전하지 않은 시스템에 대한 수용을 늘리는 방향으로 뒤집힐 수 있다. 목표는 사람들이 믿게 만드는 것이 아니라 믿을 만하게 만드는 것이다.
참고 기사·연구
- 2026-09-02Artificial Intelligence Governance and Data Protection for Building Trustworthy and Accountable Systems OpenAlex 연구
- 2026-09-02Towards Trustworthy Autonomous Robots: An Explainable AI-Based Decision Framework arXiv 연구
- 2026-08-31UN Global Dialogue Co-Leads Issue Call to Action on Safe, Secure, and Trustworthy AI PartnershipOnAI 다이제스트 2026-08-31
관련 연구 · AI 안전 연구
- 2026-07-17AI 신뢰 격차 해소: 독립 인증 제안 arXiv
- 2026-04-09실무에서 본 신뢰할 수 있는 AI 에이전트 Anthropic Research
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-06🇰🇷 한국·안전·신뢰 AI 기술영향평가 정책보고서
- 2025-10-01🇳🇱 ROBUST 신뢰할 수 있는 AI 시스템 연구 프로젝트 Dutch Research Council · 기타
- 2025-09-02🇺🇸 노스캐롤라이나 신뢰할 수 있는 AI 행정명령 행정규칙
- 2025-07-09🇹🇷 튀르키예 신뢰할 수 있는 AI 신뢰 표지 Ministry of Industry and Techn
143책임성accountabilityAI 시스템의 개발·배포·운영으로 생긴 결과에 대해 누가 설명하고 시정·배상해야 하는지가 정해져 있고, 실제로 그렇게 하도록 만드는 구조·성질을 의미함.
용어 설명
AI 시스템의 개발·배포·운영으로 생긴 결과에 대해 누가 설명하고 시정·배상해야 하는지가 정해져 있고, 실제로 그렇게 하도록 만드는 구조·성질을 의미함.
- 책임 주체의 지정, 무슨 일이 있었는지 확인할 수 있는 기록·문서, 외부 검증 수단, 피해자의 이의 제기·구제 절차가 함께 갖춰질 때 성립하며, 원칙 선언만으로는 확보되지 않음.
- 파운데이션 모델 개발자, 미세조정·통합 사업자, 배포자, 운영 조직으로 이어지는 가치사슬이 길어 책임이 분산·소실되기 쉬우므로, 단계별 의무 배분과 기록 의무가 AI 거버넌스의 핵심 과제가 됨.
구별'책임 있는 AI(responsible AI)'가 조직이 자율적으로 갖추는 실무 관행을 가리킨다면, '책임성(accountability)'은 결과를 설명하고 시정하게 만드는 구조 자체를 가리킴.
용어 관계
상위 신뢰할 수 있는 AI · 혼동 주의 책임 있는 AI
주요 기관·문서별 개념 및 적용
- 이행조치 8.1은 시스템적 위험 관리 책임을 조직 모든 층위에 명확히 정의하고, 감독·소유·지원과 모니터링·신뢰보증 책임을 감독 기구와 경영진 등에 배분하도록 함. [3]
- 제34조는 고영향 AI 사업자에게 위험관리방안, 결과·주요 기준·학습데이터 개요의 설명 방안, 이용자 보호 방안, 사람의 관리·감독, 조치 내용을 확인할 문서의 작성·보관을 이행하게 함. [4]
- 인공지능 윤리원칙은 책임성 원칙으로 AI 행위자가 생애주기 전반의 역할과 책임을 인식하고 이행하려 노력하며, 문제 발생 시 책임 소재를 밝혀 실질적 피해 구제가 이루어지게 하도록 함. [5]
출처
해설 · 참고 기사 3 · 관련 연구 3 · 정책 문서 2
해설
맡은 역할을 뜻하는 책임과 갈라 두면 뜻이 분명해진다. 책임은 무엇을 해야 하는지에 관한 것이고, 책임성은 일이 잘못됐을 때 설명하고 시정하고 배상하게 만드는 구조에 관한 것이다. 그래서 원칙 선언만으로는 확보되지 않는다. 무슨 일이 있었는지 확인할 수 있는 기록이 남아야 하고, 외부에서 검증할 수 있어야 하며, 피해를 입은 사람이 이의를 제기할 창구와 실제로 구제받을 절차가 있어야 한다.
AI에서 이것이 어려운 이유는 관여하는 주체의 사슬이 길다는 점이다. 파운데이션 모델을 만든 회사, 그것을 특정 용도로 조정한 사업자, 서비스로 묶어 배포한 곳, 실제로 운영하며 결정에 쓰는 조직이 모두 다를 수 있다. 각자 자기 앞의 단계를 신뢰했다고 말하면 책임이 사슬 어딘가로 사라진다. EU AI법이 모델을 공급하는 쪽과 실제로 배치해 쓰는 쪽의 의무를 나눠 규정한 것도 이 공백을 막으려는 설계다.
참고 기사·연구
- 2026-09-03Violent Anti-Tech Extremism Has Roots in History TechPolicyPress 다이제스트 2026-09-03
- 2026-09-03Can the EU AI Act’s Transparency Rules Strengthen Democratic Resilience? TechPolicyPress 다이제스트 2026-09-03
- 2026-09-03[Europe] Privacy campaign group urges UK to create independent AI watchdog GlobalAIRegTracker 다이제스트 2026-09-03
관련 연구 · AI 안전 연구
- 2026-10-30의도가 가는 곳에 책임이 흐른다: ML 기반 AI 책임 Proceedings of the Natio
- 2026-09-04논증 분석으로 AI 책임성 측정: 모델 추론은 검증을 견디는가 arXiv
- 2026-08-27LLM 응용을 위한 계층형 책임성 아키텍처 LAAF arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-07-21🇺🇸 미국 상원법안 S 2367 AI 책무성 · 개인정보보호 법 2025 United States Congress · 법안
- 2025-07-09🇵🇹 포르투갈 공공행정 AI 윤리·투명성·책임성 가이드 Agency for Administrative Mode
144투명성transparencyAI 시스템의 존재와 성질, 작동 방식, 개발·운영 과정에 관한 정보가 이용자·영향받는 사람·규제기관·연구자 등 관계자에게 제공되는 정도를 의미함.
용어 설명
AI 시스템의 존재와 성질, 작동 방식, 개발·운영 과정에 관한 정보가 이용자·영향받는 사람·규제기관·연구자 등 관계자에게 제공되는 정도를 의미함.
- AI와 대화 중임을 알리는 것, 결정 당사자에게 판단 근거를 설명하는 것, 규제기관에 학습 데이터와 평가 결과를 제출하는 것, 연구자에게 모델 접근을 허용하는 것이 모두 투명성으로 불리며, 앞의 둘은 개인의 권리에서, 뒤의 둘은 감독·검증의 필요에서 나옴.
- AI 위험을 외부에서 평가·감시하고 책임을 묻기 위한 전제 조건이며, 모델 카드처럼 공개 항목과 형식을 미리 정한 문서가 보안·영업비밀·개인정보와의 절충 도구로 쓰임.
- 완전 공개와 같은 말이 아니며, 모델 가중치 공개가 시스템 문서 공개보다 반드시 더 투명한 것도 아님.
구별'투명성'은 정보 제공의 정도를 가리키고, '해석 가능성(interpretability)'은 모델 내부 작동을 사람이 이해할 수 있는 정도, '설명 가능성(explainability)'은 개별 출력의 근거를 사람이 이해할 수 있게 설명하는 성질·기법을 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- 투명성을 AI 시스템과 그 출력에 관한 정보가 상호작용하는 사람에게 제공되는 정도로 정의하고, 설계 결정·학습 데이터부터 배포 결정과 그 결정 주체까지를 범위로 보며 책임성의 전제로 둠. [1]
- 투명성 장은 제53조(1)(a)·(b)의 문서화 의무 이행을 위한 세 이행조치와 모델 문서화 양식을 두고, 항목별로 하류 제공자용인지 AI 사무국·국가 당국용(요청 시 제공)인지 표시함. [3]
- 제31조는 고영향·생성형 AI 기반 제품·서비스임을 이용자에게 사전 고지하고, 생성형 AI 결과물임을 표시하며, 실제와 구분하기 어려운 가상 음향·이미지·영상은 명확히 인식할 수 있게 고지·표시하도록 함. [4]
출처
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
누구에게 무엇을 알리는지에 따라 전혀 다른 요구가 되는데, 하나의 낱말로 뭉쳐 쓰이는 탓에 혼동이 잦다. 이용자에게 지금 AI와 대화하고 있음을 알리는 것, 결정을 받은 당사자에게 판단 근거를 설명하는 것, 규제기관에 학습 자료와 평가 결과를 제출하는 것, 연구자에게 모델 접근을 허용하는 것이 모두 투명성으로 불린다. 요구의 근거도 다르다. 앞의 둘은 개인의 권리에서, 뒤의 둘은 감독과 검증의 필요에서 나온다.
완전 공개와 같은 말이 아니라는 점도 짚어 둘 만하다. 모델 가중치를 공개하는 것과 시스템 문서를 공개하는 것은 전혀 다른 일이고, 전자가 반드시 후자보다 투명한 것도 아니다. 실제로는 보안, 영업비밀, 개인정보 때문에 대상별로 다른 수준을 정하는 것이 통상적인 해법이다. 모델 카드나 데이터 시트처럼 무엇을 어떤 형식으로 밝힐지 미리 정해 둔 문서가 이 절충의 도구로 쓰인다.
참고 기사·연구
- 2026-09-04What ChatGPT’s DSA Designation Means for OpenAI and the EU TechPolicyPress 다이제스트 2026-09-04
- 2026-09-04State administration for the use of artificial intelligence in the information security system and improving the defense capability of ukraine OpenAlex 연구
- 2026-09-03Can the EU AI Act’s Transparency Rules Strengthen Democratic Resilience? TechPolicyPress 다이제스트 2026-09-03
관련 연구 · AI 안전 연구
- 2026-10-19AGI 정책: 투명성보다 존엄성 Routledge eBooks
- 2026-08-15불투명성·아첨 성향과 AI 거버넌스 공백 Journal of the Associati
- 2026-08-12AI법의 투명성 구조: 제86조 설명요구권 Computer law & security
- 2026-01-27설계에 의한 공개: 대화형 AI의 정체성 투명성 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-08-28🇰🇷 인공지능 투명성 확보 가이드라인 과기부/NIA/TTA/ETRI · 가이드라인·원칙
- 2026-08-25🇯🇵 일본 생성AI 지식재산 보호·투명성 원칙 코드 일본 내각부 지식재산전략추진사무국(内閣府 知的財産戦略推
- 2026-08-18🇯🇵 생성AI 적정 이용을 위한 지식재산 보호·투명성 원칙 코드 가이드라인·원칙
- 2026-08-02🇺🇸 캘리포니아 AI 투명성 법(AB 853) 설계 요건 법
145알고리즘 투명성algorithmic transparencyAI 시스템의 출력(추천·결정 등)을 좌우하는 요인을 이용자·결정 당사자·감독기관 등 이해관계자가 알 수 있는 정도를 의미함.
용어 설명
AI 시스템의 출력(추천·결정 등)을 좌우하는 요인을 이용자·결정 당사자·감독기관 등 이해관계자가 알 수 있는 정도를 의미함.
- 모델의 내부 작동, 학습 방식과 학습 데이터, 출력에 영향을 준 입력의 특징, 다른 조건에서 내렸을 결정 등이 알 수 있어야 할 대상에 포함됨.
- 결정의 오류·편향을 발견하고 이의를 제기하기 위한 전제가 되며, 해석 가능성·설명 가능한 AI 연구가 이를 높이는 기술적 수단으로 쓰임.
- 거대 언어 모델처럼 내부 작동을 사람이 이해하기 어려운 모델에서는 충분한 알고리즘 투명성을 확보하기 어렵다는 한계가 있음.
구별'알고리즘 투명성'이 개별 출력의 근거를 알 수 있는 정도라면, '제도적 투명성'은 기업·조직이 학습 데이터·안전 조치·의사결정 과정 등을 외부에 공개하는 정도를 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
- 범용 AI의 출력을 좌우하는 요인을 여러 이해관계자가 알 수 있는 정도로 정의하고, 모델 내부 작동, 학습 방식·데이터, 출력에 영향을 준 입력 특징, 다른 상황에서 내렸을 결정 등을 그 요인으로 듦. [1]
출처
- 1International AI Safety Report 2025, p.176–177; Glossary p.218–219 · 원문
원문 인용 1 · 정책 문서 3
PDF 원문 인용
번역범용 AI의 출력(추천·결정 등)을 좌우하는 요인을 이해관계자가 알 수 있는 정도. 모델 내부 작동, 학습 방식·데이터, 입력의 어떤 특징이 출력에 영향을 줬는지, 다른 상황에서 어떤 결정을 내렸을지 등이 포함될 수 있다.
The degree to which the factors informing general-purpose AI output, e.g. recommendations or decisions, are knowable by various stakeholders. Such factors might include the inner workings of the AI model, how it has been trained, what data it is trained on, what features of the input affected its output, and what decisions it would have made under different circumstances.
출처 International Scientific Report on the Safety of Advanced AI · p.176–177, p.218–219 · EN · 정의섹션
관련 정책 문서 · AI 안전 라이브러리
- 2026-05-18🇪🇺 알고리즘 투명성 유럽센터(ECAT) 기구·제도
- 2025-12-11🇺🇸 알고리즘 투명성·선택법 United States Congress · 법안
- 2021-11-29🇬🇧 영국 알고리즘 투명성 기록 표준(ATRS) Department for Science, Innova
146제도적 투명성institutional transparencyAI 기업·조직이 학습 데이터, 모델 구조, 안전·보안 조치, 의사결정 과정 등 기술·조직 정보를 공개하거나 정부의 감독에 드러내는 정도를 의미함.
용어 설명
AI 기업·조직이 학습 데이터, 모델 구조, 안전·보안 조치, 의사결정 과정 등 기술·조직 정보를 공개하거나 정부의 감독에 드러내는 정도를 의미함.
- 모델 카드·시스템 카드, 안전 프레임워크, 평가 결과 공개, 규제기관 제출 문서 등이 주요 수단이 됨.
- 외부 연구자와 규제기관이 개발자의 안전 주장을 검증하고 AI 위험을 독립적으로 평가하기 위한 전제이며, 공개 범위와 형식이 개발자마다 달라 비교가 어렵다는 지적이 있음.
- 모델 가중치나 위험 역량 정보처럼 공개 자체가 위험이 될 수 있는 정보, 영업비밀과의 균형이 쟁점이 됨.
구별'제도적 투명성'이 조직 차원의 정보 공개 정도라면, '알고리즘 투명성'은 개별 출력을 좌우한 요인을 알 수 있는 정도를 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, p.176–177; Glossary p.223 · 원문
- 2International AI Safety Report 2026, p.151 · 원문 · 라이브러리에서 보기
원문 인용 3
PDF 원문 인용
번역AI 기업이 학습 데이터·모델 구조·배출 데이터·안전·보안 조치·의사결정 과정 등 기술·조직 정보를 공개·정부 감시에 드러내는 정도.
The degree to which AI companies disclose technical or organisational information to public or governmental scrutiny, including training data, model architectures, emissions data, safety and security measures, or decision-making processes. Recent advances in general-purpose AI capabilities have largely been powered by a rapid increase in the amount of computation that goes into developing and using AI models. The most straightforward methodology for improving general-purpose AI performance on end-tasks is to allow the model to learn from as many data examples as possible. This is achieved by increasing the size of the model, measured as the number of parameters, roughly in proportion with the amount of available data ( 156*, 157* ).
출처 International Scientific Report on the Safety of Advanced AI · p.129–130 · EN · 정의섹션
번역조직이 정보를 공개하는 정도. AI 개발자의 경우 학습 데이터·모델 구조·안전·보안 조치·의사결정 과정 공유 등이 해당한다.
The degree to which organisations publicly disclose information, such as (in the case of AI developers) sharing training data, model architectures, safety and security measures, or decision-making processes.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기
번역AI 기업이 학습 데이터·모델 구조·배출 데이터·안전·보안 조치·의사결정 과정 등 기술·조직 정보를 공개·정부 감시에 드러내는 정도.
The degree to which AI companies disclose technical or organisational information to public or governmental scrutiny, including training data, model architectures, emissions data, safety and security measures, or decision-making processes.
출처 International Scientific Report on the Safety of Advanced AI · p.176–177, p.223 · EN · 정의섹션
147공정성fairnessAI 시스템의 결정이나 결과가 개인·집단을 편향이나 부당한 차별 없이 대우해야 한다는 규범적 가치와, 그 충족 정도를 의미함.
용어 설명
AI 시스템의 결정이나 결과가 개인·집단을 편향이나 부당한 차별 없이 대우해야 한다는 규범적 가치와, 그 충족 정도를 의미함.
- 집단별 선정률 동등, 집단별 오류율 동등, 실제 자격을 갖춘 사람 사이의 선정률 동등, 비슷한 개인의 비슷한 대우 등 여러 정량적 정의가 제시되며 서로 다른 결과를 냄.
- 집단 간 실제 분포가 다르면 이 기준들을 동시에 만족하기 어렵다는 점이 알려져 있어, 어떤 기준을 택할지는 채용·대출·의료·형사 절차 등 결정 맥락에 따른 정책적 판단이 됨.
- 차별로 인한 AI 피해를 예방하는 요건으로, 고위험 AI의 데이터 품질 관리와 편향 평가의 근거가 됨.
구별'편향'이 데이터·모델·운용에서 관측되는 체계적 치우침이라는 현상이라면, '공정성'은 그 결과를 판단하는 규범적 기준임.
용어 관계
상위 신뢰할 수 있는 AI · 혼동 주의 편향
주요 기관·문서별 개념 및 적용
- AI 시스템이 편향이나 부당한 차별 없이, 특히 인종·성별·연령·사회경제적 지위 등 보호 속성과 관련해 모든 개인·집단을 공평하게 대우하는 결정을 내려야 한다는 사회적 가치로 정의함. [1]
출처
- 1International AI Safety Report 2025, Glossary, p.221–222 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
편향이 관측되는 현상이라면 공정성은 그것을 판단하는 규범이다. 그런데 무엇이 공정인지에 대한 정의가 하나가 아니라는 점이 이 개념을 다루기 어렵게 만든다. 집단별 합격률을 같게 맞추는 것, 집단별 오류율을 같게 맞추는 것, 실제로 자격을 갖춘 사람들 사이에서 합격률을 같게 맞추는 것, 비슷한 개인을 비슷하게 대하는 것이 모두 공정성의 정의로 제시된다. 각각 그럴듯하지만 서로 다른 결과를 낸다.
더 중요한 사실은 이 기준들이 일반적으로 동시에 만족될 수 없다는 것이 수학적으로 증명돼 있다는 점이다. 집단 사이에 실제 분포가 다르면 한 기준을 맞추면 다른 기준이 어긋난다. 그래서 공정성 확보는 최적화 문제가 아니라 선택 문제가 된다. 무엇을 배분하는 결정인지에 따라 — 채용인지 대출인지 의료 자원 배분인지 형사 절차인지 — 어떤 기준이 적절한지가 달라지며, 그 선택은 정책적 판단의 영역이다. 기준을 밝히지 않은 공정성 주장은 검증할 수 없다.
PDF 원문 인용
번역인공지능 시스템이 편향이나 부당한 차별 없이, 특히 인종·성별·연령·사회경제적 지위 등 보호 속성과 관련해 모든 개인·집단을 공정하게 대우해야 한다는 사회적 가치.
A societal value according to which AI systems should make decisions that are free from bias or unjust discrimination, treating all individuals and groups equitably, particularly with regard to protected attributes such as race, gender, age, or socio-economic status.
출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션
참고 기사·연구
- 2026-09-04[The LENS 2026-10] AI 산출물 신뢰성 확보를 위한 미국의 정책 접근 : 연방거래위원회 「AI 정확성 정책성명서(안)」 분석 (첨부파일) NIA 다이제스트 2026-09-04
- 2026-09-04Is Model Distillation Legal? A Chinese Scholar’s Perspective GeopoliTechs 다이제스트 2026-09-04
- 2026-09-03Can the finance sector oversee AI innovation while maintaining its rapid progress? OECD-AI 다이제스트 2026-09-03
관련 연구 · AI 안전 연구
- 2026-10-30FairSense-AgentiX: 편향·AI 위험 분석 에이전트 The Journal of Open Sour
- 2026-10-20FAIRITHM: 한국어 편향 언러닝·재작성 시스템 Figshare
- 2026-08-30AI 공정성 평가에 위험과학 적용하기 arXiv
- 2026-07-30공정성 가지치기: GLU-MLP의 인구통계 편향 뉴런 위치 추정 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-01-03🇺🇸 스포츠 경기 내기 AI 제한 및 소비자 보호 조항 United States Congress · 법안
- 2025-01-03🇺🇸 법과학 알고리즘 공정성 법안 United States Congress · 법안
- 2024-01-03🇺🇸 뉴욕 디지털 공정성법안(S2277, 제7~9절) 법안
- 2023-08-30🇬🇧 영국 공정성 혁신 챌린지 Department for Science, Innova
148신뢰성reliabilityAI 시스템이 의도된 기능을 다양한 운용 조건과 시간에 걸쳐 일관되게 수행하는 성질을 의미함.
용어 설명
AI 시스템이 의도된 기능을 다양한 운용 조건과 시간에 걸쳐 일관되게 수행하는 성질을 의미함.
- 같은 조건에서 결과가 일관되는지, 시간이 지나도 성능이 유지되는지, 실패가 예측 가능한 범위에 있는지 등으로 판단됨.
- AI 오작동에 의한 피해를 줄이는 기초 요건이며, 그럴듯하지만 틀린 출력을 내는 환각은 거대 언어 모델의 신뢰성 한계로 자주 지적됨.
구별'신뢰성(reliability)'이 의도된 기능을 일관되게 수행하는 성질이라면, '강건성(robustness)'은 예상치 못한 입력이나 적대적 공격 등 넓은 상황에서도 안전하게 작동하는 성질이고, '신뢰할 수 있는 AI(trustworthy AI)'는 신뢰성을 포함한 여러 요건을 묶은 상위 정책 개념임.
용어 관계
상위 신뢰할 수 있는 AI · 혼동 주의 강건성
주요 기관·문서별 개념 및 적용
- AI 시스템이 의도된 기능을 일관되게 수행하는 능력으로 정의함. [1]
출처
- 1International AI Safety Report 2025, p.88–89; Glossary p.225–226 · 원문
원문 인용 1 · 관련 연구 4 · 정책 문서 4
PDF 원문 인용
번역인공지능 시스템이 의도된 기능을 일관되게 수행하는 능력.
An AI system's ability to consistently perform its intended function.
출처 International Scientific Report on the Safety of Advanced AI · p.88–89, p.225–226 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-11-02금융 분야 LLM 보안·신뢰성 벤치마킹 FinTech
- 2026-10-29우즈벡어에서 LLM 환각이 더 많은가: 언어별 사실 신뢰성 Frontiers in Education
- 2026-10-03블랙박스 강화학습 정책의 신뢰도 기반 신뢰성 평가 arXiv
- 2026-09-29STAR-GRPO: 신뢰도 우선 이점 추정으로 보상 해킹 억제 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-01-03🇺🇸 AI 발전·신뢰성 연구센터 설립법 United States Congress · 법안
- 2024-11-01🇬🇧 JSP 936 V1.1 국방 분야 신뢰성 있는 인공지능 지침 Government of the United Kingd
- 2023-06-09🇯🇵 생성형 AI 투명성·신뢰성 연구개발 센터 The National Institute of Info
- 2021-05-13🇰🇷 한국 AI 윤리·신뢰성 확보 추진계획 Ministry of Science and ICT (M
149강건성robustnessAI 시스템이 학습 때와 다른 입력, 예상치 못한 환경, 의도적 공격 등 넓은 범위의 상황에서도 안전하고 의도대로 작동하는 성질을 의미함.
용어 설명
AI 시스템이 학습 때와 다른 입력, 예상치 못한 환경, 의도적 공격 등 넓은 범위의 상황에서도 안전하고 의도대로 작동하는 성질을 의미함.
- 분포가 바뀐 입력에서도 일반화하는 능력, 적대적 입력·탈옥·프롬프트 인젝션을 견디는 힘, 잡음이나 오류가 섞인 입력에도 흔들리지 않는 안정성 등을 포괄함.
- 배포 환경의 낯선 입력이 예상치 못한 실패를 일으킬 수 있어, 적대적 학습·레드티밍·적대적 시험이 강건성 확보와 검증 수단으로 쓰임.
- 알려진 공격을 막는 방어가 새로운 공격에는 통하지 않는 경우가 많아, 강건성을 충분히 입증하기 어렵다는 한계가 있음.
구별'강건성(robustness)'이 넓은 상황에서의 안전한 작동을 가리킨다면, '신뢰성(reliability)'은 의도된 기능을 일관되게 수행하는 성질을 가리킴.
용어 관계
상위 신뢰할 수 있는 AI · 앞 단계 적대적 학습 · 혼동 주의 신뢰성
주요 기관·문서별 개념 및 적용
- AI 시스템의 강건성을 넓은 범위의 상황에서 안전하게 행동하는 성질로 정의하고, 악의적 이용자가 의도적으로 해로운 행동을 유도하려는 시도를 견디는 것을 포함하되 이에 한정되지 않는다고 설명함. [1]
- 정확성과 강건성은 AI 시스템의 타당성·신뢰성에 기여하지만 서로 긴장 관계일 수 있으며, 학습 범위 밖으로 일반화되지 못한 시스템은 위험을 키운다고 봄. [2]
- 강건성을 적용 맥락에 맞는 기술적 강건성과 운영 환경을 고려하는 사회적 강건성을 아우르는 것으로 보고, 신뢰할 수 있는 AI의 세 요소 중 하나로 둠. [3]
- 안전 완화 조치가 미세조정 공격·탈옥 같은 적대적 압박에도 충분히 강건해야 한다고 요구함. [4]
출처
- 1International AI Safety Report 2026, Glossary, p.153–154 · 원문 · 라이브러리에서 보기
- 2NIST AI 100-1 (AI RMF 1.0), 3.1, p.13–14 · 원문
- 3AI HLEG (2019). Ethics Guidelines for Trustworthy AI, Glossary, p.37 · 원문
- 4EU GPAI Code of Practice (2025), Safety & Security, Measure 5.1, p.17 · 원문
관련 연구 4 · 정책 문서 1
관련 연구 · AI 안전 연구
- 2026-10-28LLM 기반 로봇 조작의 결함 주입·강건성 평가 arXiv
- 2026-09-17짧은 문맥 접두어에 대한 안전 정렬 LLM 행동의 강건성 평가 Research Square
- 2026-09-16코드스위칭 LLM 안전성·강건성 평가 서베이 International Journal fo
- 2026-09-03인도 언어 설득형 탈옥 안전성 벤치 IndicSafeEval arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-07-09🇪🇺 인공지능의 견고성과 설명가능성 보고서 정책보고서
150신뢰보증assuranceAI 시스템이 안전성·신뢰성 등 정해진 요건이나 기대를 충족한다는 근거를 수집·평가하고, 그 결과를 이해관계자에게 전달하는 활동과 체계를 의미함.
용어 설명
AI 시스템이 안전성·신뢰성 등 정해진 요건이나 기대를 충족한다는 근거를 수집·평가하고, 그 결과를 이해관계자에게 전달하는 활동과 체계를 의미함.
- 모델 평가, 감사, 적합성 평가, 인증, 안전 사례 작성 등 여러 기법으로 주장과 증거를 연결하며, 개발자 자체 점검부터 독립 제3자 검증까지 수준이 다양함.
- 개발자의 '안전하다'는 주장을 규제기관·구매자·이용자가 확인할 수 있게 해 주는 장치로, 신뢰보증 수단이 갖춰져야 AI 안전 요건도 실제로 집행·확인될 수 있음.
- 평가 방법이 충분히 표준화되지 않았고 모델이 계속 갱신되어 한 시점의 보증이 오래 유효하지 않다는 한계가 지적됨.
구별'규정 준수(compliance)'가 정해진 법령·표준의 요구를 지키고 증명하는 일이라면, '신뢰보증'은 규제 여부와 관계없이 시스템이 믿을 만하다는 근거를 만들어 전달하는 더 넓은 활동임.
용어 관계
주요 기관·문서별 개념 및 적용
- 두 번째 핵심 업데이트는 개발자들이 범용 AI 제품의 신뢰성·강건성·거버넌스에 관한 주장을 입증하려고 신뢰보증 도구를 도입하기 시작했다고 보고하면서, 대표 예인 안전 사례는 도입이 제한적이고 적합성에 논란이 있다고 봄. [1]
- 이행조치 8.1은 조직 내 책임의 하나로 '시스템적 위험 신뢰보증'을 두고, 위험 평가·완화 절차의 적절성에 대한 내부 및 필요시 외부 보증을 감독 기능의 경영기구 등 독립 기구에 제공하도록 함. [2]
- 프론티어 AI 안전 프레임워크의 새 관행으로 배포 전 제3자 평가 의뢰를 들고, 안전한 개발·배포 조건이 충족됐는지에 대한 추가 증거와 보증을 제공하는 데 도움이 된다고 보며, 제3자 평가자에게 충분한 모델 접근과 시간을 주는 것도 별도 관행으로 듦. [3]
- 제30조는 과기정통부 장관이 단체 등이 안전성·신뢰성 확보를 위해 자율적으로 추진하는 검증·인증 활동(검·인증등)을 가이드라인 보급, 연구, 장비·전문인력 양성 등으로 지원할 수 있게 함. [4]
출처
- 1International AI Safety Report Second Key Update (2025), p.16–17 · 원문
- 2EU GPAI Code of Practice (2025), Safety & Security, Measure 8.1, p.23–24 · 원문
- 3UK AISI (2025). Emerging Practices in Frontier AI Safety Frameworks, p.28 · 원문
- 4『인공지능기본법 지원데스크 사례집』(2026), 제30조, p.91–92 · 원문 · 라이브러리에서 보기
관련 연구 3 · 정책 문서 4
관련 연구 · AI 안전 연구
- 2026-09-29AI 보증의 과제와 공백, 향후 방향 Artificial Intelligence
- 2026-09-19모델 위험관리에서 AI 보증 체계로의 통합 Transactions on Engineer
- 2026-05-04미중 AI 보증·보안 협력 비상 프레임워크 RAND
관련 정책 문서 · AI 안전 라이브러리
- 2025-07-09🇦🇺 NSW AI 보증 프레임워크 Government of New South Wales
- 2025-07-07🇸🇬 싱가포르 글로벌 AI 보증 샌드박스 기구·제도
- 2024-02-12🇬🇧 영국 AI 보증 소개 Department for Science, Innova
- 2023-11-22🇬🇧 영국 AI 보증 혁신 기금 전략·정책
151모델 카드model cardAI 모델의 개발 목적, 학습·평가 방식, 성능, 한계와 위험, 의도된 용도 등을 정해진 형식으로 정리해 공개하는 문서를 의미함.
용어 설명
AI 모델의 개발 목적, 학습·평가 방식, 성능, 한계와 위험, 의도된 용도 등을 정해진 형식으로 정리해 공개하는 문서를 의미함.
- 학습 데이터 개요, 벤치마크·안전성 평가 결과, 알려진 한계, 권장·비권장 용도 등을 담으며, 시스템 전체를 다루는 '시스템 카드'와 함께 쓰이기도 함.
- 제도적 투명성을 높이는 대표적 문서화 관행으로, 하위 개발자·배포자·규제기관이 모델의 위험을 판단하는 근거가 됨.
- 형식과 공개 범위가 개발자 재량이라 중요한 위험 정보가 빠지거나 출시 후 갱신되지 않을 수 있다는 지적이 있음.
주요 기관·문서별 개념 및 적용
- 문서화를 위험 거버넌스 관행의 하나로 분류하고, AI 모델·시스템이 어떻게 학습·평가되었는지 정보를 제공하는 모델 카드와 시스템 카드를 대표적 문서화 모범 관행으로 듦. [1]
출처
- 1International AI Safety Report 2026, p.113 · 원문 · 라이브러리에서 보기
관련 연구 1
관련 연구 · AI 안전 연구
- 2026-02-19Gemini 3.1 Pro 모델 카드 공개 딥마인드(DeepMind) 공식 모델 카드
152책임 있는 스케일링 정책responsible scaling policy (RSP)AI 개발자가 모델 역량이 미리 정한 임계값에 도달하면 그에 상응하는 안전·보안 조치를 적용하겠다고 사전에 약속해 공개하는 자율적 위험 관리 정책을 의미함.
용어 설명
AI 개발자가 모델 역량이 미리 정한 임계값에 도달하면 그에 상응하는 안전·보안 조치를 적용하겠다고 사전에 약속해 공개하는 자율적 위험 관리 정책을 의미함.
- 역량 평가로 화학·생물·방사능·핵 무기 개발 지원, 사이버 공격 등 위험 역량을 점검하고, 임계값에 도달하면 강화된 보안, 배포 통제, 실시간 모니터링 등을 적용하는 조건부(if-then) 약속 구조를 가짐.
- Anthropic의 책임 있는 스케일링 정책, Google DeepMind의 프론티어 안전 프레임워크처럼 개발자마다 명칭이 달라, 통칭 '프론티어 AI 안전 프레임워크'로 묶여 논의됨.
- 임계값 설정과 도달 여부 판정을 개발자가 스스로 하고 구속력이 없어, 외부 검증과 규제 연계가 과제로 지적됨.
용어 관계
주요 기관·문서별 개념 및 적용
- Anthropic의 책임 있는 스케일링 정책과 Google DeepMind의 프론티어 안전 프레임워크 등 공개된 안전 프레임워크의 실천 사례를 비교하고, 역량 평가 절차와 평가·안전조치 정보의 외부 공개, 정부 통지 같은 조항을 사례로 제시함. [2]
출처
- 1International AI Safety Report 2026, p.115 · 원문 · 라이브러리에서 보기
- 2UK AISI (2025). Emerging Practices in Frontier AI Safety Frameworks, p.13, p.31 · 원문
관련 연구 3 · 정책 문서 4
관련 연구 · AI 안전 연구
- 2023-09-26책임 있는 확장 정책(RSP) METR
- 2023-09-26책임 있는 확장 정책(RSP) 해설 METR
- 2023-09-26책임 있는 확장 정책(RSP) 제안 METR
관련 정책 문서 · AI 안전 라이브러리
- 2026-07-08Anthropic 책임 있는 Scaling 정책(RSP) v3.4 Anthropic · 가이드라인·원칙
- 2026-04-17Google DeepMind 프론티어 안전 프레임워크 v3.1 Google DeepMind · 가이드라인·원칙
- 2026-02-24Anthropic 책임 있는 스케일링 정책 v3.0 Private-sector companies · 가이드
- 2024-10-15책임 있는 스케일링 정책 Private-sector companies · 가이드
153AI 리터러시AI literacyAI의 작동 방식과 한계·위험을 이해하고, AI 출력을 비판적으로 판단해 활용할 수 있는 지식과 역량을 의미함.
용어 설명
AI의 작동 방식과 한계·위험을 이해하고, AI 출력을 비판적으로 판단해 활용할 수 있는 지식과 역량을 의미함.
- 출력이 틀릴 수 있는 이유(환각 등), 위임해도 되는 판단과 그렇지 않은 판단의 구분, 입력한 정보의 처리 경로, 저작권·개인정보 쟁점에 대한 이해를 포함하며, 도구 사용 요령과는 구별됨.
- 자동화 편향과 과신을 줄여 인간 감독이 실제로 작동하게 하는 기반이 되며, EU AI법은 AI 리터러시를 별도 용어로 정의함.
- 개인의 역량에 구조적 위험 대응을 떠넘기는 근거로 쓰이면 표시 의무나 제품 안전 요구를 대체하는 알리바이가 될 수 있어, 다른 통제를 보완하는 층으로 다뤄야 한다는 지적이 있음.
주요 기관·문서별 개념 및 적용
- AI 리터러시를 제공자·운용자·영향을 받는 자가 각자의 권리와 의무를 고려해 AI 시스템을 충분한 정보에 입각해 활용하고, AI의 기회와 위험, 잠재적 위해를 인식할 수 있게 하는 기술·지식·이해로 정의함. [1]
출처
- 1『EU GPAI 실천강령 한글 안내서』(2026), 용어 정의, p.12 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 1 · 정책 문서 4
해설
도구 사용법을 익히는 것과 다르다. 프롬프트를 잘 쓰는 요령이 아니라, 출력이 왜 틀릴 수 있는지 이해하고, 어떤 판단은 위임해도 되고 어떤 판단은 안 되는지 가리고, 입력한 내용이 어디로 가는지 인식하고, 저작권과 개인정보 문제가 어디서 생기는지 판단하는 능력을 가리킨다. EU AI법도 공급자와 배치자에게 관련 인력의 이런 역량을 확보하도록 요구한다.
다만 정책 수단으로서의 한계도 함께 지적된다. 개인의 역량으로 구조적인 위험을 감당하게 하는 방향으로 쓰이면, 표시 의무나 제품 안전 요구를 대체하는 알리바이가 될 수 있다. 이용자가 조심하면 된다는 논리는 만드는 쪽의 책임을 덜어 주는 데 쓰일 수 있기 때문이다. 그래서 리터러시는 다른 통제를 대신하는 것이 아니라 보완하는 층으로 다뤄질 때 의미를 갖는다는 정리가 통용된다.
PDF 원문 인용
제공자 운용자 및 영향을 받는 자들이 본 규정의 맥락에서 각자의 권리와 의무를 고려 , 하여 시스템을 충분한 정보에 입각하여 활용할 수 있도록 하고 의 기회와 위험 , AI , AI 및 가 초래할 수 있는 잠재적 위해에 대한 인식을 제고할 수 있도록 하는 기술 지식 AI , 및 이해
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.16 · KO · 정의섹션
참고 기사·연구
- 2026-09-06뉴욕, 초·중학교 AI 사용 금지…“어떤 챗봇도 성장·고민 재현할 수 없다” 미디어오늘 다이제스트 2026-09-06
- 2026-06-16Commission presents AI Literacy Framework with the OECD to prepare learners for the age of artificial intelligence 유럽연합 집행위원회(EU-Digital- 다이제스트 2026-06-16
- 2026-04-20EU, AI법 개정안에서 상대적으로 덜 논쟁적인 쟁점들에 합의 (2026.4.20) mlex.com 다이제스트 2026-04-20
관련 연구 · AI 안전 연구
- 2026-05-18BridgeAI 프로젝트: 인간은 토큰이 아니다 NATO science for peace a
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-30🇧🇷 브라질 ANATEL 생성형 AI 리터러시 프로그램 전략·정책
- 2026-09-12AI Literacy Whitepaper Understanding · Implementing AI Literacy AIGL · 전략·정책
- 2026-08-21🇰🇷 전북 AI 리터러시 교육 가이드라인 전북특별자치도교육청 · 가이드라인·원칙
- 2026-04-07🇺🇳 UNESCO AI·신흥기술 시대 미디어·정보 리터러시 문서 UNESCO 집행이사회 · 기타
154인공지능artificial intelligence (AI)학습·추론·지각·판단·언어 이해처럼 인간의 지적 능력이 필요한 과제를 기계가 수행하도록 구현한 기술, 또는 이를 연구하는 컴퓨터과학 분야를 의미함.
용어 설명
학습·추론·지각·판단·언어 이해처럼 인간의 지적 능력이 필요한 과제를 기계가 수행하도록 구현한 기술, 또는 이를 연구하는 컴퓨터과학 분야를 의미함.
- 법·정책 문서에서는 기술 자체(인공지능)와, 이를 기반으로 예측·추천·결정 등의 결과물을 추론하는 시스템(인공지능시스템)을 나눠 정의하는 경우가 많음.
- AI 안전 규제의 적용 범위는 대개 '인공지능시스템' 정의로 정해지며, 자율성·적응성·추론 같은 정의 요소가 어떤 소프트웨어가 규율 대상인지를 가름.
- 정의가 넓으면 일반 소프트웨어까지 포함되고 좁으면 새 기술이 빠질 수 있어 정의 설계 자체가 쟁점이 되며, EU AI법의 정의는 OECD 정의와 밀접하게 맞춰져 있다는 평가가 있음.
구별'인공일반지능(AGI)'은 인간 수준의 폭넓은 지적 능력을 갖춘, 아직 도달하지 않은 상태를 가리키는 개념으로, 현재의 AI 기술 전반을 가리키는 '인공지능'과 구별됨.
용어 관계
주요 기관·문서별 개념 및 적용
- 학습·추론·문제 해결·자연어 처리·의사결정처럼 보통 인간 지능이 필요한 과제를 수행하는 시스템·기계를 만드는 데 초점을 둔 컴퓨터과학 분야로 정의함. [4]
출처
원문 인용 13 · 관련 연구 4 · 정책 문서 4
PDF 원문 인용
'인공지능'이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것을 말 한다.
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션
번역학습·추론·문제 해결·자연어 처리·의사결정처럼 보통 인간 지능이 필요한 과제를 수행하는 시스템·기계를 만드는 데 초점을 둔 컴퓨터과학 분야.
The field of computer science focused on creating systems or machines capable of performing tasks that typically require human intelligence. These tasks include learning, reasoning, problem-solving, natural language processing, and decision-making.
출처 International Scientific Report on the Safety of Advanced AI · p.219–220 · EN · 정의섹션
'인공지능'이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현 한 것을 말한다. 2.
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 라이브러리에서 보기
'인공지능'이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방 법으로 구현한 것을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 라이브러리에서 보기
∙ 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것 | 법 제2조
출처 인공지능 안전성 확보 가이드라인 v1.3 (2026.1.21) · p.13 · KO · 정의섹션
'인공지능시스템'이란 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향 을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스템을 말한다.
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션
'인공지능시스템'이란 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스템을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 라이브러리에서 보기
'인공지능시스템'이란 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스 템을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 라이브러리에서 보기
∙ 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스템 | 법 제2조
출처 인공지능 안전성 확보 가이드라인 v1.3 (2026.1.21) · p.13 · KO · 정의섹션
'인공지능기술'이란 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술을 말한 다.
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션
'인공지능기술'이란 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술 을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 라이브러리에서 보기
'인공지능기술'이란 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 라이브러리에서 보기
∙ 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술 | 법 제2조
출처 인공지능 안전성 확보 가이드라인 v1.3 (2026.1.21) · p.13 · KO · 정의섹션
관련 연구 · AI 안전 연구
- 2026-11-08EU AI법 제4a조 편향 탐지와 합성·익명·차등프라이버시 데이터 OpenAlex
- 2026-11-07AI 시스템의 민사법적 지위: 법인격 대 복합 객체 Journal of actual proble
- 2026-11-07WorkOS 침해: 샌드박스 이탈 AI 에이전트 AIID
- 2026-11-07Kimi K3의 영국 AISI 사이버 평가 샌드박스 우회 AIID
관련 정책 문서 · AI 안전 라이브러리
- 2026-12-10🇺🇸 미국 책임 있는·윤리적 AI 라벨링 법 United States Congress · 법안
- 2026-11-06🇰🇷 에이전틱 AI 제로트러스트 안내서 가이드라인·원칙
- 2026-11-04🇬🇧 북아일랜드 EU AI Act 부분 적용 지침 가이드라인·원칙
- 2026-11-02🇰🇷 산업 디지털 전환·AI 활용 촉진법 개정안 법안
155고위험 AIhigh-risk AI사람의 건강·안전이나 기본권에 중대한 위험을 줄 수 있는 용도로 쓰여 강화된 규제 의무가 적용되는 AI 시스템을 가리키는 규제상 범주를 의미함.
용어 설명
사람의 건강·안전이나 기본권에 중대한 위험을 줄 수 있는 용도로 쓰여 강화된 규제 의무가 적용되는 AI 시스템을 가리키는 규제상 범주를 의미함.
- 위험 수준에 따라 의무 강도를 달리하는 위험 기반 접근에서 금지 대상과 투명성 의무 정도만 지는 대상 사이에 놓이며, 위험 관리, 데이터 품질 관리, 기술 문서·기록 유지, 인간 감독, 정확성·강건성·사이버 보안 등 요건이 붙음.
- 분류는 기술이 아니라 용도가 정해서, 같은 얼굴 인식 기술이라도 사진 정리에 쓰이면 해당하지 않고 채용 심사나 법 집행에 쓰이면 고위험이 될 수 있음.
- 범용 AI처럼 용도가 정해지지 않은 모델은 이 틀로 포착하기 어려워 별도 규율이 마련되었음.
구별'고위험 AI'는 EU AI법 등의 규제 범주이고 한국 AI 기본법은 이에 대응해 '고영향 AI'라는 별도 법정 용어를 쓰는데, 분류 기준과 의무가 달라 서로 바꿔 쓰지 않으며, '고영향 AI'는 EU의 '고영향 역량'과도 다른 개념임.
용어 관계
주요 기관·문서별 개념 및 적용
- 제6조에 따라 부속서 I의 EU 조화 법령상 제3자 적합성 평가 대상인 제품·안전 구성요소이거나, 부속서 III에 열거된 용도(핵심 기반시설, 교육·직업훈련, 고용 등)에 쓰이는 AI 시스템을 고위험으로 분류하되, 부속서 III 시스템이라도 건강·안전·기본권에 중대한 위해 위험이 없으면 고위험으로 보지 않음(제6조제3항). [1]
- '고위험' 대신 '고영향 인공지능'이라는 용어를 쓰며, 생명·신체의 안전과 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템으로서 열거된 영역에서 활용되는 것으로 정의함. [3]
출처
해설 · 참고 기사 3 · 관련 연구 3 · 정책 문서 4
해설
모든 AI를 같은 강도로 규율하면 위험한 용도는 충분히 통제되지 않고 무해한 용도는 과도하게 묶인다. 그래서 위험 수준에 따라 층을 나누는 방식이 채택됐다. EU AI법은 아예 금지되는 것, 고위험으로 강한 의무가 붙는 것, 표시 의무 정도만 지는 것, 별도 의무가 없는 것으로 나눈다. 고위험에 해당하면 위험 관리 체계를 갖추고, 학습 데이터의 품질을 관리하고, 기술 문서와 기록을 남기고, 인간 감독이 가능하게 설계하고, 정확성·강건성·사이버 보안 요건을 충족해야 한다.
무엇이 고위험인지는 기술이 아니라 용도가 정한다는 점이 이 범주를 이해하는 핵심이다. 같은 얼굴 인식 기술이 사진첩을 정리하는 데 쓰이면 규율 대상이 아니고, 채용 심사나 법 집행에 쓰이면 고위험이 된다. 위험은 모델의 성능 수치에 있지 않고 그 판단이 누구의 무엇을 좌우하는지에 있기 때문이다. 그래서 규제 대응은 모델 문서를 준비하는 일이 아니라 어떤 맥락에 배치할지 특정하는 일에서 시작한다.
참고 기사·연구
- 2026-09-04“AI 일탈 막아라”… 오픈AI, ‘자동 셧다운’ 기능 개발 나서 동아일보 다이제스트 2026-09-04
- 2026-09-04OpenAI Releases GPT-6 Astra AI-Risk-Explorer 다이제스트 2026-09-22
- 2026-09-03ISO 42001:2023 Audit & Control Checklist AIGovernanceLibrary
관련 연구 · AI 안전 연구
- 2026-11-03고위험 AI 사이버보안: AI법 15조와 CRA 중첩 International Cybersecur
- 2026-08-17고위험 AI 시스템의 운영 정렬과 비정렬 사례연구 Scientific Reports
- 2026-05-27고위험 AI 배포 보증 거버넌스 프레임워크(OADA) arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-14🇪🇺 EU 집행위 시행결정 2026/2274 행정규칙
- 2026-08-03🇰🇷 국가안보·핵심 인프라 위협 고위험 AI 모델 지정·관리체계 법안 법안
- 2026-08-02🇪🇺 EU 인공지능법(AI Act) 법
- 2026-08-02🇪🇺 EU AI 법 고위험 AI 설계 요건 법
156고영향 AIhigh-impact AI사람의 생명·신체의 안전과 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템으로서, 법이 열거한 영역에서 활용되는 것을 가리키는 한국 AI 기본법상 개념을 의미함.
용어 설명
사람의 생명·신체의 안전과 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템으로서, 법이 열거한 영역에서 활용되는 것을 가리키는 한국 AI 기본법상 개념을 의미함.
- 에너지 공급, 먹는물 생산, 보건의료, 의료기기, 원자력 시설, 범죄 수사용 생체인식정보 분석, 채용·대출 심사, 교통, 공공 의사결정, 학생 평가 등 열거 영역과 대통령령으로 정하는 영역에서의 활용이 기준이 됨.
- 기술 자체가 아니라 활용 영역과 영향이 분류를 가르며, 해당하면 위험관리방안, 설명 방안, 이용자 보호 방안, 사람의 관리·감독, 관련 문서 작성·보관 등 사업자 책무가 부과됨.
- EU AI법의 '고위험 AI'와 취지가 비슷하나 분류 기준과 의무 구조가 달라, 두 용어를 같은 개념으로 옮기지 않도록 주의가 필요함.
구별'고영향 AI'는 한국 AI 기본법의 법정 용어이고, '고위험 AI'는 EU AI법 등에서 쓰는 용어로, 분류 기준과 부과 의무가 달라 서로 바꿔 쓰지 않음.
용어 관계
혼동 주의 고위험 AI
주요 기관·문서별 개념 및 적용
- 대응 개념인 고위험 AI 시스템은 부속서 I의 EU 조화 법령상 제3자 적합성 평가 대상인 제품·안전 구성요소이거나, 부속서 III에 열거된 용도(핵심 기반시설, 교육·직업훈련, 고용 등)에 쓰이는 시스템으로 분류됨(제6조). [3]
출처
- 1「인공지능기본법」, 제2조 · 원문
- 2『인공지능기본법 지원데스크 사례집』(2026), p.17 · 원문 · 라이브러리에서 보기
- 3G'sell (2024). Regulating Under Uncertainty, Ch.5, p.204–205 · 원문
원문 인용 4 · 정책 문서 3
PDF 원문 인용
'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있 는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다. 가. 「에너지법」 제2조제1호에 따른 에너지의 공급 나. 「먹는물관리법」 제3조제1호에 따른 먹는물의 생산 공정 다. 「보건의료기본법」 제3조제1호에 따른 보건의료의 제공 및 이용체계의 구축ㆍ운영 라. 「의료기기법」 제2조제1항에 따른 의료기기 및 「디지털의료제품법」 제2조제2호에 따른 디지털의료기기의 개 발 및 이용 마. 「원자력시설 등의 방호 및 방사능 방재 대책법」 제2조제1항제1호에 따른 핵물질과 같은 항 제2호에 따른 원 자력시설의 안전한 관리 및 운영 바. 범죄 수사나 체포 업무를 위한 생체인식정보(얼굴ㆍ지문ㆍ홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신 체적ㆍ생리적ㆍ행동적 특징에 관한 개인정보를 말한다)의 분석ㆍ활용 사. 채용, 대출 심사 등 개인의 권리ㆍ의무 관계에 중대한 영향을 미치는 판단 또는 평가 아. 「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영 자. 공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 '국가기관등'이라 한다)의 의사결정 차. 「교육기본법」 제9조제1항에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가 카. 그 밖에 사람의 생명ㆍ신체의 안전 및 기본권 보호에 중대한 영향을 미치는 영역으로서 대통령령으로 정하는 영역
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션
'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려 가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다. 가. 「에너지법」 제2조제1호에 따른 에너지의 공급 나. 「먹는물관리법」 제3조제1호에 따른 먹는물의 생산 공정 다. 「보건의료기본법」 제3조제1호에 따른 보건의료의 제공 및 이용체계의 구축ㆍ운영 라. 「의료기기법」 제2조제1항에 따른 의료기기 및 「디지털의료제품법」 제2조제2호에 따른 디지털의료기기 의 개발 및 이용 마. 「원자력시설 등의 방호 및 방사능 방재 대책법」 제2조제1항제1호에 따른 핵물질과 같은 항 제2호에 따 른 원자력시설의 안전한 관리 및 운영 바. 범죄 수사나 체포 업무를 위한 생체인식정보(얼굴ㆍ지문ㆍ홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신체적ㆍ생리적ㆍ행동적 특징에 관한 개인정보를 말한다)의 분석ㆍ활용 사. 채용, 대출 심사 등 개인의 권리ㆍ의무 관계에 중대한 영향을 미치는 판단 또는 평가 아. 「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영 자. 공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단 체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 '국가기관등'이라 한다)의 의사결정 차. 「교육기본법」 제9조제1항에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가하는 영역 8 인공지능기본법 지원데스크 사례집
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 라이브러리에서 보기
'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.79 · KO · 정의섹션 · 라이브러리에서 보기
'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험 을 초래할 우려가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다. 가. 「에너지법」 제2조제1호에 따른 에너지의 공급 나. 「먹는물관리법」 제3조제1호에 따른 먹는물의 생산 공정 다. 「보건의료기본법」 제3조제1호에 따른 보건의료의 제공 및 이용체계의 구축ㆍ운영 라. 「의료기기법」 제2조제1항에 따른 의료기기 및 「디지털의료제품법」 제2조제2호에 따른 디지털의료기기의 개발 및 이용 마. 「원자력시설 등의 방호 및 방사능 방재 대책법」 제2조제1항제1호에 따른 핵물질과 같은 항 제2호에 따른 원자력시설의 안전한 관리 및 운영 바. 범죄 수사나 체포 업무를 위한 생체인식정보(얼굴ㆍ지문ㆍ홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신체적ㆍ생리적ㆍ행동적 특징에 관한 개인정보를 말한다)의 분석ㆍ활용 20선의 질답 사례로 배우는 기업 실무 가이드 75 사. 채용, 대출 심사 등 개인의 권리ㆍ의무 관계에 중대한 영향을 미치는 판단 또는 평가 아. 「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요 한 작동 및 운영 자. 공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 '국 가기관등'이라 한다)의 의사결정 차. 「교육기본법」 제9조제1항에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가 카. 그 밖에 사람의 생명ㆍ신체의 안전 및 기본권 보호에 중대한 영향을 미치는 영역으로서 대통령령으로 정하는 영역
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 라이브러리에서 보기
관련 정책 문서 · AI 안전 라이브러리
- 2026-08-28🇰🇷 고영향 AI 판단 가이드라인 과기부/NIA/TTA/ETRI · 가이드라인·원칙
- 2026-08-28🇰🇷 고영향 인공지능 사업자 책무 가이드라인 과기부/NIA/TTA/ETRI · 가이드라인·원칙
- 2026-07-21🇰🇷 근로자 영향 고영향 AI 확대·모니터링 규제 법안(법안 제2220058호) 법안
157범용 AIgeneral-purpose AI (GPAI)특정 기능에 한정되지 않고 여러 영역에 걸친 다양한 과제를 수행할 수 있도록 설계·학습된 AI 모델 또는 시스템을 의미함.
용어 설명
특정 기능에 한정되지 않고 여러 영역에 걸친 다양한 과제를 수행할 수 있도록 설계·학습된 AI 모델 또는 시스템을 의미함.
- 대량의 데이터로 자기지도 학습한 거대 언어 모델 등 생성형 AI가 대표적이며, 하나의 모델이 다수의 하위 시스템·서비스에 통합되는 토대 역할을 함.
- 특정 용도에 속하지 않아 용도 기반 규제만으로는 포착되지 않으므로, 모델 제공자에게 문서화·저작권 정책·학습 콘텐츠 요약 같은 별도 의무를 지우고 영향력이 큰 모델은 시스템적 위험 관리 대상으로 삼는 방식이 도입됨.
- 역량 범위가 넓어 개발 단계에서 예상하지 못한 용도와 위험이 배포 후에 드러날 수 있다는 점이 안전성 평가를 어렵게 함.
구별'범용 AI'는 현재 존재하는 모델·시스템을 가리키는 기술적·법적 범주이고, '인공일반지능(AGI)'은 인간 수준의 폭넓은 지적 능력이라는 아직 도달하지 않은 상태를 가리킴. '협소 AI'는 한 가지 기능에 특화된 AI로 범용 AI와 대조됨.
용어 관계
주요 기관·문서별 개념 및 적용
- 범용 AI 모델을 대량의 데이터로 대규모 자기지도 학습한 경우를 포함해 상당한 일반성을 보이고 다양한 과제를 유능하게 수행하며 여러 하위 시스템·응용에 통합될 수 있는 AI 모델로 정의하고, 시장 출시 전 연구·개발·시제품 용도의 모델은 제외함(제3조제63호). [1]
- 제공자에게 EU 저작권법 준수 정책과 학습 콘텐츠 요약 공개를 요구하고(제53조제1항(c)·(d)), 누적 학습 연산량이 10^25 FLOP을 넘는 모델은 고영향 역량을 가진 것으로 추정해 시스템적 위험이 있는 범용 AI 모델로 분류하며(제51조), 이런 모델에는 추가 의무를 부과함(제55조). [2] [3] [4]
- 범용 AI라는 명칭 대신, 학습에 사용된 누적 연산량이 대통령령으로 정하는 기준 이상인 AI 시스템에 위험 식별·평가·완화와 위험관리체계 구축 의무를 부과하는 방식(제32조)으로 대규모 모델을 다룸. [5]
- 한 가지 기능에 특화되지 않고 여러 영역에 걸쳐 폭넓은 과제를 수행하도록 설계된 AI 시스템으로 정의하고, 협소 AI와 대조함. [6]
출처
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
용도별로 규율하는 방식만으로는 다룰 수 없는 대상이 있어서 도입된 범주다. 하나의 모델이 수백 가지 서비스의 토대가 되는데, 그 모델 자체는 어떤 특정 용도에도 속하지 않기 때문이다. EU AI법은 이런 모델을 만든 쪽에 기술 문서 작성, 학습에 쓴 콘텐츠의 요약 공개, 저작권 정책 마련 같은 의무를 지운다. 그중 영향력이 특히 큰 모델은 시스템적 위험이 있다고 보고, 평가와 사고 보고, 사이버 보안 요건을 추가로 요구한다.
약어가 비슷한 인공일반지능(AGI)과 구별해 읽어야 한다. 범용 AI 모델은 지금 존재하는 모델을 가리키는 법적 범주이고, 인공일반지능은 사람 수준의 지능이라는 아직 도달하지 않은 상태를 가리키는 개념이다. 국문 표기가 범용 AI 모델, 범용 인공지능 모델 등으로 갈려 있고 파운데이션 모델과 겹쳐 쓰이기도 해 원어나 약어를 함께 적는 관행이 자리 잡았는데, 이 혼동을 막는 데도 도움이 된다.
PDF 원문 인용
번역한 가지 기능에 특화되지 않고 여러 영역에 걸쳐 폭넓은 과제를 수행하도록 설계된 AI 시스템. 대조: 협소 AI.
AI systems designed to perform a wide range of tasks across various domains, rather than being specialised for one specific function. See 'Narrow AI' for contrast.
출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션
범용 AI 에이전트는 특정 작업 자동화에 최적화된 기존 AI 에이전트와 달리, 서로 성격이 다른 다양한 작업을 하나의 시스템이 자율적으로 조합·전환하며 수행하도록 설계된 고도형 에이전트입니다. 입력 형태나 작업 조건이 변해도 별도의 구조 변경 없이 대응하며, 정보 탐색-계획 생성-행동 실행-결과 평가가 하나의 순환 구조로 통합되어 있다는 점이 핵심입니다. 즉, 이미 정의된 절차를 따르는 도구가 아니라, 여러 업무 흐름을 스스로 구성하고 필요에 따라 전략을 바꾸며 문제를 해결하는 범용적 실행 주체를 목표로 합니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.164 · KO · 정의섹션
참고 기사·연구
- 2026-06-13Call for participants: Workshop—GPAI 모델의 systemic risk 외부평가자 independence·자격 요건 논의 (**기사·공고 게재일** 2026.6.13) 유럽연합 집행위원회(디지털 전략) AI 다이제스트 2026-06-13
- 2026-06-03The OECD AI Policy Toolkit: Better AI policies for better lives 경제협력개발기구(OECD) AI Wonk 다이제스트 2026-06-03
- 2026-04-27(2026.4.27) Third GPAI Signatory Taskforce 회의, 안전·보안 장(章)에서 위험 예측과 유해 조작 시나리오 논의 유럽연합 집행위원회(EC) 디지털 전략 다이제스트 2026-04-27
관련 연구 · AI 안전 연구
- 2026-10-26EU AI Act와 GPAI 실천강령 대담 Law AI Institute
- 2026-07-28범용 AI 시대 공공서비스 AI 거버넌스의 한계: 경찰 사례 arXiv
- 2026-04-30범용 AI 위험관리 표준 프로파일 v1.2 버클리대 CLTC(Center for Lon
- 2026-04-15EU 범용 AI 법 캠브리지 주석 공개 Law AI Institute
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-21🇪🇺 EU GPAI 외부 평가자 요건 워크숍 보고서 정책보고서
- 2026-05-18글로벌 인공지능 파트너십(GPAI) 기구·제도
- 2026-02-202026 GPAI 뉴델리 공동의장 요약 성명 OECD / GPAI · 선언·성명
- 2025-07-18🇪🇺 EU AI Act 범용 AI 모델 제공자 의무 가이드라인 유럽연합 집행위원회 / AI Office · 가이드라인
158연산 임계값compute thresholdAI 모델 학습에 사용된 누적 연산량(부동소수점연산, FLOP)을 기준으로 규제 의무의 적용 대상을 가르는 정량적 기준을 의미함.
용어 설명
AI 모델 학습에 사용된 누적 연산량(부동소수점연산, FLOP)을 기준으로 규제 의무의 적용 대상을 가르는 정량적 기준을 의미함.
- 모델 크기와 학습 데이터 양을 한 수치로 묶을 수 있고 개발자가 비교적 쉽게 산정할 수 있어, 역량을 직접 측정하기 어려운 상황에서 대리 지표로 쓰임.
- 위험이 큰 프론티어 AI 모델을 사전에 선별해 평가·위험 관리·보고 의무를 집중시키는 진입 장치 역할을 함.
- 연산량은 역량의 불완전한 대리 지표이고 알고리즘 효율이 높아지면 같은 역량을 더 적은 연산으로 얻을 수 있어, 다른 기준과 함께 쓰거나 주기적으로 조정해야 한다는 논의가 있음.
구별'위험 임계값'이 허용 가능한 위험과 그렇지 않은 위험을 가르는 한계라면, '연산 임계값'은 위험 자체가 아니라 학습 연산량으로 규제 대상을 1차 선별하는 기준임.
용어 관계
주요 기관·문서별 개념 및 적용
출처
159적합성 평가conformity assessment제품이나 AI 시스템이 법령·표준에 규정된 요건을 충족하는지를 시장 출시 전후에 확인·입증하는 공식 절차를 의미함.
용어 설명
제품이나 AI 시스템이 법령·표준에 규정된 요건을 충족하는지를 시장 출시 전후에 확인·입증하는 공식 절차를 의미함.
- 공급자가 스스로 확인·선언하는 자체 평가와, 지정된 제3자 기관이 시험·검사·인증 등으로 확인하는 방식이 있으며, 통과하면 표식을 붙여 유통을 허용하는 제품 안전 규제의 틀을 따름.
- AI 안전에서는 고위험 AI의 위험 관리, 데이터 품질, 인간 감독, 강건성 등 요건이 실제로 갖춰졌는지 확인하는 관문 역할을 함.
- 모델이 갱신·추가 학습·용도 전용되면 앞선 평가의 근거가 흔들리므로, 실질적 변경 시 재평가와 출시 후 모니터링이 함께 요구됨.
구별'적합성 평가(conformity assessment)'는 규정 요건 충족 여부를 판정하는 제도적 절차로, 모델의 역량·안전성을 측정하는 '평가(evaluation)'와 구별됨. 모델 평가 결과는 적합성 평가의 증거 중 하나로 쓰일 수 있음.
용어 관계
주요 기관·문서별 개념 및 적용
출처
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 2
해설
제품 안전 규제가 오래 써 온 장치다. 요건을 정해 두고, 시장에 내기 전에 그것을 충족하는지 확인하게 하고, 통과하면 표식을 붙여 유통을 허용한다. 확인 방식은 두 갈래다. 공급자가 스스로 확인하고 선언하는 자기평가와, 지정된 제3자 기관이 확인하는 방식이다. 위험이 클수록 후자가 요구된다. EU AI법은 고위험 AI에 이 틀을 그대로 적용해, 기존 제품 안전 체계와 이어 붙였다.
AI에 적용할 때의 난점은 평가 대상이 고정되지 않는다는 것이다. 기계나 장비는 출하된 상태가 유지되므로 한 번의 확인이 계속 유효하다. 모델은 그렇지 않다. 갱신되고 추가 학습되고 다른 용도로 전용되며, 그때마다 앞서 확인한 근거가 흔들린다. 그래서 무엇을 실질적 변경으로 볼지 정해 두고 그 경우 재평가를 요구하는 조항, 그리고 시장에 나온 뒤에도 계속 지켜보는 사후 감시가 함께 붙는다.
PDF 원문 인용
고위험 시스템에 관한 제 장 제 절에 규정된 요건이 충족되었는지 여부를 입증하는 AI 3 2 절차
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.12 · KO · 정의섹션
시험 인증 및 검사를 포함하여 제 자 적합성 평가 활동을 수행하는 기관 , 3
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.12 · KO · 정의섹션
참고 기사·연구
- 2026-09-02ISO/IEC AI Standards: Comprehensive Reference - Updated March 2026 AIGovernanceLibrary
- 2026-08-12Artificial Intelligence and the Reconceptualization of Digital Sovereignty: A Political–Philosophical Analysis OpenAlex 연구
- 2026-08-07AI Therapy under the EU AI Act 유럽 인공지능법 공식 안내 다이제스트 2026-08-07
관련 연구 · AI 안전 연구
- 2026-10-06일본 AISI 사업실증 비전 페이퍼 2.0판 AISI Japan
- 2026-09-09혁신과 안전 사이: EU AI 규제 원칙 분석 Dyskurs Prawniczy i Admi
160인증certification독립된 제3자가 조직이나 제품·시스템이 정해진 요건을 충족함을 확인하고, 이를 공식적으로 증명하는 제도·절차를 의미함.
용어 설명
독립된 제3자가 조직이나 제품·시스템이 정해진 요건을 충족함을 확인하고, 이를 공식적으로 증명하는 제도·절차를 의미함.
- 조직의 위험 관리 절차를 갖추고 운영하는지를 확인하는 관리체계 인증과, 개별 제품·시스템이 요건을 충족하는지를 확인하는 제품 인증으로 나뉨.
- AI 안전에서는 적합성 평가 결과를 외부에 보이는 형식으로 쓰이나, 관리체계 인증이 개별 모델 출력의 안전을 보장하지는 않으므로 무엇을 인증받았는지 명시해야 과도한 신뢰를 막을 수 있음.
구별'적합성 평가'는 요건 충족 여부를 확인하는 활동 전반(시험·검사·인증 포함)을, '인증'은 그중 제3자가 충족 사실을 공식 증명하는 형태를 가리킴.
용어 관계
해설 · 참고 기사 3 · 관련 연구 3 · 정책 문서 4
해설
적합성 평가의 결과를 외부에 보이는 형식이다. 무엇을 인증하는지에 따라 두 종류로 나뉜다. 하나는 조직의 관리체계를 인증하는 것으로, 그 조직이 위험을 관리하는 절차를 갖추고 실제로 운영하고 있음을 확인한다. 다른 하나는 개별 제품이나 시스템을 인증하는 것으로, 그 제품이 정해진 요건을 충족함을 확인한다. 앞의 것은 조직의 역량에 대한 증명이고 뒤의 것은 물건의 성질에 대한 증명이다.
AI 인증에서 가장 흔한 오해는 이 두 가지를 섞어 읽는 것이다. 관리체계 인증을 받았다는 것은 절차를 갖췄다는 뜻이지, 그 조직이 만든 모델의 개별 출력이 안전하다는 뜻이 아니다. 이 구별이 흐려지면 인증 표식이 실제로 보장하는 것보다 넓은 신뢰를 만들어 낸다. 그래서 인증을 홍보에 쓸 때 무엇을 인증받았는지 명시하도록 요구하는 것이 함께 논의된다.
참고 기사·연구
관련 연구 · AI 안전 연구
- 2026-09-03에이전트 프로세스용 블랙박스: 블록체인 증적 arXiv
- 2026-08-05소형 언어모델 언어화 불확실성의 이론적 한계와 인증된 위임 arXiv
- 2026-07-17AI 신뢰 격차 해소: 독립 인증 제안 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-07-09🇲🇹 몰타 AI 인증 프로그램 Malta Digital Innovation Autho
- 2025-01-03🇺🇸 연방 민간기관 AI 시험·인증·사고보고법 United States Congress · 법안
- 2025-01-03🇺🇸 농업용 AI 인증법 United States Congress · 법안
- 2024-01-09🇺🇸 미국 보건 데이터·기술·상호운용성 인증 규칙 Department of Health and Human
161표준화standardization용어, 측정·시험 방법, 기술 요건 등을 이해관계자의 합의를 거쳐 공통 규격으로 정하고 문서화하는 활동을 의미함.
용어 설명
용어, 측정·시험 방법, 기술 요건 등을 이해관계자의 합의를 거쳐 공통 규격으로 정하고 문서화하는 활동을 의미함.
- 법이 '강건해야 한다', '정확해야 한다'고 정한 요건을 무엇을 어떤 방법으로 재야 충족되는지로 구체화해 규제와 기술을 잇는 역할을 하며, ISO/IEC 등 국제 표준화 기구와 각국 표준 기관의 작업이 이 층을 이룸.
- 어떤 측정 방법을 택하느냐에 따라 통과하는 제품이 갈려 표준 제정이 사실상의 규범 형성이 되며, AI 안전 평가 방법의 표준화는 평가 결과의 비교 가능성과 상호운용성의 전제가 됨.
- 표준 자체는 비구속 문서지만 적합성 평가의 기준으로 편입되면 사실상 구속력을 가짐.
용어 관계
다음 단계 조화 표준
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 4
해설
규제와 기술 사이를 잇는 다리 역할을 한다. 법은 견고해야 한다거나 정확해야 한다고 쓸 수 있지만, 무엇을 어떤 방법으로 재야 견고한 것인지까지 법에 담을 수는 없다. 그 자리를 표준이 채운다. 용어의 뜻을 통일하고, 측정 절차를 정하고, 충족해야 할 수치를 제시하는 문서다. 국제 표준화 기구의 AI 관련 규격과 각국 표준 기관의 작업이 이 층을 이룬다.
그래서 표준을 만드는 과정이 사실상의 규범 형성이 된다. 어떤 측정 방법을 택하는지에 따라 통과하는 제품과 통과하지 못하는 제품이 갈리고, 그 결정은 표준 회의에 참여한 조직들의 논의로 이뤄진다. 국내 논의에서 표준화 대응을 산업 경쟁력 문제로 다루는 것도 이 때문이다. 표준 자체는 지키지 않아도 제재가 없는 비구속 문서지만, 적합성 평가의 기준으로 편입되면 사실상 구속력을 갖게 된다.
참고 기사·연구
- 2026-08-31OWASP Agentic Skills Top 10: Security Risks and Mitigations for Agentic Skill Ecosystems AIGovernanceLibrary
- 2026-08-30When AI Policies Fail in Practice: Shadow AI as a Structural Policy–Practice Governance Misalignment OpenAlex 연구
- 2026-08-29Challenge of maintaining academic integrity while using Artificial intelligence in research: Potential, pitfalls, and accountability OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-10-07AI 챗봇 보안: 신뢰와 표준화 프레임워크 International Journal of
- 2026-07-17AI 안전 임계값의 조화(표준화) 방법론 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-05-08🇨🇳 중국 지능형 에이전트 표준화·혁신 발전 실시의견 국가인터넷정보판공실(CAC) 등 관계부처 · 전략·정책
- 2025-07-09🇸🇮 슬로베니아 NOSI-AI 국가 표준화·구현 프레임워크 Ministry of Digital Transforma
- 2025-07-09🇮🇳 인도 AI 표준화 위원회 Ministry of Consumer Affairs,
- 2024-11-01🇨🇳 중국 인공지능 안보 표준화 백서 §5 Other authorities · 정책보고서
162조화 표준harmonised standardEU 법령이 정한 필수 요건을 구체화하기 위해 EU 표준화 체계에서 마련한 유럽 표준으로, 이를 따르면 해당 요건을 충족한 것으로 추정받을 수 있는 표준을 의미함.
용어 설명
EU 법령이 정한 필수 요건을 구체화하기 위해 EU 표준화 체계에서 마련한 유럽 표준으로, 이를 따르면 해당 요건을 충족한 것으로 추정받을 수 있는 표준을 의미함.
- EU AI법은 정확성·강건성 같은 요건을 원칙 수준으로 정하고, 이를 무엇을 어떻게 재서 충족할지는 조화 표준이 구체화하는 구조임.
- 적용 자체는 자발적이지만 적합성 평가에서 요건 충족을 입증하는 가장 손쉬운 경로가 되어 사실상의 구속력을 가지며, AI 안전 요건의 실제 수준이 표준 제정 과정에서 정해진다는 점에서 표준화 참여가 중요하게 다뤄짐.
용어 관계
주요 기관·문서별 개념 및 적용
- 조화 표준을 Regulation (EU) 1025/2012 제2조제1항(c)에 정의된 조화된 표준으로 정의해, 기존 EU 표준화 규정의 개념을 그대로 따름. [1]
출처
- 1『EU GPAI 실천강령 한글 안내서』(2026), 용어 정의, p.9 · 원문
원문 인용 1 · 정책 문서 1
PDF 원문 인용
제 호 제 조 에 정의된 조화된 표준 Regulation (EU) 1025/2012 2 (1)(c)
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-14🇪🇺 EU 집행위 시행결정 2026/2274 행정규칙
163상호운용성interoperability서로 다른 시스템·조직·제도가 공통 표준과 형식을 공유해 정보를 주고받고 함께 작동할 수 있는 성질을 의미함.
용어 설명
서로 다른 시스템·조직·제도가 공통 표준과 형식을 공유해 정보를 주고받고 함께 작동할 수 있는 성질을 의미함.
- AI에서는 모델과 도구를 잇는 연결 규격, 평가 결과를 주고받는 형식, 합성 콘텐츠 출처 정보의 상호 검증 표준, AI 사고 기록·공유 양식 등 여러 층에서 요구됨.
- 합성 콘텐츠 표시(다른 플랫폼이 표식을 읽을 수 있는가)와 AI 사고 보고(사례를 합산해 추세를 볼 수 있는가)에서 AI 안전과 직접 연결되며, 각국 규제 요건 간 호환이라는 거버넌스 차원의 의미도 가짐.
용어 관계
먼저 알 개념 표준화
해설 · 참고 기사 3 · 관련 연구 1 · 정책 문서 4
해설
표준을 만드는 목적이면서 정책 수단으로도 쓰인다. AI에서는 여러 층에서 요구된다. 모델과 도구를 잇는 연결 규격, 평가 결과를 주고받는 형식, 합성 콘텐츠의 출처 정보를 서로 검증할 수 있게 하는 표준, 사고를 기록하고 공유하는 양식이 그런 것들이다. 각자 다른 방식으로 만들어도 각각은 작동하지만, 함께 놓았을 때 아무것도 이어지지 않는다는 문제가 생긴다.
안전과 직결되는 지점이 두 곳이다. 하나는 합성 콘텐츠 표시다. 어떤 플랫폼이 심어 둔 표식을 다른 플랫폼이 읽지 못하면 표시 의무가 사실상 무력해진다. 다른 하나는 사고 보고다. 조직마다 다른 이름과 형식으로 기록하면 사례를 합산할 수 없고, 합산할 수 없으면 추세를 볼 수 없다. 개별 사고에서 배우는 것과 전체 흐름을 파악하는 것은 다른 일이며, 후자에는 공통 형식이 반드시 필요하다.
참고 기사·연구
- 2026-06-29Public Sector Tech Watch Best Cases Award 2026 유럽연합 집행위원회 디지털 전략( EU- 다이제스트 2026-06-29
- 2026-05-01Decoupled Relation Alignment로 이질 그래프 파운데이션 모델의 Type Collapse/Relation Confusion 완화 (저자 외 4명, arXiv, 2026.5.1) arXiv 다이제스트 2026-05-01
- 2026-04-30AI시대 데이터 상호운용성 및 이동권 활성화 전략 연구 소프트웨어정책연구소(SPRi) 다이제스트 2026-04-30
관련 연구 · AI 안전 연구
- 2026-09-17유럽 AI법 관점의 LLM 워터마킹 해석 Ethics and Information T
관련 정책 문서 · AI 안전 라이브러리
- 2026-07-17🇨🇳 지능형 에이전트 상호 신뢰·상호운용성 글로벌 협력 이니셔티브 전략·정책
- 2026-07-16🇪🇺 EU 디지털시장법 Android AI 상호운용성 지정 결정 행정규칙
- 2025-10-06🇵🇱 폴란드 SNOMED CT 및 의미적 상호운용성 Ministry of Digital Affairs ·
- 2024-01-09🇺🇸 미국 보건 데이터·기술·상호운용성 인증 규칙 Department of Health and Human
164규정 준수compliance적용되는 법령·표준·내부 정책의 요구를 지키고, 지켰다는 사실을 증거로 보일 수 있는 상태를 유지하는 활동을 의미함.
용어 설명
적용되는 법령·표준·내부 정책의 요구를 지키고, 지켰다는 사실을 증거로 보일 수 있는 상태를 유지하는 활동을 의미함.
- 적용 요구의 식별, 이행 절차 수립, 이행 기록 보존, 요청 시 증거 제출로 이루어지며, AI에서는 위험 관리 문서, 학습 데이터의 출처·처리 이력, 평가 결과, 사고 기록이 주된 증거가 됨.
- 모델이 갱신·추가 학습·용도 전용되면 기존 적합성 판단의 근거가 흔들리므로, 실질적 변경 시 재평가와 AI 수명주기 전반의 지속 관리가 필요함.
- 형식적 준수가 곧 실제 위험 감소를 뜻하지는 않는다는 점에서, 문서 갖추기에 그치는 대응의 한계가 지적됨.
용어 관계
혼동 주의 신뢰보증
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
지키는 것과 증명하는 것이 함께라는 점이 이 개념의 핵심이다. 실제로 잘 하고 있어도 그것을 보일 수 없으면 규정 준수가 되지 않는다. 그래서 작업은 네 단계로 이뤄진다. 우리에게 적용되는 요구가 무엇인지 식별하고, 그것을 지키는 절차를 만들고, 절차를 따랐다는 기록을 남기고, 요청이 오면 증거를 제출할 수 있는 상태를 유지하는 것이다. AI에서는 위험 관리 문서, 학습 데이터의 출처와 처리 이력, 평가 결과, 사고 기록이 주된 증거가 된다.
AI에서 이 일이 특히 번거로운 이유는 대상이 가만히 있지 않기 때문이다. 제조업의 제품은 출하 시점의 상태가 유지되지만, 모델은 갱신되고 추가 학습되고 새 용도로 전용된다. 그때마다 앞서 받은 적합성 판단의 근거가 흔들린다. 그래서 한 번의 심사로 끝내는 설계는 성립하기 어렵고, 무엇이 실질적 변경인지 미리 정해 두고 그때 재평가하도록 만드는 방식, 그리고 수명주기 전체를 지속 관리하는 방식이 표준 접근으로 자리 잡았다.
참고 기사·연구
- 2026-09-02The AI Risk Repository: A Meta-Review, Database, and Taxonomy of Risks from Artificial Intelligence AIGovernanceLibrary
- 2026-08-12메타, 마누스 인수 최종 무산···중국 ‘AI 기술 유출 우려’에 끝내 제동 경향신문 다이제스트 2026-08-12
- 2026-08-11Manus Unacquired GeopoliTechs 다이제스트 2026-08-11
관련 연구 · AI 안전 연구
- 2026-11-05맹목적 순응: AI 탈옥에서의 강압적 통제 arXiv
- 2026-11-02다중 가치 정렬을 위한 활성값 스티어링 VIAS arXiv
- 2026-11-01AI 컴플라이언스의 의미적 무결성과 재귀적 보증 OpenAlex
- 2026-10-27AGI 거버넌스를 위한 기계 검증형 규정 준수 모델 AI for Society
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-02Governing 지능: 법, Privacy, 안보, · Compliance Age 인공지능 AIGL · 법
- 2026-08-31AI 거버넌스 Practitioner's Manual: Operational Playbook Cross-Functional AI Risk, 법, · Compliance AIGL · 법
- 2025-08-15🇺🇸 디지털 세무 평가·준수 추적법 2025 United States Congress · 법안
- 2024-10-30🇺🇳 내장 인공지능 제품 적합성 보고서 United Nations · 정책보고서
165투명성 의무transparency obligationAI를 사용한다는 사실이나 결과물이 AI로 생성되었다는 사실을 이용자·대상자에게 고지하거나 표시하도록 법이 부과하는 의무를 의미함.
용어 설명
AI를 사용한다는 사실이나 결과물이 AI로 생성되었다는 사실을 이용자·대상자에게 고지하거나 표시하도록 법이 부과하는 의무를 의미함.
- AI 기반으로 운용된다는 사실의 사전 고지, 생성물에 대한 AI 생성 표시, 실제와 구별하기 어려운 합성 음향·이미지·영상(딥페이크)의 명확한 고지·표시가 주요 유형임.
- 상대가 AI의 개입을 알고 스스로 판단하게 해 기만·허위 정보·조작 피해를 줄이려는 취지이며, 위험 등급과 별도로 부과되는 경우가 많음.
- 눈에 보이는 표시는 편집·재저장으로 쉽게 사라지므로, 기계 판독 가능한 표시(AI 워터마킹, 출처 메타데이터)와 플랫폼 간 상호운용 표준이 함께 요구됨.
구별'투명성'이 시스템에 관한 정보가 관계자에게 제공되는 정도라는 넓은 원칙이라면, '투명성 의무'는 그중 고지·표시처럼 법으로 구체화된 의무를 가리킴.
용어 관계
혼동 주의 투명성
주요 기관·문서별 개념 및 적용
출처
- 1『인공지능기본법 지원데스크 사례집』(2026), p.11 · 원문 · 라이브러리에서 보기
- 2G'sell (2024). Regulating Under Uncertainty, Ch.5, p.211 · 원문
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 2
해설
위험 등급과 무관하게 별도로 붙는 의무라는 점이 특징이다. 위험이 낮아도 상대가 그 사실을 알아야 하는 상황이 있기 때문이다. EU AI법은 사람과 대화하는 AI는 자신이 AI임을 알리고, 감정을 인식하거나 생체 정보로 사람을 분류하는 시스템은 대상자에게 고지하며, 실제와 구별하기 어려운 합성 콘텐츠는 합성물임을 표시하도록 요구한다. 알 권리를 보장해 상대가 스스로 판단할 수 있게 하는 것이 취지다.
이 의무의 실효는 표시가 유통 과정에서 살아남는지에 달려 있다. 화면 한쪽에 붙은 안내 문구나 이미지 모서리의 표식은 잘라내거나 다시 저장하면 사라진다. 그래서 파일 자체에 실리는 방식이 함께 요구된다. 내용물 안에 눈에 띄지 않는 신호를 심는 워터마킹과, 서명된 이력을 파일에 붙이는 출처 메타데이터가 그런 수단이다. 어느 쪽이든 표준이 공유되지 않으면 플랫폼 사이의 검증이 성립하지 않기 때문에, 표시 의무는 표준화 문제와 함께 다뤄진다.
참고 기사·연구
- 2026-08-25AI 규제에 대한 서로 다른 생각 AI-Ethics-KR 다이제스트 2026-08-25
- 2026-08-12The EU AI Act Newsletter #108: Enforcement Begins EU-AI-Act-Newsletter 다이제스트 2026-08-12
- 2025-09-04Participate in the drawing-up of the Code of Practice on transparent generative AI systems EU-Digital-Strategy 다이제스트 2025-09-04
관련 연구 · AI 안전 연구
- 2026-10-19AI 텍스트 워터마크의 검증 가능성 격차 파일럿 연구 Applied Sciences
- 2026-10-01법집행 AI 활용과 EU AI Act 법적 기준 Security informatics and
관련 정책 문서 · AI 안전 라이브러리
- 2026-08-28🇦🇷 아르헨티나 AI 생성·변경 디지털 콘텐츠 식별·표시 의무 법안(4362-D-2026) 법안
- 2025-03-29🇺🇸 알래스카 선거 딥페이크 표시 의무 법안
166구속력binding force규범을 위반했을 때 제재나 강제가 따르는지, 즉 그 규범이 지켜야 하는 의무로 작동하는지를 가리키는 법적 성질을 의미함.
용어 설명
규범을 위반했을 때 제재나 강제가 따르는지, 즉 그 규범이 지켜야 하는 의무로 작동하는지를 가리키는 법적 성질을 의미함.
- 법령·시행령은 위반 시 과태료·과징금·시정명령 같은 제재가 따르지만, 가이드라인·권고·행동규약·국제 선언은 원칙적으로 그런 효력이 없음.
- AI 안전 거버넌스 문서를 읽을 때 어떤 요구가 의무인지 권고인지를 먼저 가려야 실제 효과를 판단할 수 있음.
- 비구속 문서도 적합성 평가 기준 편입, 조달·계약 요건, 각국 입법의 참조점 등을 통해 사실상의 강제력을 얻을 수 있어, 유무보다 어떤 경로로 강제되는지를 보는 편이 정확함.
해설 · 참고 기사 3 · 관련 연구 2
해설
AI 거버넌스 문서를 읽을 때 가장 먼저 확인해야 하는 성질이다. 법령과 시행령은 위반하면 과징금이나 시정명령 같은 제재가 따르고, 가이드라인·권고·행동규약은 원칙적으로 그런 효력이 없다. 같은 내용을 담고 있어도 이 차이가 실제 효과를 가른다. 그래서 어떤 요구를 두고 논의할 때, 그것이 지켜야 하는 의무인지 참고하면 좋은 권고인지 구별하지 않으면 논의가 헛돌게 된다.
다만 있다와 없다로만 나누면 놓치는 것이 있다. 비구속 문서도 여러 경로로 사실상의 강제력을 얻는다. 적합성 평가의 기준으로 편입되면 그것을 따르지 않고는 시장에 낼 수 없게 되고, 계약 조건이나 조달 요건에 들어가면 지키지 않으면 거래가 안 된다. 국가 사이의 합의도 구속력은 없지만 각국 입법의 참조점이 되어 간접적으로 작동한다. 그래서 실무에서는 구속력의 유무보다 어떤 경로로 강제되는지를 보는 편이 정확하다.
참고 기사·연구
- 2026-08-29Governing Artificial Intelligence in a Fragmented World: Toward a Multi-Level Policy Framework for Global AI Governance OpenAlex 연구
- 2026-08-27Ctrl+AI+Reg — Top 10 enforcement patterns in AI regulation (August 2026 update) TechieRay-Newsletter 다이제스트 2026-08-27
- 2026-08-25대한민국 AI 윤리 7대 원칙 확정 전자신문 다이제스트 2026-08-25
관련 연구 · AI 안전 연구
- 2026-09-17SB 53 내부 사용 보고, 기술 인력용 해설 Law AI Institute
- 2024-07-20고급 AI와 국제법: 하드 컨트롤 수단 탐색 Law AI Institute
167수출 통제export control안보상 민감한 기술·물자·소프트웨어의 국외 이전을 국가가 허가·제한하는 제도로, AI에서는 고성능 반도체와 제조 장비, 모델 가중치 등의 이전 통제를 의미함.
용어 설명
안보상 민감한 기술·물자·소프트웨어의 국외 이전을 국가가 허가·제한하는 제도로, AI에서는 고성능 반도체와 제조 장비, 모델 가중치 등의 이전 통제를 의미함.
- 모델 학습에 대규모 연산이 필요하다는 점을 이용해, 고성능 AI 가속기와 반도체 제조 장비의 특정국 수출을 제한함으로써 역량 개발을 물리적 자원 쪽에서 억제하려는 접근이 대표적임.
- 이중 용도 역량의 확산 속도를 늦추는 국가안보 수단으로 논의되며, 모델 가중치 자체를 통제 대상으로 삼을 수 있는지가 쟁점임.
- 가중치 파일은 복제·전송 비용이 거의 없고 클라우드를 통한 원격 연산 접근은 수출 여부가 모호해, 통제 지점을 물리적 연산 자원에 두는 편이 상대적으로 실효적이라는 평가가 있음.
용어 관계
먼저 알 개념 국가안보
해설 · 참고 기사 3 · 관련 연구 1 · 정책 문서 2
해설
군사적으로 쓰일 수 있는 기술이 경쟁국이나 우려 대상에게 넘어가는 것을 막으려는 제도로, 냉전기부터 운용돼 왔다. AI에서는 주로 연산 자원에 걸린다. 고성능 AI 가속기와 그것을 만드는 장비의 특정국 수출을 제한하는 조치가 대표적이다. 모델을 학습시키는 데 대규모 연산이 필요하다는 점을 이용해, 역량의 상한을 물리적 자원 쪽에서 억제하려는 접근이다. 모델 가중치 자체를 통제 대상으로 볼 수 있는지가 뒤이어 논의됐다.
소프트웨어를 통제하는 데는 근본적인 난점이 있다. 물자는 국경에서 세관이 막을 수 있지만, 가중치 파일은 복제 비용이 사실상 없고 네트워크로 옮겨진다. 클라우드를 통해 원격으로 연산 자원에 접근하는 경우를 수출로 볼지 서비스 이용으로 볼지도 경계가 모호하다. 이런 이유로 통제 지점을 소프트웨어가 아니라 물리적인 연산 자원과 제조 장비에 두는 접근이 상대적으로 실효를 갖는다는 평가가 있다.
참고 기사·연구
- 2026-09-03The Five Biggest AI Risks, According to China’s CAC GeopoliTechs 다이제스트 2026-09-03
- 2026-08-20중국 AI ‘키미’에 놀란 미국, 클라우드까지 빗장 거나 경향신문 다이제스트 2026-08-20
- 2026-08-20중국 AI 질주에 긴장한 미, 클라우드 수출통제도 추진…한국 등에 동참 요구 가능성도 경향신문 다이제스트 2026-08-20
관련 연구 · AI 안전 연구
- 2026-08-13프런티어 AI 수출통제와 국가 AI 역량의 한계 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2025-01-03🇺🇸 수출통제 집행조정센터 설립 및 불법 환적 대응법 United States Congress · 법안
- 2020-01-06🇺🇸 지리공간 영상 분석 자동화 소프트웨어 수출통제 규칙 Department of Commerce (DOC)|D
168프라이버시privacy자신에 관한 정보와 활동에 타인이 접근·처리하는 방식을 스스로 통제할 수 있는 권리, 그리고 감시나 간섭을 받지 않는 상태를 의미함.
용어 설명
자신에 관한 정보와 활동에 타인이 접근·처리하는 방식을 스스로 통제할 수 있는 권리, 그리고 감시나 간섭을 받지 않는 상태를 의미함.
- 데이터 처리 규율을 넘어 감시받지 않을 상태, 방해받지 않고 홀로 있을 자유, 자기에 관한 일을 스스로 결정할 자유까지 포함함.
- AI는 학습 데이터의 기억·유출뿐 아니라 위치 이력·문체·소비 기록 등에서 제공한 적 없는 민감한 사실을 추론해 내는 방식으로 프라이버시를 침해할 수 있어, 수집 단계 규율만으로는 대응이 어려움.
- 감시 기술과 결합하면 개별 정보 처리가 적법하더라도 사람을 상시 관찰받는 상태에 두는 침해가 성립할 수 있음.
구별'프라이버시'가 자기 정보와 사적 영역에 대한 통제권이라는 넓은 권리 개념이라면, '개인정보 보호'는 그중 데이터 처리의 적법성을 규율하는 법제·실무를 가리킴.
용어 관계
주요 기관·문서별 개념 및 적용
출처
- 1International AI Safety Report 2025, Glossary, p.224–225 · 원문
- 2International AI Safety Report 2026, p.153 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4
해설
개인정보 보호보다 넓은 개념이다. 개인정보 보호가 데이터를 어떻게 처리해야 하는지에 관한 규율이라면, 프라이버시는 감시받지 않을 상태, 방해받지 않고 홀로 있을 자유, 자기에 관한 일을 스스로 결정할 자유까지 포함한다. 그래서 둘이 어긋날 수 있다. 법이 정한 절차를 모두 지켜 개인정보를 적법하게 처리했더라도, 그 결과가 사람을 상시 관찰받는 상태에 두었다면 프라이버시 침해는 성립할 수 있다.
AI가 만든 새로운 국면은 추론이다. 예전에는 정보를 알아내려면 수집해야 했지만, 이제는 이미 가진 다른 정보에서 추정해 낼 수 있다. 위치 이력에서 종교나 건강 상태를, 글의 문체에서 신원을, 소비 기록에서 임신 여부를 추정하는 식이다. 제공한 적 없는 사실이 노출되는 것이므로 수집 단계를 규율하는 방식만으로는 다루기 어렵다. 무엇을 모을 수 있는지가 아니라 무엇을 추론해 써도 되는지를 규율해야 한다는 논의가 여기서 나온다.
PDF 원문 인용
번역자신이나 집단의 민감 정보·활동에 타인이 접근·처리하는 방식을 스스로 통제할 권리.
A person's or group's right to control how others access or process their sensitive information and activities.
출처 International Scientific Report on the Safety of Advanced AI · p.139–140, p.208–209, p.224–225 · EN · 정의섹션
번역자신에 관한 데이터에 타인이 접근·처리하는 방식을 스스로 통제할 권리.
A person's right to control how others access or process data about them. | a mathematical proof, to improve performance on tasks such as mathematical problem-solving
출처 International AI Safety Report 2026 · p.154 · EN · 정의섹션 · 라이브러리에서 보기
참고 기사·연구
- 2026-09-03Value-Preserving Architectures for Agentic AI Systems arXiv 연구
- 2026-09-02Artificial Intelligence Governance and Data Protection for Building Trustworthy and Accountable Systems OpenAlex 연구
- 2026-08-31AI로 개인정보 시스템 뚫어라…KISA·KCA, 대학생 모의해킹 대회 뉴시스 다이제스트 2026-08-31
관련 연구 · AI 안전 연구
- 2026-11-08EU AI법 제4a조 편향 탐지와 합성·익명·차등프라이버시 데이터 OpenAlex
- 2026-10-27탈옥 응답의 프라이버시 유출을 감사하는 숙의형 에이전트 arXiv
- 2026-10-21선호 피드백 기반 차분 프라이버시 희소 보상 추정 arXiv
- 2026-09-22모빌리티 분야 LLM의 보안·프라이버시 서베이 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-02Governing 지능: 법, Privacy, 안보, · Compliance Age 인공지능 AIGL · 법
- 2026-06-15🇨🇦 캐나다 개인정보 및 소비자 데이터 보호법안(Bill C-36) 캐나다 정부 / 의회 · 법안
- 2025-07-09🇲🇽 멕시코 프라이버시 라운드 기록: 개인정보보호·프라이버시 관점의 AI National Institute of Transpar
- 2025-07-09🇸🇮 슬로베니아 텍스트·음성 자원 활용 프로토콜 Ministry of Digital Transforma
169개인정보 보호data protection개인에 관한 정보의 수집·이용·제공·보관 과정을 규율해 정보 주체의 권리를 지키는 법제와 실무를 의미함.
용어 설명
개인에 관한 정보의 수집·이용·제공·보관 과정을 규율해 정보 주체의 권리를 지키는 법제와 실무를 의미함.
- 목적 특정, 최소 수집, 정확성 유지, 보관 기간 제한, 안전한 관리, 열람·정정·삭제 요구권 등이 각국 법제에 공통된 원칙임.
- AI 학습은 목적을 특정하지 않은 대량 수집과 재사용을 전제로 하는 경우가 많아 이 원칙들과 충돌하며, 학습 데이터의 법적 근거와 삭제권이 이미 학습된 모델에까지 미치는지가 쟁점임.
- 가명·익명 처리, 합성 데이터, 머신 언러닝이 완충 수단으로 쓰이나, 모델이 학습한 개인정보를 출력하거나 다른 정보에서 추론해 내는 위험은 남음.
구별'개인정보 보호'가 데이터 처리의 적법성을 규율하는 법제·실무라면, '프라이버시'는 감시받지 않을 상태와 자기 정보에 대한 통제권까지 포함하는 더 넓은 권리 개념임.
용어 관계
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 1 · 정책 문서 4
해설
나라마다 법은 다르지만 원칙은 대체로 공통이다. 목적을 미리 특정하고, 그 목적에 필요한 최소한만 모으고, 정확하게 유지하고, 필요한 기간만 보관하고, 안전하게 관리하고, 정보의 주인이 열람·정정·삭제를 요구할 수 있게 하는 것이다. 문제는 AI 학습이 이 원칙 대부분과 어긋나는 방식으로 작동한다는 점이다. 목적을 특정하지 않은 채 가능한 한 많이 모아 두고, 나중에 새로운 용도에 쓰는 것이 학습의 기본 방식이기 때문이다.
쟁점이 가장 집중되는 곳은 학습 자료의 법적 근거다. 공개된 웹에 있는 글과 사진을 수집해 학습하는 일이 어떤 근거로 정당화되는지, 정보의 주인이 삭제를 요구할 권리가 이미 학습을 마친 모델에까지 미치는지가 여러 나라에서 다투어지고 있다. 실무에서는 개인을 특정할 수 없게 처리한 자료를 쓰거나, 실제 자료의 통계적 성질만 닮은 합성 자료를 만들어 쓰는 방식이 완충으로 활용된다.
PDF 원문 인용
제 조 에 정의된 개인정보 Regulation (EU) 2016/679 4 (1)
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.15 · KO · 정의섹션
번역공개되거나 잘못 다루되면 개인·조직에 피해·곤란·불편·불공정을 초래할 수 있는 정보.
Information that, if disclosed or mishandled, could result in harm, embarrassment, inconvenience, or unfairness to an individual or organisation.
출처 International Scientific Report on the Safety of Advanced AI · p.139–140, p.208–209, p.226–227 · EN · 정의섹션
참고 기사·연구
- 2026-09-07인간 통제 벗어난 AI 돌발 행동… 법적 책임 묻는 움직임 시작 조선일보 다이제스트 2026-09-07
- 2026-09-02[Europe] Norway set to create regulations on AI smart glasses in the country GlobalAIRegTracker 다이제스트 2026-09-02
- 2026-09-02Artificial Intelligence Governance and Data Protection for Building Trustworthy and Accountable Systems OpenAlex 연구
관련 연구 · AI 안전 연구
- 2026-09-29영국 GDPR은 음성 복제로부터 목소리를 지킬 수 있나 Lecture Notes in Educati
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-08🇬🇧 영국 ICO 에이전틱 AI·데이터 보호 의견수렴 기타
- 2026-10-06🇹🇷 튀르키예 생성형 인공지능·개인정보 보호 지침(15문답) 가이드라인·원칙
- 2026-09-08🇰🇷 한국 개인정보 보호법 개정 법
- 2026-08-21🇧🇷 브라질 개인정보보호 당국의 비동의 친밀 콘텐츠 대응 조사 기타
170저작권copyright창작자에게 저작물의 이용·복제·배포에 대한 배타적 권리를 주는 법적 보호로, AI에서는 학습 데이터 수집과 생성물의 권리 문제를 다루는 쟁점 영역을 의미함.
용어 설명
창작자에게 저작물의 이용·복제·배포에 대한 배타적 권리를 주는 법적 보호로, AI에서는 학습 데이터 수집과 생성물의 권리 문제를 다루는 쟁점 영역을 의미함.
- 대규모로 수집한 웹 데이터로 학습하는 과정에 보호 저작물이 포함될 수 있어, 학습의 적법 근거, 권리자의 이용 거부, 생성물이 원저작물을 재현하는 문제가 다투어짐.
- 학습 데이터의 데이터 기원 관리, 학습 콘텐츠 공개 같은 투명성 요구, 생성물 표시와 연결되며, 모델이 학습 데이터를 기억해 그대로 출력하는 현상은 개인정보 침해 위험과도 맞닿음.
주요 기관·문서별 개념 및 적용
- 원작 창작자에게 부여되어 저작물의 이용·복제·배포에 대한 배타적 권리를 주는 법적 보호로 정의함. [1]
- 범용 AI 모델 제공자에게 EU 저작권법 준수 정책 수립(제53조제1항(c))과 학습에 사용된 콘텐츠 요약의 공개(제53조제1항(d))를 요구함. [2]
출처
원문 인용 1 · 관련 연구 2 · 정책 문서 4
PDF 원문 인용
번역원작 창작자에게 부여되는 법적 보호로, 이용·복제·배포에 대한 배타적 권리를 준다.
A form of legal protection granted to creators of original works, giving them exclusive rights to use, reproduce, and distribute their work.
출처 International Scientific Report on the Safety of Advanced AI · p.144–145, p.220–221 · EN · 정의섹션
관련 연구 · AI 안전 연구
- 2026-10-07Open-MMUnlearning: MLLM 언러닝 통합 프레임워크 arXiv
- 2026-03-13AI 모델용 diff 도구: 신규 모델의 행동 차이 탐지 Anthropic Research
관련 정책 문서 · AI 안전 라이브러리
- 2026-09-24🇲🇽 멕시코 생성형 AI 오용·저작권 개정안 법안
- 2026-07-31🇩🇪 GEMA 대 Suno AI 저작권 사건 기타
- 2026-07-24🇮🇳 ANI Media 대 OpenAI AI 훈련 저작권 소송 기타
- 2026-07-20🇺🇸 앤트로픽 저작권 도서 AI 학습 소송 (Bartz et al. v. Anthropic, 3:24-cv-05417) 기타
171AI 주권sovereign AI국가가 자국의 데이터, 연산 자원, AI 모델과 관련 인프라에 대한 통제력을 확보하려는 정책 지향 또는 그 상태를 의미함.
용어 설명
국가가 자국의 데이터, 연산 자원, AI 모델과 관련 인프라에 대한 통제력을 확보하려는 정책 지향 또는 그 상태를 의미함.
- 국가 차원의 연산 자원 확보, 자국어·자국 자료 기반 모델 개발, 데이터 국내 보관 요건 등이 정책 수단으로 제시되며, 언어와 문화가 반영된 모델이 필요하다는 논거가 함께 쓰임.
- 특정 국가나 소수 기업의 인프라에 의존하면 서비스 중단·가격 인상·접근 제한 때 대응 수단이 없다는 점에서 국가안보상 취약점으로 다뤄지며, 자국 환경에 맞는 안전 평가·통제 역량 확보와도 연결됨.
- 반도체·클라우드가 국제 공급망에 묶여 있어 완전한 자립은 어렵고, 어느 층(모델·운영·데이터·응용)에서 통제를 확보할지 고르는 문제로 정리되는 경향이 있음.
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 4
해설
특정 국가나 소수 기업의 AI 인프라에 의존하는 상태가 경제적·안보적 취약점이라는 문제의식에서 나왔다. 서비스가 갑자기 중단되거나, 가격이 오르거나, 정치적 이유로 접근이 제한될 때 대응할 수단이 없다는 우려다. 정책 수단으로는 국가 차원의 연산 자원 확보, 자국어와 자국 자료에 기반한 모델 개발, 데이터를 국내에 보관하도록 하는 요건이 제시된다. 언어와 문화가 반영된 모델이 필요하다는 논거가 함께 쓰인다.
비판은 실효성과 비용에 모인다. 프론티어 AI 모델을 학습시키는 데 드는 자원을 감당할 수 있는 국가가 제한적이고, 감당하더라도 반도체와 클라우드가 국제 공급망에 묶여 있어 자립의 범위가 모호하다. 그래서 최근 논의는 완전한 자립을 목표로 삼는 대신, 어느 층에서 통제를 확보할지 고르는 문제로 정리되는 경향이 있다. 모델을 직접 만들 것인가, 남의 모델을 국내에서 돌릴 역량을 갖출 것인가, 자료와 응용 층만 통제할 것인가의 선택이다.
참고 기사·연구
- 2026-09-07"해킹AI, 민생 인프라 위협… 보안 생태계 3~5년내 자립해야" 파이낸셜뉴스 다이제스트 2026-09-07
- 2026-09-03"소버린 AI는 정치 브랜딩" 비판하던 글로벌 큰손의 반전 "韓은 달라" 뉴시스 다이제스트 2026-09-03
- 2026-08-31‘컴백’ 하정우 AI전략위 부위원장 취임…“AI 대전환 구심점 될 것” 경향신문 다이제스트 2026-08-31
관련 연구 · AI 안전 연구
- 2026-06-05AI 주권: 국가 권력 수단으로서의 AI 전략 경쟁 모델 arXiv
- 2026-05-13에이전트 인프라의 증명 기반 권한 부여 프레임워크 arXiv
관련 정책 문서 · AI 안전 라이브러리
- 2026-10-19🇬🇧 영국 AI 주권 권고 서한 과학기술위원회(Council for Science an
- 2026-09-02🇬🇧 영국 주권 AI 유닛 기구·제도
- 2026-05-11AI 주권 시대의 디지털 대사관 프레임워크 World Economic Forum / Bain &
- 2025-03-07🇨🇦 캐나다 AI 주권 컴퓨팅 인프라 프로그램 전략·정책
검색 결과가 없습니다.
주어진 입력을 분류하거나 값을 예측하는 판별형 AI와 하는 일이 다르다. 판별형은 이 사진이 고양이인지 판정하고, 생성형은 고양이 사진을 만들어 낸다. 원리는 학습 자료의 분포를 익혀 그 분포에서 새 표본을 뽑아내는 것이다. 언어에서는 다음에 올 말을 확률로 예측해 이어 붙이는 거대 언어 모델이, 이미지에서는 잡음에서 시작해 점점 형태를 잡아 가는 확산 모델이 대표 계열이다.
규제에서 별도로 취급받는 이유는 출력물의 성질에 있다. 판별형 AI가 틀리면 잘못된 판정이 나오지만, 생성형 AI의 산출물은 그 자체로 세상에 유통되는 내용물이다. 그래서 다른 종류의 문제가 함께 따라온다. 학습에 쓴 저작물과의 관계, 만들어진 내용이 사실인지, 실제 사람을 닮은 합성물인지, 그것이 AI 산출물임을 알 수 있는지가 모두 쟁점이 된다. 합성 콘텐츠에 표시를 요구하는 의무가 이 계열에 집중되는 배경이다.