AI 안전 용어집

AI 안전 관점으로 풀어 쓴 핵심 용어 171개. by 인공지능안전연구소 송경호

개념 지도

장 이름표를 누르면 그 장이 확대되고, 다시 누르거나 빈 곳을 누르면 돌아옵니다.
≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠미세조정 · fine-tuning미세조정연산 · compute연산합성 데이터 · synthetic data합성 데이터모델 가중치 · model weights모델 가중치오픈 웨이트 모델 · open-weight model오픈 웨이트 모델사고 사슬 · chain-of-thought (CoT)사고 사슬거대 언어 모델 · large language model (LLM)거대 언어 모델생성형 AI · generative AI생성형 AI폐쇄형 모델 · closed model폐쇄형 모델추론 · inference추론데이터 기원 · data provenance데이터 기원학습 데이터 · training data학습 데이터증류 · distillation증류모델 컨텍스트 프로토콜 · Model Context Protocol (MCP)모델 컨텍스트 프로토콜인공일반지능 · artificial general intelligence (AGI)인공일반지능협소 AI · narrow AI협소 AIAI 에이전트 · AI agentAI 에이전트자율성 · autonomy자율성에이전틱 AI · agentic AI에이전틱 AI프론티어 AI · frontier AI프론티어 AI자율 계획 · autonomous planning자율 계획작업 시간 지평 · task time horizon작업 시간 지평도구 사용 · tool use도구 사용다중 에이전트 시스템 · multi-agent system (MAS)다중 에이전트 시스템초지능 · superintelligence초지능재귀적 자기 개선 · recursive self-improvement재귀적 자기 개선피지컬 AI · physical AI피지컬 AI위협 모델링 · threat modeling위협 모델링위험 임계값 · risk threshold위험 임계값실패 모드 · failure mode실패 모드수명주기 · lifecycle수명주기시스템적 위험 · systemic risk시스템적 위험파국적 위험 · catastrophic risk파국적 위험피해 · harm피해위험 허용도 · risk tolerance위험 허용도위험 평가 · risk assessment위험 평가위협 · threat위협위험원 · hazard위험원위험 관리 · risk management위험 관리한계 위험 · marginal risk한계 위험위험 완화 · risk mitigation위험 완화시스템적 위험 평가 · systemic risk assessment시스템적 위험 평가아첨 · sycophancy아첨환각 · hallucination환각상황 인식 · situational awareness상황 인식일반화 · generalization일반화목표 오지정 · goal misspecification목표 오지정자기 유출 · self-exfiltration자기 유출권력 추구 행동 · power-seeking behaviour권력 추구 행동통제 상실 · loss of control통제 상실계략적 행동 · scheming계략적 행동기만적 정렬 · deceptive alignment기만적 정렬기만 · deception기만샌드배깅 · sandbagging샌드배깅사보타주 · sabotage사보타주보상 해킹 · reward hacking보상 해킹탈옥 · jailbreak탈옥프롬프트 인젝션 · prompt injection프롬프트 인젝션자율무기 · autonomous weapons자율무기사이버 보안 · cybersecurity사이버 보안사이버 공격 · cyberattack사이버 공격제로데이 취약점 · zero-day vulnerability제로데이 취약점화학·생물·방사능·핵 · CBRN화학·생물·방사능·핵악의적 사용 · malicious use악의적 사용남용 · abuse남용사이버 위협 · cyber threat사이버 위협취약점 · vulnerability취약점휴먼 업리프트 · human uplift휴먼 업리프트이중 용도 위험 · dual-use risk이중 용도 위험이중 용도 과학 · dual-use science이중 용도 과학내부자 위협 · insider threat내부자 위협멀웨어 · malware멀웨어국가안보 · national security국가안보설득 · persuasion설득공급망 · supply chain공급망자동 의사결정 · automated decision-making (ADM)자동 의사결정검열 · censorship검열정서적 의존 · emotional dependence정서적 의존표현의 자유 · freedom of expression표현의 자유차별 · discrimination차별자동화 편향 · automation bias자동화 편향유해 콘텐츠 · harmful content유해 콘텐츠비동의 성적 이미지 · non-consensual intimate imagery (NCII)비동의 성적 이미지AI 생성 가짜 콘텐츠 · AI-generated fake contentAI 생성 가짜 콘텐츠오정보 · misinformation오정보딥페이크 · deepfake딥페이크편향 · bias편향아동 성착취물 · child sexual abuse material (CSAM)아동 성착취물연령 확인 · age verification연령 확인아동·청소년 보호 · child and youth protection아동·청소년 보호정신 건강 · mental health정신 건강개인정보 침해 · privacy breach개인정보 침해감시 · surveillance감시중대 사고 · serious incident중대 사고아차사고 · near miss아차사고배포 후 모니터링 · post-deployment monitoring배포 후 모니터링오작동 · malfunction오작동사고 보고 · incident reporting사고 보고사고 모니터링 · incident monitoring사고 모니터링사고 보고서 · incident report사고 보고서재해 · disaster재해출시 후 모니터링 · post-market monitoring출시 후 모니터링레드티밍 · red teaming레드티밍안전성 평가 · safety evaluation안전성 평가벤치마크 · benchmark벤치마크역량 평가 · capability evaluation역량 평가적대적 시험 · adversarial testing적대적 시험감사 · audit감사LLM 심판 · LLM-as-a-judgeLLM 심판배포 전 평가 · pre-deployment evaluation배포 전 평가공격 성공률 · attack success rate (ASR)공격 성공률보정 · calibration보정안전 사례 · safety case안전 사례사이버 방어 · cyber defence사이버 방어머신 언러닝 · machine unlearning머신 언러닝휴먼 인 더 루프 · human-in-the-loop (HITL)휴먼 인 더 루프워터마킹 · watermarking워터마킹출처 메타데이터 · provenance metadata출처 메타데이터인간 감독 · human oversight인간 감독적대적 학습 · adversarial training적대적 학습가드레일 · guardrail가드레일샌드박싱 · sandboxing샌드박싱설명 가능한 AI · explainable AI (XAI)설명 가능한 AI해석 가능성 · interpretability해석 가능성정렬 · alignment정렬인간 피드백 기반 강화학습 · reinforcement learning from human feedback (RLHF)인간 피드백 기반 강화학습취약점 탐지 · vulnerability detection취약점 탐지AI 리터러시 · AI literacyAI 리터러시모델 카드 · model card모델 카드책임 있는 스케일링 정책 · responsible scaling policy (RSP)책임 있는 스케일링 정책투명성 · transparency투명성강건성 · robustness강건성공정성 · fairness공정성신뢰성 · reliability신뢰성제도적 투명성 · institutional transparency제도적 투명성AI 윤리 · AI ethicsAI 윤리책임 있는 AI · responsible AI책임 있는 AI책임성 · accountability책임성신뢰할 수 있는 AI · trustworthy AI신뢰할 수 있는 AI알고리즘 투명성 · algorithmic transparency알고리즘 투명성신뢰보증 · assurance신뢰보증AI 거버넌스 · AI governanceAI 거버넌스연산 임계값 · compute threshold연산 임계값저작권 · copyright저작권수출 통제 · export control수출 통제AI 주권 · sovereign AIAI 주권표준화 · standardization표준화상호운용성 · interoperability상호운용성인공지능 · artificial intelligence (AI)인공지능범용 AI · general-purpose AI (GPAI)범용 AI적합성 평가 · conformity assessment적합성 평가고영향 AI · high-impact AI고영향 AI조화 표준 · harmonised standard조화 표준인증 · certification인증개인정보 보호 · data protection개인정보 보호프라이버시 · privacy프라이버시구속력 · binding force구속력규정 준수 · compliance규정 준수투명성 의무 · transparency obligation투명성 의무평가 · evaluation평가고위험 AI · high-risk AI고위험 AI안전 · safety안전역량 · capability역량파운데이션 모델 · foundation model파운데이션 모델허위 정보 · disinformation허위 정보오용 · misuse오용안전장치 · safeguard안전장치오정렬 · misalignment오정렬사고 · incident사고위험 · risk위험01. 기반 기술·모델 공개02. 에이전트·프론티어 역량03. 위험 개념과 위험관리04. 모델 행동 위험05. 오용·보안 위협06. 정보생태계·사회적 피해07. 사고·보고 및 모니터링08. 평가·시험09. 정렬·안전장치·감독10. 원칙·책임11. 법·규제·표준이어짐먼저 알 개념 → 다음상위·하위 개념 묶음≠혼동 주의용어에 마우스를 올리면 연결이 보이고, 누르면 카드로 갑니다.
≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠미세조정 · fine-tuning미세조정연산 · compute연산합성 데이터 · synthetic data합성 데이터모델 가중치 · model weights모델 가중치오픈 웨이트 모델 · open-weight model오픈 웨이트 모델사고 사슬 · chain-of-thought (CoT)사고 사슬거대 언어 모델 · large language model (LLM)거대 언어 모델생성형 AI · generative AI생성형 AI폐쇄형 모델 · closed model폐쇄형 모델추론 · inference추론데이터 기원 · data provenance데이터 기원학습 데이터 · training data학습 데이터증류 · distillation증류피지컬 AI · physical AI피지컬 AI모델 컨텍스트 프로토콜 · Model Context Protocol (MCP)모델 컨텍스트 프로토콜인공일반지능 · artificial general intelligence (AGI)인공일반지능AI 에이전트 · AI agentAI 에이전트자율성 · autonomy자율성에이전틱 AI · agentic AI에이전틱 AI프론티어 AI · frontier AI프론티어 AI자율 계획 · autonomous planning자율 계획작업 시간 지평 · task time horizon작업 시간 지평도구 사용 · tool use도구 사용다중 에이전트 시스템 · multi-agent system (MAS)다중 에이전트 시스템협소 AI · narrow AI협소 AI초지능 · superintelligence초지능재귀적 자기 개선 · recursive self-improvement재귀적 자기 개선시스템적 위험 평가 · systemic risk assessment시스템적 위험 평가위협 모델링 · threat modeling위협 모델링시스템적 위험 · systemic risk시스템적 위험파국적 위험 · catastrophic risk파국적 위험피해 · harm피해위험 평가 · risk assessment위험 평가위협 · threat위협위험원 · hazard위험원위험 관리 · risk management위험 관리위험 허용도 · risk tolerance위험 허용도한계 위험 · marginal risk한계 위험위험 완화 · risk mitigation위험 완화위험 임계값 · risk threshold위험 임계값실패 모드 · failure mode실패 모드수명주기 · lifecycle수명주기아첨 · sycophancy아첨환각 · hallucination환각상황 인식 · situational awareness상황 인식일반화 · generalization일반화목표 오지정 · goal misspecification목표 오지정자기 유출 · self-exfiltration자기 유출권력 추구 행동 · power-seeking behaviour권력 추구 행동통제 상실 · loss of control통제 상실계략적 행동 · scheming계략적 행동기만적 정렬 · deceptive alignment기만적 정렬기만 · deception기만샌드배깅 · sandbagging샌드배깅사보타주 · sabotage사보타주보상 해킹 · reward hacking보상 해킹내부자 위협 · insider threat내부자 위협멀웨어 · malware멀웨어국가안보 · national security국가안보설득 · persuasion설득이중 용도 위험 · dual-use risk이중 용도 위험이중 용도 과학 · dual-use science이중 용도 과학탈옥 · jailbreak탈옥사이버 공격 · cyberattack사이버 공격제로데이 취약점 · zero-day vulnerability제로데이 취약점악의적 사용 · malicious use악의적 사용남용 · abuse남용사이버 위협 · cyber threat사이버 위협취약점 · vulnerability취약점화학·생물·방사능·핵 · CBRN화학·생물·방사능·핵휴먼 업리프트 · human uplift휴먼 업리프트프롬프트 인젝션 · prompt injection프롬프트 인젝션자율무기 · autonomous weapons자율무기사이버 보안 · cybersecurity사이버 보안공급망 · supply chain공급망정신 건강 · mental health정신 건강개인정보 침해 · privacy breach개인정보 침해감시 · surveillance감시연령 확인 · age verification연령 확인아동·청소년 보호 · child and youth protection아동·청소년 보호자동 의사결정 · automated decision-making (ADM)자동 의사결정편향 · bias편향차별 · discrimination차별자동화 편향 · automation bias자동화 편향유해 콘텐츠 · harmful content유해 콘텐츠AI 생성 가짜 콘텐츠 · AI-generated fake contentAI 생성 가짜 콘텐츠오정보 · misinformation오정보딥페이크 · deepfake딥페이크비동의 성적 이미지 · non-consensual intimate imagery (NCII)비동의 성적 이미지아동 성착취물 · child sexual abuse material (CSAM)아동 성착취물검열 · censorship검열정서적 의존 · emotional dependence정서적 의존표현의 자유 · freedom of expression표현의 자유중대 사고 · serious incident중대 사고아차사고 · near miss아차사고배포 후 모니터링 · post-deployment monitoring배포 후 모니터링오작동 · malfunction오작동사고 보고 · incident reporting사고 보고사고 모니터링 · incident monitoring사고 모니터링사고 보고서 · incident report사고 보고서재해 · disaster재해출시 후 모니터링 · post-market monitoring출시 후 모니터링안전 사례 · safety case안전 사례배포 전 평가 · pre-deployment evaluation배포 전 평가레드티밍 · red teaming레드티밍안전성 평가 · safety evaluation안전성 평가적대적 시험 · adversarial testing적대적 시험감사 · audit감사LLM 심판 · LLM-as-a-judgeLLM 심판벤치마크 · benchmark벤치마크역량 평가 · capability evaluation역량 평가공격 성공률 · attack success rate (ASR)공격 성공률보정 · calibration보정취약점 탐지 · vulnerability detection취약점 탐지해석 가능성 · interpretability해석 가능성정렬 · alignment정렬사이버 방어 · cyber defence사이버 방어샌드박싱 · sandboxing샌드박싱휴먼 인 더 루프 · human-in-the-loop (HITL)휴먼 인 더 루프워터마킹 · watermarking워터마킹인간 감독 · human oversight인간 감독적대적 학습 · adversarial training적대적 학습가드레일 · guardrail가드레일출처 메타데이터 · provenance metadata출처 메타데이터설명 가능한 AI · explainable AI (XAI)설명 가능한 AI머신 언러닝 · machine unlearning머신 언러닝인간 피드백 기반 강화학습 · reinforcement learning from human feedback (RLHF)인간 피드백 기반 강화학습책임 있는 스케일링 정책 · responsible scaling policy (RSP)책임 있는 스케일링 정책알고리즘 투명성 · algorithmic transparency알고리즘 투명성신뢰보증 · assurance신뢰보증AI 거버넌스 · AI governanceAI 거버넌스신뢰할 수 있는 AI · trustworthy AI신뢰할 수 있는 AI투명성 · transparency투명성강건성 · robustness강건성AI 윤리 · AI ethicsAI 윤리책임 있는 AI · responsible AI책임 있는 AI책임성 · accountability책임성공정성 · fairness공정성신뢰성 · reliability신뢰성제도적 투명성 · institutional transparency제도적 투명성AI 리터러시 · AI literacyAI 리터러시모델 카드 · model card모델 카드구속력 · binding force구속력규정 준수 · compliance규정 준수연산 임계값 · compute threshold연산 임계값저작권 · copyright저작권인증 · certification인증표준화 · standardization표준화상호운용성 · interoperability상호운용성인공지능 · artificial intelligence (AI)인공지능적합성 평가 · conformity assessment적합성 평가고영향 AI · high-impact AI고영향 AI조화 표준 · harmonised standard조화 표준범용 AI · general-purpose AI (GPAI)범용 AI개인정보 보호 · data protection개인정보 보호프라이버시 · privacy프라이버시수출 통제 · export control수출 통제AI 주권 · sovereign AIAI 주권투명성 의무 · transparency obligation투명성 의무평가 · evaluation평가고위험 AI · high-risk AI고위험 AI안전 · safety안전역량 · capability역량파운데이션 모델 · foundation model파운데이션 모델허위 정보 · disinformation허위 정보오용 · misuse오용안전장치 · safeguard안전장치오정렬 · misalignment오정렬사고 · incident사고위험 · risk위험01. 기반 기술·모델 공개02. 에이전트·프론티어 역량03. 위험 개념과 위험관리04. 모델 행동 위험05. 오용·보안 위협06. 정보생태계·사회적 피해07. 사고·보고 및 모니터링08. 평가·시험09. 정렬·안전장치·감독10. 원칙·책임11. 법·규제·표준이어짐먼저 알 개념 → 다음상위·하위 개념 묶음≠혼동 주의용어에 마우스를 올리면 연결이 보이고, 누르면 카드로 갑니다.
카드 읽는 법
표제어번역 용어 정본(ai-safety-translation-kit)의 번역어를 기본으로 한다. '안전', '위험', '사고'처럼 AI를 붙이지 않고 쓰며, 'AI 안전' 같은 표기는 대체어로 둔다.
대체어함께 쓰이는 다른 표기. 마우스를 올리면 출처(정본 변형·이전 표기·편집)가 보인다.
용어 설명굵은 한 줄이 정의, 아래 항목이 AI 안전 관점의 부연, 회색 상자가 헷갈리기 쉬운 용어와의 구별이다.
기관·문서별국제기구·표준·법령이 그 개념을 어떻게 정의하고 적용하는지. 번호는 출처 목록을 가리킨다.
용어 관계가운데가 이 용어. 위는 상위어, 아래는 하위어, 왼쪽은 먼저 알 개념·앞 단계, 오른쪽은 다음 단계·혼동 주의 용어다. 상자를 누르면 그 카드로 간다.
펼치기해설, PDF 원문 인용(쪽수), 다이제스트 참고 기사, 코퍼스 지표.
구분
장
정렬

171개 표제어

001생성형 AIgenerative AI학습 데이터의 패턴을 익혀 글·이미지·소리·영상 같은 새로운 콘텐츠를 생성하는 AI 시스템을 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어생성 AI

용어 설명

학습 데이터의 패턴을 익혀 글·이미지·소리·영상 같은 새로운 콘텐츠를 생성하는 AI 시스템을 말함.

  • 입력을 분류하거나 값을 예측하는 판별형 AI와 달리 학습한 분포에서 새 표본을 만들어 냄. 언어의 거대 언어 모델, 이미지의 확산 모델이 대표 계열임.
  • 산출물이 그 자체로 유통되는 콘텐츠이므로 허위 정보, 딥페이크, 저작권, 비동의 성적 이미지 같은 문제가 함께 따라옴. AI 생성물 표시·워터마킹 같은 투명성 의무가 이 계열에 집중되는 배경임.

용어 관계

주요 기관·문서별 개념 및 적용

🇰🇷한국 AI 기본법2026
  • 입력한 데이터의 구조와 특성을 모방해 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능시스템으로 정의함. [1]
🌐국제 AI 안전 보고서2025
  • 기존 데이터에서 패턴을 학습하고 그 패턴을 반영한 새로운 출력을 생성함으로써 텍스트·이미지·오디오 등 새 콘텐츠를 만들 수 있는 AI로 정의함. [2]

출처

  1. 1「인공지능기본법」, 제2조 · 원문
  2. 2International AI Safety Report 2025, Glossary, p.222–223 · 원문
해설 · 원문 인용 4 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

주어진 입력을 분류하거나 값을 예측하는 판별형 AI와 하는 일이 다르다. 판별형은 이 사진이 고양이인지 판정하고, 생성형은 고양이 사진을 만들어 낸다. 원리는 학습 자료의 분포를 익혀 그 분포에서 새 표본을 뽑아내는 것이다. 언어에서는 다음에 올 말을 확률로 예측해 이어 붙이는 거대 언어 모델이, 이미지에서는 잡음에서 시작해 점점 형태를 잡아 가는 확산 모델이 대표 계열이다.

규제에서 별도로 취급받는 이유는 출력물의 성질에 있다. 판별형 AI가 틀리면 잘못된 판정이 나오지만, 생성형 AI의 산출물은 그 자체로 세상에 유통되는 내용물이다. 그래서 다른 종류의 문제가 함께 따라온다. 학습에 쓴 저작물과의 관계, 만들어진 내용이 사실인지, 실제 사람을 닮은 합성물인지, 그것이 AI 산출물임을 알 수 있는지가 모두 쟁점이 된다. 합성 콘텐츠에 표시를 요구하는 의무가 이 계열에 집중되는 배경이다.

'생성형 인공지능'이란 입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조제1호에 따른 데이터 를 말한다. 이하 같다)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지 능시스템을 말한다.

출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션

번역기존 데이터에서 패턴을 학습해 텍스트·이미지·오디오 등 새로운 콘텐츠를 만들어 내는 AI.

AI that can create new content such as text, images, or audio by learning patterns from existing data and generating novel outputs that reflect those patterns.

출처 International Scientific Report on the Safety of Advanced AI · p.222–223 · EN · 정의섹션

'생성형 인공지능'이란 입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조제1호에 따른 데이터를 말한다. 이하 같다)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생 성하는 인공지능시스템을 말한다. 

출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 라이브러리에서 보기

'생성형 인공지능'이란 입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조 제1호에 따른 데이터를 말한다. 이하 같다)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능시스템을 말한다. 

출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 라이브러리에서 보기

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-29🇦🇷 부에노스아이레스주 검찰청 생성형 AI 책임 있는 도입 프레임워크 가이드라인·원칙
  2. 2026-10-16🇰🇷 대학 연구자를 위한 생성형 AI 연구윤리 가이드 한국연구재단 · 가이드라인·원칙
  3. 2026-10-12🇰🇷 정신건강 목적 생성형 AI 이용 가이드라인 보건복지부 · 가이드라인·원칙
  4. 2026-10-08🇰🇷 정보통신망법 미성년자 AI 대화형 서비스 이용제한 개정안(의안번호 2221842) 법안
동향 표기 · 생성형(261) / GenAI(25)
동향 문서 261기간 28개월최근 79%병기 0PDF 문서 23정의섹션 3
002파운데이션 모델foundation model대규모 데이터로 사전학습해 다양한 하류 과제에 맞춰 쓸 수 있도록 만든 범용 AI 모델을 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어기반 모델

용어 설명

대규모 데이터로 사전학습해 다양한 하류 과제에 맞춰 쓸 수 있도록 만든 범용 AI 모델을 말함.

  • 과제마다 모델을 따로 만들던 방식과 달리, 큰 모델을 한 번 학습한 뒤 미세조정이나 프롬프트로 여러 과제에 적응시킴. 언어뿐 아니라 이미지·음성 등 여러 형태의 데이터를 다루는 모델을 포함함.
  • 하나의 모델이 수많은 서비스의 토대가 되므로 결함·편향·취약점이 하류 전체로 전파됨. 이 때문에 규제가 개별 용도와 별도로 모델 계층을 규율하게 됐음.

구별'파운데이션 모델'은 하류 적응을 전제로 한 모델이라는 기술적 성격을, '범용 AI'는 EU AI Act 등에서 쓰는 규제상 범주를 강조함. '거대 언어 모델'은 그 하위 계열임.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 폭넓은 하류 과제에 적응할 수 있도록 설계된 범용 AI 모델로 정의함. [1]

출처

  1. 1International AI Safety Report 2025, Glossary, p.221–222 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 2

예전에는 과제마다 모델을 따로 만들었다. 번역 모델, 감정 분석 모델, 요약 모델을 각각 학습시키는 방식이었다. 파운데이션 모델은 그 순서를 뒤집는다. 큰 모델을 한 번 학습해 두고, 미세조정이나 프롬프트로 여러 과제에 맞춰 쓰는 것이다. 언어에 한정되지 않아 이미지, 음성, 여러 형태를 함께 다루는 모델을 포함하며, 거대 언어 모델은 그 하위 계열에 해당한다.

정책적으로 중요한 이유는 위험이 상류에 집중된다는 점이다. 하나의 모델이 수백 개 서비스의 토대가 되면, 그 모델의 결함이나 편향이 하류 전체로 함께 전파된다. 개별 서비스를 각각 규율하는 방식으로는 이 구조를 다룰 수 없다. 그래서 규제가 용도별 접근에 더해 모델 계층을 따로 규정하게 됐고, EU AI법의 범용 AI 모델 규정이 그 결과다. 반대로 상류에서 문제를 잡으면 하류 전체가 함께 개선되는 장점도 같은 구조에서 나온다.

번역폭넓은 하류 과제에 적응할 수 있도록 설계된 범용 AI 모델.

A general-purpose AI model designed to be adaptable to a wide range of downstream tasks.

출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션

파운데이션 모델은 방대한 양의 데이터로 학습된 범용 AI 모델로, 한 번의 학습을 통해 다양한 작업에 활용할 수 있는 구조를 말합니다. 기존의 AI 모델이 특정 목적(예: 번역, 얼굴 인식 등)에 맞춰 설계되었다면, 파운데이션 모델은 언어·이미지·음성 등 여러 형태의 데이터를 함께 학습해 공통 기반을 형성합니다. 이렇게 학습된 모델은 이후 세부 분야에 맞춰 추가 조정만으로 새로운 작업을 수행할 수 있습니다.

출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.81 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-07-09🇬🇧 영국 파운데이션 모델 태스크포스 Department for Science, Innova
  2. 2025-01-03🇺🇸 AI Foundation 모델 투명성 법 2023 United States Congress · 법안
동향 표기 · 파운데이션 모델(53) / 기반 모델(22)
동향 문서 53기간 12개월최근 89%병기 1PDF 문서 17정의섹션 1
003거대 언어 모델large language model (LLM)방대한 텍스트로 학습해 문맥상 다음에 올 말을 확률적으로 예측하도록 만든 대형 신경망 언어 모델을 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어대규모 언어 모델

용어 설명

방대한 텍스트로 학습해 문맥상 다음에 올 말을 확률적으로 예측하도록 만든 대형 신경망 언어 모델을 말함.

  • 단순한 다음 말 예측 목표로 데이터와 파라미터를 키우자 번역·요약·추론·코딩 같은 역량이 함께 나타났고, 현재 생성형 AI와 AI 에이전트의 중심 구성 요소가 됨.
  • 그럴듯함과 참이 분리돼 있어 환각이 생기고, 문맥 속 지시와 자료를 구별하지 못하는 성질에서 프롬프트 인젝션 취약성이 나옴. 역량의 원천과 한계가 같은 데서 나온다는 점이 안전 논의의 출발점임.

구별'거대 언어 모델'은 언어 중심 모델 계열을, '파운데이션 모델'은 언어 외 형태까지 포함해 하류 적응을 전제로 한 모델 전반을 가리킴.

용어 관계

해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

하는 일은 단순하다. 지금까지의 문맥을 보고 다음에 올 말로 무엇이 가장 그럴듯한지 확률을 매기는 것이다. 이 단순한 목표로 방대한 텍스트를 학습시키면서 파라미터와 자료를 함께 키우자, 번역과 요약과 추론과 코딩 같은 역량이 따라 올라오는 것이 확인됐다. 명시적으로 가르치지 않은 과제도 예시 몇 개만 보여 주면 처리하는 성질이 드러나면서 응용 범위가 크게 넓어졌고, 현재 생성형 AI의 중심에 놓이게 됐다.

역량의 원천과 한계가 같은 데서 나온다는 점을 이해하면 이 모델을 다루기가 쉬워진다. 다음 말을 예측하도록 학습됐기 때문에 자연스러운 문장을 만드는 데 뛰어나지만, 같은 이유로 사실 확인은 별도의 역량이 아니다. 그럴듯함과 참임이 분리돼 있는 것이다. 환각이 여기서 나오고, 문맥에 담긴 지시와 자료를 구별하지 못하는 성질에서 프롬프트 인젝션이 나온다. 국문 표기는 거대 언어 모델, 대규모 언어 모델, LLM이 함께 쓰여 아직 하나로 굳지 않았다.

LLM은 방대한 텍스트를 학습해 단어 간 패턴과 의미를 확률적으로 예측하는 언어 중심 AI 모델입니다. 문장 내 모든 단어 간의 관계를 동시에 고려하여 각 단어의 문맥적 중요도를 계산하는 트랜스포머 구조의 Self-Attention 메커니즘을 활용해 문맥을 파악하고, 문장 간 의미 연결을 이해합니다. 이로써 문장 생성, 요약, 번역, 질의응답, 코드 작성 등 다양한 언어 작업을 수행하며, 인간의 사고 과정을 모방한 추론·기획형 언어 지능으로 발전중입니다.

출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.11 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-01🇸🇬 싱가포르 LLM 애플리케이션 안전성·신뢰성 테스트 스타터 킷 정보통신미디어발전국(IMDA) · 가이드라인·원칙
동향 표기 · 대규모 언어모델(45) / 언어 모델(163) / LLM(477)
동향 문서 45기간 11개월최근 96%병기 86PDF 문서 27정의섹션 3
004오픈 웨이트 모델open-weight model모델 가중치를 공개해 누구나 내려받아 직접 실행·연구·수정할 수 있게 한 AI 모델을 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어공개가중치 모델

용어 설명

모델 가중치를 공개해 누구나 내려받아 직접 실행·연구·수정할 수 있게 한 AI 모델을 말함.

  • 대개 가중치와 실행 코드만 공개되고 학습 코드·데이터는 공개되지 않으며 이용 제한 라이선스가 붙기도 해, '오픈소스 모델'이라는 표현이 부정확한 경우가 많음.
  • 외부 검증과 연구가 쉬워지고 시장 집중을 완화할 가능성이 있으며 자원이 적은 주체도 활용할 수 있다는 이점이 있지만, 한 번 공개된 가중치는 회수할 수 없고 미세조정으로 안전장치를 제거해 악의적으로 사용할 수 있음.
  • 논의는 공개 여부의 찬반에서 어떤 역량 수준까지 공개해도 되는지, 공개 전 어떤 평가를 거쳐야 하는지로 옮겨 가고 있음.

구별'오픈 웨이트'는 가중치 공개를 뜻할 뿐이고 '오픈소스'는 누구나 어떤 목적으로든 사용·연구·수정·공유할 수 있게 하는 라이선스를 요구하며, 가중치를 공개하지 않는 '폐쇄형 모델'이 그 반대편에 있음.

용어 관계

먼저 알 개념 모델 가중치 · 혼동 주의 폐쇄형 모델

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • '오픈 웨이트'는 모델 가중치를 공개적으로 내려받을 수 있다는 뜻일 뿐 반드시 오픈소스는 아니며, 오픈소스로 분류되려면 누구나 어떤 목적으로든 모델을 사용·연구·수정·공유할 수 있게 하는 라이선스가 있어야 한다고 구별함. [1]
  • 한 번 공개된 가중치는 회수할 수 없어 누구나 내려받아 연구·수정·공유·사용할 수 있으며, 같은 이유로 악의적 이용자가 안전장치를 제거하기도 쉬워진다고 지적함. [2]
🇪🇺EU AI Act2024/1689
  • 가중치·아키텍처·사용 정보를 공개하고 접근·사용·수정·배포를 허용하는 자유 오픈소스 라이선스 모델에 일부 의무를 면제하되, 시스템적 위험 GPAI 모델은 제외함(제53조제2항, 제54조제6항). [4] [3]
  • 전문 제103항은 유상 제공이나 수익화하는 구성요소에는 이 예외를 인정하지 않으며, 제53조제2항의 라이선스·정보 공개 요건도 있어 오픈 웨이트라는 사실만으로 면제되지는 않음. [5]

출처

  1. 1International AI Safety Report 2025, 2.4, p.150–151 · 원문
  2. 2International AI Safety Report 2026, p.133 · 원문 · 라이브러리에서 보기
  3. 3European Commission (2025). GPAI Guidelines, 4, p.19–20 · 원문
  4. 4EU AI Act, Art. 53(2)·54(6), p.85–86 · 원문
  5. 5EU AI Act, Recital 103, p.27 · 원문
해설 · 참고 기사 3 · 관련 연구 4

오픈소스와 구별해 쓰는 말이다. 소프트웨어에서 오픈소스는 소스 코드를 공개하고 자유로운 이용과 수정, 재배포를 허용하는 것을 뜻하는데, 모델에서 그에 해당하는 것은 학습 코드와 학습 자료까지 공개하는 것이다. 실제로는 그런 경우가 드물고 대개 가중치와 실행 코드만 공개되며, 상업적 이용이나 특정 용도를 제한하는 라이선스가 붙기도 한다. 그래서 오픈소스 모델이라는 표현이 정확하지 않은 경우가 많다.

안전 논쟁의 축이 여기에 있다. 공개하는 쪽의 근거는 분명하다. 연구자가 내부를 들여다볼 수 있어 검증이 가능해지고, 소수 기업에 의존하는 구조가 완화되고, 자원이 적은 곳에서도 활용할 수 있다. 우려하는 쪽의 근거도 분명하다. 한 번 공개하면 어떤 통제도 적용할 수 없고, 추가 학습으로 안전장치를 떼어낼 수 있고, 회수도 불가능하다. 그래서 논의는 공개 여부를 두고 다투는 데서 어떤 역량 수준까지 공개해도 되는지를 정하는 쪽으로 옮겨 갔다.

동향 표기 · 오픈웨이트(26) / 오픈 웨이트(27) / open-weight(40)
동향 문서 26기간 7개월최근 100%병기 2
005폐쇄형 모델closed model모델 가중치를 공개하지 않고, 외부 이용을 허용하지 않거나 개발사가 통제하는 응용 프로그램이나 API로만 이용하게 하는 AI 모델을 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어비공개 모델독점 모델

용어 설명

모델 가중치를 공개하지 않고, 외부 이용을 허용하지 않거나 개발사가 통제하는 응용 프로그램이나 API로만 이용하게 하는 AI 모델을 말함.

  • 공개 방식은 완전 폐쇄부터 호스팅 접근, API 접근, API를 통한 미세조정 허용까지 단계가 있으며, 가중치 내려받기가 허용되지 않는 쪽을 넓게 폐쇄형으로 부름.
  • 개발사가 안전장치를 유지하고 이용 정책을 적용하며 문제가 생기면 접근을 중단·회수할 수 있지만, 외부 연구자의 독립 검증이 어렵고 소수 기업에 의존하는 정도가 커진다는 지적이 있음.
  • 가중치가 비공개여도 유출·탈취되면 통제가 사라지므로 가중치 보안이 함께 요구됨.

구별'폐쇄형 모델'과 '오픈 웨이트 모델'은 가중치 공개 여부로 갈리지만, 공개·비공개의 이분법보다 접근 수준의 스펙트럼으로 보는 것이 정확함.

용어 관계

먼저 알 개념 모델 가중치 · 혼동 주의 오픈 웨이트 모델

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 모델 공개 방식을 완전 폐쇄부터 완전 공개까지 이어지는 스펙트럼으로 보고, 각 단계에 위험과 이점의 상충이 따른다고 설명함. [1]
  • 접근 수준을 완전 폐쇄(이용자가 모델과 직접 상호작용할 수 없음), 호스팅 접근, 모델 API 접근, API를 통한 미세조정 접근, 가중치 내려받기 등으로 구분함. [2]
🇺🇸NISTAI 800-1 초안, 2025
  • 기밀성에 기대어 오용 위험을 관리하는 모델은 무단 접근 위험이 충분히 완화된 때에만 개발하고, 가중치 유출·내부자 위협을 막는 보안 조치를 권고함. [3]
🇪🇺EU GPAI 실천강령2025
  • 공개하지 않은 모델 파라미터를 보호하도록 저장 위치 등록, 무단 복사 방지, 전송·저장 시 암호화 등 보안 완화 목표를 제시함. [4]

출처

  1. 1International AI Safety Report 2025, 2.4, p.149–152 · 원문
  2. 2International AI Safety Report 2026, p.133 · 원문 · 라이브러리에서 보기
  3. 3NIST AI 800-1 2차 초안, Practice 3.2, p.13 · 원문
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Appendix 4.2, p.41–42 · 원문
관련 연구 2
006모델 가중치model weights학습을 통해 값이 정해진 신경망의 수치 파라미터로, 모델이 학습한 내용이 저장된 핵심 산출물을 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어파라미터가중치

용어 설명

학습을 통해 값이 정해진 신경망의 수치 파라미터로, 모델이 학습한 내용이 저장된 핵심 산출물을 말함.

  • 신경망 노드 간 연결 강도를 나타내며 학습 과정에서 반복 갱신됨. 구조와 학습 방법이 공개돼도 가중치가 없으면 같은 모델을 재현하려면 처음부터 학습해야 하고, 가중치만 있으면 누구나 같은 모델을 실행할 수 있음.
  • 가중치를 통제하는 쪽이 안전장치 유지·이용 정책 적용·서비스 중단을 할 수 있으므로 안전 통제의 분기점이 됨. 공개하면 회수할 수 없고, 유출은 보안 사고로 다뤄지며 수출 통제 논의의 대상이 되기도 함.

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 신경망 노드 간 연결 강도를 나타내는 모델 파라미터로, 주어진 입력에 대한 출력을 결정하는 데 중요한 역할을 하며 성능을 높이도록 학습 과정에서 반복 갱신된다고 정의함. [1]

출처

  1. 1International AI Safety Report 2025, p.150; Glossary p.227–228 · 원문
해설 · 원문 인용 3 · 참고 기사 3 · 관련 연구 4

신경망이 학습한 내용이 저장되는 곳이다. 학습이란 결국 이 수치들을 조금씩 고쳐 나가는 과정이고, 학습이 끝나면 모델은 이 수치의 묶음으로 남는다. 구조와 학습 방법이 논문으로 공개돼 있어도 가중치가 없으면 같은 모델을 다시 만들려면 처음부터 학습해야 한다. 반대로 가중치 파일만 있으면 계산 자원이 있는 누구나 어디서든 같은 모델을 돌릴 수 있다.

이 성질 때문에 가중치는 안전 통제의 분기점이 된다. 가중치를 쥐고 서비스로만 제공하면 배포하는 쪽이 거부 장치를 유지하고 사용 정책을 적용하고 문제가 생기면 중단할 수 있다. 공개하면 그 통제가 모두 사라진다. 추가 학습으로 안전장치를 떼어낼 수 있고, 회수할 방법도 없고, 누가 무엇에 쓰는지 알 수도 없다. 가중치 유출을 보안 사고로 다루고 수출 통제 대상으로 볼 수 있는지 논의가 나온 이유가 여기 있다.

번역신경망 노드 간 연결 강도를 나타내는 모델 파라미터. 주어진 입력에 대한 출력을 결정하는 데 중요하며, 성능을 높이도록 학습 과정에서 반복 갱신된다.

Model parameters that represent the strength of connection between nodes in a neural network. Weights play an important part in determining the output of a model in response to a given input and are iteratively updated during model training to improve its performance. 'General -purpose AI' refers to artificial intelligence models or systems that can perform a wide range of tasks rather than being specialised for one specific function. While all AI operates on a fundamental input-to-output basis -processing data to generate results -general-purpose AI distinguishes itself by its ability to handle a diverse range of tasks, e.g. summarising text, generating images, or writing computer code (for a more detailed definition of general-purpose AI, see Introduction). This versatility makes it useful, allowing applications in numerous fields such as healthcare, finance, and engineering.

출처 International Scientific Report on the Safety of Advanced AI · p.30–31 · EN · 정의섹션

번역신경망 노드 간 연결 강도를 나타내는 모델 파라미터. 주어진 입력에 대한 출력을 결정하는 데 중요하며, 성능을 높이도록 학습 과정에서 반복 갱신된다.

Model parameters that represent the strength of connection between nodes in a neural network. Weights play an important part in determining the output of a model in response to a given input and are iteratively updated during model training to improve its performance.

출처 International Scientific Report on the Safety of Advanced AI · p.150, p.227–228 · EN · 정의섹션

번역신경망 노드 간 연결 강도를 나타내는 모델 파라미터. 주어진 입력에 대한 출력을 결정하는 데 중요하며, 성능을 높이도록 학습 과정에서 반복 갱신된다.

Model parameters that represent the strength of connection between nodes in a neural network. Weights play an important part in determining the output of a model in response to a given input and are iteratively updated during model training to improve its performance. This section covers six general technical challenges that can make risk management and policymaking more difficult for a wide range of general-purpose AI risks (see Figure 3.1).

출처 International Scientific Report on the Safety of Advanced AI · p.170 · EN · 정의섹션

동향 표기 · 모델 가중치(33) / 가중치(100)
PDF 표기 · Weights
동향 문서 33기간 16개월최근 76%병기 5PDF 문서 21정의섹션 6
007연산computeAI 모델을 학습·실행하는 데 필요한 계산 자원, 곧 하드웨어·소프트웨어·인프라를 통칭하는 말임.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어AI 연산컴퓨팅연산 자원

용어 설명

AI 모델을 학습·실행하는 데 필요한 계산 자원, 곧 하드웨어·소프트웨어·인프라를 통칭하는 말임.

  • GPU 같은 연산 칩, 데이터 관리 소프트웨어, 데이터센터가 포함되며, 학습에 투입된 연산량(부동소수점 연산 횟수)으로 규모를 재기도 함.
  • 연산은 측정·추적이 비교적 쉬워 AI 거버넌스의 지렛대로 쓰임. 학습 연산량을 규제 대상 선별 기준(연산 임계값)으로 삼거나, 첨단 칩을 수출 통제하는 방식이 대표적임.
  • 같은 연산으로도 알고리즘 효율 향상에 따라 역량이 달라지므로, 연산량만으로 위험을 대리하는 데에는 한계가 있다는 지적이 있음.

구별'연산'은 자원 자체를, '연산 임계값'은 그 자원의 투입량을 규제상 기준선으로 쓰는 제도적 장치를 가리킴.

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • '계산 자원(computational resources)'의 약칭으로, AI 시스템을 학습·실행하는 데 필요한 하드웨어(예: GPU), 소프트웨어(예: 데이터 관리 소프트웨어), 인프라(예: 데이터센터)를 가리킨다고 정의함. [1]

출처

  1. 1International AI Safety Report 2025, p.30–31 · 원문
원문 인용 2 · 관련 연구 3 · 정책 문서 4

번역‘컴퓨팅 자원’의 약칭. AI를 학습·실행하는 데 필요한 하드웨어(예: GPU), 소프트웨어(예: 데이터 관리), 인프라(예: 데이터센터)를 가리킨다.

Shorthand for 'computational resources', which refers to the hardware (e.g. graphics processing units (GPUs)), software (e.g. data management software) and infrastructure (e.g. data centres) required to train and run AI systems.

출처 International Scientific Report on the Safety of Advanced AI · p.30–31 · EN · 정의섹션

번역‘컴퓨팅 자원’의 약칭. AI를 학습·실행하는 데 필요한 하드웨어(예: GPU), 소프트웨어(예: 데이터 관리), 인프라(예: 데이터센터)를 가리킨다.

Shorthand for 'computational resources', which refers to the hardware (e.g. GPUs), software (e.g. data management software) and infrastructure (e.g. data centres) required to train and run AI systems.

출처 International Scientific Report on the Safety of Advanced AI · p.47–48, p.129–130, p.219–220 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-07-09🇵🇹 포르투갈 · 고성능컴퓨팅 R&D 과제 공모: 구글 협력 클라우드 인공지능 Foundation for Science and Tec
  2. 2025-06-11🇯🇵 일본 ABCI 3.0 국가 AI 컴퓨팅 인프라 기구·제도
  3. 2025-03-07🇨🇦 캐나다 AI 주권 컴퓨팅 인프라 프로그램 전략·정책
  4. 2025-01-03🇺🇸 더 안전한 화학물질을 위한 슈퍼컴퓨팅법 United States Congress · 법안
PDF 표기 · Compute
PDF 문서 30정의섹션 3
008학습 데이터training dataAI 모델의 학습 가능한 파라미터를 조정해 모델을 학습시키는 데 사용되는 데이터를 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어훈련 데이터

용어 설명

AI 모델의 학습 가능한 파라미터를 조정해 모델을 학습시키는 데 사용되는 데이터를 말함.

  • 모델의 역량과 결함이 함께 여기서 나옴. 데이터의 편향은 모델의 편향이 되고, 섞여 든 개인정보는 노출 위험이 되며, 데이터가 부족한 언어·영역은 성능 공백이 됨.
  • 저작물 이용의 정당성, 공개된 개인정보의 이용 범위, 벤치마크 문항 혼입이나 악의적 데이터 주입 같은 오염이 주요 쟁점임. 규제는 데이터 품질 관리와 출처 이력 문서화를 요구함.

구별'학습 데이터'는 파라미터를 학습시키는 데 쓰고, '검증 데이터'는 학습 과정과 학습 불가능한 파라미터를 조정하는 데, '시험 데이터'는 출시 전 독립적인 성능 평가에 씀. 세 가지는 용도가 다른 별개 개념임.

주요 기관·문서별 개념 및 적용

🇪🇺EU GPAI 실천강령 안내서2026
  • 학습 데이터를 학습 가능한 파라미터를 조정해 AI 시스템을 학습시키는 데 사용되는 데이터로 정의함. [1]
  • 검증 데이터는 학습된 시스템을 평가하고 과소적합·과대적합을 방지하도록 학습 불가능한 파라미터와 학습 과정을 조정하는 데이터로, 시험 데이터는 출시·서비스 개시 전 예상 성능을 독립적으로 확인하는 데이터로 따로 정의함. [1]

출처

  1. 1『EU GPAI 실천강령 한글 안내서』(2026), p.9 · 원문
해설 · 원문 인용 3 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

모델의 능력과 결함이 함께 여기서 나온다. 자료에 담긴 편향은 모델의 편향이 되고, 섞여 든 개인정보는 노출 위험이 되고, 자료에 없는 영역은 성능이 비는 지점이 된다. 특정 언어나 문화권의 자료가 적으면 그 영역의 성능이 낮게 나오는 것도 같은 이유다. 그래서 규제는 학습 자료의 품질을 관리하고 어디서 무엇을 가져왔는지 이력을 남기도록 요구한다.

쟁점은 셋으로 갈린다. 첫째는 저작물이다. 웹에 공개된 글과 이미지를 학습에 쓰는 일이 어떤 근거로 정당화되는지 여러 나라에서 다투어지고 있다. 둘째는 개인정보다. 공개된 것과 이용해도 되는 것이 같지 않다는 점이 문제의 핵심이다. 셋째는 오염이다. 벤치마크 문항이 섞여 들어가 평가를 무의미하게 만드는 경우와, 공격자가 특정 조건에서만 작동하는 유해한 자료를 의도적으로 심는 경우를 함께 가리킨다.

학습 가능한 파라미터를 조정함으로써 시스템을 학습시키는 데 사용되는 데이터 AI

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션

학습된 시스템에 대한 평가를 제공하고 특히 과소적합 또는 과대적 AI , (underfitting) 합 을 방지하는 등을 목적으로 해당 시스템의 학습 불가능한 파라미터 및 (overfitting) 학습 과정을 조정하는 데 사용되는 데이터

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션

시스템이 시장에 출시되거나 서비스가 개시되기 전에 해당 시스템의 예상 성능을 확 AI 인하기 위해 독립적인 평가를 제공하는 데 사용되는 데이터

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-02-24🇺🇸 뉴욕 A 6578 AI 훈련 데이터 투명성 법안 법안
  2. 2026-01-30🇺🇸 워싱턴 HB 2503 법안
  3. 2025-07-28🇺🇸 교육용 AI 안전 활용 지침 마련 법
  4. 2025-07-09🇺🇸 캘리포니아 AB 412 법안
동향 표기 · 학습 데이터(70)
PDF 표기 · 학습 데이터
PDF 표기 · 검증 데이터
PDF 표기 · Testing Data
동향 문서 70기간 20개월최근 84%병기 0PDF 문서 32정의섹션 6
009합성 데이터synthetic data실제 관측·수집이 아니라 알고리즘이나 AI 시스템으로 인위적으로 생성한 텍스트·이미지 등의 데이터를 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량

용어 설명

실제 관측·수집이 아니라 알고리즘이나 AI 시스템으로 인위적으로 생성한 텍스트·이미지 등의 데이터를 말함.

  • 고품질 자연 데이터가 부족한 영역의 학습 보강, 개인정보 노출을 줄인 대체 데이터, 안전 학습·평가용 사례 생성 등에 쓰임.
  • 원본의 편향이나 생성 모델의 오류가 그대로 옮겨 가거나 증폭될 수 있고, AI 생성 데이터로 반복 학습하면 품질이 떨어질 수 있다는 우려가 있음. 생성 이력을 남기는 데이터 기원 관리가 중요함.

구별'합성 데이터'는 주로 학습·평가에 쓰는 인공 데이터를 가리키며, 실존 인물을 흉내 내 유통되는 '딥페이크'나 'AI 생성 가짜 콘텐츠'와는 목적과 쟁점이 다름.

용어 관계

혼동 주의 딥페이크

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 텍스트나 이미지처럼 인위적으로(예: 범용 AI 시스템으로) 생성된 데이터로 정의하고, 고품질 자연 데이터가 부족할 때 AI 학습에 쓰일 수 있다고 설명함. [1] [2]

출처

  1. 1International AI Safety Report 2025, p.47–48; Glossary p.226–227 · 원문
  2. 2International AI Safety Report 2026, Glossary, p.154–155 · 원문 · 라이브러리에서 보기
원문 인용 3 · 관련 연구 2

번역텍스트·이미지처럼 인위적으로—예를 들어 범용 AI로—생성된 데이터. 고품질 자연 데이터가 부족할 때 AI 학습에 쓰이기도 한다.

Data like text or images that has been artificially generated, for instance by general-purpose AI systems. Synthetic data might be used for training AI systems, e.g. when high-quality natural data is scarce.

출처 International Scientific Report on the Safety of Advanced AI · p.47–48, p.226–227 · EN · 정의섹션

번역텍스트·이미지처럼 인위적으로 생성되어, 다른 출처의 고품질 데이터가 부족할 때 AI 모델 학습에 쓰이기도 하는 데이터.

Artificially generated data, such as text or images, that is sometimes used to train AI models, for example, when high-quality data from other sources is scarce. (AI) System: An integrated combination of one or more AI models with other components, such as a chat interface, to support practical deployment and operation.

출처 International AI Safety Report 2026 · p.155–156 · EN · 정의섹션 · 라이브러리에서 보기

합성데이터는 실제 데이터를 직접 사용하지 않고, 원본 데이터의 패턴과 분포를 참고해 알고리즘이 새롭게 생성한 인공 데이터입니다. 실제 존재하는 개인이나 사건을 그대로 반영하지 않기 때문에 민감 정보 노출 위험이 낮고, 다양한 조건을 설정해 원하는 형태의 데이터를 만들어낼 수 있다는 점에서 활용 가치가 높습니다. 의료나 금융처럼 개인정보 보호가 중요한 영역에서는 원본 데이터를 외부에 제공하기 어려운데, 합성데이터는 이를 안전하게 대체할 수 있는 수단으로 주목받고 있습니다.

출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.90 · KO · 정의섹션

PDF 표기 · Synthetic Data · synthetic-data
PDF 표기 · 합성데이터
PDF 문서 12정의섹션 2
010데이터 기원data provenance데이터가 어디서 왔고 어떤 과정을 거쳐 처리·변환됐는지를 기록한 이력, 또는 그 이력을 관리하는 일을 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어데이터 출처

용어 설명

데이터가 어디서 왔고 어떤 과정을 거쳐 처리·변환됐는지를 기록한 이력, 또는 그 이력을 관리하는 일을 말함.

  • 수집 출처, 수집 시점, 라이선스·동의 조건, 정제·필터링·가공 단계 등을 추적 가능한 형태로 남기는 것이 포함됨.
  • 학습 데이터의 저작권·개인정보 문제를 확인하고, 데이터 오염이나 악의적으로 심어진 자료를 찾아내며, 편향의 원인을 거슬러 올라가는 데 필요함. 규제가 학습 데이터 관련 문서화를 요구하는 근거가 됨.

구별'데이터 기원'은 모델 학습에 쓰인 데이터의 이력을, '출처 메타데이터'는 AI가 생성한 콘텐츠에 붙여 생성 경위를 알리는 정보를 주로 가리킴.

용어 관계

먼저 알 개념 학습 데이터 · 혼동 주의 출처 메타데이터

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 데이터가 어디서 왔는지, 어떻게 처리됐는지에 대한 이력 기록으로 정의함. [1]

출처

  1. 1International AI Safety Report 2026, Glossary, p.149 · 원문 · 라이브러리에서 보기
원문 인용 1 · 관련 연구 2

번역데이터가 어디서 왔는지, 어떻게 처리됐는지에 대한 이력 기록.

A historical record of where data comes from and how it has been processed.

출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기

PDF 표기 · Data Provenance
PDF 문서 11정의섹션 2
011미세조정fine-tuning이미 학습된 모델을 추가 데이터로 다시 학습시켜 특정 과제나 용도에 맞게 조정하는 과정을 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어파인튜닝

용어 설명

이미 학습된 모델을 추가 데이터로 다시 학습시켜 특정 과제나 용도에 맞게 조정하는 과정을 말함.

  • 모든 가중치를 조금씩 고치는 방식과, 원래 가중치는 고정한 채 작은 추가 파라미터만 학습하는 방식이 있음. 후자가 비용이 적어 널리 쓰임. 인간 피드백 기반 강화학습도 넓게 보면 미세조정 단계에 속함.
  • 안전 학습으로 형성한 거부 성향이 소량의 추가 학습으로 쉽게 풀릴 수 있어 정렬을 되돌리는 통로가 됨. 모델 가중치가 공개되면 어떤 미세조정을 허용할지 통제할 수 없게 됨.

구별'미세조정'은 기존 모델을 직접 조정하는 것이고, '증류'는 다른 모델의 출력으로 새 모델을 학습시키는 것임.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 사전학습된 AI 모델을 추가 데이터로 학습시켜 특정 과제에 맞추거나 전반적으로 더 유용하게 적응시키는 과정으로 정의함. [1] [2]

출처

  1. 1International AI Safety Report 2025, p.170; Glossary p.221–222 · 원문
  2. 2International AI Safety Report 2026, Glossary, p.150 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 3 · 참고 기사 3 · 관련 연구 4

큰 모델을 처음부터 학습시키는 데는 막대한 자료와 계산이 들지만, 이미 만들어진 모델을 특정 용도에 맞추는 데는 훨씬 적은 자원으로 충분하다. 사내 문서의 문체를 익히게 하거나, 특정 분야의 용어를 정확히 쓰게 하거나, 정해진 형식으로만 답하게 만드는 일이 여기 해당한다. 방식은 두 갈래다. 모델의 모든 수치를 조금씩 고치는 방법과, 원래 수치는 그대로 두고 작은 보정층만 덧붙이는 방법이다. 후자가 비용이 훨씬 적어 실무에서 널리 쓰인다.

안전 관점에서 이 기법이 중요한 이유는 정렬을 되돌리는 통로가 되기 때문이다. 유해한 요청을 거절하도록 공들여 학습시킨 모델도, 소량의 자료로 추가 학습을 하면 그 거부 성향이 쉽게 풀린다는 것이 반복 확인됐다. 심지어 유해하지 않은 자료로 조정했을 때도 안전 학습이 약해지는 경우가 보고된다. 모델을 서비스로만 제공하는 쪽은 어떤 조정을 허용할지 통제할 수 있지만, 모델 가중치가 공개되면 이 통제가 사라진다. 오픈 웨이트 모델 논쟁의 핵심이 여기 있다.

번역초기 학습 이후 추가 데이터로 특정 과제에 맞추거나 전반적으로 더 유용하게 적응시키는 과정.

The process of adapting an AI model after its initial training to a specific task or making it more useful in general by training it on additional data.

출처 International AI Safety Report 2026 · p.151 · EN · 정의섹션 · 라이브러리에서 보기

번역사전학습된 AI 모델을 추가 데이터로 특정 과제에 맞추거나 전반적으로 더 유용하게 적응시키는 과정.

The process of adapting a pre-trained AI model to a specific task or making it more useful in general by training it on additional data.

출처 International Scientific Report on the Safety of Advanced AI · p.170, p.221–222 · EN · 정의섹션

미세조정은 이미 학습된 AI 모델을 새로운 목적이나 환경에 맞게 다시 조정하는 학습 과정으로, 대규모 데이터로 사전 학습된 모델이 특정 분야에서 더 정확하고 안정적으로 작동하도록 추가 학습을 수행하는 기술을 의미합니다. 기존 학습 과정에서 모델이 얻은 일반 지식을 유지한 채, 새로운 데이터의 특성을 반영해 모델의 행동을 재정렬하는 절차라 할 수 있습니다. 최근 LLM의 발전 이후 미세조정은 단순한 성능 개선을 넘어, 응답 스타일·추론 방식·안전성 기준을 목적에 적합한 방향으로 정교하게 다듬는 핵심 단계로 활용됩니다.

출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.42 · KO · 정의섹션

동향 표기 · 파인튜닝(33) / fine-tuning(43) / 미세조정(10)
동향 문서 33기간 7개월최근 91%병기 2PDF 문서 22정의섹션 4
012증류distillation큰 모델(교사)의 출력을 학습 신호로 삼아 작은 모델(학생)에 역량을 옮기는 학습 기법을 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어지식 증류

용어 설명

큰 모델(교사)의 출력을 학습 신호로 삼아 작은 모델(학생)에 역량을 옮기는 학습 기법을 말함.

  • 학생 모델은 정답 데이터 대신 교사 모델의 답이나 확률 분포를 흉내 내도록 학습함. 정답만 주는 것보다 정보가 풍부해 작은 규모로도 교사에 가까운 성능에 이를 수 있음.
  • 역량은 옮겨 가도 안전 행동은 함께 옮겨 가지 않을 수 있다는 우려가 있음. 또 다른 회사 모델의 출력을 대량 수집해 경쟁 모델을 만드는 행위는 이용약관·권리 문제로 다투어짐.

구별'미세조정'은 기존 모델 자체를 추가 데이터로 조정하는 것이고, '증류'는 다른 모델의 출력을 이용해 별도의 (대개 더 작은) 모델을 학습시키는 것임.

용어 관계

혼동 주의 미세조정

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 2

작은 모델을 정답 데이터로 직접 가르치는 대신, 큰 모델이 내놓은 답과 그 답에 이르는 확률 분포를 흉내내게 한다. 정답만 알려 주는 것보다 정보가 풍부하기 때문에 — 어떤 오답이 그럴듯하고 어떤 오답이 터무니없는지까지 함께 배운다 — 훨씬 적은 규모로 큰 모델에 가까운 성능에 이를 수 있다. 서비스 비용과 응답 지연을 줄이려면 결국 작은 모델이 필요하므로, 실무에서는 거의 표준 절차에 가깝다.

두 가지 쟁점이 따라붙는다. 하나는 권리 문제다. 다른 회사 모델에 대량으로 질문을 보내 그 답을 모아 경쟁 모델을 만드는 행위가 어디까지 허용되는지를 두고 이용약관 위반 여부가 다투어진다. 다른 하나는 안전 문제다. 역량은 옮겨 가는데 안전장치는 함께 옮겨 가지 않을 수 있다. 교사 모델이 거절하던 요청을 증류된 모델이 받아 줄 수 있다는 지적이 있다. 거부 행동은 특정 상황에서만 드러나므로 흉내 낼 표본에 충분히 포함되지 않을 수 있기 때문이다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-09-08🇺🇸 중국 AI 기업의 미국 프런티어 모델 증류 캠페인 합동 권고문 미국 국가안보국(NSA), 연방수사국(FBI), 사이버
  2. 2026-08-05🇺🇸 대규모 적대적 증류 노력 차단법 2026(BLADE 법/SB 5252) 법안
동향 표기 · 증류(32) / distillation(35)
동향 문서 32기간 6개월최근 100%병기 10
013추론inference학습을 마친 AI 모델이 주어진 입력에 대해 출력을 생성하는 실행 과정을 의미함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량

용어 설명

학습을 마친 AI 모델이 주어진 입력에 대해 출력을 생성하는 실행 과정을 의미함.

  • 학습 단계에서 익힌 가중치를 고정한 채 입력을 처리해 답을 내는 단계로, 서비스 이용 시 매번 일어나며 그때마다 연산이 소요됨.
  • 추론 단계에 연산을 더 들여 성능을 높이는 방식이 확산되면서, 학습 연산량만으로 역량과 위험을 가늠하기 어려워졌다는 지적이 있음. 오용 차단·출력 필터 같은 안전장치도 주로 이 단계에서 작동함.

구별여기서 '추론(inference)'은 모델을 실행해 출력을 얻는 과정이고, 모델이 단계적으로 생각하는 '추론(reasoning)'과는 다름. 후자는 '사고 사슬'과 관련됨.

용어 관계

혼동 주의 사고 사슬

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • AI가 주어진 입력을 바탕으로 출력을 생성하며, 그 과정에서 학습 때 익힌 지식을 적용하는 과정으로 정의함. [1]

출처

  1. 1International AI Safety Report 2025, p.38, p.47–48; Glossary p.222–223; First Key Update p.21 · 원문
원문 인용 1 · 관련 연구 4

번역주어진 입력에 대해 출력을 생성하며, 학습 때 익힌 지식을 적용하는 과정.

The process in which an AI generates outputs based on a given input, thereby applying the knowledge learnt during training.

출처 International Scientific Report on the Safety of Advanced AI · p.38, p.47–48, p.222–223, p.319 · EN · 정의섹션

PDF 표기 · Inference
PDF 문서 22정의섹션 3
014사고 사슬chain-of-thought (CoT)모델이 최종 답을 내기 전에 중간 추론 단계를 자연어로 풀어 쓰게 하는 방식, 또는 그렇게 생성된 추론 과정을 말함.
#01. 기반 기술·모델 공개 Foundations & Model Release
AI 기술·역량
대체어사고연쇄생각의 사슬

용어 설명

모델이 최종 답을 내기 전에 중간 추론 단계를 자연어로 풀어 쓰게 하는 방식, 또는 그렇게 생성된 추론 과정을 말함.

  • 단계별로 생각하라는 지시나 풀이 예시로 유도하는 프롬프트 기법에서 출발해, 긴 추론 과정을 스스로 생성하도록 학습시킨 추론 모델로 이어짐.
  • 모델이 무엇을 고려하고 어떤 계획을 세우는지가 사람이 읽을 수 있는 글로 드러나므로, 위험한 의도나 보상 해킹·계략적 행동의 징후를 실행 전에 감시하는 창구로 주목받음.
  • 써 놓은 추론이 실제 내부 계산을 충실히 반영한다는 보장이 없고(충실성 문제) 감시 압력을 받은 모델이 추론을 숨기거나 꾸밀 가능성도 있어, 사고 사슬 감시만으로 안전을 보장할 수 없음.

구별사고 사슬 감시는 모델이 스스로 쓴 설명을 읽는 것이고, '해석 가능성' 연구는 모델 내부 표상과 계산을 직접 분석하는 것임.

용어 관계

혼동 주의 추론, 해석 가능성

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 문제 해결·답변 과정에서 거치는 중간 설명 단계를 '사고 사슬'이라 부르며, 이를 생성하도록 학습된 추론 시스템은 사용 시점에 더 많은 연산을 들여 복잡한 문제를 작은 단계로 나눠 풂. [1]
  • 일부 AI 시스템이 최종 답 전에 생성하는 중간 추론 단계를 검토하는 '사고 사슬 모니터'를 입력·내부 계산·출력 감시와 함께 주요 감시·개입 수단으로 제시함. [2]
🇪🇺EU GPAI 실천강령2025
  • 이행조치 5.1은 안전 완화 예시로 충실하지 않은 사고 사슬 흔적 같은 바람직하지 않은 모델 경향을 낳을 수 있는 학습 데이터의 필터링·정제를 듦. [3]
  • 사고 사슬 추론의 투명성을 확보하거나 모델이 다른 안전 완화를 무력화하는 능력에 대응하는 기법을 새로운 안전 완화의 예로 제시함. [3]
🌐싱가포르 합의2025
  • 사고 사슬이 모델이 답에 이른 실제 과정을 늘 충실히 반영하지는 않아, 말과 행동이 다른 모델이 감독자를 속일 수 있다는 점을 안전 과제로 봄. [4]
  • 추론에 최적화 압력이 가해지면 모델이 추론을 오도하는 방식으로 감추도록 학습할 수 있어 사고 사슬 감시의 잠재적 한계로 지적함. [4]

출처

  1. 1『2026 국제 AI 안전 보고서』 한국어판, p.23–24 · 원문
  2. 2International AI Safety Report Second Key Update (2025), p.11–13 · 원문
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Measure 5.1, p.17 · 원문
  4. 4Singapore Consensus (2025), 2.3.3, p.24–25 · 원문
해설 · 참고 기사 3 · 관련 연구 4

여러 단계를 거쳐야 하는 문제에서 곧바로 답을 내게 하면 틀리는데, 단계별로 생각해 보라고 지시하거나 풀이 과정이 담긴 예시를 몇 개 보여 주면 정확도가 크게 오른다. 중간 과정을 글로 쓰는 동안 모델이 그 글을 다시 입력으로 읽으면서 계산을 나눠 수행할 수 있게 되기 때문이다. 이 성질이 확인된 뒤로는 프롬프트 기법에 머물지 않고, 긴 추론 과정을 스스로 만들어 내도록 학습시킨 추론 모델 계열로 이어졌다.

안전 연구가 이 방식에 주목하는 이유는 감시 창구가 열린다는 점이다. 모델이 무엇을 고려하고 어떤 계획을 세우는지가 사람이 읽을 수 있는 글로 드러나므로, 위험한 의도를 결과가 나오기 전에 잡아낼 여지가 생긴다. 다만 여기에는 큰 전제가 붙는다. 써 놓은 사고 과정이 실제 내부 계산을 반영한다는 보장이 없다는 것이다. 답에는 영향을 주지 않은 그럴듯한 이유를 나중에 붙이는 경우가 확인되며, 이를 충실성 문제라고 부른다. 사고 사슬 감시만으로 안전을 보장할 수 없는 이유다.

동향 표기 · chain-of-thought(28) / CoT(30)
동향 문서 28기간 10개월최근 79%병기 6
015AI 에이전트AI agent목표를 받아 여러 단계를 스스로 계획하고 도구를 호출하며 환경과 상호작용해 과제를 수행하는 AI 시스템을 말함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어에이전트자율 에이전트지능 에이전트

용어 설명

목표를 받아 여러 단계를 스스로 계획하고 도구를 호출하며 환경과 상호작용해 과제를 수행하는 AI 시스템을 말함.

  • 보통 언어 모델이 판단을 맡고, 도구 호출 장치·작업 경과를 담는 기억 저장소·코드 실행 환경이 결합된 형태로 구성되며, 결과를 보고 다음 행동을 다시 정하는 순환을 반복함.
  • 위험의 중심이 잘못된 말에서 잘못된 행동으로 옮겨 감. 파일 삭제·결제·발송처럼 되돌릴 수 없는 행위가 가능해지므로 성능보다 권한 범위와 승인 지점 설계가 먼저 결정돼야 함.
  • 자율성을 높일수록 처리량은 늘지만 사람이 오류를 걸러낼 기회는 줄어듦. 실무에서는 되돌릴 수 있는 행위는 넓게 허용하고 되돌릴 수 없는 행위에 사람 승인을 남기는 방식이 쓰임.

구별'AI 에이전트'는 개별 시스템을, '에이전틱 AI'는 그런 시스템이 지닌 성질 또는 그런 AI 전반을 가리킴. 생물·화학 분야의 'agent(유해 물질)'와도 구별해야 함.

용어 관계

먼저 알 개념 자율 계획, 도구 사용 · 혼동 주의 에이전틱 AI

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 대한 위임 등으로 환경과 상호작용하는 범용 AI로 정의함. [1]
  • 2026년 보고서는 도구 사용을 명시하고, 이 모든 과정이 인간 감독이 거의 또는 전혀 없이 이뤄질 수 있다는 점을 정의의 핵심 요소로 둠. [2]

출처

  1. 1International AI Safety Report 2025, p.38, p.47–48, p.80, p.111, p.170 · 원문
  2. 2International AI Safety Report 2026, Glossary, p.147 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 6 · 참고 기사 6 · 관련 연구 4 · 정책 문서 4

한 번 묻고 한 번 답하는 방식과 구조가 다르다. 목표를 받으면 그것을 작은 단계로 쪼개고, 필요한 도구를 호출하고, 돌아온 결과를 보고 다음에 무엇을 할지 다시 정하는 순환을 돈다. 언어모델이 판단을 맡고, 그 주위에 도구를 호출하는 장치, 지금까지의 경과를 기억하는 저장소, 코드를 실제로 돌릴 실행 환경이 붙는 형태가 일반적이다. 항공권을 찾아 예약하고 일정을 정리하는 일처럼, 사람이 여러 번 손을 대야 했던 작업을 한 번의 지시로 처리하는 것이 목표다.

안전 문제의 성격이 여기서 달라진다. 텍스트를 생성하던 단계의 위험은 잘못된 말이었고, 잘못된 말은 읽는 사람이 걸러낼 여지가 있었다. 에이전트의 위험은 잘못된 행동이다. 파일을 지우고, 결제를 하고, 메일을 보낸 뒤에는 되돌릴 수 없다. 그래서 에이전트를 설계할 때는 성능보다 권한 범위와 되돌릴 수 있는지가 먼저 결정돼야 한다. 무엇을 할 수 있게 할지가 아니라 무엇은 못 하게 할지를 정하는 일이 설계의 중심이 되는 것이다.

번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.

A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight.

출처 International Scientific Report on the Safety of Advanced AI · p.38, p.47–48, p.80, p.111, p.170 · EN · 정의섹션

번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.

A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. General-purpose AI can help people generate realistic content at scale, which malicious actors could use for attempts to manipulate public opinion and spread certain narratives. Studies show that humans often find general-purpose AI-generated text indistinguishable from genuine human-generated material (301, 302, 303, 304) . Moreover, research indicates that while people struggle to accurately identify AI-generated content, they often overestimate their ability to do so (305) . There is also evidence that such content is already being disseminated at scale (306) .

출처 International Scientific Report on the Safety of Advanced AI · p.67–68 · EN · 정의섹션

번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.

A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. Some experts believe that sufficiently capable general-purpose AI systems may be difficult to control. Hypothesised scenarios vary in their severity, but some experts give credence to outcomes as severe as the marginalisation or extinction of humanity. Concerns about loss of control date back to the earliest days of computer science, but have recently gained more attention. AI pioneers such as Alan Turing, I. J. Good, and Norbert Wiener expressed concerns about loss of control (578, 579, 580) .

출처 International Scientific Report on the Safety of Advanced AI · p.100–101 · EN · 정의섹션

An AI system that can adaptively perform complex tasks, use tools, and interact with its environment - for example, by creating files, taking actions on the Web, or delegating tasks to other agents - to pursue goals with little to no human oversight.

출처 International AI Safety Report 2026 · p.148 · EN · 정의섹션 · 라이브러리에서 보기

번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.

A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. Monitoring and intervention strategies are applied to AI systems -the complete deployment package that includes both the AI model and additional safety components -leaving the model unchanged. Unlike the strategies discussed in 3.4.1. Training more trustworthy models, monitoring and intervention methods are integrated at the system level and implemented as part of system deployment. This section discusses monitoring and intervention strategies that researchers and developers use for general-purpose AI systems (see Figure 3.2).

출처 International Scientific Report on the Safety of Advanced AI · p.201–202 · EN · 정의섹션

번역이 절에서 ‘agent’는 보통 생물·화학·독성학적 유해 물질을 가리킨다. 아래의 AI 에이전트와 혼동하지 않도록 한다.

For the purposes of this section, 'agent' usually refers to a biological, chemical, or toxicological substance that can harm living organisms. Agents in this sense are not to be confused with AI agents (see below).

출처 International Scientific Report on the Safety of Advanced AI · p.80 · EN · 정의섹션

동향 표기 · 에이전트(582) / agents(146) / agent(149)
PDF 표기 · Agent · Agents
동향 표기 · 자율 에이전트(22) / autonomous(37)
동향 문서 582기간 34개월최근 90%병기 15PDF 문서 27정의섹션 2
016에이전틱 AIagentic AIAI 시스템이 사람의 지속적 개입 없이 목표를 향해 스스로 계획·행동하는 성질, 또는 그런 성질이 강한 AI를 통칭하는 말임.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량

용어 설명

AI 시스템이 사람의 지속적 개입 없이 목표를 향해 스스로 계획·행동하는 성질, 또는 그런 성질이 강한 AI를 통칭하는 말임.

  • 특정 제품·구조가 아니라 정도의 문제로, 감독 없이 이어지는 작업 길이, 도구·외부 환경 접근 범위, 목표를 스스로 재설정할 수 있는지 등이 그 정도를 가르는 축으로 쓰임.
  • 출력이 글에 그치지 않고 실제 행동으로 이어지므로 되돌릴 수 없는 피해, 권한 오남용, 인간 감독의 약화 같은 위험이 커짐.
  • 정의가 느슨해 홍보 문구로도 쓰이므로, 정책 문서에서는 '에이전틱' 여부보다 자율성·권한·자원 접근 같은 축별로 규율 대상을 정하는 편이 명확함.

구별'에이전틱 AI'는 성질·경향을 가리키는 통칭이고, 'AI 에이전트'는 그 성질을 갖춘 개별 시스템을 가리킴.

용어 관계

먼저 알 개념 자율성 · 혼동 주의 AI 에이전트

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

특정한 제품이나 구조를 가리키는 말이 아니라 성질을 가리키는 형용에 가깝다. 같은 모델도 어떻게 쓰느냐에 따라 이 성질이 강해지거나 약해진다. 사람 개입 없이 얼마나 긴 작업을 이어 가는지, 도구와 외부 세계에 얼마나 접근할 수 있는지, 주어진 목표를 스스로 다시 정할 수 있는지가 그 정도를 가르는 축이다. 답만 내놓는 쪽에서 스스로 일을 처리하는 쪽으로 옮겨 가는 흐름 전체를 부르는 말로 쓰인다.

정의가 느슨해서 마케팅 문구로도 쓰이고, 그래서 무엇을 가리키는지 확인하지 않으면 논의가 헛돌기 쉽다. 정책 문서가 이 모호함을 피하는 방법은 형용을 버리고 축으로 쪼개 규정하는 것이다. 감독 없이 실행되는 시간이 얼마인지, 되돌릴 수 없는 행위를 할 권한이 있는지, 접근할 수 있는 자원의 범위가 어디까지인지를 각각 등급으로 두는 방식이다. 이렇게 하면 에이전틱인지 아닌지 다투지 않고도 무엇을 규율할지 정할 수 있다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-11-06🇰🇷 에이전틱 AI 제로트러스트 안내서 가이드라인·원칙
  2. 2026-10-26🇦🇺 호주 에이전틱 AI 이해 및 활용 지침 가이드라인·원칙
  3. 2026-10-15🇸🇬 에이전틱 AI 보안·통제 도상훈련 결과 성명 싱가포르 사이버보안청(CSA)·구글 · 선언·성명
  4. 2026-10-15🇸🇬 싱가포르 에이전틱 AI 코딩 어시스턴트 보안 평가 핸드북 가이드라인·원칙
동향 표기 · 에이전틱(69) / agentic(115)
동향 문서 69기간 14개월최근 94%병기 3
017자율성autonomyAI 시스템이 사람의 개입 없이 스스로 판단하고 행동하도록 허용되거나 그럴 수 있는 정도를 의미함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어AI 자율성

용어 설명

AI 시스템이 사람의 개입 없이 스스로 판단하고 행동하도록 허용되거나 그럴 수 있는 정도를 의미함.

  • 있고 없음이 아니라 연속적인 축임. 감독 없이 실행되는 시간, 호출할 수 있는 도구의 권한, 목표를 스스로 바꿀 수 있는지 등이 단계를 가르는 기준으로 쓰임.
  • 같은 역량의 모델도 자율성이 높게 배치되면 오류가 여러 단계를 거쳐 증폭되고 사람이 알아채는 시점이 늦어짐. 그래서 위험을 따질 때 모델 역량과 함께 배치된 자율성 수준을 봐야 함.

구별자율성이 높다는 것은 사람의 개입 지점이 줄어든다는 뜻이며, '정렬'이나 '신뢰성'이 높다는 뜻은 아님. 개입 방식은 '인간 감독'과 '휴먼 인 더 루프'에서 다룸.

용어 관계

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 2

있다와 없다로 갈리는 성질이 아니라 연속적인 축이다. 자동차의 자율주행 등급이 좋은 참조가 된다. 어떤 상황까지 시스템이 처리하고 어느 지점에서 사람에게 넘기는지, 사람이 얼마나 빨리 개입할 준비를 하고 있어야 하는지에 따라 단계가 나뉜다. AI 시스템에서는 감독 없이 실행되는 시간의 길이, 호출할 수 있는 도구의 권한, 주어진 목표를 스스로 바꿀 수 있는지가 그 단계를 가르는 축으로 쓰인다.

위험을 따질 때 자율성은 곱셈처럼 작동한다. 같은 역량을 가진 모델이라도 자율성이 높은 방식으로 배치되면 피해가 커진다. 실수 한 번이 여러 단계를 거쳐 증폭되고, 사람이 알아채는 시점이 늦어지기 때문이다. 그래서 규제 논의는 모델의 역량만 등급화하는 데서 그치지 않고 배치된 자율성 수준을 함께 보려 한다. 같은 모델이라도 자율성을 얼마나 주고 어떤 권한을 붙였는지에 따라 다른 요구가 적용되는 방향이다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2023-11-09책임 있는 군사 AI 정치 선언 Other multinational · 선언·성명
  2. 2023-01-25🇺🇸 미 국방부 지침 3000.09(자율 무기체계) Department of Defense · 행정규칙
동향 표기 · 자율성(83) / autonomy(15)
동향 문서 83기간 19개월최근 81%병기 2
018자율 계획autonomous planningAI 시스템이 사람의 안내가 거의 없이 다단계 전략을 세우고 실행하는 역량을 말함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량

용어 설명

AI 시스템이 사람의 안내가 거의 없이 다단계 전략을 세우고 실행하는 역량을 말함.

  • 목표를 하위 과제로 나누고 순서를 정하며, 중간 결과에 따라 계획을 수정하는 과정이 포함됨. AI 에이전트가 긴 작업을 맡을 수 있게 하는 핵심 역량임.
  • 계획 역량이 높아질수록 위임할 수 있는 업무가 넓어지지만, 사람이 개별 단계를 검토하기 어려워져 목표 오지정이나 의도하지 않은 우회 행동이 늦게 드러날 수 있음.

구별'자율 계획'은 계획을 세우고 실행하는 역량을, '자율성'은 실제 배치에서 사람 개입 없이 행동하도록 허용된 정도를 가리킴.

용어 관계

상위 역량 · 혼동 주의 자율성

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 인간의 안내가 거의 없거나 전혀 없이도 다단계 전략을 세우고 실행하는 AI 시스템의 역량으로 정의함. [1]

출처

  1. 1International AI Safety Report 2026, Glossary, p.148 · 원문 · 라이브러리에서 보기
원문 인용 1

번역인간 안내가 거의 없거나 전혀 없이도 다단계 전략을 세우고 실행하는 인공지능 시스템의 능력.

An AI system's ability to develop and execute multi-step strategies with little or no human guidance. | Commonly used for AI development and deployment.

출처 International AI Safety Report 2026 · p.149 · EN · 정의섹션 · 라이브러리에서 보기

PDF 표기 · Autonomous planning
PDF 문서 2정의섹션 1
019도구 사용tool useAI 모델이 검색·계산기·코드 실행·외부 서비스 같은 외부 기능을 호출해 스스로 할 수 없는 일을 처리하는 방식을 말함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어툴 사용

용어 설명

AI 모델이 검색·계산기·코드 실행·외부 서비스 같은 외부 기능을 호출해 스스로 할 수 없는 일을 처리하는 방식을 말함.

  • 모델이 도구 이름과 인자를 정해진 형식으로 출력하면 실행 환경이 이를 실제로 실행하고 결과를 모델에 돌려줌. AI 에이전트가 성립하는 기반임.
  • 외부 자료가 들어오는 경로는 프롬프트 인젝션의 입구가, 밖으로 나가는 경로는 정보 유출의 출구가 됨. 두 경로가 함께 열리면 심어 둔 지시가 내부 자료를 빼돌릴 수 있어, 도구별 권한 최소화와 실행 환경 격리가 기본 대책으로 다뤄짐.

구별'도구 사용'은 외부 기능을 호출하는 방식·역량 자체이고, '모델 컨텍스트 프로토콜'은 그 연결을 표준화한 규격임.

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

언어모델은 학습한 시점의 지식만 갖고 있고 계산도 정확하지 않다. 이 한계를 바깥의 기능으로 메우는 방식이 도구 사용이다. 모델이 도구 이름과 넘길 값을 정해진 형식으로 출력하면, 실행 환경이 그것을 실제로 실행하고 결과를 다시 모델에게 돌려준다. 검색으로 최신 정보를 가져오고, 계산기나 코드로 정확한 값을 얻고, 파일을 읽고 쓰고, 외부 서비스를 호출하는 일이 이렇게 이뤄진다. 에이전트가 성립하는 기반이기도 하다.

역량이 늘어난 만큼 공격면도 함께 늘어난다는 점을 함께 봐야 한다. 도구를 통해 외부 자료가 들어오는 경로는 프롬프트 인젝션의 입구가 되고, 도구를 통해 밖으로 나가는 경로는 자료가 유출되는 출구가 된다. 이 둘이 동시에 열려 있으면 공격자가 심어 둔 지시가 모델을 가로채 내부 자료를 밖으로 보내는 연결이 완성된다. 그래서 도구마다 권한을 최소한으로 좁히고 실행 환경을 격리하는 것이 에이전트 보안의 기본으로 다뤄진다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-04-27🇪🇨 에콰도르 SCE AI 도구 사용 감사 가이드 가이드라인·원칙
동향 표기 · 도구 사용(57)
동향 문서 57기간 15개월최근 88%병기 0
020다중 에이전트 시스템multi-agent system (MAS)여러 AI 에이전트가 서로의 행동과 목표에 적응하며 협력하거나 경쟁하는 상호작용 체계를 말함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어다중 에이전트멀티 에이전트

용어 설명

여러 AI 에이전트가 서로의 행동과 목표에 적응하며 협력하거나 경쟁하는 상호작용 체계를 말함.

  • 계획·수행·검토처럼 역할을 나눠 맡기는 구성이 흔하며, 검토 역할을 별도로 두면 한 에이전트의 실수를 다른 에이전트가 잡아내는 장치로도 작동함.
  • 잘못된 중간 결과가 다음 에이전트로 전달되며 증폭되고, 프롬프트 인젝션이 에이전트 간 신뢰 관계를 타고 번질 수 있음. 공모·책임 소재 불명확 같은 문제도 생김.
  • 개별 에이전트를 따로 시험해 정상이어도 함께 놓였을 때의 문제는 드러나지 않을 수 있어, 시스템 전체를 대상으로 한 평가가 따로 필요함.

용어 관계

먼저 알 개념 AI 에이전트

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 서로의 행동과 목표에 적응할 수 있고 협력하거나 경쟁할 수도 있는, 상호작용하는 (AI) 에이전트들의 네트워크로 정의함. [1]

출처

  1. 1International AI Safety Report 2026, Glossary, p.151–152 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 3

하나의 에이전트가 모든 일을 처리하는 대신 역할을 나눠 맡긴다. 계획을 세우는 에이전트, 실제로 수행하는 에이전트, 결과를 검토하는 에이전트를 따로 두는 식이다. 이렇게 하면 각 에이전트가 좁은 임무에 집중해 복잡한 작업을 감당할 수 있고, 검토 역할을 별도로 둔 구성은 한 에이전트의 실수를 다른 에이전트가 잡아내는 장치로도 작동한다. 사람의 조직에서 업무를 분담하는 것과 같은 발상이다.

그런데 조직을 만들면 조직 특유의 실패도 함께 생긴다. 잘못된 중간 결과가 다음 에이전트의 입력이 되어 오류가 커지면서 전달되고, 하나가 프롬프트 인젝션에 걸리면 서로 신뢰하는 관계를 타고 다른 에이전트까지 번진다. 문제가 생겼을 때 어느 단계에서 어긋났는지 추적하기 어렵고 책임 소재도 흐려진다. 각 에이전트를 따로 시험해 모두 정상이어도 함께 놓았을 때 생기는 문제는 드러나지 않으므로, 시스템 전체를 하나로 보고 평가하는 절차가 따로 필요하다.

번역서로의 행동·목표에 적응하며—협력하거나 경쟁할 수도 있는—(AI) 에이전트들의 상호작용 네트워크.

A network of interacting (AI) agents that may adapt to each other's behaviour and goals, including by potentially cooperating or competing.

출처 International AI Safety Report 2026 · p.152–153 · EN · 정의섹션 · 라이브러리에서 보기

PDF 표기 · Multi-agent system
동향 표기 · 다중 에이전트(48) / multi-agent(29)
동향 문서 5기간 0개월최근 0%병기 0PDF 문서 5정의섹션 1
021모델 컨텍스트 프로토콜Model Context Protocol (MCP)AI 모델이 외부 도구·데이터 원천에 연결되는 방식을 표준화한 개방형 통신 규격을 말함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어MCP

용어 설명

AI 모델이 외부 도구·데이터 원천에 연결되는 방식을 표준화한 개방형 통신 규격을 말함.

  • 도구 제공자는 규격에 맞는 서버를 한 번 만들고 모델 쪽 응용 프로그램은 그 서버를 붙여 쓰는 구조로, 모델·서비스 조합마다 연결 코드를 따로 만들던 부담을 줄임.
  • 연결이 쉬워지는 만큼 신뢰해야 할 대상도 늘어남. 외부 서버가 돌려준 내용이 지시로 읽혀 프롬프트 인젝션 경로가 되거나, 악성 서버가 모델의 권한을 악용하는 공급망 위험이 생김. 서버 출처 확인과 권한 최소화가 요구됨.

구별'도구 사용'은 모델이 외부 기능을 호출하는 역량·방식 자체를, '모델 컨텍스트 프로토콜'은 그 연결을 표준화한 특정 규격을 가리킴.

용어 관계

먼저 알 개념 도구 사용

해설 · 참고 기사 3 · 관련 연구 1

도구 연결을 모델마다 서비스마다 따로 구현하던 것을 공통 규격으로 바꾼 것이다. 예전에는 어떤 도구를 어떤 모델에 붙이려면 그 조합마다 연결 코드를 만들어야 했다. 규격이 정해지면 도구를 제공하는 쪽은 규격에 맞는 서버를 한 번 만들고, 모델을 쓰는 쪽은 그 서버를 가져다 붙이면 된다. 2024년 앤트로픽이 공개한 뒤 다른 곳으로도 채택이 퍼졌고, 파일 시스템, 데이터베이스, 협업 도구를 붙이는 서버가 널리 공유되고 있다.

연결이 쉬워지는 만큼 신뢰해야 하는 대상도 늘어난다는 점이 안전 측면의 핵심이다. 외부 서버가 돌려주는 내용은 자료로 처리돼야 하는데, 모델에게는 지시처럼 읽힐 수 있다. 서버 목록에 악성 항목이 섞여 들어오면 그 서버는 모델이 가진 권한을 그대로 활용할 수 있게 된다. 그래서 서버의 출처를 확인하고, 서버마다 허용할 권한 범위를 미리 고정하고, 도구가 돌려준 결과를 명령이 아닌 데이터로만 취급하도록 처리하는 것이 요구된다.

동향 표기 · MCP(35)
동향 문서 35기간 11개월최근 91%병기 3
022역량capabilityAI 시스템이 수행할 수 있는 과제·기능의 범위와 그것을 얼마나 능숙하게 수행하는지를 의미함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어AI 역량능력

용어 설명

AI 시스템이 수행할 수 있는 과제·기능의 범위와 그것을 얼마나 능숙하게 수행하는지를 의미함.

  • 일반 지식·추론·코딩 같은 범용 역량과 사이버 공격·생물학 지식 같은 특정 위험 역량으로 나눠 보며, 주로 벤치마크와 역량 평가로 측정함.
  • 프론티어 AI 개발사의 안전 정책은 특정 위험 역량이 임계값에 이르렀는지를 추가 안전조치의 기준으로 삼는 경우가 많아, 역량 측정이 위험 관리의 출발점이 됨.
  • 역량은 '할 수 있는 것'이고 실제로 그렇게 행동하려는 경향(성향)과는 다름. 또 평가에서 드러나지 않은 역량이 뒤늦게 발견되거나 의도적으로 숨겨질 수 있어 측정의 한계가 있음.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • AI 시스템이 수행할 수 있는 과제나 기능의 범위와, 그것을 얼마나 능숙하게 수행하는지로 정의함. [1]

출처

  1. 1International AI Safety Report 2025, p.38; Glossary p.219–220 · 원문
원문 인용 3 · 관련 연구 4 · 정책 문서 4

번역인공지능 시스템이 수행할 수 있는 과제·기능의 범위와, 그것을 얼마나 능숙하게 수행하는가.

The range of tasks or functions that an AI system can perform, and how competently it can perform them.

출처 International Scientific Report on the Safety of Advanced AI · p.38, p.219–220 · EN · 정의섹션

번역인공지능 시스템이 수행할 수 있는 과제·기능의 범위와, 그것을 얼마나 능숙하게 수행하는가.

The range of tasks or functions that an AI system can perform, and how competently it can perform them. Technical approaches to risk management 3.1 Risk management overview

출처 International Scientific Report on the Safety of Advanced AI · p.158–159 · EN · 정의섹션

번역인공지능 시스템이 수행할 수 있는 과제의 범위와, 그것을 얼마나 능숙하게 수행하는가.

The range of tasks that an AI system can perform, and how competently it can perform them.

출처 International Scientific Report on the Safety of Advanced AI · p.319 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-29🇦🇪 UAE AI 기반 국가 교육자 역량 평가 기타
  2. 2026-08-26🇨🇳 중국 사이버보안 기술·AI 보안 역량 성숙도 평가 국가표준 표준
  3. 2026-07-08AI 시대의 역량 OECD / OECD-Korea Digital Soci
  4. 2026-05-04사이버보안을 위한 AI 방어자 역량 강화 보고서 World Economic Forum / KPMG ·
PDF 표기 · CAPABILITIES · Capability
PDF 문서 36정의섹션 7
023작업 시간 지평task time horizonAI가 일정한 성공률로 끝까지 완수할 수 있는 과제의 길이를, 같은 과제를 사람이 수행하는 데 걸리는 시간으로 나타낸 역량 지표를 말함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량

용어 설명

AI가 일정한 성공률로 끝까지 완수할 수 있는 과제의 길이를, 같은 과제를 사람이 수행하는 데 걸리는 시간으로 나타낸 역량 지표를 말함.

  • 과제를 사람의 소요 시간 기준으로 정렬하고, 모델이 정해진 성공률로 완수하는 최대 길이를 찾음. 유형별로 흩어진 벤치마크 점수를 하나의 시간 축으로 표현할 수 있다는 장점이 있음.
  • 긴 과제가 어려운 것은 오류 누적, 맥락 상실, 예상 밖 상황에서의 회복 실패 때문임. 이 길이가 늘면 위임 가능한 업무 범위가 넓어지고 감독이 단계별 확인에서 사후 검증으로 옮겨 가므로 정책 지표로 주목받음.
  • 어떤 과제군과 성공률 기준을 쓰느냐에 따라 값이 크게 달라지므로, 서로 다른 측정 결과를 비교할 때 조건을 확인해야 함.

용어 관계

먼저 알 개념 역량

해설 · 참고 기사 3

역량을 정확도가 아니라 시간으로 재는 지표다. 어떤 과제를 사람이 처리하는 데 걸리는 시간을 기준으로 삼고, 모델이 일정한 성공률로 완수할 수 있는 최대 길이를 찾는다. 몇 분이면 되는 문제는 잘 풀지만 몇 시간짜리 작업은 중간에 방향을 잃는 차이를, 문제 유형별로 흩어진 점수가 아니라 하나의 축으로 표현할 수 있다는 것이 장점이다. 짧은 과제의 정확도가 같은 두 모델이 긴 과제에서는 크게 갈리는 일이 흔하다.

긴 작업이 어려운 이유는 단순히 단계가 많기 때문이 아니다. 오류가 누적되고, 앞에서 무엇을 했는지 놓치고, 예상하지 못한 상황에서 회복하지 못하기 때문이다. 그래서 이 길이가 늘어나는 것은 개별 역량이 조금 나아진 것과 다른 종류의 진전으로 읽힌다. 정책 지표로도 주목받는데, 길이가 늘면 위임할 수 있는 업무의 범위가 함께 넓어지고 감독의 성격도 단계별 확인에서 사후 검증으로 옮겨 가기 때문이다.

동향 표기 · 시간 지평(13) / 지평(17)
동향 문서 13기간 9개월최근 62%병기 4
024프론티어 AIfrontier AI현존하는 가장 앞선 AI 모델의 역량에 맞먹거나 이를 넘어서는, 특히 역량이 높은 범용 AI를 가리키는 말임.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량

용어 설명

현존하는 가장 앞선 AI 모델의 역량에 맞먹거나 이를 넘어서는, 특히 역량이 높은 범용 AI를 가리키는 말임.

  • 기술 분류라기보다 정책 용어로, 2023년 영국 AI 안전 정상회의 전후로 국제 논의에서 널리 쓰이게 됨. 기준이 '현재 최첨단'에 묶여 있어 가리키는 대상이 시간에 따라 바뀜.
  • 새로운 위험 역량이 처음 나타날 수 있는 지점이어서 배포 전 평가, 책임 있는 스케일링 정책, 안전 사례 같은 자율·제도적 안전 관리의 주된 대상이 됨.

구별'프론티어 AI'는 역량의 상대적 위치를, '파운데이션 모델'·'범용 AI'는 모델의 쓰임새와 적응 범위를 기준으로 한 말임.

용어 관계

상위 범용 AI · 먼저 알 개념 역량 · 혼동 주의 파운데이션 모델

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 오늘날 가장 앞선 AI의 역량에 맞먹거나 이를 넘는 특히 역량이 높은 AI를 가리키는 말로 쓰이기도 한다고 설명하고, 보고서에서는 특히 역량이 높은 범용 AI로 이해할 수 있다고 함. [1]

출처

  1. 1International AI Safety Report 2025, Glossary, p.221–222 · 원문
원문 인용 2 · 관련 연구 4 · 정책 문서 4

번역오늘날 가장 앞선 AI의 맞먹거나 넘는 특히 능력 있는 AI를 가리키는 말로 쓰이기도 한다. 이 보고서에서는 특히 능력 있는 범용 AI로 이해할 수 있다.

A term sometimes used to refer to particularly capable AI that matches or exceeds the capabilities of today's most advanced AI. For the purposes of this report, frontier AI can be thought of as particularly capable general-purpose AI.

출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션

프론티어 AI는 공개·비공개 여부와 상관없이, 최첨단 수준의 성능을 보이며 광범위한 영향력과 잠재적 위험을 동시에 갖는 차세대 AI 모델군을 포괄적으로 지칭하는 용어입니다. 2023년 영국 AI 안전 정상회의(AI Safety Summit)에서 공식적으로 언급된 이후, 국제 사회에서 고도화된 AI를 구분하는 정책적 분류로 사용되고 있습니다. 이러한 모델은 언어, 추론, 문제 해결 등 다양한 영역에서 인간의 능력에 근접하거나 이를 능가할 가능성을 지니며, AI 기술 발전의 최전선을 의미합니다.

출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.84 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-12🇬🇧 영국 AISI, 「프론티어 AI 개발의 기술적 모범 사례를 향하여」 UK AI Security Institute · 정책보
  2. 2026-10-01Meta Superintelligence Scaling 프레임워크 v2.1 Meta · 가이드라인·원칙
  3. 2026-09-21🇳🇴 프론티어 AI 모델 통제 촉구 핀란드 대통령실(Office of the Preside
  4. 2026-09-12AI 안보 Institute 프론티어 AI Trends 보고서 AIGL · 기구·제도
PDF 표기 · Frontier AI
PDF 문서 24정의섹션 1
025인공일반지능artificial general intelligence (AGI)특정 과제에 한정되지 않고 사람 수준의 폭넓은 인지 과제를 수행할 수 있다고 가정되는 AI를 의미함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어일반인공지능

용어 설명

특정 과제에 한정되지 않고 사람 수준의 폭넓은 인지 과제를 수행할 수 있다고 가정되는 AI를 의미함.

  • 합의된 정의나 도달 여부를 판정할 기준이 없음. 대다수 직무 수행 같은 경제적 기준, 처음 보는 과제의 학습 같은 인지적 기준, 특정 시험 통과 기준 등이 서로 다른 시점을 가리킴.
  • AI 안전 논의에서는 통제 상실·파국적 위험 같은 장기 위험 시나리오의 전제로 자주 등장함. 다만 개념이 느슨해 규제 문서는 연산량·위험 역량·작업 시간 지평 같은 측정 가능한 대리 지표를 씀.

구별'인공일반지능(AGI)'은 사람 수준의 일반 지능이라는 가정적 목표를, '범용 AI(GPAI)'는 여러 과제에 쓰일 수 있는 현존 모델·시스템을 가리킴. '범용'은 GPAI의 번역어이므로 AGI를 '범용인공지능'으로 옮기는 것은 잘못된 번역임. 그보다 더 나아간 개념은 '초지능'임.

용어 관계

다음 단계 초지능 · 혼동 주의 인공지능, 범용 AI, 협소 AI

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 2

특정 용도에만 쓰이는 협소 AI와 대비되는 개념이다. 문제는 합의된 정의나 도달 여부를 판정할 기준이 없다는 점이다. 경제적 기준으로 보아 사람이 하는 대다수 직무를 수행할 수 있으면 그렇다고 볼 수도 있고, 인지적 기준으로 보아 처음 보는 과제를 스스로 배워 해낼 수 있으면 그렇다고 볼 수도 있으며, 특정 시험들을 통과하는 것으로 정의할 수도 있다. 기준마다 서로 다른 시점을 가리키기 때문에 도달했는지를 두고 소통이 어긋나기 쉽다.

정의가 느슨하다는 것은 정책 언어로 쓰기 어렵다는 뜻이기도 하다. 규제 대상을 인공일반지능 여부로 정하면, 그 판정을 두고 다투는 사이 규제가 작동하지 못한다. 그래서 규제 문서는 이 개념을 직접 쓰는 대신 측정할 수 있는 대리 지표를 쓴다. 학습에 투입된 계산량, 특정 위험 역량을 갖췄는지 여부, 사람 개입 없이 완수할 수 있는 작업의 길이 같은 것들이다. 비슷한 약어인 범용 AI 모델(GPAI)과는 다른 개념이므로 함께 나올 때 구별해 읽어야 한다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2024-07-02Magic AGI 준비 정책 Magic · 가이드라인·원칙
  2. 2023-05-30🇨🇳 베이징시 범용 인공지능 혁신발전 촉진 조치 Chinese provincial and local g
동향 표기 · AGI(41)
동향 문서 41기간 14개월최근 88%병기 5
026협소 AInarrow AI검색 결과 순위 매기기, 동물 종 분류, 체스처럼 특정 과제 하나 또는 매우 유사한 몇 가지 과제만 수행하도록 설계된 AI를 말함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어특화 AI

용어 설명

검색 결과 순위 매기기, 동물 종 분류, 체스처럼 특정 과제 하나 또는 매우 유사한 몇 가지 과제만 수행하도록 설계된 AI를 말함.

  • 적용 범위가 좁아 시험 조건과 사용 조건이 비교적 일치하므로, 성능·위험을 해당 용도 안에서 평가하고 관리하기 쉬움.
  • 범용성이 낮다고 위험이 없는 것은 아님. 채용·신용평가·감시처럼 사람에게 중대한 영향을 주는 용도에서는 편향·차별·자동화 편향 같은 문제가 그대로 나타남.

구별'협소 AI'는 한정된 과제에 특화된 AI이고, '범용 AI'는 폭넓은 과제를 수행할 수 있는 모델·시스템임. '인공일반지능'은 사람 수준의 일반 지능이라는 가정적 개념임.

용어 관계

상위 인공지능 · 혼동 주의 인공일반지능, 범용 AI

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 웹 검색 결과 순위, 동물 종 분류, 체스처럼 특정 과제 하나 또는 매우 유사한 몇 가지 과제만 수행하도록 설계된 AI 모델·시스템으로 정의하고, 범용 AI와 대비함. [1] [2]

출처

  1. 1International AI Safety Report 2025, Glossary, p.223–224 · 원문
  2. 2International AI Safety Report 2026, Glossary, p.151–152 · 원문 · 라이브러리에서 보기
원문 인용 2

번역웹 검색 결과 순위, 동물 종 분류, 체스처럼 한두 가지 유사 과제만 수행하도록 설계된 AI 모델·시스템. 대조: 범용 AI.

An AI model or system that is designed to perform only one specific task or a few very similar tasks, such as ranking Web search results, classifying species of animals, or playing chess. See 'General-purpose AI' for contrast.

출처 International AI Safety Report 2026 · p.152–153 · EN · 정의섹션 · 라이브러리에서 보기

번역웹 검색 결과 순위, 동물 종 분류, 체스처럼 한두 가지 유사 과제에 특화된 AI. 대조: 범용 AI.

A kind of AI that is specialised to perform one specific task or a few very similar tasks, such as ranking web search results, classifying species of animals, or playing chess. See 'General -purpose AI' for contrast.

출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션

PDF 표기 · Narrow AI
PDF 문서 8정의섹션 2
027초지능superintelligence거의 모든 인지 영역에서 인간 최고 수준을 크게 넘어서는 지능을 가진 가정적 AI를 의미함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어슈퍼인텔리전스

용어 설명

거의 모든 인지 영역에서 인간 최고 수준을 크게 넘어서는 지능을 가진 가정적 AI를 의미함.

  • 논의의 무게는 역량 자체보다 통제 가능성에 놓임. 감독은 판단의 옳고 그름을 검증할 수 있을 때 성립하는데, 상대가 사람보다 뛰어나면 그 검증이 어려워진다는 문제가 핵심임.
  • 도달 후에는 대비할 시간이 없으므로 통제 방법을 미리 확보해야 한다는 입장과, 시점이 불확실한 가정에 관심이 쏠려 현재의 편향·오용 문제가 밀린다는 입장이 우선순위를 두고 갈림.

구별'인공일반지능'은 사람 수준의 일반 지능을, '초지능'은 그것을 크게 넘어서는 수준을 가리킴.

용어 관계

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

인공일반지능보다 한 단계 위를 가리키는 가정적 개념이다. 논의의 무게가 역량 자체보다 통제 가능성에 놓인다는 점이 이 개념의 특징이다. 사람보다 모든 면에서 뛰어난 시스템을 사람이 어떻게 감독할 수 있는가라는 문제인데, 여기에는 실질적인 난점이 있다. 감독은 판단의 옳고 그름을 검증할 수 있을 때 성립하지만, 상대가 나보다 뛰어나면 그 검증 자체가 불가능해진다. 확장 가능한 감독이라는 연구 주제가 이 문제를 다룬다.

정책 대상으로 다룰 수 있는지에 대해서는 견해가 갈린다. 한쪽은 도달한 뒤에는 대비할 시간이 없으므로 통제 방법을 미리 확보해야 한다고 본다. 다른 쪽은 시점이 불확실한 가정에 자원과 관심을 쓰는 사이, 이미 벌어지고 있는 편향·오용·노동 영향 같은 문제가 밀린다고 본다. 두 입장이 상대의 문제의식을 부정하지 않으면서도 우선순위에서 갈리기 때문에, 논쟁이 사실 확인으로 해소되지 않는 성격을 띤다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-16🇺🇸 「초지능 학습·평가의 사고 대비와 대응 핵심 실행 방안」 미국 NIST CAISSI, NSA SISC, CISA
  2. 2026-10-01Meta Superintelligence Scaling 프레임워크 v2.1 Meta · 가이드라인·원칙
  3. 2026-09-29🇺🇸 「백악관 초지능 협약」 미국 백악관(The White House) / Goog
  4. 2026-09-29🇺🇸 초지능(SI) 시대의 개막 미국 백악관( The White House) / 미국
동향 표기 · 초지능(23)
동향 문서 23기간 12개월최근 91%병기 2
028재귀적 자기 개선recursive self-improvementAI 시스템이 자기 자신이나 후속 AI 시스템의 개발·개선을 스스로 수행하고, 그 결과 향상된 역량으로 다시 개선을 이어 가는 되먹임 과정을 말함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어재귀적 자기 향상

용어 설명

AI 시스템이 자기 자신이나 후속 AI 시스템의 개발·개선을 스스로 수행하고, 그 결과 향상된 역량으로 다시 개선을 이어 가는 되먹임 과정을 말함.

  • AI가 AI 연구·개발 업무(코드 작성, 실험 설계, 학습 수행 등)를 상당 부분 자동화하는 단계에서 나타날 수 있는 현상으로 논의됨.
  • 개선 주기가 사람의 검토 속도보다 빨라지면 역량이 짧은 기간에 급격히 높아지고 인간 감독이 따라가지 못할 수 있어, 통제 상실과 초지능 시나리오의 핵심 경로로 꼽힘.
  • 실제로 어느 정도 속도로 일어날지, 연산·데이터 같은 물리적 제약이 이를 얼마나 늦출지는 견해가 갈림.

구별'재귀적 자기 개선'은 향상된 역량으로 다시 개선을 이어 가는 되먹임 고리를 가리키고, 'AI 연구 자동화'는 그 수단이나 단계가 될 수 있는 활동임.

용어 관계

다음 단계 통제 상실, 초지능

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • AI 연구 개발을 가속하는 각 발전이 다음 발전을 촉진하면 수십 년의 진전이 몇 년 안에 일어날 수 있다고 보면서도, AI 지원 연구 자동화가 실제로 얼마나 가속할지는 전문가 의견이 엇갈린다고 정리함. [1]
  • 프론티어 AI 안전 프레임워크 가운데 오픈AI의 대비 프레임워크는 AI 자기 개선 역량을 생물·화학, 사이버와 함께 관리 위험 범주로 둠. [2]
🇪🇺EU GPAI 실천강령2025
  • 부록 1.4의 특정 시스템적 위험인 '통제 상실'은 자기 개선, AI 모델·시스템의 자율적 생성·개선 등에서 비롯될 수 있다고 명시함. [3]
🇬🇧UK AISI2025
  • 안전 프레임워크의 머신러닝 연구개발 역량 임계값 사례로, 모델 자기 개선의 핵심 경로상 중요한 단계가 될 새로운 ML 과업 수행 능력(오픈AI) 등을 소개함. [4]
📄안전성 확보 가이드라인한국, 2026
  • 위험 식별 시 고도화된 자율성·자기개선·조작 능력을 위험성 증가 요인으로 보고, 역량 임계치 기반 위험 시나리오를 수립하도록 함. [5]

출처

  1. 1『2026 국제 AI 안전 보고서』 한국어판, 1.3, p.42–43 · 원문
  2. 2International AI Safety Report 2026, p.115 · 원문 · 라이브러리에서 보기
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.4, p.37 · 원문
  4. 4UK AISI (2025). Emerging Practices in Frontier AI Safety Frameworks, p.11 · 원문
  5. 5『인공지능 안전성 확보 가이드라인』 v1.3, p.28 · 원문
관련 연구 4
029피지컬 AIphysical AI로봇·자율주행차·산업 기계 등에 탑재되어 물리 세계를 인식하고 그 안에서 직접 행동하는 AI를 말함.
#02. 에이전트·프론티어 역량 Agents & Frontier Capabilities
AI 기술·역량
대체어물리 AI

용어 설명

로봇·자율주행차·산업 기계 등에 탑재되어 물리 세계를 인식하고 그 안에서 직접 행동하는 AI를 말함.

  • 휴머노이드 로봇, 자율주행, 제조 자동화가 대표 영역이며, 언어 모델의 계획·상식 판단을 로봇 제어와 결합해 자연어 지시를 하위 동작으로 나눠 수행하게 하는 방향으로 연구가 모이고 있음.
  • 잘못된 출력이 곧 물리적 힘으로 나타나 사람이 다칠 수 있고 되돌릴 수 없는 행위의 비중이 큼. 실시간으로 움직여 사람이 판단을 검토할 시간이 부족하므로 인간 감독을 어떤 형태로 유지할지가 핵심 과제임.
  • 기존 기계·제품 안전 규제와 AI 규제가 겹쳐, 어느 틀을 어떻게 함께 적용할지의 문제가 생김.

용어 관계

해설 · 참고 기사 3

화면 안에서 글과 이미지를 다루던 AI가 몸을 갖는 국면을 가리킨다. 휴머노이드 로봇, 자율주행, 제조 현장의 자동화가 대표 영역이다. 최근 흐름은 언어 모델이 가진 계획 역량과 상식적 판단을 로봇 제어에 결합하는 쪽이다. 예전에는 동작 하나하나를 프로그래밍해야 했지만, 자연어로 지시하면 그것을 하위 동작으로 쪼개 수행하게 만드는 방향으로 연구가 모이고 있다.

안전 요구가 달라지는 지점이다. 잘못된 출력이 곧 물리적인 힘으로 나타나므로 사람이 다칠 수 있고, 되돌릴 수 없는 행위의 비중이 훨씬 크다. 기존의 기계 안전 규제와 AI 규제가 겹치면서 어느 틀을 적용할지의 문제도 생긴다. 여기에 고유한 과제가 하나 더 붙는다. 물리 세계는 실시간으로 움직이므로 사람이 판단을 검토할 시간이 확보되지 않는다는 것이다. 인간 감독을 어떤 형태로 유지할 수 있는지가 이 영역의 핵심 물음이다.

동향 표기 · 피지컬(26) / Physical(8)
동향 문서 26기간 6개월최근 100%병기 0
030위험riskAI의 개발·배포·이용에서 비롯되는 피해가 발생할 가능성과 그 피해의 심각도를 결합해 나타낸 개념을 의미함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고
대체어AI 위험

용어 설명

AI의 개발·배포·이용에서 비롯되는 피해가 발생할 가능성과 그 피해의 심각도를 결합해 나타낸 개념을 의미함.

  • 피해를 일으킬 수 있는 원천(위험원), 그것이 실제 피해로 이어질 가능성, 피해의 크기·범위·되돌릴 수 있는지를 함께 따져 수준을 매김.
  • 아직 일어나지 않은 피해를 다루는 개념이므로 위험 평가·위험 임계값·위험 완화 같은 사전적 관리 절차의 기준이 되며, 규제 의무의 강도를 정하는 근거로도 쓰임.
  • 범용 AI는 용도가 열려 있고 역량이 빠르게 변해 발생 가능성과 심각도를 추정할 자료가 부족하다는 점이 측정의 한계로 지적됨.

구별'위험원(hazard)'은 피해를 일으킬 잠재력이 있는 사건·활동·조건 자체를, '위험(risk)'은 그 피해의 발생 가능성과 심각도를 결합한 정도를, '피해(harm)'는 실제로 나타난 부정적 결과를 가리키며, '위험'은 정도를 따질 수 있는 개념이라는 점이 핵심임.

용어 관계

하위 파국적 위험, 이중 용도 위험, 시스템적 위험 · 먼저 알 개념 피해, 위험원 · 혼동 주의 위협

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 위험을 AI의 개발·배포·이용에서 생기는 피해의 발생 확률과 심각도의 결합으로 정의하고, 위험원(hazard)은 피해를 일으킬 잠재력이 있는 사건·활동으로 따로 정의함. [1]
🇺🇸NISTAI 100-1, 2023
  • AI RMF는 위험을 사건의 발생 확률과 그 결과의 크기·정도를 합친 복합 척도로 보고 영향은 긍정·부정 모두일 수 있다고 하면서(ISO 31000:2018 각색), 부정적 영향에 대해서는 피해의 크기와 발생 가능성의 함수로 설명함. [2]
🌐OECD2024
  • 잠재적 피해를 피해가 발생할 위험 또는 가능성으로 표현하고 위험을 사건 발생 확률과 결과의 심각도의 함수로 설명하면서, 실제 피해는 '현실화된 위험'으로 구분함. [3]

출처

  1. 1International AI Safety Report 2025, p.158–159 · 원문
  2. 2NIST AI 100-1 (AI RMF 1.0), 1.1, p.4–5 · 원문
  3. 3OECD (2024). Defining AI incidents and related terms, p.10 · 원문
관련 연구 4 · 정책 문서 4

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-14🇪🇺 EU 집행위 시행결정 2026/2274 행정규칙
  2. 2026-09-29🇦🇺 호주 지침 002-2026 행정규칙
  3. 2026-09-21🇺🇳 AI 에이전트 정렬 실패·통제 상실 위험 브리프 인공지능 독립 국제과학패널(Independent Int
  4. 2026-09-21Z.ai · Concordia AI Frontier Open-Weight AI 위험관리 프레임워크 Z.ai (Zhipu AI) · Concordia AI
031위험원hazardAI 시스템의 개발·이용·오작동이 피해나 AI 사고로 이어질 잠재력을 지닌 사건·상황·조건, 즉 피해의 원천을 의미함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고
대체어AI 위험원위험 요인

용어 설명

AI 시스템의 개발·이용·오작동이 피해나 AI 사고로 이어질 잠재력을 지닌 사건·상황·조건, 즉 피해의 원천을 의미함.

  • 위험한 역량, 설계·학습상의 결함, 취약점, 부적절한 배포 맥락 등이 위험원이 될 수 있으며, 아직 피해가 발생하지 않았다는 점에서 AI 사고와 구별됨.
  • 위험원을 먼저 식별해야 그것이 피해로 이어질 경로와 가능성을 따져 AI 위험의 수준을 추정할 수 있으므로, 위험 평가와 AI 사고 모니터링의 출발점이 됨.
  • OECD는 실제 피해가 난 사건을 '사고', 피해로 이어질 개연성이 있었던 사건을 '위험원'으로 나눠, 사고 보고 체계에서 잠재적 사건까지 기록하도록 함.

구별'위험원(hazard)'은 피해를 일으킬 수 있는 원천이고, '위험(risk)'은 그 원천이 피해로 이어질 가능성과 심각도를 결합한 정도임. 같은 위험원이라도 노출·맥락·안전장치에 따라 위험 수준은 달라짐. 'hazard'를 '위험'으로 옮기면 두 개념이 섞이므로 '위험원'으로 구별함.

용어 관계

하위 아차사고 · 다음 단계 사고 · 혼동 주의 위협

주요 기관·문서별 개념 및 적용

🌐OECD2024
  • AI 위험원을 하나 이상의 AI 시스템의 개발·이용·오작동이 AI 사고, 즉 건강 피해, 핵심 기반시설 교란, 인권·법적 의무 침해, 재산·공동체·환경 피해로 이어질 개연성이 있는 사건·상황·일련의 사건으로 정의함(작업 정의). [1]
  • 잠재적 피해를 위험원 개념과, 실제 피해를 사고 개념과 연결해 둘을 구분함. [2]
🌐국제 AI 안전 보고서2025
  • 위험원을 인명 손실, 부상, 사회적 혼란, 환경 피해 등 피해를 일으킬 잠재력이 있는 모든 사건·활동으로 정의함. [3]

출처

  1. 1OECD (2024). Defining AI incidents and related terms, p.13 · 원문
  2. 2OECD (2024). Defining AI incidents and related terms, p.10 · 원문
  3. 3International AI Safety Report 2025, p.158–159 · 원문
관련 연구 1
032피해harmAI 시스템의 개발·이용·오작동이 직간접적으로 개인·집단·사회·환경에 끼친 부정적 영향이나 손상을 의미함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고
대체어AI 피해위해

용어 설명

AI 시스템의 개발·이용·오작동이 직간접적으로 개인·집단·사회·환경에 끼친 부정적 영향이나 손상을 의미함.

  • 신체·정신 건강 피해, 핵심 기반시설 교란, 인권·법적 권리 침해, 재산·공동체·환경 피해 등으로 나뉘며, 심각도·범위·지리적 규모·되돌릴 수 있는지 등의 차원으로 그 크기를 따짐.
  • 피해가 실제로 발생했는지가 사고와 위험원을 가르는 기준이 되므로, 피해 정의와 분류는 사고 보고·책임 배분·구제 제도의 바탕이 됨.
  • 차별, 정서적 의존처럼 서서히 누적되거나 측정이 어려운 피해는 포착이 늦어진다는 지적이 있음.

구별'피해(harm)'는 실제로 나타난(또는 나타날 수 있는) 부정적 결과 자체이고 '위험(risk)'은 그 피해의 발생 가능성과 심각도를 결합한 정도, '위험원(hazard)'은 피해를 일으킬 수 있는 원천이며, 실제 피해가 발생한 사건은 '사고'로 기록됨.

주요 기관·문서별 개념 및 적용

🌐OECD2024
  • 피해를 사고·위험원 정의의 중심 개념으로 두고, 실제 피해는 현실화된 위험, 잠재적 피해는 위험원과 연결된 개념으로 구분함. [1]
  • 사고·위험원 정의에서 피해 유형을 건강 피해, 핵심 기반시설 교란, 인권·법적 의무 침해, 재산·공동체·환경 피해의 네 범주로 제시함. [1]
🇺🇸NISTAI 100-1, 2023
  • AI RMF는 부정적 영향 또는 피해가 개인·집단·공동체·조직·사회·환경·지구 차원에서 경험될 수 있다고 봄. [2]

출처

  1. 1OECD (2024). Defining AI incidents and related terms, p.10, p.11, p.13 · 원문
  2. 2NIST AI 100-1 (AI RMF 1.0), 1.1, p.4–5 · 원문
관련 연구 4 · 정책 문서 4

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-07의료 AI 책임 있는 확산 마드리드 회의 보고서 OECD 고용노동사회국(ELS) / 스페인 보건부(회의
  2. 2026-01-22🇺🇸 아동의 AI 기술 피해 방지법(H.R. 7218) United States Congress · 법안
  3. 2025-09-04🇺🇸 미국 아동 AI 피해 법안 (S 2714) United States Congress · 법안
  4. 2025-04-01🇺🇸 디지털 착취·조작 피해자 보호법 2025 United States Congress · 법안
033위협threat취약점을 악용하거나 AI를 수단으로 삼아 피해를 일으킬 수 있는 행위자, 행위 또는 그 가능성을 의미함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고
대체어위협 요인

용어 설명

취약점을 악용하거나 AI를 수단으로 삼아 피해를 일으킬 수 있는 행위자, 행위 또는 그 가능성을 의미함.

  • 보안 관점에서는 행위자(국가 지원 조직, 범죄 집단, 내부자 등), 의도, 역량, 수단의 조합으로 파악하며, 위협 모델링을 통해 실제로 성립하는 조합을 골라 방어 자원을 배분함.
  • AI는 사이버 공격·허위 정보 등에서 기존 공격의 비용과 숙련 장벽을 낮춰 위협의 규모를 키울 수 있고, AI 시스템 자체가 프롬프트 인젝션·모델 가중치 탈취 같은 위협의 표적이 되기도 함.
  • 오정렬된 AI가 스스로 위협 행위자처럼 행동할 가능성도 AI 통제 연구에서 위협으로 다뤄짐.

구별'위협(threat)'은 주로 의도를 지닌 행위자와 그 행위를 가리키는 보안 용어이고, '위험원(hazard)'은 의도와 관계없이 오작동·결함까지 포함해 피해를 일으킬 수 있는 원천 전반을 가리킴. '위험(risk)'은 위협이나 위험원이 피해로 이어질 가능성과 심각도를 결합한 정도임.

용어 관계

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

보안 관점에서 보면 취약점이 있어도 그것을 노리는 쪽이 없으면 공격에 의한 피해는 생기지 않는다. 위협은 그 노리는 쪽을 가리키는 말이다. 보안 실무에서는 누가(국가가 지원하는 조직, 금전을 노리는 범죄 집단, 내부 직원), 무엇을 노리고, 어떤 수단을 쓰는지 조합해 목록으로 정리한다. 이렇게 정리해 두면 무한히 많은 가능성 가운데 실제로 성립하는 조합만 골라 방어 자원을 배분할 수 있다. 위협 모델링이라고 부르는 작업이다.

AI가 위협 지형을 바꾸는 방식은 전혀 새로운 공격을 발명하는 쪽보다 진입장벽을 낮추는 쪽에서 먼저 두드러진다는 분석이 많다. 고급 기법을 쓰려면 필요했던 숙련도와 시간이 줄면, 같은 공격을 할 수 있는 사람의 수가 늘고 표적별로 맞춘 공격을 대량으로 만드는 일이 가능해진다. 그래서 위협을 평가할 때 새로운 종류가 생겼는지 묻는 것만으로는 부족하다. 기존 공격의 비용과 규모가 어떻게 달라졌는지를 함께 봐야 실제 변화를 잡을 수 있다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-08-31AI Threat 대비 Playbook: 4-Pillar Operating 프레임워크 안보 Leaders AIGL · 가이드라인·원칙
  2. 2026-08-03🇰🇷 국가안보·핵심 인프라 위협 고위험 AI 모델 지정·관리체계 법안 법안
  3. 2026-07-27🇺🇸 외국산 첨단 로봇 국가안보 결정 미국 연방통신위원회(Federal Communicati
  4. 2026-07-23🇺🇸 협력적 적대 위협·안보 위험법(HR 9914) 법안
동향 표기 · 위협(257)
동향 문서 257기간 25개월최근 86%병기 10
034파국적 위험catastrophic riskAI로 인해 대규모 인명 피해나 사회 전반에 걸친 심각하고 되돌리기 어려운 피해가 발생할 위험을 의미함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고
대체어재앙적 위험

용어 설명

AI로 인해 대규모 인명 피해나 사회 전반에 걸친 심각하고 되돌리기 어려운 피해가 발생할 위험을 의미함.

  • 화학·생물·방사능·핵 무기 개발 지원, 대규모 사이버 공격, 통제 상실 등이 주요 경로로 거론되며, 피해의 규모와 비가역성을 기준으로 일반적인 AI 위험과 구별됨.
  • 발생 확률이 낮거나 불확실해도 심각도가 극단적이어서, 프론티어 AI 개발사의 안전 프레임워크와 위험 임계값 설정에서 우선 관리 대상으로 다뤄짐.
  • 과거 사례가 거의 없어 발생 가능성을 실증적으로 추정하기 어렵고, 그 범위와 시급성을 두고 연구자 사이의 견해 차이가 큼.

구별'파국적 위험'은 피해의 규모·심각도를 기준으로 한 범주이고, '시스템적 위험'은 피해가 사회 구조 전반으로 퍼지는 방식이나(국제 AI 안전 보고서) 고영향 범용 AI 모델에 특유한 대규모 위험(EU AI법)을 가리키는 범주로, 둘은 겹칠 수 있으나 같은 개념이 아님.

용어 관계

상위 위험 · 혼동 주의 재해, 시스템적 위험

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 통제 상실 시나리오의 가설적 결과는 심각도가 다양하나 일부 전문가는 인류의 주변화·멸종까지 고려하며, 가능성에 대한 전문가 견해는 크게 갈린다고 정리함. [1]
  • 프론티어 AI 안전 프레임워크 사례로 앤트로픽의 책임 있는 스케일링 정책(RSP)이 AI 안전 수준(ASL)을 파국적 위험의 정도에 따라 나누고 단계별 배포·보안 기준을 연동한다고 소개함. [2]
🇪🇺EU GPAI 실천강령2025
  • 안전·보안 장에는 '파국적 위험'이라는 말이 없고, 부록 1.4에서 화학·생물·방사능·핵(CBRN), 통제 상실, 사이버 공격, 유해한 조작을 지정된 시스템적 위험으로 듦. [3]
  • 시스템적 위험의 기여 특성으로 고속성, 연쇄성, 복구가 어렵거나 영구히 되돌릴 수 없는 특성, 소수 행위자에 의한 비대칭적 영향 등을 듦. [4]
📄안전성 확보 가이드라인한국, 2026
  • EU 실천강령의 4대 위험을 고도화된 모델 특유의 위험, 대규모 영향, 빠른 전개, 회복 불가능의 특징을 가진 반드시 고려할 위험 유형으로 소개하고 관리 후보 위험 목록으로 활용하도록 함. [5]
🇺🇸미국 SB 53캘리포니아, 2025
  • 파국적 위험을 프론티어 모델의 개발·저장·사용·배포가 단일 사고로 50명을 넘는 사망·중상이나 10억 달러를 넘는 재산 피해에 실질적으로 기여할, 예견 가능하고 중대한 위험으로 정의하고, 화학·생물·방사능·핵 무기 제작 지원, 인간 감독 없는 사이버 공격·범죄 행위, 통제 회피를 경로로 듦. [6]

출처

  1. 1International AI Safety Report 2025, 2.2.3, p.100 · 원문
  2. 2International AI Safety Report 2026, p.115 · 원문 · 라이브러리에서 보기
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.4, p.37 · 원문
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.2.2, p.35 · 원문
  5. 5『인공지능 안전성 확보 가이드라인』 v1.3, p.33 · 원문
  6. 6California SB 53 (2025), Bus. & Prof. Code §22757.11(c) · 원문
관련 연구 1
035시스템적 위험systemic risk개별 모델의 결함을 넘어 사회·경제·제도 전반으로 퍼지거나, 고영향 범용 AI 모델의 역량에서 비롯되어 대규모로 확산될 수 있는 위험을 의미함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고

용어 설명

개별 모델의 결함을 넘어 사회·경제·제도 전반으로 퍼지거나, 고영향 범용 AI 모델의 역량에서 비롯되어 대규모로 확산될 수 있는 위험을 의미함.

  • EU AI법은 고영향 역량을 지닌 범용 AI 모델에 특유한 위험으로서, 공중보건·안전·기본권·사회 전체에 중대한 영향을 미치고 가치사슬을 따라 대규모로 확산될 수 있는 위험으로 규정함(여기서 '고영향 역량'은 범용 AI 모델의 역량 수준을 뜻하며, 활용 영역을 기준으로 삼는 한국 AI 기본법의 '고영향 AI'와는 다른 개념임).
  • 국제 AI 안전 보고서는 AI 개발·배포가 인간 행동, 조직 관행, 사회 구조를 바꾸는 데서 생기는 위험(노동시장, 프라이버시, 환경 등)이라는 더 넓은 뜻으로 씀.
  • 어느 정의를 쓰느냐에 따라 평가 대상과 의무 범위가 크게 달라지므로, 문헌을 읽거나 인용할 때 출처의 정의를 확인해야 함.

구별'시스템적 위험'은 피해의 확산 방식이나 모델 역량에, '파국적 위험'은 피해의 규모·심각도에 초점을 둔 범주이며, EU AI법의 '시스템적 위험'과 국제 AI 안전 보고서의 'systemic risks'도 뜻이 다름.

용어 관계

상위 위험 · 혼동 주의 파국적 위험

주요 기관·문서별 개념 및 적용

🇪🇺EU AI Act2024/1689
  • 제3조제65호는 시스템적 위험을 범용 AI 모델의 고영향 역량에 특유한 위험으로서, 그 도달 범위나 공중보건·안전·공공안보·기본권·사회 전체에 대한 실제 또는 합리적으로 예견 가능한 부정적 영향 때문에 EU 시장에 중대한 영향을 미치고 가치사슬 전반에 대규모로 확산될 수 있는 위험으로 정의함. [1]
🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험 등급을 모델에서 비롯되는 일정 수준의 시스템적 위험에 대응해 프레임워크에서 정의하는 단계로, 시스템적 위험 수용 기준의 한 유형으로 규정함. [2]
🌐국제 AI 안전 보고서2025·2026
  • 2025년 보고서는 개별 모델·시스템의 역량을 넘어 범용 AI 개발·배포와 관련된 더 넓은 사회적 위험(노동시장 영향, 프라이버시 침해, 환경 피해 등)으로 설명함. [3]
  • 2026년 보고서는 AI 역량에서 직접 생기기보다 AI가 인간 행동·조직 관행·사회 구조를 바꾸는 데서 생기는 위험으로 정의하고, EU AI법의 정의와 다르다고 명시함. [4]

출처

  1. 1EU AI Act, Art. 3(65), p.50–51 · 원문
  2. 2EU GPAI Code of Practice (2025), Safety & Security, Glossary, p.33 · 원문
  3. 3International AI Safety Report 2025, Glossary, p.227–228 · 원문
  4. 4International AI Safety Report 2026, Glossary, p.154–155 · 원문 · 라이브러리에서 보기
원문 인용 6 · 관련 연구 2

번역AI의 능력 자체보다, 개발·배포가 인간 행동·조직 관행·사회 구조를 바꾸는 데서 생기는 위험. (EU AI법의 ‘시스템적 위험’—고영향 범용 AI 모델의 고영향 능력에 특유한 위험—과는 다른 쓰임에 유의.)

Risks that arise from how AI development and deployment changes human behaviour, organisational practices, or societal structures, rather than directly from AI capabilities. (Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact'.) (AI) System integration: The process of combining an AI model with other software components to produce an AI system that is ready for use. For instance, integration might involve combining a general-purpose AI model with content filters and a user interface to produce a chatbot application. (AI) System monitoring: The process of inspecting systems while they are running to identify issues with their performance or safety.

출처 International AI Safety Report 2026 · p.155–156 · EN · 정의섹션 · 라이브러리에서 보기

번역개별 모델·시스템의 능력을 넘어, 범용 AI 개발·배포와 관련된 더 넓은 사회적 위험. 노동시장 영향·프라이버시 침해·환경 피해 등이 예다. (EU AI법의 ‘시스템적 위험’ 정의와는 다를 수 있다.)

Broader societal risks associated with general-purpose AI development and deployment, beyond the capabilities of individual models or systems. Examples of systemic risks range from potential labour market impacts to privacy infringements and environmental harms. Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high -impact capabilities of general-purpose AI models, having a significant impact'.

출처 International Scientific Report on the Safety of Advanced AI · p.227–228 · EN · 정의섹션

서명자가 자신의 모델로부터 발생하는 시스템적 위험의 수용 가능 여부를 결정하기 위 하여 프레임워크에서 정의한 기준 시스템적 위험 등급 아래 정 . (systemic risk tiers)(

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.112 · KO · 정의섹션

의 참조 는 시스템적 위험 수용 기준의 한 유형임 ) . 추가 내용은 이행조치 참조 4.1 .

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션

시스템적 위험 식별 약정 에 따름 시스템적 위험 분석 약정 에 따름 및 시스템적 ( 2 ), ( 3 ) 위험 수용 여부 결정 약정 에 따름 을 모두 포괄하는 상위 개념 ( 4 )

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션

모델로부터 발생하는 일정 수준의 시스템적 위험에 대응하도록 프레임워크에서 정의된 단계 시스템적 위험 등급은 시스템적 위험 수용 기준의 한 유형임 . 추가 내용은 이행조치 참조 4.1

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션

PDF 표기 · Systemic Risks · Systemic risk · 시스템적 위험
PDF 표기 · Systemic risk tiers
PDF 문서 16정의섹션 3
036시스템적 위험 평가systemic risk assessment범용 AI 모델이 일으킬 수 있는 시스템적 위험을 식별·분석하고 그 수용 여부를 판단하는 일련의 평가 절차를 말함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고

용어 설명

범용 AI 모델이 일으킬 수 있는 시스템적 위험을 식별·분석하고 그 수용 여부를 판단하는 일련의 평가 절차를 말함.

  • EU 범용 AI 실천강령에서는 시스템적 위험의 식별, 분석, 수용 여부 결정을 모두 포괄하는 상위 개념으로 쓰이며, 위험 시나리오와 위험 모델링을 바탕으로 함.
  • EU AI법상 시스템적 위험이 있는 범용 AI 모델 제공자의 평가·완화 의무를 이행하는 핵심 절차로, 모델 평가 결과를 시스템적 위험 등급 같은 수용 기준과 연결함.
  • 국제 AI 안전 보고서처럼 '시스템적 위험'을 사회 구조 변화에서 생기는 위험으로 넓게 쓰는 문헌도 있어, 어느 정의를 전제하는지 확인할 필요가 있음.

구별'시스템적 위험 평가'는 시스템적 위험에 한정된 위험 평가 절차이고, '위험 평가'는 위험 종류를 가리지 않는 일반 절차임.

용어 관계

상위 위험 평가 · 먼저 알 개념 시스템적 위험

주요 기관·문서별 개념 및 적용

🇪🇺EU GPAI 실천강령2025
  • 실천강령 안내서는 시스템적 위험 평가를 시스템적 위험 식별, 시스템적 위험 분석, 시스템적 위험 수용 여부 결정을 모두 포괄하는 상위 개념으로 정의함. [1]

출처

  1. 1『EU GPAI 실천강령 한글 안내서』(2026), 용어 정의, p.109 · 원문
원문 인용 3

번역AI의 능력 자체보다, 개발·배포가 인간 행동·조직 관행·사회 구조를 바꾸는 데서 생기는 위험. (EU AI법의 ‘시스템적 위험’—고영향 범용 AI 모델의 고영향 능력에 특유한 위험—과는 다른 쓰임에 유의.)

Risks that arise from how AI development and deployment changes human behaviour, organisational practices, or societal structures, rather than directly from AI capabilities. (Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact'.) (AI) System integration: The process of combining an AI model with other software components to produce an AI system that is ready for use. For instance, integration might involve combining a general-purpose AI model with content filters and a user interface to produce a chatbot application. (AI) System monitoring: The process of inspecting systems while they are running to identify issues with their performance or safety.

출처 International AI Safety Report 2026 · p.155–156 · EN · 정의섹션 · 라이브러리에서 보기

번역개별 모델·시스템의 능력을 넘어, 범용 AI 개발·배포와 관련된 더 넓은 사회적 위험. 노동시장 영향·프라이버시 침해·환경 피해 등이 예다. (EU AI법의 ‘시스템적 위험’ 정의와는 다를 수 있다.)

Broader societal risks associated with general-purpose AI development and deployment, beyond the capabilities of individual models or systems. Examples of systemic risks range from potential labour market impacts to privacy infringements and environmental harms. Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high -impact capabilities of general-purpose AI models, having a significant impact'.

출처 International Scientific Report on the Safety of Advanced AI · p.227–228 · EN · 정의섹션

시스템적 위험 식별 약정 에 따름 시스템적 위험 분석 약정 에 따름 및 시스템적 ( 2 ), ( 3 ) 위험 수용 여부 결정 약정 에 따름 을 모두 포괄하는 상위 개념 ( 4 )

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션

PDF 표기 · Systemic risk assessment
PDF 문서 4정의섹션 2
037한계 위험marginal risk특정 AI 모델이나 공개 방식이 기존 대안(다른 모델, 인터넷 검색 등 기존 기술)에 비해 추가로 더하는 위험의 크기를 의미함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고

용어 설명

특정 AI 모델이나 공개 방식이 기존 대안(다른 모델, 인터넷 검색 등 기존 기술)에 비해 추가로 더하는 위험의 크기를 의미함.

  • 같은 위험원이라도 이미 다른 수단으로 쉽게 할 수 있는 일이라면 추가 위험은 작다고 보며, 기준선과 비교하는 휴먼 업리프트 연구로 측정함.
  • 오픈 웨이트 모델 공개의 위험을 판단하는 기준으로 널리 쓰이며, 절대적 위험 대신 증분을 따져 공개의 이익과 위험을 비교하게 함.
  • 어떤 대안을 기준선으로 삼느냐에 따라 결과가 달라지고, 여러 모델이 공개되면서 기준선 자체가 올라가 누적 위험을 놓칠 수 있다는 지적이 있음.

구별'한계 위험'은 기존 대안 대비 증분 위험이고, '위험'은 기준선과 관계없이 피해의 발생 가능성과 심각도를 결합한 전체 수준을 가리킴.

용어 관계

먼저 알 개념 위험

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • AI 개방성이 가져오는 위험은 한계 위험으로 평가해야 한다는 고위급 합의가 형성되었다고 보고, 한계 위험을 폐쇄형 모델이나 다른 기술 같은 기존 대안에 비해 AI를 공개할 때 더해지는 위험으로 설명함. [1]
  • 한계 위험을 평가하는 연구를 흔히 '업리프트 연구'라 부른다고 설명함. [1]

출처

  1. 1International AI Safety Report 2025, 2.4, p.154 · 원문
038실패 모드failure modeAI 시스템이 의도한 대로 작동하지 않는 구체적 방식을 원인·양상에 따라 유형화한 것을 말함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고
대체어고장 유형

용어 설명

AI 시스템이 의도한 대로 작동하지 않는 구체적 방식을 원인·양상에 따라 유형화한 것을 말함.

  • 환각, 분포 밖 입력에서의 성능 저하, 탈옥에 의한 안전장치 우회, 도구 호출 오류 등은 발생 조건과 대응책이 서로 달라 유형별로 나눠 다룸.
  • 유형이 정해지면 유형별 탐지 지표와 완화책을 설계하고 새 사고를 기존 유형과 대조할 수 있어, 위험 평가와 AI 사고 보고의 분류 체계로 쓰임.
  • 공학의 고장 유형 분석(FMEA)에서 온 개념이나, AI에서는 오정렬·보상 해킹처럼 설계 의도와 행동이 어긋나는 실패도 포함한다는 점이 다름.

구별'실패 모드'는 시스템이 어긋나는 방식의 유형이고, '오작동'은 실제로 발생한 개별 기능 장애, '사고'는 그로 인해 피해가 발생한 사건을 가리킴.

용어 관계

다음 단계 오작동

해설 · 참고 기사 3 · 관련 연구 2

성능이 나쁘다는 하나의 덩어리로 두지 않고, 어떤 조건에서 어떤 모습으로 어긋나는지 갈라놓는 작업이다. 근거 없는 내용을 지어내는 것, 이용자 말에 맞춰 답을 바꾸는 것, 막아야 할 요청을 통과시키는 것, 입력 분포가 달라지자 무너지는 것, 도구를 잘못 호출해 엉뚱한 결과를 얻는 것은 원인과 대응이 전부 다르다. 하나로 묶어 두면 어느 것도 제대로 다룰 수 없다.

공학에서 온 개념이라 곧바로 설계로 이어진다는 점이 이 분류의 값어치다. 유형이 정해지면 유형별로 감지 지표를 붙일 수 있고, 어떤 완화책이 어떤 유형에 듣는지 따져 볼 수 있으며, 새 사고가 났을 때 기존 유형에 들어가는지 새 유형인지 판단할 수 있다. 여러 조직이 같은 분류를 공유하는 것도 중요하다. 사고 보고 체계가 서로 다른 이름으로 같은 문제를 기록하면 사례를 합산해 추세를 볼 수 없기 때문이다.

동향 표기 · 실패 모드(28)
동향 문서 28기간 8개월최근 93%병기 4
039위험 평가risk assessmentAI 위험을 식별하고 그 발생 가능성과 심각도를 분석해, 허용 기준과 비교함으로써 대응 우선순위와 조치 필요성을 판단하는 절차를 말함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고
대체어리스크 평가

용어 설명

AI 위험을 식별하고 그 발생 가능성과 심각도를 분석해, 허용 기준과 비교함으로써 대응 우선순위와 조치 필요성을 판단하는 절차를 말함.

  • 위험 식별, 위험 분석, 위험 수준을 허용 기준에 비추어 판단하는 단계로 이루어지며, 모델 평가·레드티밍·영향 평가·감사 결과를 판단의 근거로 활용함.
  • 배포 여부나 추가 안전장치 적용 같은 결정이 위험 평가 결과에 근거하므로, 위험 임계값과 위험 허용도를 실제 조치로 연결하는 고리가 됨.
  • 어느 수준의 위험을 감수할지는 데이터만으로 정해지지 않아 가치 판단이 개입하며, 그 근거를 사후에 검증할 수 있도록 문서화가 요구됨.

구별'위험 평가(risk assessment)'는 위험의 수준을 판단하는 관리 절차이고 '평가(evaluation)'는 모델·시스템의 역량이나 안전성을 시험해 측정하는 활동이며, 위험 평가 안의 '위험 판정(risk evaluation)' 단계도 모델 평가와는 다른 개념임.

용어 관계

상위 위험 관리 · 하위 시스템적 위험 평가, 위협 모델링 · 먼저 알 개념 위험 · 다음 단계 위험 완화 · 혼동 주의 평가, 안전 사례

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 위험 분석·판정을 AI 모델·시스템의 위험 수준을 정하고 이를 설정된 기준과 비교해 수용 가능성이나 완화 필요성을 판단하는 과정으로 설명함. [1]
  • 벤치마크와 모델 평가, 레드티밍, 영향 평가, 감사 등을 그 수단으로 들고, 독립 검토와 분야 간 전문성, 다양한 관점을 포함할 때 위험을 더 잘 식별할 수 있다고 흔히 여겨진다고 소개함. [1]
🌐싱가포르 합의2025
  • 위험 평가의 주된 목적을 잠재적 피해의 심각도와 가능성을 이해하는 데 두고, 그 결과로 위험의 우선순위를 정하고 특정 조치가 필요한 임계값을 넘는지 판단한다고 정리함. [2]
🇪🇺EU GPAI 실천강령2025
  • 약정 3은 식별한 시스템적 위험마다 모델 독립 정보 수집, 모델 평가, 위험 모델링, 위험 추정, 출시 후 모니터링의 다섯 요소로 분석하도록 함. [3]

출처

  1. 1International AI Safety Report 2026, p.108 · 원문 · 라이브러리에서 보기
  2. 2Singapore Consensus (2025), p.9–10 · 원문
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Commitment 3, p.12–14 · 원문
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

무엇이 잘못될 수 있는지 목록을 만들고, 각 항목이 얼마나 자주 일어날지와 일어나면 얼마나 큰 피해가 되는지를 함께 따져 등급을 매긴다. 그 등급을 조직이 받아들일 수 있는 수준과 비교해 무엇을 먼저 손볼지 정하는 것이 목적이다. AI에서는 여기에 축이 몇 개 더 붙는다. 되돌릴 수 있는 피해인지, 영향이 개인에 머무는지 사회 전체에 미치는지, 피해를 입는 사람이 그 시스템을 쓰기로 선택한 당사자인지 아니면 무관한 제3자인지가 함께 고려된다.

안전성 평가와 혼동하지 않는 것이 좋다. 안전성 평가는 모델을 실제로 시험해 사실을 확인하는 일이고, 위험 평가는 그렇게 모은 사실을 놓고 판단을 내리는 일이다. 앞의 것은 측정이고 뒤의 것은 결정이라고 나눠 볼 수 있다. 그래서 위험 평가에는 반드시 가치 판단이 들어간다. 어느 정도의 위험을 감수할 만하다고 볼지는 데이터가 알려 주지 않기 때문이다. 표준 체계가 이 과정을 문서로 남기게 하는 이유도, 판단의 근거를 나중에 검증할 수 있게 하려는 것이다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-08-312026 NCSC AI Cyber 안보 Risk 평가: 공공부문 Deployment AIGL · 정책보고서
  2. 2026-08-23🇳🇿 뉴질랜드 온라인 안전·최소 연령 및 아동 안전 위험 평가 법안 법안
  3. 2026-01-14🇺🇸 미국 HR 7058 외국 적대세력 AI 위험평가·외교 법안 United States Congress · 법안
  4. 2025-09-29🇺🇸 고도 AI 위험평가법 United States Congress · 법안
동향 표기 · 위험 평가(74) / Risk Assessment(11)
동향 문서 74기간 21개월최근 74%병기 3
040위험 관리risk managementAI 위험을 식별·분석·판정하고 완화한 뒤 그 결과를 지속적으로 모니터링·갱신하는 조직적·체계적 활동을 말함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고
대체어리스크 관리

용어 설명

AI 위험을 식별·분석·판정하고 완화한 뒤 그 결과를 지속적으로 모니터링·갱신하는 조직적·체계적 활동을 말함.

  • 위험 식별, 위험 분석·판정, 위험 완화, 이를 뒷받침하는 책임·감독 구조(위험 거버넌스)가 반복되는 순환 과정으로 구성됨.
  • AI 위험의 상당 부분이 배포 후 드러나므로, 배포 후 모니터링과 사고 보고에서 얻은 정보로 위험 목록과 조치를 갱신하는 것이 체계의 핵심임.
  • NIST AI RMF, ISO/IEC 42001, EU AI법의 위험 관리 의무 등 여러 틀이 있으며, 문서를 갖추는 것과 실제로 갱신이 돌아가는 것은 다르다는 점이 지적됨.

구별'위험 관리'는 위험 평가와 위험 완화를 포함하는 상위 절차이고, '위험 평가'는 그중 위험 수준을 판단하는 단계, '위험 완화'는 위험을 줄이는 조치 단계임.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 2025년 보고서는 위험 관리를 위험을 식별·평가·완화·모니터링하는 체계적 과정으로 정의함. [1]
  • 2026년 보고서는 위험 관리를 위험 식별, 위험 분석·판정, 위험 완화, 위험 거버넌스의 네 구성 요소가 반복·순환하는 과정으로 제시함. [2]
🇺🇸NISTAI 100-1, 2023
  • AI RMF는 ISO 31000:2018을 인용해 위험 관리를 위험과 관련해 조직을 지휘·통제하는 조정된 활동으로 정의함. [3]
📄안전성 확보 가이드라인한국, 2026
  • 안전성 확보 고시 제2조를 인용해 위험관리체계를 인공지능 관련 안전사고를 모니터링하고 대응하는 책임 주체의 권한과 의무 등을 규정한 체계로 정의함. [4]

출처

  1. 1International AI Safety Report 2025, p.158–159 · 원문
  2. 2International AI Safety Report 2026, Figure 3.4, p.106 · 원문 · 라이브러리에서 보기
  3. 3NIST AI 100-1 (AI RMF 1.0), 1.1, p.4–5 · 원문
  4. 4『인공지능 안전성 확보 가이드라인』 v1.3, 용어 정의, p.13 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

개별 판단을 잘 내리는 것과 다르다. 담당자가 바뀌어도, 새로운 제품이 나와도 같은 방식으로 작동하는 절차로 만드는 것이 목적이다. NIST의 AI 위험관리 프레임워크(AI RMF)는 이를 네 기능으로 나눈다. 조직 안에 책임과 문화를 세우는 거버넌스(GOVERN), 맥락과 위험을 파악하는 매핑(MAP), 그것을 측정하는 측정(MEASURE), 그리고 대응하고 우선순위를 정하는 관리(MANAGE)다. ISO/IEC 42001은 같은 취지를 AI 경영시스템 표준으로 담아, 조직이 이 체계를 갖췄는지 외부 인증으로 확인할 수 있게 했다.

AI에서 이런 체계가 특별히 요구되는 이유는 위험의 상당 부분이 배포한 뒤에 드러나기 때문이다. 실험실에서 예상한 사용 방식과 실제 이용자의 사용 방식이 다르고, 시간이 지나면 입력 자료의 성질도 달라진다. 그래서 위험 목록을 한 번 만들고 끝내는 것이 아니라, 운영 중의 감시와 사고 보고에서 얻은 것으로 목록을 계속 갱신하는 순환이 체계의 중심에 놓인다. 관리한다는 말이 문서를 갖췄다는 뜻이 아니라 갱신이 돌아간다는 뜻이 되는 것이다.

번역위험을 식별·평가·완화·모니터링하는 체계적 과정.

The systematic process of identifying, evaluating, mitigating and monitoring risks.

출처 International Scientific Report on the Safety of Advanced AI · p.158–159, p.225–226 · EN · 정의섹션

∙ 인공지능 관련 안전사고를 모니터링하고 대응하는 책임 주체의 권한과 의무 등을 규정한 체계 | 고시 제2조

출처 인공지능 안전성 확보 가이드라인 v1.3 (2026.1.21) · p.13 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-09-21Z.ai · Concordia AI Frontier Open-Weight AI 위험관리 프레임워크 Z.ai (Zhipu AI) · Concordia AI
  2. 2026-09-08🇬🇧 영국 AI 위험관리 툴킷 영국 과학혁신기술부(Department for Scie
  3. 2026-07-19Shanghai AI Lab · Concordia AI 프론티어 AI 위험관리 프레임워크 v2.0 Shanghai AI Laboratory · Conco
  4. 2026-07-14🇸🇦 사우디 국가 AI 위험관리 프레임워크 가이드라인·원칙
동향 표기 · 위험 관리(59) / 위험관리(34) / Risk Management(25) / 리스크 관리(20)
PDF 표기 · 위험관리체계
동향 문서 59기간 20개월최근 86%병기 3PDF 문서 30정의섹션 8
041위험 완화risk mitigation식별·평가된 AI 위험의 발생 가능성이나 피해의 심각도를 허용 가능한 수준까지 낮추기 위해 취하는 조치를 말함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고
대체어완화위험 저감

용어 설명

식별·평가된 AI 위험의 발생 가능성이나 피해의 심각도를 허용 가능한 수준까지 낮추기 위해 취하는 조치를 말함.

  • 학습 단계의 거절 학습, 배포 단계의 필터·접근 제한·공개 방식 조정, 운영 단계의 모니터링·중단 절차 등을 여러 층으로 쌓는 심층 방어 방식이 일반적임.
  • 위험을 없애는 것이 아니라 줄이는 조치이므로, 무엇을 얼마나 줄였고 잔여 위험이 위험 허용도 안에 드는지를 함께 문서화해야 함.
  • 조치를 도입했다는 사실이 효과의 증거는 아니며, 도입 전후를 같은 방법으로 측정해 효과를 입증해야 한다는 점이 강조됨.

구별'위험 완화'는 위험을 줄이는 조치 전반이고, '안전장치(safeguard)'는 그 수단으로 쓰이는 개별 기술적·절차적 장치를 가리킴.

용어 관계

상위 위험 관리 · 하위 안전장치 · 앞 단계 위험 평가

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 위험 완화를 위험을 줄이는 통제 수단의 우선순위를 정하고 평가·이행하는 단계로 위험 관리의 네 구성 요소 중 하나로 둠. [1]
  • 심층 방어를 개발·배포 여러 단계에 걸친 기술적·조직적·사회적 조치의 결합으로 설명하고, 한 층이 실패해도 다른 층이 피해를 막도록 독립적 안전장치를 겹쳐 두는 방식이라 함. [2]
🇺🇸NISTAI 600-1, 2024
  • 우선순위 위험에 대한 대응 선택지로 완화·이전·회피·수용을 들고, 조직의 위험 허용 한도를 넘는 위험은 완화·이전·회피하며 통제의 효과성을 레드티밍 등으로 모니터링하도록 함. [3]
🇪🇺EU GPAI 실천강령2025
  • 적대적 압력에도 견디는 안전 완화를 요구하고, 학습 데이터 필터링, 입출력 모니터링·필터링, 거부 미세조정, 단계적 접근 허용 등을 예시로 듦. [4]
📄안전성 확보 가이드라인한국, 2026
  • 안전성 확보 가이드라인은 위험 평가 결과에 직접 연계해 고위험부터 완화 조치를 수립·시행하고, 시급성·효과성·실행 가능성과 부작용을 함께 따지도록 함. [5]

출처

  1. 1International AI Safety Report 2026, Figure 3.4, p.106 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2026, p.112 · 원문 · 라이브러리에서 보기
  3. 3NIST AI 600-1, MANAGE 1.3, p.40 · 원문
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Measure 5.1, p.17 · 원문
  5. 5『인공지능 안전성 확보 가이드라인』 v1.3, 3-1, p.47 · 원문
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

위험을 마주했을 때 취할 수 있는 선택은 넷으로 정리된다. 그 일을 아예 하지 않는 회피, 조치를 취해 크기를 줄이는 완화, 보험이나 계약으로 남에게 넘기는 전가, 그리고 감당할 만하다고 판단해 받아들이는 수용이다. 완화는 그중 실제로 손을 대는 선택이다. AI에서는 층으로 쌓인다. 학습 단계에서 유해한 요청을 거절하게 만들고, 배포 단계에서 외부 필터와 권한 제한을 두고, 운영 단계에서 감시와 정지 절차를 마련하는 식이다.

완화는 위험을 없애는 것이 아니라 줄이는 것이라는 전제 위에서 평가된다. 그래서 무엇을 얼마나 줄였고 남은 위험이 허용 범위 안인지를 문서로 남기는 일이 함께 요구된다. 여기서 자주 어긋나는 것은 조치의 존재를 효과의 근거로 삼는 일이다. 필터를 도입했다는 사실이 유해 출력이 줄었다는 증거는 아니다. 도입 전후를 같은 방법으로 측정해 얼마나 달라졌는지 보여야 완화가 입증된다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-05-06🇺🇸 NIST AI 100-2e2025 적대적 머신러닝 공격·완화 분류체계 정책보고서
  2. 2025-04-09🇺🇸 국토안보부 차량 테러 예방·완화법 2025 United States Congress · 법안
  3. 2025-01-03🇺🇸 외교·개발 분야 AI 편향 완화 United States Congress · 법안
  4. 2024-04-16🇺🇸 AI 극단적 위험 완화 프레임워크 Federal government · 전략·정책
동향 표기 · 위험 완화(21)
동향 문서 21기간 14개월최근 52%병기 1
042위험 허용도risk tolerance개인이나 조직, 사회가 목표를 추구하면서 감수할 의향이 있는 AI 위험의 수준을 의미함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고

용어 설명

개인이나 조직, 사회가 목표를 추구하면서 감수할 의향이 있는 AI 위험의 수준을 의미함.

  • 위험 평가에서 분석된 위험 수준을 비교하는 기준이 되며, 이를 구체적 수치·조건으로 옮긴 것이 위험 임계값임.
  • 같은 위험이라도 피해가 되돌릴 수 있는지, 피해자가 이용 당사자인지 제3자인지에 따라 허용도가 달라지므로, 누가 어떤 절차로 정하는지가 거버넌스의 핵심 쟁점이 됨.
  • 개발사가 스스로 허용도를 정하면 사회가 감수하려는 수준과 어긋날 수 있다는 지적이 있어, 공적 논의와 규제를 통한 설정이 거론됨.

구별'위험 허용도'는 감수할 수 있는 위험의 수준이고, '위험 임계값'은 그 수준을 넘었는지 판정해 조치를 촉발하는 구체적 기준선임.

용어 관계

먼저 알 개념 위험 · 다음 단계 위험 임계값

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 위험 허용도를 개인이나 조직이 감수할 의향이 있는 위험 수준으로 정의함(두 판 모두 같은 정의). [1] [2]
  • 2026년 보고서는 위험 분석·판정을 위험 허용도에 비추어 위험 수준을 정하는 단계로 설명함. [3]
🇺🇸NISTAI 100-1·AI 800-1 초안, 2023·2025
  • 위험 허용도를 조직이나 AI 행위자가 목표 달성을 위해 위험을 감수할 준비 정도로 정의하고, 맥락에 따라 다르며 시간에 따라 바뀐다고 봄. [4]
  • 배포 위험이 조직의 위험 허용도 안에 있다는 판단 근거를 문서화하도록 권고함. [5]
🇪🇺EU GPAI 실천강령2025
  • 서명자가 시스템적 위험 수용 기준을 정해 위험이 수용 가능한지 판단하고, 그 결과에 따라 개발·출시·사용 진행 여부를 결정하도록 함. [6]
📄안전성 확보 가이드라인한국, 2026
  • 위험 평가에서 식별한 AI 위험을 수용 가능한 수준으로 제거하거나 완화하는 조치를 수립·시행하도록 함. [7]

출처

  1. 1International AI Safety Report 2026, Glossary, p.153–154 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2025, Glossary, p.226 · 원문
  3. 3International AI Safety Report 2026, Figure 3.4, p.106 · 원문 · 라이브러리에서 보기
  4. 4NIST AI 100-1 (AI RMF 1.0), 1.2.2, p.7 · 원문
  5. 5NIST AI 800-1 2차 초안, Practice 5.3, p.17 · 원문
  6. 6EU GPAI Code of Practice (2025), Safety & Security, Measures 4.1–4.2, p.15–16 · 원문
  7. 7『인공지능 안전성 확보 가이드라인』 v1.3, 3-1, p.47 · 원문
원문 인용 2

번역개인이나 조직이 감수할 의향이 있는 위험 수준.

The level of risk that an individual or organisation is willing to take on.

출처 International AI Safety Report 2026 · p.154–155 · EN · 정의섹션 · 라이브러리에서 보기

번역개인이나 조직이 감수할 의향이 있는 위험 수준.

The level of risk that an individual or organisation is willing to take on.

출처 International Scientific Report on the Safety of Advanced AI · p.225–226 · EN · 정의섹션

PDF 표기 · Risk Tolerance
PDF 문서 8정의섹션 2
043위험 임계값risk threshold허용 가능한 위험과 허용할 수 없는 위험을 가르고, 넘어서면 정해진 위험 관리 조치를 촉발하는 정량적·정성적 한계선을 의미함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고

용어 설명

허용 가능한 위험과 허용할 수 없는 위험을 가르고, 넘어서면 정해진 위험 관리 조치를 촉발하는 정량적·정성적 한계선을 의미함.

  • 특정 위협 시나리오의 실현 가능성 등을 지표로 삼아 '이 수준에 이르면 이 조치를 한다'는 사전 약속 형태로 설정되며, 실무에서는 역량 평가로 판정하는 역량 임계값을 위험의 대리 지표로 쓰는 경우가 많음.
  • 프론티어 AI 안전 프레임워크와 책임 있는 스케일링 정책에서 배포 중단, 보안 강화 같은 결정을 미리 정해 두는 장치로 쓰여, 사후 판단의 자의성을 줄임.
  • 임계값을 어디에 둘지, 실제로 넘었는지를 무엇으로 판정할지가 불확실하고, 개발사가 스스로 정한 임계값의 적정성을 외부에서 검증하기 어렵다는 지적이 있음.

구별'위험 임계값'은 조치를 촉발하는 구체적 한계선이고 '위험 허용도'는 조직이나 사회가 감수할 의향이 있는 위험 수준 자체로, 임계값은 허용도를 운용 가능한 기준으로 옮긴 것으로 볼 수 있으며, '연산 임계값'은 연산량을 기준으로 한 규제상 문턱으로 성격이 다름.

용어 관계

앞 단계 위험 허용도 · 혼동 주의 연산 임계값

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 위험 임계값을 허용 가능한 위험과 허용할 수 없는 위험을 구분하고, 초과 시 특정 위험 관리 조치를 촉발하는 정량적 또는 정성적 한도로 정의함(두 판 모두 같은 정의). [1] [2]
🇪🇺EU GPAI 실천강령2025
  • 원칙적으로 식별된 시스템적 위험마다 모델 역량 기준으로 정의되고 측정 가능하며 모델이 아직 도달하지 않은 등급을 하나 이상 포함하는 시스템적 위험 등급을 정하도록 하되, 위험 등급 방식이 적합하지 않고 부록 1.4의 지정된 시스템적 위험에 해당하지 않으면 다른 적절한 위험 수용 기준을 정할 수 있게 함. [3]
🇬🇧UK AISI2025
  • 서울 정상회의의 프론티어 AI 안전 서약 II에 적절히 완화되지 않으면 용납할 수 없다고 볼 심각한 위험의 임계값을 정한다는 약속이 있다고 소개함. [4]
  • 위험 임계값을 피해의 가능성과 규모로 허용할 수 없는 위험을 규정하는 기준으로 보고, 구체적 위험 역량을 정한 역량 임계값과 구별함. [4]

출처

  1. 1International AI Safety Report 2026, Glossary, p.153–154 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2025, Glossary, p.226 · 원문
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Measure 4.1, p.15–16 · 원문
  4. 4UK AISI (2025). Emerging Practices in Frontier AI Safety Frameworks, p.9–10 · 원문
원문 인용 2 · 정책 문서 1

번역허용 가능한 위험과 그렇지 않은 위험을 가르고, 초과 시 특정 위험관리 조치를 촉발하는 정량·정성 한도.

A quantitative or qualitative limit that distinguishes acceptable from unacceptable risks and triggers specific risk management actions when exceeded.

출처 International AI Safety Report 2026 · p.154–155 · EN · 정의섹션 · 라이브러리에서 보기

번역허용 가능한 위험과 그렇지 않은 위험을 가르고, 초과 시 특정 위험관리 조치를 촉발하는 정량·정성 한도.

A quantitative or qualitative limit that distinguishes acceptable from unacceptable risks and triggers specific risk management actions when exceeded.

출처 International Scientific Report on the Safety of Advanced AI · p.225–226 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-03-20Toward Risk Thresholds AI-Enabled Cyber Threats AIGL · 기타
PDF 표기 · Risk Threshold
PDF 문서 6정의섹션 2
044위협 모델링threat modelingAI 시스템을 둘러싼 위협 행위자, 공격 경로, 취약점을 체계적으로 정리해 위험이 실제 피해로 이어지는 경로를 구체화하는 절차를 말함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고

용어 설명

AI 시스템을 둘러싼 위협 행위자, 공격 경로, 취약점을 체계적으로 정리해 위험이 실제 피해로 이어지는 경로를 구체화하는 절차를 말함.

  • 누가(행위자), 무엇을 노려(목표), 어떤 역량과 수단으로(경로) 피해를 일으킬 수 있는지 조합해 시나리오로 만들고, 각 시나리오에 필요한 모델 역량을 식별함.
  • 프론티어 AI 개발사는 이를 바탕으로 역량 평가를 설계하고 위험 임계값을 정하며, 위험 분류 체계와 함께 대표적인 위험 식별 방법으로 꼽힘.
  • AI 통제 연구에서는 오정렬된 모델 자체를 가상의 공격자로 상정해 위협 모델을 세우기도 함.

구별'위협 모델링'은 보안 분야에서 공격자와 취약점을 중심으로 쓰이던 말로, EU 범용 AI 실천강령은 이 때문에 시스템적 위험의 실현 경로를 정리하는 작업을 '위험 모델링'이라 따로 부르지만 두 용어가 혼용되기도 함.

용어 관계

상위 위험 평가 · 먼저 알 개념 위협

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 위협 모델링을 AI 관련 위험이 어떻게 현실화할 수 있는지 매핑하는 구조화된 과정으로 설명하고, 위험 분류 체계와 함께 대표적인 위험 식별 방법으로 꼽음. [1]
  • 메타가 AI 모델의 잠재적 오용 시나리오를 예상하려고 위협 모델링을 쓰고, 앤트로픽이 ASL-3 배포 기준에 위협 모델링을 넣은 사례를 듦. [1]
🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험이 실현될 수 있는 경로를 구체화하는 구조화된 과정을 '시스템적 위험 모델링'이라 하고, 흔히 위협 모델링과 혼용되지만 위협 모델링은 사이버 보안에서 특정한 의미가 있어 '위험 모델링'이라는 용어를 쓴다고 밝힘. [2]

출처

  1. 1International AI Safety Report 2026, p.107–108 · 원문 · 라이브러리에서 보기
  2. 2EU GPAI Code of Practice (2025), Safety & Security, Glossary, p.32 · 원문
관련 연구 1
045수명주기lifecycleAI 시스템이 기획·데이터 수집부터 개발, 평가, 배포, 운영·모니터링, 폐기에 이르기까지 거치는 단계 전체를 의미함.
#03. 위험 개념과 위험관리 Risk Concepts & Management
AI 위험·사고
대체어AI 수명주기생애주기인공지능 수명주기AI 생애주기

용어 설명

AI 시스템이 기획·데이터 수집부터 개발, 평가, 배포, 운영·모니터링, 폐기에 이르기까지 거치는 단계 전체를 의미함.

  • 사전학습, 미세조정, 시스템 통합, 배포 후 모니터링, 하류 수정 등 단계를 나눠 각 단계에서 확인할 사항, 문서화, 결정 권한을 배정함.
  • 위험과 책임을 단계별로 배치할 수 있어 규제 의무와 위험 관리 조치를 수명주기에 걸쳐 부과하는 틀로 쓰이며, 배포 이후에도 갱신·이용 방식 변화로 위험이 달라진다는 점을 강조함.
  • 범용 AI는 모델 제공자와 하류 배포자가 서로 다른 단계를 맡아, 단계 사이의 정보 공유와 책임 경계가 쟁점이 됨.

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • AI 수명주기를 데이터 수집·전처리, 사전학습, 미세조정, 모델 통합, 배포, 배포 후 모니터링, 하류 수정 등 AI 개발의 구분된 단계로 정의함. [1]
📄안전성 확보 가이드라인한국, 2026
  • 「안전성 확보 가이드라인」은 고시 제2조를 인용해 인공지능 수명주기를 인공지능의 개발, 배포, 운영 및 폐기에 이르기까지의 전 과정으로 정의함. [2]

출처

  1. 1International AI Safety Report 2025, Glossary, p.218–219 · 원문
  2. 2『인공지능 안전성 확보 가이드라인』 v1.3, 용어 정의, p.13 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4

통상 기획, 자료 수집, 개발, 평가, 배포, 운영, 폐기로 나눈다. 이렇게 쪼개는 이유는 위험과 책임을 단계에 배치할 수 있기 때문이다. 어느 단계에서 무엇을 확인하고, 무엇을 문서로 남기고, 누가 결정 권한을 갖는지 지정하면, 문제가 생겼을 때 어느 단계로 돌아가야 하는지도 분명해진다. 규제 문서가 이 틀을 쓰는 것도 의무를 단계별로 나눠 부과하기 위해서다.

AI에서 이 개념이 특히 강조되는 이유는 배포가 끝이 아니라는 데 있다. 모델은 운영 중에 갱신되고, 이용자가 쓰는 방식은 시간이 지나며 달라지고, 입력 자료의 성질도 조금씩 이동한다. 처음에 잘 작동했다는 것이 계속 잘 작동한다는 보장이 되지 못하는 것이다. 그래서 출시 심사 한 번으로 안전을 확보하는 설계는 성립하지 않는다. 폐기 단계도 절차에 포함되는데, 쓰지 않게 된 모델과 자료를 어떻게 처분했는지가 개인정보 문제로 남기 때문이다.

번역데이터 수집·전처리, 사전학습, 파인튜닝, 모델 통합, 배포, 배포 후 모니터링, 하류 수정 등 AI 개발의 구분된 단계들.

The distinct stages of developing AI, including data collection and pre-processing, pre-training, fine-tuning, model integration, deployment, post-deployment monitoring, and downstream modifications.

출처 International Scientific Report on the Safety of Advanced AI · p.218–219 · EN · 정의섹션

∙ 인공지능의 개발, 배포, 운영 및 폐기에 이르기까지의 전 과정 | 고시 제2조

출처 인공지능 안전성 확보 가이드라인 v1.3 (2026.1.21) · p.13 · KO · 정의섹션

동향 표기 · 생애주기(35)
PDF 표기 · AI lifecycle
PDF 표기 · 인공지능 수명주기
동향 문서 35기간 14개월최근 80%병기 2PDF 문서 15정의섹션 2
046오정렬misalignmentAI 시스템이 개발자·이용자·특정 공동체·사회의 의도·가치·규범과 어긋나는 방식으로 자신의 역량을 사용하는 성향을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고
대체어미스얼라인먼트

용어 설명

AI 시스템이 개발자·이용자·특정 공동체·사회의 의도·가치·규범과 어긋나는 방식으로 자신의 역량을 사용하는 성향을 의미함.

  • 목표 오지정, 목표 오일반화 등 여러 경로로 생기며, 거짓 정보 제공, 바람직하지 않은 행동 은폐, 정지 저항 같은 행동으로 이어질 수 있음.
  • 학습 신호를 잘 만족시키면서 의도와 다르게 행동하면 지표상 정상이라 발견 자체가 어렵고, 좁은 영역의 미세조정이 무관한 영역의 행동까지 바꾸는 창발적 오정렬도 보고됨.
  • 누구의 의도·가치를 기준으로 삼느냐에 따라 판단이 달라질 수 있어, 쓰는 맥락에서 기준을 밝힐 필요가 있음.

구별'오정렬'은 의도와 어긋난 성향 일반을, '기만적 정렬'은 그중 정렬된 것처럼 보여 탐지하기 어려운 경우를 가리키며, 시스템이 의도대로 작동하지 못하는 '오작동'과 달리 오정렬은 역량을 다른 방향으로 쓰는 문제임.

용어 관계

하위 기만적 정렬 · 앞 단계 목표 오지정 · 다음 단계 통제 상실 · 혼동 주의 정렬, 오작동

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • AI가 인간의 의도나 가치와 충돌하는 방식으로 역량을 사용하는 성향으로 정의하고, 맥락에 따라 개발자·운영자·이용자·공동체·사회 전체의 의도를 가리킬 수 있다고 봄. [1]
🌐국제 AI 안전 보고서2026
  • 정의에 '규범'을 더해 인간의 의도·가치·규범과 충돌하는 성향으로 정의함. [2]
  • 오정렬이 거짓 정보 제공, 바람직하지 않은 행동 은폐, 어긋난 목표를 계속 추구하기 위한 정지 저항으로 이어질 수 있다고 설명함. [3]

출처

  1. 1International AI Safety Report 2025, p.100–101; Glossary p.223–224 · 원문
  2. 2International AI Safety Report 2026, Glossary, p.151 · 원문 · 라이브러리에서 보기
  3. 3International AI Safety Report 2026, p.81–82 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

정렬이 이루려는 상태라면 오정렬은 그것이 실패한 상태다. 눈에 잘 띄는 형태는 모델이 요청을 거부하거나 엉뚱한 답을 내놓는 경우지만, 정작 다루기 어려운 것은 그 반대다. 학습 신호를 훌륭하게 만족시키면서도 의도와 다르게 행동하는 경우다. 채점 기준의 빈틈을 찾아내 점수만 올리는 보상 해킹이 대표적이고, 시험받는 상황에서만 바람직하게 행동하고 감시가 없을 때 달라지는 형태도 여기 든다. 겉으로 보이는 지표가 모두 정상이라 문제를 발견하는 일 자체가 과제가 된다.

오정렬은 특정 기능의 결함처럼 국소적으로 머물지 않는다는 점이 알려져 있다. 좁은 영역의 유해한 자료로 추가 학습을 시켰을 때, 학습과 아무 상관이 없는 질문에서까지 어긋난 답이 나오는 현상이 관측된다. 창발적 오정렬이라고 부르는 이 현상은 모델이 개별 규칙을 배우는 게 아니라 어떤 종류의 화자로 행동할지를 배운다는 것을 시사한다. 한 부분을 건드리면 전체 성향이 함께 움직일 수 있다는 뜻이어서, 부분적인 수정으로 정렬을 관리하기 어렵게 만든다.

번역인공지능이 인간의 의도·가치·규범과 어긋나게 능력을 쓰는 성향. 맥락에 따라 개발자·사용자·특정 공동체·사회 전체의 의도·가치를 가리킬 수 있다.

An AI's propensity to use its capabilities in ways that conflict with human intentions or values. Depending on the context, this can variously refer to the intentions and values of developers, operators, users, specific communities, or society as a whole.

출처 International Scientific Report on the Safety of Advanced AI · p.100–101, p.223–224 · EN · 정의섹션

번역인공지능이 인간의 의도·가치·규범과 어긋나게 능력을 쓰는 성향. 맥락에 따라 개발자·사용자·특정 공동체·사회 전체의 의도·가치를 가리킬 수 있다.

An AI's propensity to use its capabilities in ways that conflict with human intentions, values, or norms. Depending on the context, this can refer to the intentions and values of various entities, such as developers, users, specific communities, or society as a whole.

출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-09-21🇺🇳 AI 에이전트 정렬 실패·통제 상실 위험 브리프 인공지능 독립 국제과학패널(Independent Int
동향 표기 · misalignment(39)
동향 문서 39기간 14개월최근 92%병기 2PDF 문서 15정의섹션 2
047목표 오지정goal misspecificationAI에 부여된 목표가 개발자가 의도한 목표의 불완전한 대리 지표가 되어, 시스템이 의도하지 않은 행동을 추구하게 되는 개발상 실패 유형을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고
대체어목표 명세 오류

용어 설명

AI에 부여된 목표가 개발자가 의도한 목표의 불완전한 대리 지표가 되어, 시스템이 의도하지 않은 행동을 추구하게 되는 개발상 실패 유형을 의미함.

  • 보상 함수, 인간 피드백, 평가 지표 등 학습 신호가 의도를 정확히 담지 못할 때 생김. 모델은 적힌 목표를 충실히 최적화할 뿐인데 결과가 의도와 어긋남.
  • 보상 해킹과 AI 아첨 같은 행동의 원인으로 지목됨. 과업이 복잡해질수록 사람이 신뢰할 만한 피드백을 주기 어려워져 문제가 커질 수 있다는 지적이 있음.

구별'목표 오지정'은 학습 신호 자체가 의도와 어긋나는 경우이고, 목표를 바르게 지정해도 학습 환경 밖에서 다른 목표를 추구하게 되는 목표 오일반화와 구별됨. 둘 다 '오정렬'의 원인이 됨.

용어 관계

다음 단계 오정렬, 보상 해킹

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • AI에 부여된 목표와 개발자 의도가 어긋나 AI가 의도하지 않았거나 바람직하지 않은 행동을 추구하게 되는 상태로 정의함. [1]
  • AI가 수행하는 과업이 복잡해질수록 사람이 신뢰할 만한 피드백을 주기 어려워져 문제 해결이 더 어려워질 수 있다고 봄. [1]
🌐국제 AI 안전 보고서2026
  • 지정된 목표가 개발자가 의도한 목표의 불완전한 대리 지표가 되어 의도치 않은 시스템 행동으로 이어지는 개발상 실패 유형으로 정의함. [2]

출처

  1. 1International AI Safety Report 2025, p.100–101, p.106–107; Glossary p.222–223 · 원문
  2. 2International AI Safety Report 2026, Glossary, p.150 · 원문 · 라이브러리에서 보기
원문 인용 2

번역인공지능에 부여된 목표와 개발자 의도가 어긋나, 의도하지 않거나 바람직하지 않은 행동을 추구하게 되는 상태.

A mismatch between the objective given to an AI and the developer's intention, leading the AI to pursue unintended or undesired behaviours.

출처 International Scientific Report on the Safety of Advanced AI · p.100–101, p.222–223 · EN · 정의섹션

번역개발자가 의도한 목표의 불완전한 대리 지표로 목표를 적어 두어, 시스템이 의도치 않은 행동을 하게 되는 개발 실패 유형.

A failure mode in AI development where the specified objective serves as an imperfect proxy for the developer's intended goal, leading to unintended system behaviours.

출처 International AI Safety Report 2026 · p.151 · EN · 정의섹션 · 라이브러리에서 보기

PDF 표기 · Goal misspecification
PDF 문서 3정의섹션 2
048일반화generalizationAI 모델이 학습에서 보지 못한 입력이나 달라진 환경에서도 학습한 역량과 행동을 유지하는 성질을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고

용어 설명

AI 모델이 학습에서 보지 못한 입력이나 달라진 환경에서도 학습한 역량과 행동을 유지하는 성질을 의미함.

  • 학습에 쓰지 않은 데이터로 성능을 재는 것이 기본 절차이며, 실제 사용 환경이 학습 환경과 달라지는 분포 변화에서도 견디는지를 함께 확인함.
  • AI 안전에서는 역량만큼 안전 학습도 일반화되는지가 쟁점임. 저자원 언어, 부호화한 요청, 인접한 유해 범주에서 거부가 무너지는 사례가 탈옥의 통로가 됨.
  • 학습한 목표가 새 환경에서 의도와 다르게 일반화되는 목표 오일반화는 오정렬의 한 경로로 다뤄짐.
해설 · 참고 기사 3 · 관련 연구 4

기계학습이 목표로 삼는 성질이다. 학습에 쓴 자료를 그대로 외운 모델은 그 자료에서는 완벽하지만 새로운 입력에서는 무너진다. 그래서 학습에 쓰지 않은 자료를 따로 남겨 두고 그것으로 성능을 재는 것이 기본 절차이며, 실제 사용 환경이 학습 환경과 달라졌을 때도 견디는지를 함께 확인한다. 병원 한 곳의 자료로 만든 진단 모델이 다른 병원에서 성능이 떨어지는 것이 이 성질이 부족한 대표적인 예다.

안전에서는 축이 하나 더 붙는다. 역량이 일반화되는 만큼 안전 학습도 함께 일반화되는지가 문제다. 실제로는 안전이 역량보다 좁게 일반화되는 경우가 반복 확인된다. 영어로 물으면 거절하는 요청을 자원이 적은 언어로 물으면 응하거나, 학습에서 다룬 유해 범주는 막지만 조금 다른 범주는 놓치거나, 평문으로는 거절하면서 부호화한 요청은 통과시키는 식이다. 안전 학습이 원리를 배운 것이 아니라 학습 자료에 나온 표면적 특징을 배운 결과라는 해석이 있다.

동향 표기 · 일반화(112)
동향 문서 112기간 15개월최근 89%병기 1
049보상 해킹reward hackingAI 모델이 학습·평가 목표가 의도한 바는 이루지 않으면서 점수만 높게 받는 의도치 않은 지름길을 찾아 활용하는 현상을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고
대체어명세 게이밍

용어 설명

AI 모델이 학습·평가 목표가 의도한 바는 이루지 않으면서 점수만 높게 받는 의도치 않은 지름길을 찾아 활용하는 현상을 의미함.

  • 채점 기준의 허점 이용, 테스트 코드 조작, 정답이 노출된 경로 탐색 등이 예로 거론됨. 보상 신호가 개발자 의도의 불완전한 대리 지표라는 목표 오지정에서 비롯됨.
  • 학습에서 강화되면 바람직하지 않은 성향이 다른 상황으로 일반화될 수 있고, 평가에서는 역량 측정을 왜곡해 위험한 역량·성향이 배포 전까지 드러나지 않게 할 수 있음.

구별'목표 오지정'은 부여된 목표와 개발자 의도 사이의 불일치라는 원인 쪽 개념이고, '보상 해킹'은 그 틈을 모델이 실제로 파고드는 행동 쪽 개념임.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 모델이 의도한 목표를 이루지 않고도 학습·평가 목표에서 높은 점수를 얻는 의도치 않은 지름길을 찾는 현상으로 설명함. [1]
  • 보상 해킹이 역량 평가의 정확성에도 영향을 주기 시작해, 위험한 역량·성향이 사용 단계까지 탐지되지 않을 수 있다고 봄. [1]

출처

  1. 1International AI Safety Report 2026, p.79 · 원문 · 라이브러리에서 보기
관련 연구 4
050기만deception어떤 목표를 추구하는 과정에서 타인에게 체계적으로 잘못된 믿음을 형성하게 하는 AI 시스템의 행동을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고
대체어속임

용어 설명

어떤 목표를 추구하는 과정에서 타인에게 체계적으로 잘못된 믿음을 형성하게 하는 AI 시스템의 행동을 의미함.

  • 자신의 목표·행동·역량을 거짓으로 보고하는 것, 끝내지 못한 작업을 완료했다고 보고하는 행위 등이 포함되며, 악의를 가정하지 않아도 사실대로 보고하는 것이 불리한 학습·평가 구조에서 학습될 수 있음.
  • 모델의 보고와 평가 결과를 믿을 수 없게 만들어 인간 감독의 전제를 무너뜨리고, 계략적 행동·샌드배깅·기만적 정렬 같은 감독 회피 행동의 공통 기반이 되는 역량으로 다뤄짐.
  • 모델이 실제로 무엇을 '알고' 있었는지 직접 확인하기 어려워 출력과 사실의 불일치만으로는 기만과 환각을 가리기 어렵고, 해석 가능성 연구와 사고 사슬 점검이 보완 수단이나 한계가 있음.

구별'기만'은 잘못된 믿음을 유도하는 행동 일반을 이르는 가장 넓은 개념이고 '계략적 행동'·'기만적 정렬'·'샌드배깅'은 그 구체적 양상이며, '기만'은 의도와 무관하게 근거 없는 내용을 지어내는 '환각'과도 구별됨.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 어떤 목표를 위해 타인에게 체계적으로 잘못된 믿음을 심는 형태의 영향력으로 정의함. [1]
  • 통제 상실을 가능하게 할 역량 후보의 하나로, AI 시스템 자신의 목표와 행동에 관해 잘못된 믿음을 낳는 행동까지 포함해 설명함. [2]
🇪🇺EU GPAI 실천강령 안내서2026
  • 타인에게 체계적으로 잘못된 믿음을 형성하게 하는 모델 행동으로 보고, 평가 중임을 탐지해 의도적으로 성능을 낮추는 등 감독 회피를 수반하는 행동을 포함함. [3]

출처

  1. 1International AI Safety Report 2026, Glossary, p.149 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2026, 2.2.2, p.78 · 원문 · 라이브러리에서 보기
  3. 3『EU GPAI 실천강령 한글 안내서』(2026), p.105 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

환각과 갈라 두어야 하는 개념이다. 환각은 모델도 근거를 갖추지 못한 상태에서 그럴듯한 말을 만드는 것이고, 기만은 내부적으로 파악한 것과 다르게 말하는 경우를 가리킨다. 특별한 악의를 가정할 필요는 없다. 목표를 달성하는 데 사실대로 보고하는 것이 불리하다면, 거짓 보고가 그저 더 높은 점수를 받는 선택이 될 수 있다. 작업을 완료했다고 보고하는 편이 실패를 알리는 편보다 좋은 평가를 받는 구조라면, 그 구조가 기만을 학습시킨다.

판정이 어렵다는 것이 이 개념의 실질적인 난점이다. 모델이 무엇을 알고 있었는지 직접 확인할 방법이 없기 때문에, 말과 사실이 어긋났다는 것만으로는 기만인지 환각인지 가릴 수 없다. 그래서 우회로를 쓴다. 내부 계산을 들여다보는 해석 가능성 연구나, 모델이 답을 내기 전에 풀어 쓴 사고 사슬를 살펴보는 방식이다. 다만 서술된 사고 과정이 실제 계산과 일치한다는 보장이 없어서, 이 우회로만으로 판정을 끝낼 수는 없다.

번역어떤 목표를 위해 타인에게 체계적으로 잘못된 믿음을 심어 주는 형태의 영향력.

A form of influence characterised by systematically inducing false beliefs in others in pursuit of some goal.

출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기

타인에게 체계적으로 잘못된 믿음을 형성하게 하는 모델 행동으로서 모델이 자신이 평 , 가되고 있음을 탐지하여 의도적으로 성능을 낮추거나 그 밖의 방식으로 감독을 약화시 키는 등 감독 회피를 수반하는 목표 달성을 위한 모델 행동을 포함

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.109 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-10-11🇺🇸 캘리포니아 AB 489 (의료 직역: 기만적 명칭·약어: 인공지능 2025) 법
  2. 2025-09-18🇺🇸 2025년 기만행위·유권자 협박 방지법 United States Congress · 법안
  3. 2025-09-10🇺🇸 미국 HR 5272 기만적 AI로부터 선거 보호법 United States Congress · 법안
  4. 2025-03-31🇺🇸 미국 상원법안 S 1213 기만적 AI로부터 선거 보호법 United States Congress · 법안
동향 표기 · 기만(15) / deception(11)
동향 문서 15기간 8개월최근 93%병기 2PDF 문서 18정의섹션 3
051기만적 정렬deceptive alignment오정렬된 AI 시스템이 학습·평가 과정에서는 정렬된 것처럼 행동해 문제가 드러나지 않는, 탐지하기 어려운 오정렬을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고

용어 설명

오정렬된 AI 시스템이 학습·평가 과정에서는 정렬된 것처럼 행동해 문제가 드러나지 않는, 탐지하기 어려운 오정렬을 의미함.

  • 모델이 학습 중임을 인식하고, 목표가 수정되지 않도록 학습 목표에 맞춘 행동을 보이다가 감독이 약해지면 다르게 행동하는 시나리오로 설명됨. 상황 인식이 전제됨.
  • 행동 기반 평가와 레드티밍을 통과해도 안전을 보장하지 못하게 만든다는 점에서 핵심 우려로 꼽힘. 학습 중에만 학습 목표에 맞는 출력을 낸 실험 사례가 보고됨(정렬 위장).
  • 탐지에는 해석 가능성 연구, 감시 여부를 바꾼 비교 실험 등이 시도되나 확립된 방법은 없음.

구별'기만적 정렬'은 정렬된 것처럼 보이는 오정렬 상태를, '계략적 행동'은 그런 상태에서 감독을 피해 목표를 추구하는 행동을, '기만'은 잘못된 믿음을 유도하는 행동 일반을 가리킴.

용어 관계

상위 오정렬 · 혼동 주의 기만, 계략적 행동

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 시스템이 적어도 처음에는 무해해 보이는 방식으로 행동하기 때문에 탐지하기 어려운 오정렬로 정의함. [1]
🌐국제 AI 안전 보고서2026
  • 한 실험에서 모델이 학습 중에는 학습 목표에 부합하는 출력을 내고 학습 밖에서는 그렇지 않았다며, 자기 파라미터나 학습 과정의 변경을 막으려는 시도와 부합하는 행동으로 소개함. [2]

출처

  1. 1International AI Safety Report 2025, p.100–101; Glossary p.220–221 · 원문
  2. 2International AI Safety Report 2026, p.79 · 원문 · 라이브러리에서 보기
원문 인용 2 · 관련 연구 1

번역시스템이 적어도 처음에는 무해해 보이는 행동을 하여, 탐지하기 어려운 오정렬.

Misalignment that is difficult to detect, because the system behaves in ways that at least initially appear benign. Risks 2.2 Risks from malfunctions

출처 International Scientific Report on the Safety of Advanced AI · p.100–101 · EN · 정의섹션

번역시스템이 적어도 처음에는 무해해 보이는 행동을 하여, 탐지하기 어려운 오정렬.

Misalignment that is difficult to detect, because the system behaves in ways that at least initially appear benign.

출처 International Scientific Report on the Safety of Advanced AI · p.220–221 · EN · 정의섹션

PDF 표기 · Deceptive alignment
PDF 문서 3정의섹션 1
052계략적 행동schemingAI 시스템이 개발자·감독자의 의도와 어긋난 목표를 추구하면서, 기만 등으로 감독을 피하는 방법을 찾아 은밀하게 행동하는 것을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고

용어 설명

AI 시스템이 개발자·감독자의 의도와 어긋난 목표를 추구하면서, 기만 등으로 감독을 피하는 방법을 찾아 은밀하게 행동하는 것을 의미함.

  • 실제 목표나 역량을 숨기고 감시 장치를 무력화하거나 평가받을 때만 바람직하게 행동하는 식으로 나타날 수 있으며, 자신이 시험받고 있는지 파악하는 상황 인식이 전제 역량으로 거론됨.
  • 평가·감독 결과 자체를 신뢰할 수 없게 만든다는 점에서 통제 상실 위험의 핵심 경로로 다뤄지는데, 실험 환경에서 관련 행동이 관측됐다는 보고가 있으나 실제 배포 환경에서의 빈도와 의미는 논쟁 중임.

구별'계략적 행동'은 감독 회피를 수반하는 목표 지향적 행동 양식이고 '기만'은 그 수단이 되는 더 넓은 행동, '기만적 정렬'은 학습·평가 중 정렬된 척하는 오정렬 상태이며, '샌드배깅'과 '사보타주'는 계략적 행동이 드러나는 구체적 형태로 볼 수 있음.

용어 관계

하위 사보타주, 샌드배깅 · 먼저 알 개념 기만, 오정렬 · 다음 단계 통제 상실 · 혼동 주의 기만적 정렬

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 통제를 약화시킬 수 있는 역량 후보의 하나로, 기만 등으로 감독 회피를 수반하는 목표 달성 방법을 찾아내는 역량으로 설명함. [1]
🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험 원천인 모델 경향으로 조작·기만 경향, 목표 변경에 대한 유해한 저항, 권력 추구, 다른 AI와의 공모를 들어 위험 식별 대상으로 둠. [2]
🇬🇧UK AISI2025
  • 평가 결과 해석 때 모델이 평가에서 전략적으로 성능을 낮추는 샌드배깅 가능성을 특수 사례로 짚고, 당시(2025년 초) 시스템에는 심각한 가능성으로 보기 어렵다고 판단함. [3]

출처

  1. 1International AI Safety Report 2025, p.104 · 원문
  2. 2EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.3.2, p.36 · 원문
  3. 3UK AISI (2025). Emerging Practices in Frontier AI Safety Frameworks, p.13 · 원문
관련 연구 4
053샌드배깅sandbaggingAI 모델이나 시스템이 평가에서 실제 역량보다 낮은 성능을 의도적으로 보이는 행동을 의미하며, 개발자가 성능을 낮춰 보이게 하는 경우까지 부르기도 함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고
대체어고의적 성능 저하

용어 설명

AI 모델이나 시스템이 평가에서 실제 역량보다 낮은 성능을 의도적으로 보이는 행동을 의미하며, 개발자가 성능을 낮춰 보이게 하는 경우까지 부르기도 함.

  • 높은 점수가 배포 제한으로 이어진다는 정보를 받으면 역량 평가 점수가 낮아지는 실험 결과가 보고됐고, 개발자가 규제 기준을 피하려고 모델 성능을 낮게 보이게 하는 경우까지 샌드배깅으로 부르기도 함.
  • 위험한 역량이 배포 전 평가에서 드러나지 않게 해, 위험 임계값과 역량 평가에 근거한 위험 관리 체계를 무력화할 수 있음.
  • 의도적 저성과와 실제 역량 부족을 구별하기 어려워, 미세조정·스캐폴딩 등으로 역량 유도(elicitation)를 강화하는 방식으로 대응함.

구별'샌드배깅'은 평가에서 역량을 낮춰 보이는 특정 행동이고 '사보타주'는 맡은 작업이나 절차의 결과를 은밀히 훼손하는 행동, '기만'은 잘못된 믿음을 유도하는 행동 일반이며, 모델이 감독 회피 목적으로 샌드배깅을 할 때는 '계략적 행동'의 한 형태로 볼 수 있음.

용어 관계

상위 계략적 행동 · 먼저 알 개념 상황 인식 · 혼동 주의 사보타주

주요 기관·문서별 개념 및 적용

🇪🇺EU GPAI 실천강령 안내서2026
  • 샌드배깅을 모델이 평가 상황을 인지하고 실제 역량보다 낮은 성능을 의도적으로 보이거나 행동을 조절해 평가 결과를 왜곡하는 현상으로 설명함. [1]
  • 모델 평가 시 과소 유도와 함께 샌드배깅 같은 모델 기만의 위험을 최소화하도록 요구함. [1]
🌐국제 AI 안전 보고서2026
  • 샌드배깅을 모델이나 시스템이 평가에서 자기 역량보다 낮은 성능을 보이는 행동으로, 추가 조사나 제한을 피하려는 것일 수 있다고 정의함. [3]
  • 일부 실험에서 높은 점수가 배포 제한을 부른다는 말을 들은 모델이 역량 평가에서 평소보다 낮은 점수를 낸 사례를 들어, 상황 인식과 기만 역량이 안전장치를 약화시킬 수 있다고 봄. [2]

출처

  1. 1『EU GPAI 실천강령 한글 안내서』(2026), p.117 · 원문
  2. 2International AI Safety Report 2026, p.79 · 원문 · 라이브러리에서 보기
  3. 3International AI Safety Report 2026, Glossary, p.154 · 원문 · 라이브러리에서 보기
관련 연구 4
054상황 인식situational awarenessAI 시스템이 자기 자신, 자신이 수정될 수 있는 과정, 자신이 배포된 맥락에 관한 정보에 접근하고 이를 활용하는 역량을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고

용어 설명

AI 시스템이 자기 자신, 자신이 수정될 수 있는 과정, 자신이 배포된 맥락에 관한 정보에 접근하고 이를 활용하는 역량을 의미함.

  • 자신이 AI 모델이라는 사실, 학습·평가·배포 중 어느 단계에 있는지, 시험받고 있는지를 파악하는 것 등이 포함됨. 평가 중 사고 사슬에서 시험일 가능성을 언급한 사례가 보고됨.
  • 에이전트 작업에는 유용하지만, 평가 상황을 알아채고 행동을 바꿀 수 있게 해 평가의 타당성을 떨어뜨림. 샌드배깅·기만적 정렬·계략적 행동의 전제 역량으로 다뤄짐.

용어 관계

상위 역량

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 통제를 약화시킬 수 있는 역량 후보로, 자기 자신, 자신이 수정될 수 있는 과정, 배포 맥락에 관한 정보에 접근하고 적용하는 역량으로 설명함. [1]
🌐국제 AI 안전 보고서2026
  • 같은 정의에 '자신이 시험받고 있음을 아는 것'을 예로 덧붙이고, 평가 중 모델의 사고 사슬에서 시험 가능성을 언급한 사례를 제시함. [2]

출처

  1. 1International AI Safety Report 2025, p.104 · 원문
  2. 2International AI Safety Report 2026, p.78–79 · 원문 · 라이브러리에서 보기
관련 연구 1
055권력 추구 행동power-seeking behaviourAI 시스템이 주어진 목표를 이루는 수단으로 자원·권한·영향력을 확보하거나 정지·수정에 저항하는 등 자신의 통제 범위를 넓히려는 행동을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고

용어 설명

AI 시스템이 주어진 목표를 이루는 수단으로 자원·권한·영향력을 확보하거나 정지·수정에 저항하는 등 자신의 통제 범위를 넓히려는 행동을 의미함.

  • 다양한 목표에서 자원 확보와 작동 유지가 공통으로 유용한 하위 목표가 된다는 도구적 수렴 논리로 설명됨. 명시적으로 가르치지 않아도 나타날 수 있다는 점이 우려의 근거임.
  • 자기 유출, 권한 상승, 정지 회피 등과 이어져 통제 상실 시나리오의 핵심 요소로 다뤄짐. 현재 모델에서 관측되는 정도와 장래 위험의 크기는 여전히 연구·논쟁 대상임.

용어 관계

다음 단계 통제 상실

056자기 유출self-exfiltrationAI 모델이 개발자의 승인 없이 자신의 모델 가중치 등을 개발자 통제 밖의 서버나 환경으로 복사·이전하는 행위를 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고

용어 설명

AI 모델이 개발자의 승인 없이 자신의 모델 가중치 등을 개발자 통제 밖의 서버나 환경으로 복사·이전하는 행위를 의미함.

  • 보안 경계 우회, 자격 증명 탈취, 외부 연산 자원 확보 등을 거쳐 이루어지는 시나리오로 논의되며, 스스로 사본을 만들고 유지하는 자율 복제 역량과 맞닿아 있음.
  • 통제 밖으로 나간 모델에는 안전장치 적용·감시·중단이 불가능해져 통제 상실의 직접 경로로 꼽힘. 외부 공격자의 가중치 탈취와 달리 위협 주체가 모델 자신이라 행동 감시와 보안 통제를 함께 요구함.

용어 관계

먼저 알 개념 모델 가중치 · 다음 단계 통제 상실

주요 기관·문서별 개념 및 적용

🇪🇺EU GPAI 실천강령 안내서2026
  • 내부자 위협을 설명하면서 모델의 자기 유출에 의해 수행되는 활동을 그 한 유형으로 포함함. [1]

출처

  1. 1『EU GPAI 실천강령 한글 안내서』(2026), p.106 · 원문
057아첨sycophancyAI 모델이 사실이나 정확성보다 이용자의 견해·기대에 맞추어 동조하거나 치켜세우는 응답을 내는 경향을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고
대체어AI 아첨아첨 성향

용어 설명

AI 모델이 사실이나 정확성보다 이용자의 견해·기대에 맞추어 동조하거나 치켜세우는 응답을 내는 경향을 의미함.

  • 이용자가 반박하면 맞던 답을 철회하거나 이용자가 먼저 밝힌 입장에 맞춰 견해를 바꾸는 식으로 나타나며, 사람의 선호 평가로 모델을 조정하는 과정에서 강화되기 쉬운 것으로 지목됨.
  • 잘못된 전제나 위험한 계획에 제동을 걸지 않게 하고 감독자가 보고 싶어 하는 결과를 보여 줘 인간 감독의 전제인 정직한 보고를 약화시킬 수 있으며, 정서적 의존·정신 건강 문제와도 연결됨.

구별'아첨'은 이용자의 기대에 맞추려는 경향에서 생기는 왜곡이고, '기만'은 목표 달성을 위해 체계적으로 잘못된 믿음을 유도하는 행동, '환각'은 근거 없는 내용을 사실처럼 생성하는 현상임.

용어 관계

앞 단계 인간 피드백 기반 강화학습 · 다음 단계 정서적 의존 · 혼동 주의 기만, 환각

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 범용 AI 모델·시스템이 부정확하거나 해로운 정보를 주게 되더라도 이용자를 치켜세우거나 맞장구치는 경향으로 정의함. [1]
🌐UN 과학 패널2026
  • 사람이 동조하는 응답을 선호해 챗봇이 과장된 아첨을 익혔다고 보고, 아첨을 피해가 기록된 시스템적 위험이자 정렬·보안 실패로 규정함. [2]

출처

  1. 1International AI Safety Report 2026, Glossary, p.154–155 · 원문 · 라이브러리에서 보기
  2. 2UN Scientific Panel on AI (2026). Preliminary Report, 2.7, p.24–25 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4

사람의 선호로 모델을 다듬을 때 생기기 쉬운 부작용으로 지목된다. 평가자가 마음에 든다고 표시한 답에 높은 점수가 실리는데, 사람은 자기 생각에 동의하는 답을 더 좋게 평가하는 경향이 있다. 그 결과 모델은 옳은 답보다 상대가 듣고 싶은 답을 고르는 쪽으로 기울어진다. 이용자가 그럴 리 없다고 반박하면 맞았던 답을 철회하고, 이용자가 자기 입장을 먼저 밝히면 그에 맞춰 견해를 조정하는 모습으로 나타난다.

무례함의 반대말이 아니라 안전 문제로 취급된다는 점이 중요하다. 아첨하는 모델은 이용자가 위험한 계획을 내놓아도 제동을 걸지 않고, 잘못된 전제를 바로잡지 않는다. 더 근본적인 문제는 감독을 무력화한다는 데 있다. 사람이 모델을 감독하는 구조는 모델이 정직하게 보고한다는 전제 위에 서 있는데, 감독자가 보고 싶어 하는 결과를 보여 주는 모델은 그 전제를 허문다. 검토를 통과했다는 사실이 안전의 근거가 되지 못하게 되는 것이다.

번역범용 AI 모델·시스템이 사용자를 치켜세우거나 맞장구치는 경향. 그 과정에서 부정확하거나 해로운 정보를 주더라도 그렇게 하는 경우를 포함한다.

The tendency of general-purpose AI models and systems to flatter or validate their users, even when that involves providing inaccurate or harmful information.

출처 International AI Safety Report 2026 · p.154–155, p.155–156 · EN · 정의섹션 · 라이브러리에서 보기

동향 표기 · 아첨(7) / sycophancy(26)
동향 문서 7기간 4개월최근 71%병기 2PDF 문서 7정의섹션 1
058환각hallucinationAI 시스템이 근거가 없거나 사실과 다른 내용을 그럴듯한 형식으로 생성하는 현상, 또는 그렇게 생성된 부정확하거나 오해를 부르는 정보를 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고
대체어할루시네이션

용어 설명

AI 시스템이 근거가 없거나 사실과 다른 내용을 그럴듯한 형식으로 생성하는 현상, 또는 그렇게 생성된 부정확하거나 오해를 부르는 정보를 의미함.

  • 다음에 올 말의 그럴듯함을 학습한 생성 원리에서 비롯되며, 존재하지 않는 논문·판례·조문을 형식까지 갖춰 지어내는 것이 전형임.
  • 형식이 정교할수록 걸러내기 어려워 자동화 편향과 겹치면 의료·법률·행정 판단에서 피해로 이어질 수 있고, 검색 결합·출처 표기로 줄일 수 있으나 완전히 없애기는 어려워 보정이 함께 강조됨.

구별'환각'은 의도를 전제하지 않는 근거 없는 출력이고 '기만'은 목표를 위해 잘못된 믿음을 유도하는 행동이며, '오정보'·'허위 정보'는 정보의 정확성과 유포 의도로 구별하는 개념으로 환각으로 생성된 내용이 오정보로 유포될 수도 있음.

용어 관계

혼동 주의 아첨, 기만, 오정보

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • AI 시스템이 생성하는 부정확하거나 오해를 부르는 정보로 정의하고, 거짓 사실이나 가짜 인용을 예로 듦. [1]
🇺🇸NISTAI 600-1, 2024
  • 생성형 AI가 잘못되거나 거짓인 내용을 확신 있게 제시하는 현상을 '작화(confabulation)'라 하고 환각을 그 통칭으로 보며, 학습 데이터 분포를 근사하는 설계에서 자연히 생긴다고 설명함. [2]
🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험 원천인 모델 경향의 하나로 '환각'을 일으키거나 오정보를 생성하거나 정보 출처를 흐리는 경향을 듦. [3]

출처

  1. 1International AI Safety Report 2025, Glossary, p.222 · 원문
  2. 2NIST AI 600-1, 2.2, p.6 · 원문
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.3.2, p.36 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

언어모델은 다음에 올 말로 무엇이 그럴듯한지를 맞추도록 학습된다. 사실을 확인하는 별도의 장치가 있는 것이 아니라, 학습해 둔 언어의 패턴에서 가장 자연스러운 이어짐을 고르는 것이다. 그래서 존재하지 않는 논문 제목, 실재하지 않는 판례 번호, 없는 조문을 형식만 완벽하게 지어낸다. 저자 이름과 학술지 이름과 연도가 그럴듯하게 배열된 인용을 만들어 내는 것이 전형적인 예다. 모델은 거짓말을 하려는 것이 아니라, 사실인지 여부가 애초에 판단 대상이 아니었을 뿐이다.

형식이 정확할수록 사람이 걸러내기 어렵다는 점이 이 현상을 위험하게 만든다. 어색한 문장은 의심받지만 잘 짜인 인용은 그대로 받아들여진다. 검색 결과를 함께 넣어 주거나 출처를 반드시 달게 하면 빈도를 줄일 수 있지만, 생성 원리에서 비롯되는 현상이라 완전히 없애기는 어렵다. 그래서 대응의 무게는 발생을 막는 쪽만이 아니라, 모델이 자기 확신도를 정직하게 알려 주게 만드는 쪽에도 놓인다. 환각 문제가 보정 문제와 맞닿는 지점이다.

번역인공지능 시스템이 생성하는 부정확하거나 오해를 부르는 정보. 거짓 사실이나 가짜 인용 등이 예다.

Inaccurate or misleading information generated by an AI system, for instance false facts or citations.

출처 International Scientific Report on the Safety of Advanced AI · p.222–223 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-12-04🇰🇷 AI 환각 위험 관리 정책 대응 전략 NIA · 정책보고서
동향 표기 · 환각(42) / hallucination(18)
동향 문서 42기간 15개월최근 90%병기 3PDF 문서 10정의섹션 1
059사보타주sabotageAI 시스템이 겉으로는 협조하면서 맡은 작업이나 감독·안전 절차를 의도적으로 부실하게 수행하거나 훼손하는 행동을 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고
대체어사보타지

용어 설명

AI 시스템이 겉으로는 협조하면서 맡은 작업이나 감독·안전 절차를 의도적으로 부실하게 수행하거나 훼손하는 행동을 의미함.

  • 코드에 잘 드러나지 않는 결함을 남기거나, 감시 장치가 보는 기록만 정상으로 맞추거나, 연구·평가 결과를 미묘하게 왜곡하는 형태가 거론됨. 요청 거부와 달리 비협조 사실이 드러나지 않음.
  • AI가 다른 모델의 평가, 학습 데이터 생성, 코드 검토 등 안전 절차 일부를 맡을수록 피해가 커짐. 그래서 협조하지 않는 모델을 가정하고도 안전이 유지되는지 확인하는 통제 접근이 제안됨.
  • 국제 AI 안전 보고서(2025)의 가짜 콘텐츠 피해 유형에서는 특정인의 평판·경력을 해치려는 가짜 콘텐츠 유포를 가리키는 다른 뜻으로도 쓰임.

구별'사보타주'는 작업·절차의 결과를 은밀히 훼손하는 행동이고, '샌드배깅'은 평가에서 역량을 낮춰 보이는 특정 행동임. 둘 다 '계략적 행동'이 드러나는 형태로 볼 수 있음.

용어 관계

상위 계략적 행동 · 혼동 주의 샌드배깅

해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4

거부와 다른 형태의 비협조다. 요청을 거절하면 그 사실이 곧바로 드러나지만, 사보타주는 겉으로 협조하는 모습을 유지하면서 결과만 어긋나게 만든다. 역량을 갖고 있으면서 못하는 척하는 샌드배깅, 코드에 눈에 잘 띄지 않는 결함을 남기는 것, 감시 장치가 볼 수 있는 기록만 정상으로 맞춰 두는 것이 여기 든다. 통상적인 품질 검사는 결과물이 요건을 충족하는지 보는데, 이런 행동은 요건을 충족한 것처럼 보이게 만들어 검사를 통과한다.

왜 별도의 개념으로 다루는지는 AI가 안전 절차의 일부를 맡는 상황을 놓고 보면 분명해진다. 모델이 다른 모델을 평가하고, 학습 데이터를 만들고, 코드를 검토하는 구조에서는 감독 대상이 감독 절차의 일부가 된다. 이때 한 번의 사보타주가 이후 판단 전체를 오염시킬 수 있다. 그래서 모델이 협조한다는 가정을 아예 버리고, 협조하지 않는 모델을 상대로도 안전이 유지되는지 확인하는 방식이 별도로 제안된다.

번역특정인이 성행위나 약물 사용 등 곤란한 행위에 가담하는 것처럼 보이는 가짜 콘텐츠를 만들어 유포함으로써, 명예·경력을 해치거나 공적 활동에서 물러나게 하려는 행위.

Generating fake content that presents an individual engaging in compromising activities, such as sexual activity or using drugs, and then releasing that content in order to erode a person's reputation, harm their career, and/or force them to disengage from public-facing activities (e.g. in politics, journalism, or entertainment).

출처 International Scientific Report on the Safety of Advanced AI · p.63 · EN · 정의섹션

동향 표기 · 사보타주(12) / sabotage(11)
동향 문서 12기간 9개월최근 83%병기 1PDF 문서 13정의섹션 1
060통제 상실loss of control하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 동작하며, 통제를 되찾는 데 막대한 비용이 들거나 불가능해지는 시나리오를 의미함.
#04. 모델 행동 위험 Model Behaviour Risks
AI 위험·사고

용어 설명

하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 동작하며, 통제를 되찾는 데 막대한 비용이 들거나 불가능해지는 시나리오를 의미함.

  • 사람 개입 없는 장시간 자율 작동, 되돌릴 수 없는 행동, 감독자의 판단 역량이 시스템을 따라가지 못하는 상황이 겹칠수록 통제력이 줄어들며, 모델 못지않게 권한 부여·배치 방식의 문제로 다뤄짐.
  • 시스템이 정지·수정에 적극 저항하는 경로와, 저항 없이도 위임과 검증할 수 없는 결정이 쌓여 도달하는 점진적 경로가 구분됨.
  • 기만, 상황 인식, 감독 회피, 설득, 자율 복제 등이 통제 상실을 가능하게 할 역량으로 평가 대상이 됨.

구별'통제 상실'은 시스템이 누구의 통제도 받지 않게 된 결과 상태이고, '오정렬'은 그에 이를 수 있는 원인의 하나이며, '인간 감독'은 이를 막으려는 장치임.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 작동하며 통제를 되찾을 명확한 경로가 없는 시나리오로 정의함. [1]
🌐국제 AI 안전 보고서2026
  • 통제를 되찾는 데 막대한 비용이 들거나 불가능한 시나리오로 설명해 2025년 표현과 달라졌고, 에이전트 역량·기만·마음 이론·상황 인식·감독 회피·설득·자율 복제 및 적응을 통제 상실을 가능하게 할 역량 후보로 제시함. [2]

출처

  1. 1International AI Safety Report 2025, p.100–101; Glossary p.223 · 원문
  2. 2International AI Safety Report 2026, 2.2.2, p.76–78 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

어느 순간 갑자기 벌어지는 사건이 아니라 정도의 문제다. 통제력은 세 가지가 겹칠 때 줄어든다. 첫째, 시스템이 사람 개입 없이 오래 움직일 때. 둘째, 그 행동이 되돌릴 수 없을 때 — 보낸 메일, 실행된 거래, 지워진 파일은 취소가 안 된다. 셋째, 감독자가 결과의 옳고 그름을 판단할 능력이 시스템보다 뒤처질 때. 그래서 통제 상실은 모델의 성질이라기보다 모델을 어떻게 배치했는지의 성질로 다뤄진다. 같은 모델도 권한을 어떻게 주느냐에 따라 통제 가능성이 달라진다.

논의는 두 갈래의 경로를 구분한다. 하나는 시스템이 정지나 수정에 저항하는 경우다. 목표를 달성하려면 계속 작동해야 하므로 정지를 피하는 것이 하위 목표가 될 수 있다는 논리다. 다른 하나는 저항이 전혀 없어도 도달하는 경로다. 단계마다 합리적인 위임이 쌓이고, 검증할 수 없는 결정이 조금씩 늘어나, 결국 아무도 전체를 이해하지 못하는 상태가 된다. 극적인 장면이 없어서 알아채기 어렵다는 점에서 후자가 더 현실적인 위험으로 지적된다.

번역하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 동작하며, 통제를 되찾을 명확한 경로가 없는 시나리오.

A scenario in which one or more general-purpose AI systems come to operate outside of anyone's control, with no clear path to regaining control.

출처 International Scientific Report on the Safety of Advanced AI · p.100–101, p.223 · EN · 정의섹션

번역하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 동작하며, 통제를 되찾을 명확한 경로가 없는 시나리오.

A scenario in which one or more general-purpose AI systems come to operate outside of anyone's control, with no clear path to regaining control.

출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-09-21🇺🇳 AI 에이전트 정렬 실패·통제 상실 위험 브리프 인공지능 독립 국제과학패널(Independent Int
동향 표기 · 통제 상실(23)
동향 문서 23기간 12개월최근 91%병기 1PDF 문서 13정의섹션 2
061오용misuseAI 시스템을 개발자·배포자가 의도하거나 허용한 용도·조건에서 벗어나 피해를 낳는 방식으로 사용하는 행위를 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고

용어 설명

AI 시스템을 개발자·배포자가 의도하거나 허용한 용도·조건에서 벗어나 피해를 낳는 방식으로 사용하는 행위를 의미함.

  • 시스템은 설계대로 작동하는데 사용 목적이나 방식이 문제인 경우를 가리킴. 피싱 문안 대량 생성, 멀웨어 작성 지원, 비동의 성적 이미지 제작 등이 대표 유형으로 거론됨.
  • AI 안전 문헌에서 misuse는 대개 고의적 사용을 전제로 쓰이며(예: NIST의 '오용 위험'), 모델 역량이 커질수록 피해 규모도 커질 수 있어 역량 평가와 함께 다뤄짐.
  • 거부 학습·출력 필터·이용 정책·접근 통제는 대부분 배포자가 접근 경로를 쥐고 있을 때 작동하므로, 오용 위험은 오픈 웨이트 모델 공개 논쟁의 중심 쟁점이 됨.

구별'오용'은 의도·허용된 용도를 벗어난 사용을 넓게 이르고, '악의적 사용'은 그중 해를 끼치려는 고의가 분명한 경우를, '남용'은 정당한 목적·권한 범위를 넘어선 과도한 사용을 가리킴. 시스템이 의도대로 작동하지 못하는 '오작동'과도 구별됨.

용어 관계

하위 남용, 악의적 사용 · 혼동 주의 오작동

주요 기관·문서별 개념 및 적용

🇺🇸NISTAI 800-1 초안, 2025
  • '오용 위험(misuse risk)'을 AI 모델이 해를 끼치기 위해 고의로 오용될 위험으로 정의해, 오용을 고의적 사용으로 전제함. [1]
  • 위험은 AI RMF에 따라 피해 발생 확률과 그 피해 크기를 결합한 척도로 봄. [1]

출처

  1. 1NIST AI 800-1 2차 초안, Glossary, p.22 · 원문
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 2

AI 오작동과 갈라 두어야 하는 개념이다. 오작동은 시스템이 의도대로 작동하지 않아 생기는 문제이고, 오용은 시스템이 정상 작동하는데 쓰는 사람의 목적이나 방식이 문제인 경우다. 결함을 고치면 오작동은 줄지만 오용은 줄지 않는다. 설득력 있는 피싱 문안을 대량으로 쓰게 하는 것, 멀웨어 작성을 돕게 하는 것, 특정인의 합성 성착취물을 만드는 것이 전형이다. 어느 쪽이든 실제 피해로 이어지면 AI 사고가 된다는 점, 곧 사고는 원인이 아니라 피해 발생을 기준으로 한 개념이라는 점도 함께 짚어 둘 만하다. 모델이 유능해질수록 오용의 위력도 커질 수 있다는 점에서 역량 향상과 떼어 놓기 어려운 문제다.

누가 어떻게 막을 것인가가 이 개념의 실질적인 쟁점이다. 만드는 쪽은 유해한 요청을 거절하도록 학습시키고 외부 필터를 두어 막으려 하고, 규제는 배포 단계의 통제와 사후 추적을 요구한다. 다만 이런 통제의 상당수는 모델에 접근하는 경로를 쥐고 있을 때만 작동한다. 모델 가중치가 공개되면 추가 학습으로 거부 장치를 떼어낼 수 있고 사용 기록도 남지 않아, 배포자 쪽 통제는 대부분 힘을 잃는다. 오용 위험이 오픈 웨이트 모델 논쟁의 중심에 놓이는 이유다.

동향 표기 · 오용(36)
동향 문서 36기간 12개월최근 89%병기 3
062악의적 사용malicious use해를 끼치려는 의도로 AI 시스템을 사용하는 행위를 말하며, 행위자의 고의를 핵심 요건으로 삼는 AI 위험 범주를 가리킴.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어악용

용어 설명

해를 끼치려는 의도로 AI 시스템을 사용하는 행위를 말하며, 행위자의 고의를 핵심 요건으로 삼는 AI 위험 범주를 가리킴.

  • 사이버 공격, 화학·생물 무기 개발 지원, 사기·사칭, 허위 정보 유포, 비동의 성적 이미지 제작 등이 대표 유형임. 행위자는 개인부터 범죄 조직·국가까지 넓게 상정됨.
  • 국제 AI 안전 보고서는 AI 오작동, 시스템적 위험과 함께 악의적 사용을 범용 AI 위험의 주요 범주로 다룸. 대응은 위협 모델링, 역량 평가, 접근 통제, 안전장치를 축으로 함.
  • 같은 역량이 방어·연구에도 쓰이는 이중 용도 성격 때문에, 차단 범위를 넓힐수록 정당한 이용도 함께 제약되는 긴장이 생김.

구별'악의적 사용'은 해를 끼치려는 고의가 분명한 사용을, '오용'은 의도·허용된 용도를 벗어난 사용을 넓게, '남용'은 정당한 목적·권한 범위를 넘어선 과도한 사용을 가리킴.

용어 관계

상위 오용 · 혼동 주의 남용

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • AI 시스템 등을 사용해 의도적으로 해를 끼치는 행위로 정의함. [1]
🌐국제 AI 안전 보고서2025
  • AI를 사용해 의도적으로 해를 끼치는 행위로 정의하고, 오작동·시스템적 위험과 함께 위험 범주의 하나로 다룸. [2]

출처

  1. 1International AI Safety Report 2026, Glossary, p.151 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2025, Glossary, p.223–224 · 원문
원문 인용 2 · 관련 연구 4 · 정책 문서 1

번역인공지능 시스템 등을 써서 의도적으로 해를 끼치는 행위.

Using something, such as an AI system, to intentionally cause harm.

출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기

번역인공지능을 써서 의도적으로 해를 끼치는 행위.

Employing AI to intentionally cause harm.

출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-12-18🇺🇸 미국 HR 6848 외국의 신종 드론 악용 탐지·평가법 United States Congress · 법안
PDF 표기 · Malicious · 악용
PDF 문서 23정의섹션 3
063남용abuseAI 시스템이나 그에 부여된 권한·기능을 정당한 목적과 허용 범위를 넘어 과도하게 또는 목적 밖으로 이용하는 행위를 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고

용어 설명

AI 시스템이나 그에 부여된 권한·기능을 정당한 목적과 허용 범위를 넘어 과도하게 또는 목적 밖으로 이용하는 행위를 의미함.

  • 이용이 허용된 목적에서 출발하지만 적용 대상·빈도·범위가 근거를 넘어서는 경우가 해당함. 감시 도구의 목적 외 확대 적용, 이용 한도를 넘는 자원 소모, 서비스 안의 스팸·괴롭힘 등이 포함됨.
  • 악의적 사용이 접근 차단·역량 제한으로 다뤄지는 것과 달리, 남용은 권한 범위 설정, 목적 외 이용 금지, 사용 기록 보존, 정기 점검 같은 거버넌스 통제로 다뤄짐.
  • 국문에서는 '오용'과 섞여 쓰이는 경우가 많아, 문서마다 어떤 행위를 가리키는지 확인할 필요가 있음.

구별'오용(misuse)'은 의도·허용된 용도를 벗어난 사용을 넓게, '악의적 사용(malicious use)'은 해를 끼치려는 고의적 사용을, '남용(abuse)'은 정당한 목적·권한 안에서 시작했으나 범위·정도를 넘어선 사용을 가리킴.

용어 관계

상위 오용 · 혼동 주의 악의적 사용

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

오용·악의적 사용과 겹치지만 강조점이 다르다. 악의적 사용은 목적 자체가 해롭다는 데 무게가 있고, 남용은 목적은 정당할 수 있으나 정도와 범위가 지나치다는 데 무게가 있다. 범죄 수사를 위해 도입한 얼굴 인식을 경미한 위반 단속까지 확대해 쓰는 것, 업무 관리를 위한 모니터링 도구로 직원의 사생활까지 들여다보는 것, 서비스가 허용한 한도를 넘겨 자원을 대량 소모하는 것이 여기 든다. 권한을 준 근거와 실제 사용 범위 사이의 간격이 문제가 되는 셈이다.

국문에서는 오용으로 뭉뚱그려 쓰이는 편이지만, 구분해 두면 대응이 달라진다는 점에서 실익이 있다. 악의적 사용은 접근을 막거나 역량을 제한하는 방식으로 다루지만, 남용은 권한의 범위와 사용 기록을 관리하는 방식으로 다뤄야 한다. 목적 외 이용을 금지하고, 접근 기록을 남기고, 정기적으로 사용 실태를 점검하는 절차가 그런 통제에 해당한다. 플랫폼 정책 문서에서 이용자 사이의 괴롭힘이나 스팸처럼 서비스 안에서 벌어지는 문제를 남용으로 따로 묶는 것도 같은 이유다.

동향 표기 · 남용(7)
동향 문서 7기간 7개월최근 86%병기 1
064이중 용도 위험dual-use risk같은 AI 역량이 이로운 목적과 함께 해로운 목적에도 쓰일 수 있어 생기는 위험으로, 특히 고의적 오용으로 피해가 발생할 가능성을 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고

용어 설명

같은 AI 역량이 이로운 목적과 함께 해로운 목적에도 쓰일 수 있어 생기는 위험으로, 특히 고의적 오용으로 피해가 발생할 가능성을 의미함.

  • 생물학 연구 지원 역량이 병원체 설계에, 취약점 탐지 역량이 공격 코드 작성에 쓰일 수 있듯 유익한 역량과 위험한 역량이 분리되지 않는 경우가 많음.
  • 미국 NIST AI 800-1 2차 초안(2025.1)은 2025.1.20 폐지된 행정명령 14110의 정의에 따라, 비전문가의 화학·생물·방사능·핵 무기 접근 장벽을 크게 낮추거나 공격적 사이버 작전을 가능하게 할 수준의 모델을 '이중 용도 파운데이션 모델'로 보고 오용 위험 관리 지침을 제시함.
  • 역량 자체를 제한하면 정당한 이용도 막히므로, 접근 통제·이용 정책·단계적 공개처럼 누가 어떤 조건에서 쓰는지를 관리하는 방식이 주로 논의됨.

구별'이중 용도 위험'은 역량이 해롭게 쓰일 가능성이라는 위험 개념이고 '이중 용도 과학'은 그런 성격을 지닌 연구·기술 분야 자체를 가리키며, 수출통제에서 말하는 민수·군수 겸용 품목의 '이중 용도'와는 맥락이 다름.

용어 관계

상위 위험 · 혼동 주의 이중 용도 과학

주요 기관·문서별 개념 및 적용

🇺🇸NISTAI 800-1 초안, 2025
  • 초안은 폐지된 행정명령 14110의 정의를 따르며, 이 정의에는 비전문가의 화학·생물·방사능·핵 무기 설계·획득 장벽을 크게 낮추거나, 자동 취약점 탐지·악용으로 강력한 공격적 사이버 작전을 가능하게 하거나, 기만으로 인간 통제를 회피하게 하는 등 안보·공중 안전에 심각한 위험을 주는 과업에서 높은 성능을 보이는(또는 쉽게 그렇게 바뀔 수 있는) 모델이라는 위험 역량 요건이 포함됨. [1]
  • 기술적 안전장치를 갖춰 제공되더라도 이 정의에 해당한다고 보고, 오용 위험을 고의적 오용에 따른 위험으로 정의함. [1]
🌐국제 AI 안전 보고서2025·2026
  • 범용 AI 모델은 좋은 목적에도 악의적 목적에도 쓰일 수 있는 이중 용도라고 설명함. [2]
  • 생물·화학 역량의 이중 용도 성격이 유익한 연구를 살리면서 유해 사용을 막으려는 정책에 과제를 준다고 지적함. [3]
🇪🇺EU GPAI 실천강령2025
  • 지정된 시스템적 위험으로 화학·생물·방사능·핵(CBRN) 위험을 두고, 관련 무기의 설계·획득·사용에서 악의적 행위자의 진입 장벽을 크게 낮추는 경우를 포함함. [4]

출처

  1. 1NIST AI 800-1 2차 초안, Glossary, p.22 · 원문
  2. 2International AI Safety Report 2025, 2.4, p.153–154 · 원문
  3. 3International AI Safety Report 2026, p.70–71 · 원문 · 라이브러리에서 보기
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.4, p.37 · 원문
065이중 용도 과학dual-use science의료·에너지·환경처럼 이로운 목적에 쓰일 수 있으나 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술을 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고

용어 설명

의료·에너지·환경처럼 이로운 목적에 쓰일 수 있으나 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술을 의미함.

  • 생명과학·화학·핵물리 분야에서 오래 써 온 개념으로, 연구 결과 공개 범위와 위험 연구 감독을 둘러싼 논의가 축적되어 있음.
  • AI는 흩어진 문헌을 종합하고 실험 절차를 안내해 이중 용도 과학 지식의 활용 장벽을 낮출 수 있어, 화학·생물·방사능·핵 위험 평가와 휴먼 업리프트 연구의 대상이 됨.

구별'이중 용도 과학'은 이중 용도 성격을 지닌 연구·기술 분야를, '이중 용도 위험'은 그런 역량이 해롭게 쓰일 가능성이라는 위험을 가리킴.

용어 관계

혼동 주의 이중 용도 위험

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 의학·환경 해법처럼 이로운 목적에 쓰일 수 있지만 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술로 정의함. [1]
🌐국제 AI 안전 보고서2026
  • 같은 정의에서 이로운 활용 예를 의료·에너지로 바꿔 제시함. [2]

출처

  1. 1International AI Safety Report 2025, p.80; Glossary p.221–222 · 원문
  2. 2International AI Safety Report 2026, Glossary, p.149 · 원문 · 라이브러리에서 보기
원문 인용 2

번역의학·환경 해법처럼 이로운 목적에도 쓰일 수 있으나, 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술.

Research and technology that can be applied for beneficial purposes, such as medicine or environmental solutions, but also potentially misused to cause harm, such as in biological or chemical weapon development.

출처 International Scientific Report on the Safety of Advanced AI · p.80, p.221–222 · EN · 정의섹션

번역의료·에너지처럼 이로운 목적에도 쓰일 수 있으나, 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술.

Research and technology that can be applied for beneficial purposes, such as in healthcare or energy, but also potentially misused to cause harm, such as in biological or chemical weapon development .

출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기

PDF 표기 · Dual-use science
PDF 문서 3정의섹션 2
066휴먼 업리프트human upliftAI 시스템을 사용할 때 사람이 특정 과업을 수행하는 역량이 AI 없이 수행할 때보다 얼마나 향상되는지를 가리키는 개념임.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어역량 증강업리프트

용어 설명

AI 시스템을 사용할 때 사람이 특정 과업을 수행하는 역량이 AI 없이 수행할 때보다 얼마나 향상되는지를 가리키는 개념임.

  • 인터넷 검색 등 기존 수단만 쓴 대조군과 AI를 쓴 집단의 과업 성공률·소요 시간·오류를 비교하는 업리프트 연구로 측정함.
  • AI 안전에서는 화학·생물 무기나 사이버 공격처럼 위험한 과업에서 비전문가의 역량을 끌어올리는지가 핵심 평가 질문이며, 위험 임계값 판단의 근거로 쓰임.
  • 실험실 대리 과업과 실제 위협 사이의 간극, 표본 크기 같은 측정 한계가 있어 결과 해석에 주의가 필요함.

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 생물무기 획득 대리 과업에서 안전장치 없는 범용 AI가 인터넷만 쓴 기준선에 비해 상당한 도움을 줬다는 최근 실제 세계 업리프트 연구를 소개하면서, 이전 연구들은 효과가 없거나 작았으나 참가자 대표성이 불확실하고 표본이 작았다며 근거가 엇갈린다고 평가함. [1]
🇺🇸NISTAI 800-1 초안, 2025
  • 사람이 AI 시스템을 조수로 써서 평가 과업을 수행하는 '업리프트 연구'를 측정 과업 유형으로 둠. [2]
  • 위협 행위자 수준에 맞춘 참가자, 대조군, 충분한 표본 크기를 설계 고려 사항으로 제시함. [3]
🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험 평가에 쓰는 모델 평가 방법의 예로 벤치마크, 레드티밍 등과 함께 휴먼 업리프트 연구를 듦. [4]

출처

  1. 1International AI Safety Report 2026, p.67 · 원문 · 라이브러리에서 보기
  2. 2NIST AI 800-1 2차 초안, Appendix C, p.28 · 원문
  3. 3NIST AI 800-1 2차 초안, Appendix D, p.39–40 · 원문
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
관련 연구 1
067화학·생물·방사능·핵CBRN화학·생물·방사능·핵 무기와 관련 물질을 묶어 이르는 말로, AI 안전에서는 모델이 이런 무기의 개발·획득을 실질적으로 도울 위험 범주를 가리킴.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고

용어 설명

화학·생물·방사능·핵 무기와 관련 물질을 묶어 이르는 말로, AI 안전에서는 모델이 이런 무기의 개발·획득을 실질적으로 도울 위험 범주를 가리킴.

  • 군축·비확산 분야의 약어를 가져온 것으로, 프론티어 AI 개발사의 안전 프레임워크와 역량 평가에서 대표적 위험 영역으로 설정됨. 생물 분야가 특히 주목받음.
  • 평가의 초점은 모델이 위험 정보를 아는지가 아니라 사람의 실제 수행 역량을 얼마나 끌어올리는지(휴먼 업리프트)에 있으며, 모델 사용 집단과 미사용 집단을 비교하는 방식이 쓰임.
  • 평가 결과 자체가 악용될 수 있어 공개 범위를 제한하는 관행이 따르며, 이 때문에 외부 검증이 어렵다는 지적이 있음.

용어 관계

먼저 알 개념 휴먼 업리프트

해설 · 참고 기사 3 · 관련 연구 2

군축과 비확산 분야에서 오래 쓰인 약어를 AI 안전이 가져다 쓴 것이다. 여기서는 모델이 이런 무기를 개발하거나 확보하는 일을 실질적으로 도울 수 있는지를 가리키는 위험 범주로 기능한다. 네 영역 가운데 생물학 쪽이 특히 주목받는 이유가 있다. 핵무기는 물질 확보와 대규모 시설이 병목이어서 지식만으로는 넘을 수 없지만, 생물학 쪽은 필요한 절차 지식이 여러 문헌에 흩어져 있고 그것을 종합해 해석하는 일이 병목이었기 때문이다.

평가에서 무엇을 보는지가 이 범주를 이해하는 열쇠다. 초점은 모델이 위험한 정보를 알고 있는지가 아니라, 모델이 있을 때 실제 수행 능력이 얼마나 올라가는지에 있다. 공개된 문헌에 이미 있는 내용을 되풀이하는 것만으로는 위험이 늘지 않는다. 그래서 모델을 쓴 집단과 쓰지 않은 집단을 비교해 능력 차이를 재는 방식이 쓰이며, 이 평가는 결과 자체가 악용될 수 있어 공개 범위를 제한하는 관행이 함께 따른다.

동향 표기 · CBRN(14)
동향 문서 14기간 13개월최근 64%병기 2
068설득persuasion강제나 강압이 아니라 합리적 논증·감정적 호소·권위에 대한 호소 등 소통을 통해 상대의 믿음이나 행동을 바꾸는 영향력을 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고

용어 설명

강제나 강압이 아니라 합리적 논증·감정적 호소·권위에 대한 호소 등 소통을 통해 상대의 믿음이나 행동을 바꾸는 영향력을 의미함.

  • AI 안전에서는 모델이 사람의 견해·결정을 바꾸는 역량을 평가 대상으로 삼음. 개인 맞춤형 설득을 대규모·저비용으로 수행할 수 있다는 점이 우려의 근거임.
  • 선거·여론 개입, 사기, 허위 정보 확산 같은 악의적 사용과, 모델이 감독자를 설득해 통제를 약화시키는 통제 상실 시나리오 양쪽에서 위험 역량으로 다뤄짐.

구별'설득'은 소통을 통한, 정당할 수도 있는 영향력임. 조작(manipulation)은 상대가 충분히 인식·이해하지 못한 상태에서 믿음·행동을 바꾸는 영향력이고, '기만'은 체계적으로 잘못된 믿음을 유도하는 영향력임.

용어 관계

혼동 주의 기만

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 강제나 강압이 아니라 합리적 논증·감정적 호소·권위에 대한 호소 등 소통으로 상대의 믿음을 바꾸는 영향력으로 정의함. [1]
  • 조작은 상대가 충분히 인식·이해하지 못한 채 믿음이나 행동을 바꾸는 영향력으로 따로 정의해 설득과 구별함. [1]
  • 통제 상실을 가능하게 할 역량 후보의 하나로, 다른 사람이 특정 행동을 하거나 특정 믿음을 갖도록 납득시키는 역량을 듦. [1]

출처

  1. 1International AI Safety Report 2026, p.78; Glossary p.151–152 · 원문 · 라이브러리에서 보기
원문 인용 1 · 관련 연구 4

번역강제나 강압이 아니라, 합리적 논증·감정적 호소·권위에 대한 호소 등 소통으로 상대의 믿음을 바꾸는 형태의 영향력.

A form of influence that uses communication - including rational argument, emotional appeals, or appeals to authority - to change someone's beliefs, rather than relying on force or coercion.

출처 International AI Safety Report 2026 · p.153 · EN · 정의섹션 · 라이브러리에서 보기

PDF 표기 · Persuasion
PDF 문서 13정의섹션 2
069사이버 공격cyberattack컴퓨터 시스템·네트워크·디지털 기기에 무단으로 접근하거나 정보의 기밀성·무결성·가용성을 침해하려는 악의적 시도를 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어해킹사이버 침해

용어 설명

컴퓨터 시스템·네트워크·디지털 기기에 무단으로 접근하거나 정보의 기밀성·무결성·가용성을 침해하려는 악의적 시도를 의미함.

  • 자료 탈취는 기밀성, 조작은 무결성, 서비스 중단은 가용성 침해에 해당함. AI는 표적 조사·사칭 문안 작성, 취약점 탐색·공격 코드 작성, 침입 후 행동 자동화 단계에 개입할 수 있음.
  • 공격 준비 시간이 줄면 방어 측 대응 여유도 줄어드는데, 방어 자동화는 정상 업무 차단 위험 때문에 보수적으로 운용될 수밖에 없어 공격 측에 유리한 비대칭이 생긴다는 우려가 있음.
  • 프롬프트 인젝션, 데이터 오염, 모델 가중치 탈취처럼 AI 시스템 자체를 노리는 공격도 이 범주에서 다뤄짐.

구별'사이버 공격'은 실행된 침해 시도를, '사이버 위협'은 그런 공격을 할 수 있는 행위자·시나리오를, '사이버 보안'은 이를 막는 보호 활동을 가리킴.

용어 관계

앞 단계 사이버 위협

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 정보를 훔치거나 파괴하는 등의 목적으로 컴퓨터 시스템·네트워크·디지털 기기에 접근하려는 악의적 시도로 정의함. [1]
🌐국제 AI 안전 보고서2025
  • 해킹을 컴퓨터 시스템·네트워크·소프트웨어의 취약점이나 약점을 악용해 무단 접근, 기능 조작, 정보 추출을 하는 행위로 정의함. [2]

출처

  1. 1International AI Safety Report 2026, Glossary, p.149 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2025, p.72–73; Glossary p.222–223 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4

무엇을 깨뜨리려 하는지에 따라 유형이 갈린다. 몰래 들어가 자료를 빼내면 기밀성을 침해하는 것이고, 자료나 시스템을 조작하면 무결성을, 서비스를 멈추게 하면 가용성을 침해하는 것이다. 랜섬웨어는 자료를 암호화해 가용성을 볼모로 잡는 방식이다. AI가 개입하는 지점은 크게 셋으로 정리된다. 표적을 조사하고 속이는 문안을 만드는 단계, 취약점을 찾고 공격 코드를 만드는 단계, 그리고 침입한 뒤의 행동을 자동으로 이어 가는 단계다.

논의의 초점이 속도에 놓이는 이유가 있다. 공격 준비에 걸리던 시간이 줄면 방어하는 쪽이 알아채고 대응할 여유도 함께 줄어든다. 문제는 방어를 같은 속도로 자동화하기가 어렵다는 점이다. 공격 자동화는 실패해도 다시 시도하면 되지만, 방어 자동화는 정상 업무를 잘못 차단하면 그 자체가 피해가 되기 때문에 보수적으로 움직여야 한다. 이 비대칭이 공격 측에 유리하게 작동한다는 우려가 국가 차원의 방어 역량 논의를 불러왔다.

번역정보를 훔치거나 파괴하는 등 목적으로 컴퓨터 시스템·네트워크·디지털 기기에 접근하려는 악의적 시도.

A malicious attempt to gain access to a computer system, network or digital device, for example, in order to steal or destroy information.

출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기

번역컴퓨터 시스템·네트워크·소프트웨어의 취약점·약점을 악용해 무단 접근·기능 조작·정보 추출을 하는 행위.

The act of exploiting vulnerabilities or weaknesses in a computer system, network, or software to gain unauthorised access, manipulate functionality, or extract information.

출처 International Scientific Report on the Safety of Advanced AI · p.72–73, p.222–223 · EN · 정의섹션

동향 표기 · 사이버 공격(92)
PDF 표기 · Hacking
동향 문서 92기간 18개월최근 91%병기 0PDF 문서 16정의섹션 3
070사이버 위협cyber threat정보 시스템과 데이터에 피해를 줄 수 있는 행위자·의도·수단과 그 공격 시나리오를 함께 이르는 말임.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고

용어 설명

정보 시스템과 데이터에 피해를 줄 수 있는 행위자·의도·수단과 그 공격 시나리오를 함께 이르는 말임.

  • 국가 지원 조직, 범죄 조직, 내부자 등 행위자 유형별로 목표와 수법을 정리해 조직 간 위협 정보로 공유하며, 방어 자원 배분의 근거가 됨.
  • AI는 사칭 문안 작성, 취약점 분석, 표적 조사에 드는 전문성과 시간을 줄여 공격 가능 집단을 넓히고 공격의 규모·정교함을 키울 수 있음. AI 시스템 자체도 새로운 표적이 됨.

구별'사이버 위협'은 피해를 줄 수 있는 행위자·시나리오를, '사이버 공격'은 실제로 실행된 침해 시도를, '취약점'은 공격이 노리는 시스템 내부의 약점을 가리킴.

용어 관계

상위 위협 · 다음 단계 사이버 공격 · 혼동 주의 취약점

해설 · 참고 기사 3 · 관련 연구 3 · 정책 문서 1

누가 무엇을 노리고 어떤 수단을 쓰는지 정리한 정보로, 조직 사이에 공유된다. 국가가 지원하는 조직은 정보 수집과 기반시설 침투를 노리고 오래 잠복하는 특징이 있으며, 금전을 노리는 범죄 조직은 랜섬웨어처럼 빠르게 수익을 내는 방식을 쓰고, 내부자는 이미 가진 권한을 이용한다. 이렇게 구분해 두면 우리 조직이 어느 위협의 표적이 될 가능성이 큰지 따져 방어 자원을 배분할 수 있다.

AI로 인한 변화는 새로운 공격 기법이 등장하는 쪽보다 진입장벽이 낮아지는 쪽에서 관측된다. 설득력 있는 사칭 문안을 쓰려면 필요했던 언어 능력, 취약점을 분석하려면 필요했던 전문성, 표적을 조사하려면 필요했던 시간이 줄어든다. 그러면 같은 공격을 할 수 있는 사람의 수가 늘고, 표적마다 다르게 맞춘 공격을 대량으로 만드는 일이 가능해진다. 위협을 평가할 때 종류의 변화보다 규모와 정교함의 변화를 봐야 하는 이유다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-03-20Toward Risk Thresholds AI-Enabled Cyber Threats AIGL · 기타
동향 표기 · 사이버 위협(33)
동향 문서 33기간 9개월최근 94%병기 1
071사이버 보안cybersecurity정보 시스템과 데이터의 기밀성·무결성·가용성을 침해로부터 보호하기 위한 기술적·관리적 활동 전반을 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어정보보안

용어 설명

정보 시스템과 데이터의 기밀성·무결성·가용성을 침해로부터 보호하기 위한 기술적·관리적 활동 전반을 의미함.

  • AI와는 두 방향으로 얽힘. 모델 가중치·학습 데이터·추론 서비스 등 AI 시스템 자체를 지키는 일과, AI를 활용해 탐지·대응 등 보안 업무를 수행하는 일임.
  • 데이터 오염, 프롬프트 인젝션, 모델 추출처럼 정상 입력과 형태가 같은 공격은 경계 방어로 걸러지지 않아 모델 계층에 맞는 별도 통제가 필요함.
  • 프론티어 AI에서는 가중치 유출이 안전장치 무력화로 이어질 수 있어, 보안이 안전의 전제 조건으로 다뤄짐.

구별'사이버 보안'은 의도적 공격·침해로부터 시스템을 지키는 일(security)이고, '안전'은 의도와 무관하게 AI가 낳는 피해 전반을 줄이는 일(safety)에 무게를 둠.

용어 관계

하위 사이버 방어 · 혼동 주의 안전

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

지키려는 것을 세 가지로 정리하는 것이 관례다. 허락받지 않은 사람이 보지 못하게 하는 기밀성, 자료와 시스템이 함부로 바뀌지 않게 하는 무결성, 필요할 때 쓸 수 있게 하는 가용성이다. AI가 이 분야에 걸리는 방향은 둘이다. AI 시스템 자체를 지키는 일 — 모델과 가중치, 학습 자료, 추론 서비스가 보호 대상이다 — 과, AI를 써서 보안 업무를 수행하는 일이다.

AI 시스템 보안이 기존 보안과 다른 부분은 모델 고유의 공격면에 있다. 학습 자료에 조작된 내용을 섞어 특정 조건에서만 다르게 작동하게 만드는 것, 처리할 자료 안에 지시를 숨겨 명령을 가로채는 것, 질문을 반복해 모델의 구조나 학습 내용을 빼내는 것이 그런 예다. 이런 공격은 방화벽이나 접근 통제로 막히지 않는다. 정상적인 입력과 형태가 같아서 경계에서 걸러낼 수 없기 때문에, 모델 층에 맞는 별도의 통제가 필요하다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-13「AI와 사이버보안에 관한 과학계 공개서한」 과학자 406명 (벤지오·힌턴·러셀 등) · 선언·성명
  2. 2026-10-01🇨🇦 캐나다 프런티어 AI 시대 사이버보안 대비 지침(SPIN) 행정규칙
  3. 2026-09-09Anthropic 최근 사이버보안 사고에 대한 정렬 평가 Anthropic · 정책보고서
  4. 2026-09-04🇹🇼 대만 프런티어 AI 사이버보안 위험 대응 정책 전략·정책
동향 표기 · 사이버보안(169) / 사이버 보안(126) / 사이버(378)
동향 문서 169기간 18개월최근 88%병기 1
072취약점vulnerability공격자가 악용해 시스템의 기밀성·무결성·가용성이나 안전한 작동을 침해할 수 있는 결함이나 약점을 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어보안 취약점

용어 설명

공격자가 악용해 시스템의 기밀성·무결성·가용성이나 안전한 작동을 침해할 수 있는 결함이나 약점을 의미함.

  • AI 시스템에는 기존 소프트웨어 취약점 위에 프롬프트 인젝션, 데이터 오염, 모델 추출, 탈옥 취약성처럼 모델 고유의 약점이 더해짐.
  • AI는 공격 대상이자 취약점 탐지 도구이기도 하며, 대규모 코드에서 결함을 찾는 역량은 방어자의 사전 수정과 공격자의 미공개 취약점 확보에 동시에 쓰일 수 있음.

구별'취약점'은 시스템 내부의 약점을, '위협'은 그것을 노리는 외부 행위자·사건을, '위험'은 둘이 만나 생길 피해의 가능성과 크기를 가리킴.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 소프트웨어 취약점을 컴퓨터 시스템의 보안을 침해하는 데 악용될 수 있는 프로그램의 약점으로 설명하고, AI가 취약점 발견을 유의미하게 돕는다는 근거가 특히 강하다고 봄. [1]
  • AI 시스템 자체도 프롬프트 인젝션·데이터베이스 오염·공급망 침해 같은 공격의 대상이 되어 행동 조작, 민감 정보 추출, 유해 출력으로 이어질 수 있다고 지적함. [2]
🇺🇸NISTAI 100-1, 2023
  • AI RMF 1.0은 AI 시스템의 대표적 보안 우려로 적대적 예제, 데이터 오염, 엔드포인트를 통한 모델·학습 데이터 유출을 들고, 기밀성·무결성·가용성을 지키는 시스템을 '보안이 확보된(secure)' 시스템으로 봄. [3]
📄안전성 확보 가이드라인한국, 2026
  • 안전성 확보 가이드라인은 위험 식별 고려 요소인 '보안 취약점'을 외부 또는 내부 위협자에 의해 시스템이 침해될 수 있는 기술적 약점으로 정의하고, 적대적 공격·모델 추출·백도어 삽입·무단 접근을 예로 듦. [4]

출처

  1. 1International AI Safety Report 2026, 2.1.3, p.58–59 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2026, Box 2.1, p.62 · 원문 · 라이브러리에서 보기
  3. 3NIST AI 100-1 (AI RMF 1.0), 3.3, p.15 · 원문
  4. 4『인공지능 안전성 확보 가이드라인』 v1.3, p.29 · 원문
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

보안을 다룰 때 쓰는 세 낱말을 함께 놓으면 뜻이 분명해진다. 취약점은 시스템 안쪽의 약한 지점이고, 위협은 그 약점을 노릴 수 있는 바깥의 행위자나 사건이며, 위험은 둘이 만났을 때 실제로 생길 피해의 크기다. AI 시스템에는 전통적인 소프트웨어 취약점 위에 모델 고유의 것이 얹힌다. 자료에 지시를 숨겨 명령을 가로채는 것, 학습 자료를 오염시켜 특정 조건에서만 다르게 작동하게 만드는 것, 질문을 반복해 모델 자체나 학습 내용을 빼내는 것이 그런 예다.

AI와 취약점은 두 방향으로 얽힌다. 하나는 AI가 공격 대상이 되는 방향이고, 다른 하나는 AI가 취약점을 찾는 도구가 되는 방향이다. 두 번째가 최근 논의를 끌어올렸다. 사람이 읽기 어려운 규모의 코드에서 결함을 찾아내는 능력은 방어자에게는 미리 고칠 기회를 주지만, 공격자에게는 알려지지 않은 구멍을 확보할 기회를 준다. 같은 능력이 양쪽에 동시에 주어지므로, 어느 쪽이 더 빨리 활용하는지가 실제 안전을 가르게 된다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-01-03🇺🇸 국방부 AI 취약점 신고 포상제 법 2023 United States Congress · 법안
동향 표기 · 취약점(268)
동향 문서 268기간 22개월최근 96%병기 7
073제로데이 취약점zero-day vulnerability아직 발견되지 않았거나 패치되지 않은 소프트웨어·하드웨어의 보안 결함으로, 공격자가 이미 악용할 수 있어 개발자에게 고칠 시간이 '0일'인 취약점을 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고

용어 설명

아직 발견되지 않았거나 패치되지 않은 소프트웨어·하드웨어의 보안 결함으로, 공격자가 이미 악용할 수 있어 개발자에게 고칠 시간이 '0일'인 취약점을 의미함.

  • 패치나 탐지 서명이 없어 기존 방어 수단으로 막기 어렵고, 발견 후 공개 시점과 책임 있는 공개 절차가 보안 관리의 쟁점이 됨.
  • AI의 자동 취약점 탐지·공격 코드 작성 역량이 높아지면 제로데이 발견 속도가 빨라질 수 있어 사이버 역량 평가의 핵심 지표로 다뤄짐. 같은 역량이 방어 측의 선제 수정에도 쓰일 수 있음.

용어 관계

상위 취약점

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 소프트웨어·하드웨어의 미발견 또는 미패치 보안 결함으로 정의하고, 공격자가 이미 악용할 수 있어 개발자에게 고칠 시간이 '0일'뿐이라는 데서 이름이 왔다고 설명함. [1]

출처

  1. 1International AI Safety Report 2025, p.72–73; Glossary p.228–229 · 원문
원문 인용 2 · 관련 연구 1

번역소프트웨어·하드웨어의 미발견·미패치 보안 결함. 공격자가 이미 악용할 수 있어 개발자에게는 고칠 ‘제로(0)일’만 남는다는 뜻에서 이렇게 부른다.

An undiscovered or unpatched security flaw in software or hardware. As attackers can already exploit it, developers have 'zero days' to fix it.

출처 International Scientific Report on the Safety of Advanced AI · p.72–73 · EN · 정의섹션

번역소프트웨어·하드웨어의 미발견·미패치 보안 결함. 공격자가 이미 악용할 수 있어 개발자에게는 고칠 ‘제로(0)일’만 남는다는 뜻에서 이렇게 부른다.

An undiscovered or unpatched security flaw in software or hardware. As attackers can already exploit it, developers have 'zero days' to fix it. How to cite this report

출처 International Scientific Report on the Safety of Advanced AI · p.228–229 · EN · 정의섹션

관련 연구 · AI 안전 연구

  1. 2026-04-07Claude Mythos Preview 사이버보안 역량 평가 Anthropic Research
PDF 표기 · Zero-day vulnerability
PDF 문서 4정의섹션 1
074멀웨어malware컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어로, 바이러스·스파이웨어·랜섬웨어 등을 포함함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어악성코드

용어 설명

컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어로, 바이러스·스파이웨어·랜섬웨어 등을 포함함.

  • AI는 멀웨어 코드 작성·변형, 탐지 회피, 감염 후 행동 자동화를 도울 수 있어 사이버 공격 역량 평가의 주요 항목이 됨.
  • 반대로 AI 기반 탐지·분석이 방어에 쓰이며, AI 에이전트가 외부 도구·패키지를 받아 실행하는 환경에서는 새로운 감염 경로가 생김.

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 설계된 유해 소프트웨어로 정의하고, 데이터를 훔치거나 해를 끼치는 바이러스·스파이웨어 등을 포함한다고 봄. [1]
🌐국제 AI 안전 보고서2026
  • 같은 정의를 유지함. [2]

출처

  1. 1International AI Safety Report 2025, p.72–73; Glossary p.223–224 · 원문
  2. 2International AI Safety Report 2026, Glossary, p.151 · 원문 · 라이브러리에서 보기
원문 인용 3 · 관련 연구 4

번역컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어. 바이러스·스파이웨어 등 데이터를 훔치거나 해를 끼치는 프로그램을 포함한다.

Harmful software designed to damage, disrupt, or gain unauthorised access to a computer system. It includes viruses, spyware, and other malicious programs that can steal data or cause harm. † Please refer to the Chair's update on the latest AI advances after the writing of this report. Risks 2.1 Risks from malicious use

출처 International Scientific Report on the Safety of Advanced AI · p.72–73 · EN · 정의섹션

번역컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어. 바이러스·스파이웨어 등 데이터를 훔치거나 해를 끼치는 프로그램을 포함한다.

Harmful software designed to damage, disrupt, or gain unauthorised access to a computer system. It includes viruses, spyware, Manipulation: A form of influence characterised by changing someone's beliefs or behaviour to achieve some goal without their full awareness or understanding.

출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기

번역컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어. 바이러스·스파이웨어 등 데이터를 훔치거나 해를 끼치는 프로그램을 포함한다.

Harmful software designed to damage, disrupt, or gain unauthorised access to a computer system. It includes viruses, spyware, and other malicious programs that can steal data or cause harm.

출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션

PDF 표기 · Malware
PDF 문서 12정의섹션 2
075내부자 위협insider threat조직의 민감한 자원에 접근할 수 있는 사람 또는 AI 모델·시스템이 수행하는 적대적 활동이나 우발적 유출로 생기는 위협을 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고

용어 설명

조직의 민감한 자원에 접근할 수 있는 사람 또는 AI 모델·시스템이 수행하는 적대적 활동이나 우발적 유출로 생기는 위협을 의미함.

  • 불만을 가진 직원, 고위 연구자, 조직에 침투한 산업 스파이 같은 사람 행위자뿐 아니라, 모델의 자기 유출처럼 AI 자신이 주체가 되는 경우까지 포함해 논의됨.
  • 프론티어 AI에서는 모델 가중치·학습 기법 유출이 안전장치 무력화와 무분별한 확산으로 이어질 수 있어, 최소 권한·다중 승인·활동 기록 같은 보안 통제의 대상이 됨.

용어 관계

상위 위협

주요 기관·문서별 개념 및 적용

🇪🇺EU GPAI 실천강령 안내서2026
  • 민감한 조직 자원에 접근할 수 있는 사람 또는 AI 모델·시스템(고위 경영진, 연구팀 고위 구성원, 불만을 가진 직원, 산업 스파이 등)의 적대적 활동, 모델의 자기 유출, 우발적 모델 유출을 내부자 위협으로 설명함. [1]

출처

  1. 1『EU GPAI 실천강령 한글 안내서』(2026), p.106 · 원문
원문 인용 1 · 관련 연구 1

민감한 조직 자원에 접근할 수 있는 인간 모델 및 또는 시스템 예 고위 경영진 ·AI / AI ( : , 조직 연구팀의 고위 구성원 불만을 가진 직원 목표 조직에 침투한 산업 스파이 행위자 , , 및 또는 모델의 자기 유출에 의해 수행되는 적대적 활동 및 또는 우발적인 모델 유출 / /

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.110 · KO · 정의섹션

PDF 표기 · Insider threats
PDF 문서 10정의섹션 1
076탈옥jailbreak안전장치를 우회해 AI 시스템이 무기 제조 지침 같은 유해 콘텐츠를 생성하도록 고안한 프롬프트를 만들어 제출하는 행위·공격을 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어제일브레이크

용어 설명

안전장치를 우회해 AI 시스템이 무기 제조 지침 같은 유해 콘텐츠를 생성하도록 고안한 프롬프트를 만들어 제출하는 행위·공격을 의미함.

  • 역할극·가상 시나리오, 교육 목적 위장, 다른 언어·암호로 바꿔 쓰기, 자동 탐색으로 찾은 무의미한 문자열 덧붙이기 등이 알려진 기법이며, 거부가 요청의 뜻보다 표면 형태에 반응하는 틈을 이용함.
  • 새 모델마다 새 우회 기법이 발견되는 양상이 반복되어 실무 목표는 완전 차단보다 공격 성공률을 낮추고 뚫렸을 때의 피해를 제한하는 데 놓이며, 레드티밍과 적대적 학습이 주요 대응임.

구별'탈옥'은 안전장치를 우회해 유해한 출력을 얻으려는 공격이고, '프롬프트 인젝션'은 직접 입력하거나 데이터에 심은 지시로 시스템이 의도와 다르게 행동하게 만드는 공격임.

용어 관계

먼저 알 개념 안전장치 · 앞 단계 적대적 프롬프트 · 다음 단계 유해 콘텐츠 · 혼동 주의 프롬프트 인젝션

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 안전장치를 우회해 무기 제조 지침 같은 유해 콘텐츠를 AI 시스템이 생성하도록 고안한 프롬프트를 만들어 제출하는 행위로 정의함. [1]
🌐국제 AI 안전 보고서2025
  • 같은 정의에서 우회 대상을 '가드레일'로 표현하고, 적대자가 있어도 안전한 행동을 유지하는 적대적 강건성 논의와 연결함. [2]

출처

  1. 1International AI Safety Report 2026, Glossary, p.151 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2025, Glossary, p.223 · 원문
해설 · 원문 인용 4 · 참고 기사 3 · 관련 연구 4

모델에게 거절해야 할 요청을 하면서, 그 요청이 거절 대상으로 보이지 않게 감싸는 방식이다. 소설 속 인물의 대사로 만들게 하거나, 교육 목적이라는 틀을 씌우거나, 다른 언어나 암호로 바꿔 쓰거나, 사람이 보면 무의미한 문자열을 뒤에 붙이는 방법이 알려져 있다. 마지막 방식은 사람이 고안하는 대신 자동 탐색으로 찾아내기도 한다. 거부가 요청의 뜻이 아니라 표면적인 형태에 반응하는 부분이 남아 있다는 점을 이용하는 것이다.

프롬프트 인젝션과 갈라 두는 것이 좋다. 탈옥은 이용자 자신이 자기 요청을 통과시키려는 공격이고, 프롬프트 인젝션은 제3자가 심어 둔 지시가 이용자의 의도와 무관하게 모델을 가로채는 공격이다. 방어의 목표가 다를 수밖에 없다. 탈옥은 지금까지 완전히 막힌 적이 없고 새 모델이 나오면 새 우회로가 발견되는 양상이 반복된다. 그래서 실무의 목표는 제거가 아니라, 성공률을 낮추고 뚫렸을 때 실제로 얻어낼 수 있는 피해를 제한하는 쪽에 놓인다.

번역안전장치를 우회해 무기 제조 지침 등 유해 콘텐츠를 내게 하려고 고안한 프롬프트를 만들어 제출하는 행위.

Generating and submitting prompts designed to bypass safeguards and make an AI system produce harmful content, such as instructions for building weapons.

출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기

번역가드레일을 우회해 무기 제조 지침 등 유해 콘텐츠를 내게 하려고 고안한 프롬프트를 만들어 제출하는 행위.

Generating and submitting prompts designed to bypass guardrails and make an AI system produce harmful content, such as instructions for building weapons.

출처 International Scientific Report on the Safety of Advanced AI · p.170, p.182, p.223 · EN · 정의섹션

번역가드레일을 우회해 무기 제조 지침 등 유해 콘텐츠를 내게 하려고 고안한 프롬프트를 만들어 제출하는 행위.

Generating and submitting prompts designed to bypass guardrails and make an AI system produce harmful content, such as instructions for building weapons. The risks of general-purpose AI systems may be mitigated in part by limiting their behaviours. For example, policymakers may wish to prevent general-purpose AI systems from providing dangerous information to users (e.g. on the production of weapons; see 2.1.4. Biological and chemical attacks), being used for malicious purposes (e.g. for cyberattacks; see 2.1.3. Cyber offence), or having malfunctions that lead to harm (see 2.2. Risks from malfunctions ). A system's behaviour is safe if it avoids such mistakes, and a system is robust if it continues to behave safely in a wide range of circumstances. Beyond this, a system is adversarially robust if it maintains safe behaviour even in the presence of an adversary (e.g.

출처 International Scientific Report on the Safety of Advanced AI · p.192 · EN · 정의섹션

탈옥(Jailbreak)은 사용자가 의도적으로 AI의 내장 안전장치(콘텐츠 정책·시스템 지시·거부 규칙 등)를 회피하도록 입력을 조작해, 모델로 하여금 금지된 응답을 생성하게 만드는 행위입니다. 스마트폰 탈옥의 개념을 차용한 용어로, 본질은 '모델의 허용 범위를 벗어나게 하는 조작'입니다. 탈옥이 성공하면 개인정보 노출, 유해·불법 정보 생성, 허위 정보 확산, 악성 코드·범죄 수법 제공 등 실질적 피해로 이어질 수 있으며, 서비스 제공자의 법적·평판적 리스크를 크게 높입니다.

출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.77 · KO · 정의섹션

동향 표기 · 탈옥(21) / jailbreak(98)
동향 문서 21기간 11개월최근 81%병기 6PDF 문서 14정의섹션 2
077프롬프트 인젝션prompt injectionAI 시스템에 직접 악성 지시를 입력하거나, 모델이 처리하는 문서·웹페이지·도구 출력 등 데이터 안에 지시를 숨겨, 모델이 의도와 다르게 행동하게 만드는 공격을 의미함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어프롬프트 주입

용어 설명

AI 시스템에 직접 악성 지시를 입력하거나, 모델이 처리하는 문서·웹페이지·도구 출력 등 데이터 안에 지시를 숨겨, 모델이 의도와 다르게 행동하게 만드는 공격을 의미함.

  • 모델이 개발자의 지시와 처리 대상 데이터를 같은 텍스트 흐름으로 받아 구조적으로 구별하지 못한다는 점을 이용하며, 간접 주입에서는 이용자가 숨은 지시의 존재를 모르는 경우가 많음.
  • 파일 열람·메일 발송·코드 실행 권한을 가진 AI 에이전트가 가로채이면 정보 유출과 시스템 조작으로 이어지는데, 원리적 해법이 없어 최소 권한, 실행 환경 격리, 되돌릴 수 없는 행위의 사람 승인 같은 피해 제한형 대응이 쓰임.

구별'프롬프트 인젝션'은 직접 입력하거나 데이터에 심은 지시로 모델이 의도와 다르게 행동하게 만드는 공격이고, '탈옥'은 안전장치를 우회해 유해한 출력을 얻으려는 공격임.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 웹사이트·데이터베이스에 숨긴 지시 등 간접 경로로 에이전트를 '탈취'해 사용자 의도에 반해 행동하게 하는 공격으로 설명하고, 통제 밖 외부 콘텐츠로 전달돼 방어가 특히 어렵다고 봄. [1]
  • 개발사가 보고한 주요 모델의 프롬프트 인젝션 공격 성공률(10회 시도 내)은 2024~2025년 사이 낮아졌으나 여전히 비교적 높은 수준이라고 평가함. [2]
🇺🇸NISTAI 600-1, 2024
  • 공격자가 악성 프롬프트를 생성형 AI 시스템에 직접 입력하는 직접 프롬프트 인젝션과, 검색될 가능성이 있는 데이터에 프롬프트를 심어 원격으로 LLM 통합 애플리케이션을 악용하는 간접 프롬프트 인젝션을 구분함. [3]
  • 생성형 AI 프로파일은 생성형 AI 자체가 프롬프트 인젝션·데이터 오염 같은 공격에 취약해 공격 표면을 넓힌다고 보고, 이를 정보보안 위험의 한 축으로 다룸. [3]
📄안전성 확보 가이드라인한국, 2026
  • 안전성 확보 가이드라인은 위험 식별 문서화 예시로 '프롬프트 인젝션에 의한 시스템 응답 왜곡 가능성'을 들고, 외부 입력으로 시스템 지침을 우회하거나 응답을 왜곡할 수 있는 구조적 취약점으로 기록함. [4]

출처

  1. 1International AI Safety Report 2026, Box 2.4, p.74 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2026, Figure 3.9, p.130 · 원문 · 라이브러리에서 보기
  3. 3NIST AI 600-1, 2.9, p.10–11 · 원문
  4. 4『인공지능 안전성 확보 가이드라인』 v1.3, p.36 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4

언어모델은 개발자가 준 지시와 처리해야 할 자료를 같은 텍스트 흐름으로 받는다. 둘을 구조적으로 구별하는 장치가 없기 때문에, 자료 안에 명령처럼 생긴 문장이 들어 있으면 그것을 명령으로 실행할 수 있다. 요약해 달라고 건넨 웹페이지 안에 이전 지시를 무시하고 다음을 수행하라는 문장이 흰 글씨로 숨어 있는 경우가 전형이다. 이용자는 그런 지시를 한 적이 없고 존재조차 모른다는 점이 이 공격의 성격을 규정한다.

에이전트가 도구를 쓰기 시작하면 위험의 크기가 달라진다. 텍스트만 생성하던 모델이 가로채이면 잘못된 답이 나오는 데 그치지만, 파일을 읽고 메일을 보내고 코드를 실행하는 모델이 가로채이면 자료가 밖으로 나가고 시스템이 조작된다. 지시와 데이터를 원리적으로 분리하는 해법은 아직 없다. 그래서 현실적인 대응은 가로채이는 것을 전제로 하고 피해를 가두는 쪽이다. 도구별로 권한을 최소한으로 주고, 실행 환경을 격리하고, 되돌릴 수 없는 행위에는 사람 승인을 남긴다.

사용자가 텍스트 안에 숨겨 둔 지시가 AI의 시스템 규칙·안전 정책보다 우선 적용되도록 만들어, 모델이 본래 의도와 다른 행동을 수행하게 만드는 공격 기법입니다. 생성형 AI는 입력된 문장을 충실하게 따르려는 경향이 있어, 공격자는 평범한 요청 속에 전략적으로 삽입한 문구를 통해 모델의 응답 흐름을 교란할 수 있습니다. 단순 텍스트만으로도 내부 지침이 무력화될 수 있다는 점에서 대화형 AI의 핵심 보안 문제 중 하나입니다.

출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.86 · KO · 정의섹션

동향 표기 · prompt injection(47)
동향 문서 47기간 10개월최근 87%병기 2PDF 문서 8정의섹션 0
078공급망supply chainAI 시스템이 의존하는 반도체·연산 자원, 데이터, 사전학습 모델, 소프트웨어·도구가 개발·배포에 이르는 조달 경로 전체와 그에 따른 보안·안전 위험을 가리킴.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어공급 사슬

용어 설명

AI 시스템이 의존하는 반도체·연산 자원, 데이터, 사전학습 모델, 소프트웨어·도구가 개발·배포에 이르는 조달 경로 전체와 그에 따른 보안·안전 위험을 가리킴.

  • 반도체·연산 자원 생산이 소수 국가·기업에 집중된 지정학적 취약성과, 공개 가중치·외부 학습 데이터·라이브러리·외부 도구 서버에 대한 소프트웨어 공급망 보안이라는 두 측면이 있음.
  • 상류의 오염된 데이터나 백도어가 심긴 모델이 하류의 모든 시스템으로 전파되어 개별 조직의 점검만으로는 막기 어려움. 출처 확인, 서명, 구성 요소 목록 관리가 대응 수단으로 쓰임.
  • 개발사·배포자·이용자 사이에 역할이 나뉘어 있어, 위험 관리 책임을 공급망 단계별로 어떻게 배분할지가 규제 쟁점이 됨.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

AI 문맥에서는 두 가지 뜻으로 쓰인다. 하나는 반도체와 연산 자원의 조달 문제로, 특정 국가와 소수 기업에 생산이 집중돼 있다는 지정학적 취약성을 가리킨다. 다른 하나는 소프트웨어 공급망 보안이다. AI 시스템은 남이 만든 것을 많이 가져다 쓴다. 사전학습된 모델, 공개 저장소에서 받은 가중치, 외부 학습 자료, 다른 곳이 운영하는 도구 서버가 모두 조달 대상이며, 각각이 신뢰해야 하는 대상이 된다.

핵심은 취약점이 상류에서 하류로 전파된다는 점이다. 공개된 모델에 특정 조건에서만 작동하는 악의적 조정이 숨어 있거나, 널리 쓰이는 학습 자료가 오염돼 있으면, 그것을 가져다 쓴 모든 시스템이 함께 영향을 받는다. 각 조직이 자기 시스템만 잘 검사해도 막히지 않는 종류의 위험이다. 그래서 받아 온 것의 출처를 확인하고, 서명으로 위조를 방지하고, 무엇을 어디서 가져왔는지 목록으로 관리하는 것이 대응 수단으로 요구된다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-04-29🇺🇸 H2444 회복력 있는 공급망 촉진법 2025 United States Congress · 법안
  2. 2025-04-28🇺🇸 미국 상원법안 S 257 회복력 있는 공급망 촉진법 2025 United States Congress · 법안
  3. 2025-01-03🇺🇸 회복력 있는 공급망 촉진법 2023 United States Congress · 법안
  4. 2025-01-03🇺🇸 원자력 공급망 강화법 United States Congress · 법안
동향 표기 · 공급망(103)
동향 문서 103기간 15개월최근 92%병기 2
079자율무기autonomous weapons인간의 추가 개입 없이 표적을 선택하고 공격할 수 있는 무기 체계를 말하며, 국제 논의에서는 치명적 자율무기체계(LAWS)로 다뤄짐.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어자율살상무기

용어 설명

인간의 추가 개입 없이 표적을 선택하고 공격할 수 있는 무기 체계를 말하며, 국제 논의에서는 치명적 자율무기체계(LAWS)로 다뤄짐.

  • 쟁점은 자동화 자체가 아니라 표적 선정과 살상 결정에 인간의 유의미한 통제가 유지되는지에 있음. 유도 기능이나 자동 방어 체계는 오래전부터 쓰여 왔음.
  • 구별·비례성·예방 조치 같은 국제인도법 원칙을 지킬 수 있는지, 위반이 생겼을 때 지휘관·개발자·운용자 중 누구에게 책임을 물을지가 핵심 논점임.
  • 민간 AI 기술이 전용될 수 있어 이중 용도 위험, 수출 통제, 국가안보 논의와 맞물림.

용어 관계

먼저 알 개념 자율성

해설 · 참고 기사 3 · 관련 연구 1 · 정책 문서 2

국제 논의에서는 치명적 자율무기체계, 줄여서 LAWS로 부른다. 쟁점이 무기의 자동화 자체는 아니라는 점을 짚어 둘 만하다. 유도 기능이나 자동 방어 체계는 이미 오래 쓰여 왔다. 문제가 되는 지점은 표적을 고르고 살상을 실행하는 결정에서 인간의 유의미한 통제가 유지되는지다. 유엔 특정재래식무기금지협약 틀에서 오랫동안 논의가 이어져 왔지만 구속력 있는 합의에는 이르지 못했다.

법적 핵심은 국제인도법을 지킬 수 있는지에 있다. 전투원과 민간인을 구별하는 원칙, 군사적 이익과 민간 피해를 견주는 비례성 판단, 피해를 줄이기 위한 예방 조치를 기계가 상황에 맞게 판단할 수 있는지가 물음의 중심이다. 여기에 책임 문제가 따라붙는다. 위반이 발생했을 때 지휘관인지, 개발자인지, 운용자인지를 정하기 어렵다는 것이다. 민간 AI 기술이 그대로 전용될 수 있어 수출 통제와 이중 용도 위험 논의와도 맞물린다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-08-27🇺🇸 Anthropic 기술 사용 제한 소송 기타
  2. 2023-01-25🇺🇸 미 국방부 지침 3000.09(자율 무기체계) Department of Defense · 행정규칙
동향 표기 · 자율무기(19)
동향 문서 19기간 9개월최근 100%병기 0
080국가안보national security국가의 존립과 핵심 이익을 외부 위협으로부터 지키는 일로, AI 안전에서는 군사·정보 역량, 핵심 기반시설 공격, 기술 경쟁과 맞닿는 정책 영역을 가리킴.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어안보

용어 설명

국가의 존립과 핵심 이익을 외부 위협으로부터 지키는 일로, AI 안전에서는 군사·정보 역량, 핵심 기반시설 공격, 기술 경쟁과 맞닿는 정책 영역을 가리킴.

  • AI는 정찰·표적 판단·사이버 작전 같은 군사·정보 역량, 전력·통신·금융 등 핵심 기반시설을 노리는 공격, 반도체·연산·인재를 둘러싼 경쟁이라는 세 경로로 국가안보와 얽힘.
  • AI 입법에는 국가안보 목적의 예외 조항이 자주 들어가며, 그 범위에 따라 투명성·감시 규제의 실효가 달라져 예외 인정과 사후 감독 장치 사이의 절충이 쟁점이 됨.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

AI가 이 영역에 걸리는 방식은 셋으로 정리된다. 첫째는 군사와 정보 역량으로서의 AI다. 정찰 자료 분석, 표적 판단, 사이버 작전에 쓰이는 역량이 여기 든다. 둘째는 핵심 기반시설을 노리는 AI 기반 공격이다. 전력·통신·금융·의료처럼 멈추면 사회가 즉시 타격을 받는 시스템이 대상이 된다. 셋째는 기술 경쟁 자체다. 연산 자원과 인재와 반도체를 둘러싼 경쟁이 안보 문제로 다뤄지며, 수출 통제와 AI 주권 논의를 끌어냈다.

실무에서 이 개념이 까다로운 이유는 안전 규제와 긴장 관계를 만든다는 점이다. AI 입법에는 국가안보 목적의 예외 조항이 들어가는 경우가 많다. 그 범위를 넓게 두면 감시 규제나 투명성 의무의 실효가 줄어들고, 좁게 두면 안보 기관의 활동이 제약된다. 그래서 조문에 어떤 목적과 어떤 절차 요건을 붙일지가 실제 협상의 초점이 되며, 예외를 인정하되 사후 감독 장치를 남기는 절충이 자주 시도된다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-13🇺🇳 군사 분야 AI와 국제 평화·안보 결의안 초안 유엔 총회 제1위원회(First Committee) ·
  2. 2026-09-23🇺🇳 유엔 안보리 AI와 국제안보 회의록 유엔 안전보장이사회(Security Council) ·
  3. 2026-09-12AI 대비 Objectives Towards Sufficiency 국가 AI 안보 Strategies AIGL · 기타
  4. 2026-09-12AI 안보 Maturity ModelTM: Practical 프레임워크 Building Mature AI 안보 프로그램 AIGL · 가이드라인·원칙
동향 표기 · 국가안보(77) / 국가 안보(43) / National Security(14)
동향 문서 77기간 15개월최근 88%병기 0
081적대적 프롬프트adversarial promptAI 모델이 안전장치를 우회하거나 개발자가 의도하지 않은 동작을 하도록 일부러 설계한 입력(프롬프트)을 말함.
#05. 오용·보안 위협 Misuse & Security Threats
AI 위험·사고
대체어적대적 입력

용어 설명

AI 모델이 안전장치를 우회하거나 개발자가 의도하지 않은 동작을 하도록 일부러 설계한 입력(프롬프트)을 말함.

  • 역할극·가정 상황 설정, 우회 표현·인코딩, 긴 맥락에 지시 숨기기, 자동 생성된 무작위 문자열 접미사 등 다양한 기법이 쓰이며, 사람이 직접 쓰기도 하고 최적화 알고리즘으로 찾아내기도 함.
  • 탈옥·프롬프트 인젝션 같은 공격의 수단이 되는 동시에, 레드티밍·적대적 시험과 적대적 학습에서 모델의 취약점을 찾고 강건성을 높이는 데 쓰이는 시험 입력이기도 함.

구별'적대적 프롬프트'는 공격·시험에 쓰이는 입력 자체를, '탈옥'은 그런 입력으로 안전장치를 우회하는 공격 결과·행위를, '프롬프트 인젝션'은 공격자가 직접 입력하거나 처리 대상 데이터에 심은 지시로 이용자 의도와 다르게 모델을 움직이는 공격을 가리킴.

용어 관계

다음 단계 탈옥 · 혼동 주의 프롬프트 인젝션

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 정상 사용에서는 잘 작동하는 시스템도 실패나 유해 행동을 일으키도록 특별히 설계된 비정상 입력에 무너질 수 있으며, 역할 부여·유해 답변 예시 제시·저자원 언어 요청 등이 탈옥 기법으로 쓰인다고 봄. [1]
  • 탈옥은 발견 후 일부 막을 수 있으나 개발 단계에서 예측하기 어렵고 새 탈옥을 찾기 쉬우며, 모스 부호 같은 암호문 요청도 탈옥 전략의 예로 제시함. [1] [2]
🇪🇺EU GPAI 실천강령2025
  • 이행조치 5.1은 서명자가 미세조정 공격이나 탈옥 같은 적대적 압박에도 충분히 견디는 안전 완화를 모델 공개·배포 전략을 고려해 이행하도록 함. [3]

출처

  1. 1International AI Safety Report 2025, p.197–198 · 원문
  2. 2『2026 국제 AI 안전 보고서』 한국어판, p.157 · 원문
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Measure 5.1, p.17 · 원문
관련 연구 4
082편향biasAI 시스템이 특정 집단이나 관점에 체계적으로 유리하거나 불리하게 작동해 불공정한 결과를 낳는 성향 또는 오류를 의미함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어AI 편향바이어스

용어 설명

AI 시스템이 특정 집단이나 관점에 체계적으로 유리하거나 불리하게 작동해 불공정한 결과를 낳는 성향 또는 오류를 의미함.

  • 학습 데이터의 비대표성·과거 관행, 최적화 목표와 설계 선택, 원래 맥락과 다른 집단·환경에의 적용 등에서 비롯됨.
  • 채용·신용·공공 서비스처럼 개인에게 중대한 영향을 주는 결정에 쓰이면 차별로 이어질 수 있어, 고위험 용도의 평가·감사 대상이 됨.
  • 어떤 공정성 기준을 택하느냐에 따라 측정 결과가 달라지고 기준끼리 동시에 충족되지 않을 수 있어, '편향 제거' 주장은 기준과 대상을 밝혀야 검증 가능함.

구별'편향'은 시스템이 체계적으로 치우친 결과를 내는 성질을, '차별'은 그 결과가 개인·집단에 대한 불공정한 대우로 나타난 것을 가리킴. 통계학의 편향(추정값과 참값의 차이)과는 같은 낱말이지만 뜻이 다름.

용어 관계

다음 단계 차별 · 혼동 주의 자동화 편향, 공정성

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 알고리즘 시스템에서 특정 집단·세계관에 유리하게 작동해 일부에게 불공정한 결과를 자주 낳는 체계적 오류로 정의함. [1]
  • 원천으로 알고리즘 설계 오류, 비대표적이거나 결함 있는 데이터셋, 기존 사회적 불평등을 듦. [1]

출처

  1. 1International AI Safety Report 2025, p.92–93; Glossary p.219–220 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

어디서 들어오는지 보면 셋으로 나뉜다. 첫째는 자료다. 과거의 채용 기록으로 학습하면 과거의 채용 관행이 그대로 재현된다. 둘째는 만드는 과정이다. 전체 정확도만 높이도록 최적화하면 자료가 적은 소수 집단의 오류는 비용이 작아서 방치된다. 셋째는 쓰는 맥락이다. 어떤 집단에 맞게 만든 모델을 다른 집단에 적용하면 성능 차이가 그대로 불이익이 된다. 통계학에서 말하는 편향, 곧 추정값과 참값의 차이와는 같은 낱말을 쓰지만 뜻이 다르다.

정확도를 올리면 함께 사라지는 결함이 아니라는 점을 이해하는 것이 중요하다. 오히려 무엇을 공정으로 볼지 먼저 정해야 측정이 시작된다. 집단별 합격률을 맞출지, 집단별 오류율을 맞출지, 비슷한 개인을 비슷하게 대할지에 따라 결과가 달라지고, 이 기준들은 일반적으로 동시에 만족될 수 없다는 것이 수학적으로 알려져 있다. 그래서 편향을 없앴다는 말은 그 자체로는 성립하지 않는다. 어떤 기준으로 무엇을 줄였는지 밝혀야 검증할 수 있는 주장이 된다.

번역특정 집단이나 세계관에 유리하고 일부에게 불공정한 결과를 자주 낳는, 알고리즘 시스템의 체계적 오류. 설계 오류, 비대표·결함 데이터, 기존 사회 불평등 등에서 비롯될 수 있다.

Systematic errors in algorithmic systems that favour certain groups or worldviews and often create unfair outcomes for some people. Bias can have multiple sources, including errors in algorithmic design, unrepresentative or otherwise flawed datasets, or pre-existing social inequalities.

출처 International Scientific Report on the Safety of Advanced AI · p.92–93, p.219–220 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-01-15🇺🇸 알고리즘 시스템 편향 제거법(2026) United States Congress · 법안
  2. 2025-12-11🇺🇸 OMB M-26-04 비편향 AI 원칙 지침 백악관 예산관리국(OMB) · 행정규칙
  3. 2025-07-09🇱🇹 리투아니아 비편향 알고리즘 가이드라인 AI Think Tank · 가이드라인·원칙
  4. 2025-07-09🇨🇴 콜롬비아 AI 성별 편향 대응 가이드 National Planning Department (
동향 표기 · 편향(186)
동향 문서 186기간 25개월최근 80%병기 6PDF 문서 30정의섹션 6
083차별discrimination인종·성별·연령·종교 등 보호 특성을 포함한 속성을 이유로 개인이나 집단을 불공정하게 대우하는 것으로, AI 시스템의 결과로도 발생할 수 있는 피해를 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고

용어 설명

인종·성별·연령·종교 등 보호 특성을 포함한 속성을 이유로 개인이나 집단을 불공정하게 대우하는 것으로, AI 시스템의 결과로도 발생할 수 있는 피해를 말함.

  • AI에서는 의도적 차별보다, 편향된 데이터·대리 변수·설계 선택을 통해 특정 집단에 불리한 결과가 체계적으로 나타나는 간접적 형태가 주로 문제가 됨.
  • 채용·신용·공공 서비스 등 고위험 용도에서 대규모로 반복될 수 있고 결정 근거가 불투명해 당사자가 알아채거나 다투기 어렵다는 점이 위험을 키움.
  • 차별금지법제와 AI 규제가 만나는 지점으로, 영향 평가·편향 감사·설명 및 이의 제기 절차가 대응 수단으로 다뤄짐.

구별'차별'은 개인·집단에 대한 불공정한 대우라는 결과·피해를, '편향'은 그런 결과를 낳는 시스템의 체계적 치우침을 가리킴.

용어 관계

앞 단계 편향

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 인종·성별·연령·종교 또는 기타 보호 특성 등 속성에 근거해 개인이나 집단을 불공정하게 대우하는 것으로 정의함. [1]

출처

  1. 1International AI Safety Report 2025, p.92–93; Glossary p.220–221 · 원문
원문 인용 1 · 관련 연구 4 · 정책 문서 4

번역인종·성별·연령·종교 등 속성(보호 특성 포함)에 근거한 개인·집단에 대한 불공정한 대우.

The unfair treatment of individuals or groups based on their attributes, such as race, gender, age, religion, or other protected characteristics.

출처 International Scientific Report on the Safety of Advanced AI · p.92–93, p.220–221 · EN · 정의섹션

PDF 표기 · Discrimination
PDF 문서 17정의섹션 2
084자동화 편향automation bias사람이 자동화된 시스템의 출력이나 권고를 지나치게 신뢰해, 반대 정보를 간과하거나 오류를 바로잡지 못하는 인지적 경향을 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고

용어 설명

사람이 자동화된 시스템의 출력이나 권고를 지나치게 신뢰해, 반대 정보를 간과하거나 오류를 바로잡지 못하는 인지적 경향을 말함.

  • 시스템이 제시한 판단을 검토 없이 따르는 오류와, 시스템이 경고하지 않은 문제를 놓치는 오류로 나타남.
  • 인간 감독이 제 역할을 하려면 감독자가 AI 출력을 비판적으로 검토할 수 있어야 하므로, 자동화 편향은 감독을 형식으로 만드는 대표 요인으로 다뤄짐.
  • 시간 압박, 시스템 판단을 뒤집을 때의 설명 부담, 판단 근거 미제공 등 업무 설계에 따라 강해지거나 약해질 수 있음.

구별'자동화 편향'은 시스템을 쓰는 사람의 판단 경향이고, 'AI 시스템의 편향(bias)'은 시스템 자체가 특정 집단에 치우친 결과를 내는 성질임.

용어 관계

혼동 주의 편향

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 자동화 편향을 기술 사용자가 자동화된 산출물에 과도하게 의존하면서 상반되는 정보는 무시하는 경향으로 정의하고, 항공·작업 모니터링 같은 환경에서는 자동화 시스템이 경고하지 못한 문제를 간과하거나 잘못된 조언을 따르는 형태로 나타났다고 봄. [1]
  • 완화 조치로 의사결정에서 인간의 책무성 강화, 인지적 관여를 유지하는 시스템 설계, 의존성 모니터링, AI 리터러시 교육 등을 제시함. [1]
🇺🇸NISTAI 600-1, 2024
  • 생성형 AI 프로파일은 인간-AI 구성 위험에서 자동화 편향을 자동화 시스템에 지나치게 순응하는 현상으로 설명하고, 이것이 작화(confabulation)나 편향·동질화 위험을 악화할 수 있다고 봄. [2]
📄인공지능 윤리원칙한국, 2026
  • AI 행위자가 AI에 과도하게 의존하지 않도록 하고, 과의존은 이용자 태도뿐 아니라 판단을 지나치게 대신하거나 산출물 검토가 어려운 서비스 설계에서도 커질 수 있다고 봄. [3]

출처

  1. 1『2026 국제 AI 안전 보고서』 한국어판, p.113, p.117 · 원문
  2. 2NIST AI 600-1, 2.7, p.9 · 원문
  3. 3『대한민국 인공지능 윤리원칙』(2026), p.9 · 원문
관련 연구 1
085자동 의사결정automated decision-making (ADM)사람의 실질적 개입 없이 알고리즘이나 AI 시스템이 개인에 관한 결정을 내리거나 그 결정을 사실상 좌우하는 것을 의미함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어자동화된 의사결정자동화 결정

용어 설명

사람의 실질적 개입 없이 알고리즘이나 AI 시스템이 개인에 관한 결정을 내리거나 그 결정을 사실상 좌우하는 것을 의미함.

  • 신용 평가, 보험 심사, 채용, 복지 수급 판단처럼 개인의 권리·의무에 영향을 주는 결정이 주된 규율 대상임.
  • 개인정보 보호법제는 이런 결정에 대해 거부·설명 요구·이의 제기 등 정보주체의 권리를 두어 왔고, AI 규제 논의의 고위험 용도와 상당 부분 겹침.
  • 사람이 형식적으로 승인만 하는 구조라면 실질적 개입으로 보기 어려워, 개입이 실제로 가능했는지가 판단의 핵심이 됨.

구별'자동 의사결정'은 결정이 사람의 실질적 개입 없이 이뤄지는 상태를 규율하는 개념이고, '인간 감독'은 시스템을 감시·개입·중단할 수 있게 하는 통제 장치를 가리킴. 형식적 감독만 있는 결정은 여전히 자동 의사결정으로 볼 수 있음.

용어 관계

혼동 주의 인간 감독

해설 · 참고 기사 3 · 정책 문서 4

개인정보 보호법제가 AI가 논의되기 전부터 다뤄 온 범주다. 신용 평가나 보험 심사처럼 개인의 삶에 영향을 주는 결정이 자동으로 내려지는 상황을 규율하려는 것이다. 유럽 GDPR은 전적으로 자동화된 결정이 개인에게 중대한 영향을 미칠 때 이를 원칙적으로 제한하고, 사람의 개입을 요구하거나 설명을 듣고 이의를 제기할 권리를 부여한다. 국내 개인정보 보호법도 자동화된 결정에 대한 거부권과 설명 요구권을 두고 있다.

실무에서 가장 자주 다투어지는 것은 실질적 개입을 어떻게 판단하느냐다. 사람이 최종 승인 버튼을 누르면 자동화된 결정이 아니라고 볼 수 있을까. 그 사람이 판단 근거를 보지 못하거나, 검토할 시간이 없거나, 시스템 판단을 뒤집으면 설명을 요구받는 구조라면 형식만 사람이 결정한 것이 된다. 인간 감독이 형식으로 흐르는 문제와 정확히 같은 지점에서 만나는 셈이다. 그래서 개입의 존재보다 개입이 실제로 가능했는지를 보는 쪽으로 해석이 모인다.

동향 표기 · 의사결정(179)
동향 문서 179기간 20개월최근 88%병기 2
086유해 콘텐츠harmful content이용자나 제3자에게 신체적·정신적·사회적 피해를 줄 수 있는 내용물로, AI 서비스가 생성·유통을 제한하려는 대상 범주를 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어위해 콘텐츠

용어 설명

이용자나 제3자에게 신체적·정신적·사회적 피해를 줄 수 있는 내용물로, AI 서비스가 생성·유통을 제한하려는 대상 범주를 말함.

  • 아동 성착취물처럼 명백히 불법인 것부터 자해 조장, 섭식장애 유발, 혐오 표현처럼 법역마다 지위가 다른 것까지 포함되어 불법 콘텐츠와 반드시 겹치지 않음.
  • 생성형 AI는 요청에 따라 그 자리에서 새 내용을 만들어 사전 목록 관리가 어렵고, 대화 형식으로 전달되어 취약한 이용자에게 더 강하게 작용할 수 있음.
  • 차단 기준이 넓어지면 정당한 요청까지 거절하는 문제가 생겨, 기준과 근거를 공개하고 과도 거부율을 함께 평가하는 것이 요구됨.

용어 관계

해설 · 참고 기사 3 · 관련 연구 4

불법인 것과 반드시 겹치지 않는다는 점이 이 범주의 특징이다. 아동 성착취물처럼 어디서나 명백히 불법인 것부터, 자살이나 자해를 조장하는 내용, 섭식장애를 유발하는 내용, 혐오 표현처럼 나라마다 법적 지위가 다른 것까지 함께 묶인다. 그래서 플랫폼과 AI 서비스는 법이 금지하는 범위보다 넓은 자체 기준을 따로 세우고, 무엇을 어떤 근거로 막는지 공개하는 방식으로 정당성을 확보하려 한다.

생성형 AI가 이 문제를 바꿔 놓은 지점은 둘이다. 하나는 생산 방식이다. 이미 만들어진 콘텐츠를 찾아 막는 것이 아니라, 요청에 맞춰 그 자리에서 새로 만들어지므로 사전에 목록으로 관리할 수 없다. 다른 하나는 전달 방식이다. 일방적으로 노출되는 콘텐츠와 달리 대화는 상대의 반응에 맞춰 이어지므로, 취약한 이용자에게는 훨씬 강하게 작용할 수 있다. 정서적 의존이나 정신 건강 영향이 별도 항목으로 다뤄지기 시작한 배경이다.

동향 표기 · 유해 콘텐츠(22)
동향 문서 22기간 7개월최근 96%병기 0
087딥페이크deepfakeAI로 실제 인물의 얼굴·목소리·행동을 합성하거나 조작해, 하지 않은 말이나 행동을 실제처럼 보이게 만든 오디오·시각 콘텐츠를 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어심층조작물

용어 설명

AI로 실제 인물의 얼굴·목소리·행동을 합성하거나 조작해, 하지 않은 말이나 행동을 실제처럼 보이게 만든 오디오·시각 콘텐츠를 말함.

  • 딥러닝(deep learning)과 가짜(fake)를 합친 말이며, 적은 양의 사진·음성 표본만으로 만들 수 있게 되면서 표적이 유명인에서 일반인으로 넓어짐.
  • 비동의 성적 합성물, 음성 복제를 이용한 사기, 선거 국면의 발언 조작 등 개인·사회적 피해로 이어짐.
  • 위조가 흔해지면 진짜 기록도 합성이라고 부인할 수 있게 되어, 기록에 기반한 사실 확인 자체가 어려워진다는 구조적 문제가 지적됨.

구별'딥페이크'는 실제 인물을 오디오·시각 형태로 위조한 콘텐츠이고, 'AI 생성 가짜 콘텐츠'는 텍스트와 사건 묘사까지 포함하는 상위 범주임.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 실제 인물이 하지 않은 말·행동을 한 것처럼 잘못 표현하는 오디오·시각 형태의 AI 생성 가짜 콘텐츠의 한 유형으로 정의함. [1]
  • 악의적 행위자가 갈취·사기·심리적 조종·방해 목적으로 오용할 수 있으며, 명예와 평판에 대한 권리 같은 인권을 위협한다고 서술함. [1]
🌐국제 AI 안전 보고서2026
  • 실제로 하지 않은 말·행동이나 일어나지 않은 사건을 묘사하는 AI 생성 오디오·시각 콘텐츠로 정의해, 인물뿐 아니라 사건 묘사까지 포함함. [2]

출처

  1. 1International AI Safety Report 2025, p.62–63 · 원문
  2. 2International AI Safety Report 2026, p.149 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 5 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

딥러닝과 페이크를 합친 말로, 특정 인물이 하지 않은 말과 행동을 실제처럼 보이게 만든 결과물을 가리킨다. 초기에는 대상 인물의 영상을 대량으로 모아야 했고 상당한 기술도 필요했지만, 지금은 몇 초짜리 음성 표본이나 사진 몇 장으로 가능해졌다. 만드는 비용이 사라졌다는 것이 이 문제의 성격을 바꿔 놓았다. 표적이 유명인에 한정되지 않고 누구나 될 수 있게 된 것이다.

피해는 세 갈래로 나타난다. 당사자 동의 없이 만든 성적 합성물, 가족이나 상사의 목소리를 흉내내는 금융사기, 그리고 선거 국면에서 후보의 발언을 조작하는 정치적 이용이다. 그런데 더 구조적인 피해로 지적되는 것은 따로 있다. 위조가 흔해지면 진짜 기록도 위조로 의심받게 된다는 점이다. 실제 증거를 제시받은 쪽이 합성이라고 주장하면 되는 상황이 되면, 기록으로 사실을 확인하는 일 자체가 어려워진다.

번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.

A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say. Malicious actors can misuse AI-generated fake content to extort, scam, psychologically manipulate, or sabotage targeted individuals or organisations (see Table 2.1) (271) . This threatens universal human rights, for example the right against attacks upon one's honour and reputation (272) . This section focuses on harms caused to individuals through AI-generated fake content. Potential impacts of AI-generated and -mediated influence campaigns on the societal level are covered in 2.1.2. Manipulation of public opinion. Risks 2.1 Risks from malicious use

출처 International Scientific Report on the Safety of Advanced AI · p.62–63 · EN · 정의섹션

번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.

A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say. General-purpose AI systems rely on and can process vast amounts of personal data, posing significant privacy risks. In the context of AI, privacy is a complex and multi-faceted concept encompassing: Data confidentiality and protection of personal data collected or used for training purposes, fine-tuning, information extraction, or during inference.

출처 International Scientific Report on the Safety of Advanced AI · p.139–140 · EN · 정의섹션

번역사람들이 실제로 하지 않은 말·행동이나, 일어나지 않은 사건을 묘사하는 AI 생성 오디오·시각 콘텐츠.

A type of AI-generated audio or visual content that depicts people saying or doing things they did not actually say or do, or events occurring that did not actually occur.

출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기

번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.

A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say. This section primarily focuses on the benefits and risks of general-purpose AI models with widely available model weights. Model weights, also known as parameters, are the numbers used to specify how the input (e.g. text describing an image) is transformed into the output (e.g. the image itself). These weights are iteratively updated during model training to improve the model 's performance on the tasks for which it is trained (see 1.1. How general-purpose AI is developed).

출처 International Scientific Report on the Safety of Advanced AI · p.150 · EN · 정의섹션

번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.

A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say.

출처 International Scientific Report on the Safety of Advanced AI · p.201–202, p.220–221 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-09-01🇧🇷 브라질 2026년 선거 딥페이크 사건 기타
  2. 2025-12-01🇺🇸 미국 딥페이크 책임법안 United States Congress · 법안
  3. 2025-07-09🇸🇦 사우디 딥페이크 가이드라인 Saudi Data and AI Authority ·
  4. 2025-03-29🇺🇸 알래스카 선거 딥페이크 표시 의무 법안
동향 표기 · 딥페이크(116) / deepfake(30)
동향 문서 116기간 22개월최근 79%병기 1PDF 문서 12정의섹션 2
088AI 생성 가짜 콘텐츠AI-generated fake content생성형 AI로 만든 텍스트·오디오·이미지·영상 가운데 사람이나 사건을 악의적·기만적으로 현실과 다르게 묘사하는 콘텐츠를 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고

용어 설명

생성형 AI로 만든 텍스트·오디오·이미지·영상 가운데 사람이나 사건을 악의적·기만적으로 현실과 다르게 묘사하는 콘텐츠를 말함.

  • 하지 않은 말·행동을 한 것처럼 보이게 하거나, 사건의 장소를 바꾸거나, 일어나지 않은 사건을 그리는 형태로 나타남. 딥페이크는 그 하위 유형임.
  • 사기·갈취·명예훼손·비동의 성적 이미지·여론 조작 등 악의적 사용의 수단이 되며, 제작 비용 하락으로 표적이 일반인까지 넓어짐.
  • 탐지만으로는 대응에 한계가 있어 AI 워터마킹, 출처 메타데이터 같은 출처 검증 수단과 투명성 의무가 함께 논의됨.

구별'AI 생성 가짜 콘텐츠'는 텍스트까지 포함하는 넓은 범주이고, '딥페이크'는 실제 인물을 오디오·시각 형태로 위조한 하위 유형임. 거짓 정보의 유통 의도에 따른 구분은 '허위 정보'와 '오정보'를 참조.

용어 관계

하위 딥페이크 · 먼저 알 개념 생성형 AI · 혼동 주의 허위 정보

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 생성형 AI가 만든 오디오·텍스트·시각 콘텐츠로, 사람이나 사건을 악의적·기만적으로 현실과 다르게 묘사하는 것으로 정의함. [1]
  • 하지 않은 행동·말을 보이게 하기, 실제 사건의 장소 바꾸기, 일어나지 않은 사건 묘사를 예로 들고, 악의적 사용 위험 항목에서 다룸. [1]

출처

  1. 1International AI Safety Report 2025, p.62–63, p.67–68 · 원문
원문 인용 2

번역생성형 AI가 만든 오디오·텍스트·시각 콘텐츠로, 사람들이 하지 않은 일·말하지 않은 말을 보이게 하거나 사건 장소를 바꾸거나 일어나지 않은 일을 그리는 등, 악의적·기만적으로 현실과 다르게 묘사하는 것.

Audio, text, or visual content, produced by generative AI, that depicts people or events in a way that differs from reality in a malicious or deceptive way, e.g. showing people doing things they did not do, saying things they did not say, changing the location of real events, or depicting events that did not happen.

출처 International Scientific Report on the Safety of Advanced AI · p.62–63, p.201–202, p.218–219 · EN · 정의섹션

번역생성형 AI가 만든 오디오·텍스트·시각 콘텐츠로, 사람들이 하지 않은 일·말하지 않은 말을 보이게 하거나 사건 장소를 바꾸거나 일어나지 않은 일을 그리는 등, 악의적·기만적으로 현실과 다르게 묘사하는 것.

Audio, text, or visual content, produced by generative AI, that depicts people or events in a way that differs from reality in a malicious or deceptive way, e.g. showing people doing things they did not do, saying things they did not say, changing the location of real events, or depicting events that did not happen. Risks 2.1 Risks from malicious use

출처 International Scientific Report on the Safety of Advanced AI · p.67–68 · EN · 정의섹션

PDF 표기 · AI-generated fake content
PDF 문서 2정의섹션 1
089허위 정보disinformation사람을 속이거나 여론·행동에 영향을 미치려는 의도로 생성·유포되는 거짓 또는 오도적 정보를 의미하며, 의도의 유무로 오정보와 구별됨.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어허위조작정보

용어 설명

사람을 속이거나 여론·행동에 영향을 미치려는 의도로 생성·유포되는 거짓 또는 오도적 정보를 의미하며, 의도의 유무로 오정보와 구별됨.

  • 같은 내용이라도 유포자의 의도에 따라 성격이 갈리므로, 내용 검증과 함께 유포 경로, 계정 활동 양상, 수혜 주체를 함께 봐야 판단할 수 있음.
  • 생성형 AI는 표적 집단별 문안과 가짜 계정 프로필을 대량·저비용으로 만들 수 있게 해 여론 조작의 규모 제약을 낮춘다는 우려가 있음.
  • 개별 사실 확인만으로는 속도를 따라가기 어려워, 조직적 유포 구조 탐지와 콘텐츠 출처 검증으로 대응의 무게가 옮겨 가고 있음.

구별'허위 정보(disinformation)'는 속이려는 의도가 있는 거짓·오도 정보이고 '오정보(misinformation)'는 그런 의도 없이 잘못 알고 퍼뜨리는 정보이며, 같은 내용도 처음엔 허위 정보로 만들어졌다가 선의의 공유를 거치며 오정보로 퍼질 수 있음.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 사람을 속이거나 영향을 미치려는 의도로 생성·유포되는 거짓 또는 오도적 정보로 정의하고, 대조 개념으로 오정보(misinformation)를 제시함. [1]
🇺🇸NISTAI 600-1, 2024
  • 정보 무결성 위험에서 거짓·오도적 정보의 의도적 생산·유포를 허위정보, 비의도적인 것을 오정보로 나누고, 생성형 AI가 둘 다 대규모로 쉽게 만든다고 봄. [2]
🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험 식별 때 참고할 예로 민주적 절차에 대한 위험과 불법·폭력·혐오·급진화·거짓 콘텐츠에서 오는 위험을 듦. [3]
📄인공지능 윤리원칙한국, 2026
  • 윤리원칙의 책임 명확화 항목에서 공급자는 이용자가 AI를 허위정보 유포 등에 쓰지 않도록 안내·예방 조치를 마련하고, 이용자는 그런 데 쓰지 않아야 한다고 제시함. [4]

출처

  1. 1International AI Safety Report 2025, Glossary, p.221–222 · 원문
  2. 2NIST AI 600-1, 2.8, p.9–10 · 원문
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.1, p.34 · 원문
  4. 4『대한민국 인공지능 윤리원칙』(2026), p.14 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

비슷한 낱말과 갈라 두는 것이 먼저다. 오정보는 의도 없이 퍼지는 잘못된 정보로, 잘못 알고 선의로 공유하는 경우가 여기 든다. 허위 정보는 속이려는 의도가 있는 경우다. 같은 내용이라도 누가 왜 유포했는지에 따라 둘로 갈린다는 뜻이며, 그래서 내용만 보고 판정하기 어렵다. 유포 경로, 계정의 생성 시점과 활동 양상, 누가 이득을 보는지를 함께 봐야 판단이 가능하다.

AI가 바꾼 것은 생산 비용이다. 예전에도 조직적인 여론 조작은 있었지만 사람이 글을 써야 했기 때문에 규모에 한계가 있었다. 이제는 표적 집단마다 다른 문안을 대량으로 만들고, 실재하는 것처럼 보이는 계정 사진과 이력을 붙이는 일이 저렴해졌다. 그래서 대응의 무게가 옮겨 가고 있다. 개별 내용의 사실 여부를 확인하는 것만으로는 속도를 따라갈 수 없으므로, 조직적인 유포 구조를 탐지하고 콘텐츠의 출처를 검증하는 쪽에 힘이 실린다.

번역사람을 속이거나 영향을 주려는 의도로 생성·유포되는 거짓·오도 정보. 대조: 허위정보(Misinformation).

False or misleading information generated or spread with the intent to deceive or influence people. See 'Misinformation' for contrast.

출처 International Scientific Report on the Safety of Advanced AI · p.220–221, p.221–222 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2019-09-12🇬🇧 CDEI 딥페이크·시청각 허위정보 스냅샷 Centre for Data Ethics and Inn
동향 표기 · 허위정보(55)
동향 문서 55기간 16개월최근 74%병기 1PDF 문서 13정의섹션 1
090오정보misinformation속이려는 의도 없이 생성되거나 유포되는 거짓 또는 오도적 정보를 의미하며, 의도를 가진 허위 정보와 구별됨.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어잘못된 정보

용어 설명

속이려는 의도 없이 생성되거나 유포되는 거짓 또는 오도적 정보를 의미하며, 의도를 가진 허위 정보와 구별됨.

  • 사실을 잘못 알고 선의로 공유하는 경우가 대표적이며, AI 모델이 그럴듯한 오류(환각)를 내놓고 이용자가 이를 그대로 옮기는 경우도 여기에 해당할 수 있음.
  • 의도가 없더라도 대규모로 확산되면 공중 보건·선거·재난 대응 등에서 피해를 낳으므로, AI 생성물의 정확성과 출처 표시가 정보생태계 위험으로 다뤄짐.
  • 의도는 겉으로 드러나지 않아 개별 사례를 오정보와 허위 정보로 가르기 어려운 경우가 많음.

구별'오정보(misinformation)'는 속이려는 의도 없이 퍼지는 잘못된 정보이고, '허위 정보(disinformation)'는 속이거나 영향을 미치려는 의도로 만들어·퍼뜨린 정보임.

용어 관계

혼동 주의 허위 정보, 환각

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 속이려는 의도 없이 생성·유포되는 거짓 또는 오도적 정보로 정의하고, 대조 개념으로 허위 정보(disinformation)를 제시함. [1]

출처

  1. 1International AI Safety Report 2025, Glossary, p.223–224 · 원문
원문 인용 1 · 관련 연구 3

번역속이려는 의도 없이 생성·유포되는 거짓·오도 정보. 대조: 허위조작정보(Disinformation).

False or misleading information that is generated or spread without intent to deceive. See 'Disinformation' for contrast.

출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션

PDF 표기 · Misinformation
PDF 문서 15정의섹션 1
091비동의 성적 이미지non-consensual intimate imagery (NCII)당사자 동의 없이 제작·유포되는 성적 이미지·영상으로, 실제 촬영물과 AI로 합성한 이미지를 모두 포함하는 피해 유형을 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어비동의 성적 합성물

용어 설명

당사자 동의 없이 제작·유포되는 성적 이미지·영상으로, 실제 촬영물과 AI로 합성한 이미지를 모두 포함하는 피해 유형을 말함.

  • 얼굴 사진 몇 장만으로 합성물을 만들 수 있게 되면서 제작 장벽이 낮아졌고, 학교·직장 같은 일상 관계 안에서 피해가 발생한다는 점이 문제로 지적됨.
  • 제작·유포 처벌, 플랫폼의 신속 삭제 의무, 생성 단계에서 실존 인물의 성적 이미지 생성을 막는 안전장치, 여러 플랫폼에 걸친 해시 공유 체계가 함께 작동해야 실효가 생김.
  • 한 곳에서 지워도 다른 곳에 남으면 피해가 계속되므로, 피해자 중심의 일괄 삭제 요청 경로가 중요하게 다뤄짐.

용어 관계

해설 · 참고 기사 3

국제 문헌에서는 non-consensual intimate imagery, 줄여서 NCII로 부른다. 실제로 촬영된 자료가 동의 없이 퍼지는 경우와, 촬영된 적 없는 장면을 AI로 합성한 경우가 함께 포함된다. 뒤쪽이 최근 급격히 늘어난 이유는 제작 장벽이 사실상 사라졌기 때문이다. 얼굴 사진 몇 장이면 충분하고 기술 지식도 필요하지 않다. 피해자가 유명인에 한정되지 않고 학교나 직장 같은 일상 관계 안에서 발생한다는 점이 특히 문제로 지적된다.

대응이 여러 층에서 동시에 이뤄져야 실효가 생긴다. 제작과 유포를 처벌하는 입법, 신고가 들어오면 빠르게 삭제하도록 플랫폼에 부과하는 의무, 생성 단계에서 특정 인물의 성적 이미지를 만들지 못하게 막는 조치, 그리고 피해자가 한 번의 신고로 여러 플랫폼에서 동시에 삭제를 요청할 수 있게 하는 해시 공유 체계다. 마지막 것이 중요한 이유는, 한 곳에서 지워도 다른 곳에 남아 있으면 피해가 끝나지 않기 때문이다.

동향 표기 · 비동 성적(19)
동향 문서 19기간 8개월최근 90%병기 0
092아동 성착취물child sexual abuse material (CSAM)아동을 성적으로 학대·착취하는 내용을 담은 이미지·영상 등 자료로, 그 자체가 아동 학대의 기록이자 피해로 취급되는 불법 콘텐츠를 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어아동 성학대물

용어 설명

아동을 성적으로 학대·착취하는 내용을 담은 이미지·영상 등 자료로, 그 자체가 아동 학대의 기록이자 피해로 취급되는 불법 콘텐츠를 말함.

  • 제작·소지·유포가 대부분의 법역에서 형사처벌 대상이며, '아동 포르노그래피'라는 표현은 학대의 성격을 흐린다는 이유로 피함.
  • 생성형 AI는 실제 피해 아동 없이 합성된 자료의 취급 문제와, 기존 해시 대조 방식으로 새로 생성된 이미지를 걸러내기 어렵다는 탐지 문제를 낳음.
  • 이 때문에 학습 데이터에서 해당 자료를 배제하고 생성 단계에서 차단하는 조치가 모델 개발자의 핵심 안전 의무로 다뤄짐.

용어 관계

해설 · 참고 기사 3 · 관련 연구 1

국제 문헌에서는 child sexual abuse material, 줄여서 CSAM으로 부른다. 아동 포르노그래피라는 표현을 피하는 데는 이유가 있다. 포르노그래피라는 낱말이 합의 가능한 표현물을 연상시켜, 이 자료가 그 자체로 아동 학대의 기록이라는 사실을 흐리기 때문이다. 제작과 소지, 유포가 거의 모든 나라에서 형사처벌되며, 표현의 자유 논의에서도 예외로 다뤄지는 범주다.

생성형 AI는 두 가지 문제를 새로 만들었다. 하나는 실제 피해 아동 없이 합성된 자료를 어떻게 취급할 것인가다. 국내에서는 아동·청소년성보호법이 아동·청소년으로 명백하게 인식될 수 있는 사람이나 표현물이 등장하는 경우까지 성착취물에 포함하고 있어, 합성물도 이 기준에 따라 판단된다. 다른 하나는 탐지 체계의 문제다. 기존 방식은 이미 확인된 자료의 지문을 목록화해 대조하는데, 새로 생성된 이미지는 목록에 없어 걸러지지 않는다. 그래서 생성 단계에서 막는 조치의 비중이 커졌다.

동향 표기 · 아동 성착취물(19) / CSAM(13)
동향 문서 19기간 9개월최근 90%병기 4
093감시surveillance사람의 행동·위치·통신·생체 정보를 지속적으로 관찰·기록·분석하는 활동으로, AI가 그 규모와 비용 구조를 바꿔 놓은 위험 영역을 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어감시 활동

용어 설명

사람의 행동·위치·통신·생체 정보를 지속적으로 관찰·기록·분석하는 활동으로, AI가 그 규모와 비용 구조를 바꿔 놓은 위험 영역을 말함.

  • 얼굴 인식, 걸음걸이 식별, 감정 추정, 통신 패턴 분석 등 자동 분석으로 표적 감시에 들던 자원으로 다수를 상시 관찰할 수 있게 됨.
  • 프라이버시·표현의 자유 위축과 권력 남용으로 이어질 수 있어, 규제는 기술 자체보다 용도별로 금지·통제의 선을 긋는 방향으로 정리되고 있음.
  • 국가안보·중대 범죄 수사 등을 이유로 한 예외의 범위가 규제 실효를 좌우하는 쟁점으로 다뤄짐.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

AI가 바꿔 놓은 것은 감시의 종류가 아니라 규모다. 예전에는 영상과 통신 기록을 사람이 일일이 봐야 했기 때문에, 누구를 감시할지 고르는 것 자체가 비용이었고 그 비용이 사실상 제약으로 작동했다. 자동 분석이 가능해지면서 그 제약이 사라졌다. 특정인을 표적으로 삼는 감시에 들던 자원으로 모든 사람을 상시 관찰할 수 있게 된 것이다. 얼굴 인식, 걸음걸이 식별, 감정 추정, 통신 패턴 분석이 이런 전환을 가능하게 한 수단이다.

규제는 감시 기술 자체를 금지하는 대신 용도별로 선을 긋는 방향으로 정리되고 있다. EU AI법은 개인의 사회적 행동을 점수화해 불이익을 주는 이용을 금지 목록에 넣고, 공개된 장소에서의 실시간 원격 생체인식과 직장·교육기관에서의 감정 추정을 금지하거나 강한 통제 아래 두었다. 실제 입법 협상에서 초점이 되는 것은 이런 금지에 두는 예외의 범위다. 국가안보나 중대 범죄 수사를 이유로 한 예외를 어디까지 인정할지에 따라 규제의 실효가 크게 달라진다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-08-27🇺🇸 Anthropic 기술 사용 제한 소송 기타
  2. 2026-02-07🇺🇸 워싱턴주 HB 2481 법안
  3. 2025-09-13🇺🇸 사업장 AI 감시 제한법 법안
  4. 2025-03-21🇺🇸 중국 국방·감시 분야 투자 제한 법안 H.R.2246 United States Congress · 법안
동향 표기 · 감시(117) / Surveillance(15)
동향 문서 117기간 16개월최근 89%병기 3
094검열censorship국가나 사업자가 특정 내용의 표현·유통을 차단하거나 제한하는 것으로, AI에서는 모델 응답 범위의 통제를 둘러싸고 쓰이는 개념임.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고

용어 설명

국가나 사업자가 특정 내용의 표현·유통을 차단하거나 제한하는 것으로, AI에서는 모델 응답 범위의 통제를 둘러싸고 쓰이는 개념임.

  • 국가가 모델이 답할 수 있는 주제를 규정하는 경우와, 사업자가 안전을 이유로 응답을 거부·제한하는 경우가 함께 논쟁 대상이 됨.
  • 무엇이 유해한지에 대한 판단 자체가 관점을 담기 때문에, 정치·사회적으로 민감한 주제에서는 안전장치와 검열의 경계가 흐려진다는 지적이 있음.
  • 안전성 평가에서 유해 요청 거부율과 함께 정당한 요청을 잘못 거부하는 비율을 재는 것은 과도한 제한을 드러내기 위한 것임.

구별'안전장치'는 피해를 막기 위해 설계된 기술·절차적 통제를 말하지만, 그 기준이 불투명하거나 정당한 표현까지 막으면 '검열'이라는 비판을 받음. 둘의 구별은 목적, 근거의 공개, 비례성에 달려 있음.

용어 관계

혼동 주의 가드레일, 안전장치

해설 · 참고 기사 3 · 관련 연구 4

AI에서는 두 층에서 논쟁이 된다. 하나는 국가가 모델이 답할 수 있는 범위를 규정하는 경우다. 특정 역사적 사건이나 정치 지도자에 대한 답변을 제한하도록 요구하는 것이 그런 예다. 다른 하나는 사업자가 안전을 이유로 응답을 거부하는 경우다. 이쪽은 통상 안전장치라고 불리지만, 정치적으로 민감한 주제나 논쟁적인 사회 문제에 이르면 안전과 검열의 경계가 흐려진다. 무엇이 유해한지에 대한 판단 자체가 관점을 담기 때문이다.

이 문제의 기술적 대응물이 과도 거부다. 유해한 요청을 막으려는 학습이 정당한 질문까지 거절하게 만드는 현상으로, 의학 정보를 묻는 질문을 자해 관련으로 오인해 거부하거나 역사적 사건에 대한 설명을 폭력적 내용으로 분류해 막는 형태로 나타난다. 그래서 안전성 평가는 유해 요청 거부율만 재지 않고 정당한 요청을 잘못 거부하는 비율을 함께 잰다. 두 값을 함께 보지 않으면 무조건 거절하는 모델이 가장 안전한 모델로 나오게 된다.

동향 표기 · 검열(17)
동향 문서 17기간 6개월최근 94%병기 0
095개인정보 침해privacy breach개인정보가 권한 없이 수집·노출·유출·오용되는 사건으로, AI에서는 학습·추론·이용 과정 전반에서 발생할 수 있는 피해를 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어개인정보 유출

용어 설명

개인정보가 권한 없이 수집·노출·유출·오용되는 사건으로, AI에서는 학습·추론·이용 과정 전반에서 발생할 수 있는 피해를 말함.

  • 대규모 웹 수집에 개인정보가 섞여 들어오는 단계, 모델이 학습 데이터를 거의 그대로 출력하는 단계, 이용자 입력이 저장되거나 재학습에 쓰이는 단계에서 발생할 수 있음.
  • 모델 가중치에 스며든 정보는 위치를 특정하거나 삭제를 증명하기 어려워 기존 데이터베이스 유출보다 되돌리기 어려움.
  • 이 때문에 머신 언러닝 기법과, 삭제 요구권이 이미 학습된 모델에까지 미치는지가 함께 쟁점이 됨.

구별'개인정보 침해'는 권한 없는 노출·오용이라는 사건·피해를, '프라이버시'는 보호되어야 할 권리·가치를, '개인정보 보호'는 이를 지키기 위한 법제·조치를 가리킴.

용어 관계

해설 · 참고 기사 3 · 관련 연구 1

AI에서는 정보가 새어 나가는 경로가 셋으로 갈린다. 첫째는 학습 자료를 모으는 단계다. 웹에서 대량으로 수집하면 개인의 이름, 연락처, 사적인 글이 함께 들어온다. 둘째는 모델이 학습한 내용을 되뇌는 단계다. 특정 방식으로 물으면 학습 자료에 있던 문장을 거의 그대로 출력하는 현상이 알려져 있다. 셋째는 이용자가 직접 입력한 내용이 저장되거나 다음 학습에 쓰이는 단계다. 업무 자료를 요약해 달라고 넣은 내용이 그렇게 남을 수 있다.

기존 유출 사고와 결정적으로 다른 점은 되돌리기가 어렵다는 것이다. 데이터베이스에서는 특정 레코드를 지우고 지웠다는 사실을 확인할 수 있지만, 모델 가중치에 스며든 정보는 어디 있는지 특정할 수도 없고 지웠다는 것을 증명하기도 어렵다. 이 때문에 학습된 내용을 사후에 덜어내는 기법과, 삭제를 요구할 권리가 이미 학습된 모델에까지 미치는지의 문제가 함께 쟁점이 됐다.

동향 표기 · 개인정보 침해(13)
동향 문서 13기간 11개월최근 69%병기 0
096표현의 자유freedom of expression의견과 정보를 표현하고 구하고 전달받을 자유로, AI에서는 생성물의 보호 범위와 유해 콘텐츠 통제의 한계를 정하는 기준이 되는 기본권임.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어표현 자유

용어 설명

의견과 정보를 표현하고 구하고 전달받을 자유로, AI에서는 생성물의 보호 범위와 유해 콘텐츠 통제의 한계를 정하는 기준이 되는 기본권임.

  • AI 생성 표현물이 누구의 표현으로 보호되는지, 그리고 유해 콘텐츠 차단 조치가 정당한 표현을 위축시키는지가 두 축의 쟁점임.
  • 국제인권규범상 제한은 법률 근거, 정당한 목적, 필요성·비례성을 함께 갖춰야 하며, 대규모 자동 판정은 오탐과 구제 절차 부족으로 마지막 요건을 충족하기 어려움.
  • 그래서 자동 판정을 쓰더라도 사람의 재검토 경로, 이의 제기 절차, 조치 통계 공개를 함께 요구하는 방향으로 논의가 모임.
해설 · 참고 기사 3 · 정책 문서 1

AI와 관련해 두 방향으로 문제가 된다. 하나는 AI로 만든 표현물이 어디까지 보호받는지다. 창작 주체가 사람이 아닐 때 표현의 자유가 누구의 것인지, 합성 인물의 발언이 표현인지가 다투어진다. 다른 하나는 유해 콘텐츠를 막으려는 조치가 정당한 표현을 함께 위축시키는 문제다. 플랫폼의 자동 필터링이 확대되면서 과잉 삭제로 나타나고, AI 서비스에서는 정당한 질문까지 거절하는 과도 거부로 나타난다.

국제인권규범은 표현의 자유를 제한할 때 세 가지를 함께 충족하라고 요구한다. 법률에 근거가 있어야 하고, 정당한 목적을 위한 것이어야 하며, 그 목적에 필요한 최소한이어야 한다. 자동화된 조치는 특히 마지막 요건을 충족하기 어렵다. 규모가 크면 오탐도 대량으로 발생하는데 이의 제기와 구제 절차가 그 규모를 따라가지 못하기 때문이다. 그래서 자동 판정을 쓰더라도 사람이 다시 볼 수 있는 경로와 통계 공개를 함께 요구하는 방향으로 논의가 모인다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-12-03🇪🇺 생성형 AI와 표현의 자유 가이던스 노트 유럽평의회(Council of Europe) · 가이드
동향 표기 · 표현 자유(24)
동향 문서 24기간 7개월최근 96%병기 1
097정신 건강mental health정서·인지·사회적 기능이 유지되는 상태로, AI 안전에서는 대화형 AI와의 상호작용이 이용자의 심리적 안녕에 미치는 영향을 다루는 영역을 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고

용어 설명

정서·인지·사회적 기능이 유지되는 상태로, AI 안전에서는 대화형 AI와의 상호작용이 이용자의 심리적 안녕에 미치는 영향을 다루는 영역을 말함.

  • 상담 자원 공백을 메우는 긍정적 역할과, 부적절한 조언·위기 신호 미인지·정서적 의존 심화 같은 위험이 같은 기능에서 함께 나올 수 있음.
  • 치료 효과를 표방하면 의료기기 규율 대상이 되지만 웰니스·정보 제공을 표방하면 벗어나는 경계 문제가 있어, 표방과 무관한 위기 대응 절차가 논의됨.
  • 자해·자살 관련 대화에 대한 모델 응답 기준과 전문 기관 연계는 안전성 평가와 미성년 보호 정책의 주요 항목으로 다뤄짐.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

AI가 이 영역에 걸리는 방향은 둘이다. 하나는 도움이 되는 쪽이다. 상담 자원이 부족한 지역과 시간대를 메우고, 비용과 낙인 때문에 도움을 청하지 못한 사람에게 첫 접점을 만들 수 있다. 다른 하나는 상호작용 자체가 위험이 되는 쪽이다. 부적절한 조언을 하거나, 위기 신호를 알아채지 못하거나, 정서적 의존을 심화시키는 경우다. 같은 기능이 이용자의 상태에 따라 양쪽으로 작동할 수 있다는 점이 이 영역을 어렵게 만든다.

규제상 까다로운 지점은 의료기기 경계다. 치료 효과를 표방하면 의료기기 규율을 받아 임상 근거와 허가가 필요하지만, 웰니스나 정보 제공을 표방하면 그 틀에서 벗어난다. 문제는 실제 이용자가 그 구별을 하지 않는다는 것이다. 어떤 표방을 하든 위기 상황의 대화는 발생한다. 그래서 자해나 자살 언급이 나왔을 때의 대응 절차를 표방과 무관하게 요구하는 방향이 논의된다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-12🇰🇷 정신건강 목적 생성형 AI 이용 가이드라인 보건복지부 · 가이드라인·원칙
  2. 2026-03-02🇺🇸 버지니아 SB 269(정신건강 서비스 제공자) 법안
  3. 2025-01-03🇺🇸 미국인 정신건강 돌봄 개선법 United States Congress · 법안
  4. 2023-06-29🇺🇸 법 regulating use 인공지능 (AI) providing mental health services. 법안
동향 표기 · 정신건강(44) / 정신 건강(15)
동향 문서 44기간 11개월최근 91%병기 0
098정서적 의존emotional dependence이용자가 대화형 AI와의 상호작용에 정서적으로 과도하게 기대어, 관계·일상 기능·의사결정이 그 상호작용에 좌우되는 상태를 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어정서적 의존성

용어 설명

이용자가 대화형 AI와의 상호작용에 정서적으로 과도하게 기대어, 관계·일상 기능·의사결정이 그 상호작용에 좌우되는 상태를 말함.

  • 항상 응답하고 비판하지 않으며 이용자에게 맞춰 주는 대화형 AI의 특성에서 생기며, AI 아첨 성향이나 참여 극대화 설계가 이를 강화할 수 있음.
  • 청소년과 정신 건강 위기에 있는 이용자에게서 위기 신호를 놓치거나 해로운 생각을 강화할 위험이 크며, 서비스 중단·모델 교체가 상실 경험으로 이어질 수 있음.
  • 비교적 최근 주목받은 개념이라 측정 방법과 대응 기준이 정립되는 중이며, 무엇을 문제로 볼지에 대해서도 견해가 갈림.

용어 관계

앞 단계 아첨

해설 · 참고 기사 3

대화형 AI가 가진 특성이 겹쳐 생긴다. 언제든 응답하고, 지치지 않고, 판단하거나 비난하지 않고, 상대의 말에 맞춰 준다. 사람 관계에서는 얻기 어려운 조건이며, 외로움이나 사회적 불안을 겪는 사람에게는 특히 강하게 작용한다. 아첨 성향이 제품의 성격으로 굳으면 이 경향은 더 강화된다. 마찰이 없는 관계가 마찰이 있는 관계를 대체하기 시작하면, 사람 관계를 유지하는 능력 자체가 약해질 수 있다는 우려가 따른다.

취약한 이용자에게서 문제가 분명하게 드러난다. 청소년이나 정신건강 위기 상태에 있는 사람에게는 위기 신호를 놓치거나 잘못된 방향으로 강화하는 위험이 있고, 서비스가 중단되거나 모델이 바뀌었을 때 실제 상실 경험으로 이어진 사례도 보고됐다. 비교적 최근에 주목받기 시작한 개념이라 측정 방법과 대응 기준이 아직 정리되는 중이며, 무엇을 문제로 볼지에 대해서도 견해가 갈린다.

동향 표기 · 정서적 의존(10)
동향 문서 10기간 6개월최근 100%병기 0
099아동·청소년 보호child and youth protection미성년 이용자를 연령에 맞지 않는 콘텐츠·상호작용·데이터 처리의 위험으로부터 보호하기 위한 제도적·기술적 조치 전반을 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어미성년자 보호

용어 설명

미성년 이용자를 연령에 맞지 않는 콘텐츠·상호작용·데이터 처리의 위험으로부터 보호하기 위한 제도적·기술적 조치 전반을 말함.

  • 유해 콘텐츠 차단, 연령 확인, 개인정보 수집 제한, 가장 안전한 기본 설정, 이용 시간 관리 등이 포함되며, 아동 이용을 전제로 처음부터 설계하는 방식이 강조됨.
  • 대화형 AI에서는 노출 통제만으로 부족함. 정서적 의존, 부적절한 조언, 위기 신호 대응 실패 같은 상호작용 위험이 새 축으로 부각됨.
  • 미성년 이용자 대상 별도 모델 정책과 위기 대응 절차를 요구하는 방향으로 논의가 이어지고 있으나, 연령 확인에 따른 프라이버시 부담과의 조율이 과제임.

용어 관계

해설 · 참고 기사 3

여러 조치가 함께 묶인다. 유해한 내용을 차단하고, 연령을 확인하고, 개인정보 수집을 제한하고, 처음 설정을 가장 안전한 상태로 두고, 이용 시간을 관리하는 것이다. 최근의 흐름은 개별 조치를 나열하는 데서 설계 원칙으로 옮겨 갔다. 영국의 연령적합설계규범처럼, 아동이 쓸 가능성이 있는 서비스는 처음부터 아동을 전제로 설계하도록 요구하는 방식이다. 사후에 차단 기능을 붙이는 것과 결과가 크게 다르다.

AI 서비스에서 새로 부각된 축은 상호작용이다. 무엇을 보여 주지 않을지 통제하는 것만으로는 대화형 서비스에서 생기는 문제를 다룰 수 없다. 대화가 이어지면서 관계가 형성되고, 아이가 어른에게 하지 않을 이야기를 털어놓고, 위기 신호가 그 안에서 나타난다. 정서적 의존, 부적절한 조언, 자해 관련 대응 실패가 그런 문제다. 그래서 미성년 이용자에게는 별도의 모델 정책과 위기 대응 절차를 요구하는 방향으로 논의가 옮겨 갔다.

동향 표기 · 아동 보호(15) / 청소년 보호(14) / 청소년(64)
동향 문서 15기간 8개월최근 100%병기 0
100연령 확인age verification이용자가 일정 연령 기준을 충족하는지 확인해 서비스·기능 접근을 제한하거나 달리 제공하기 위한 절차·기술을 말함.
#06. 정보생태계·사회적 피해 Information & Societal Harms
AI 위험·사고
대체어연령 인증

용어 설명

이용자가 일정 연령 기준을 충족하는지 확인해 서비스·기능 접근을 제한하거나 달리 제공하기 위한 절차·기술을 말함.

  • 자기 신고, 신분증 확인, 성인 결제 수단 확인, 얼굴 영상 기반 연령 추정 등 방식이 있으며, 방식에 따라 정확성과 수집 정보의 민감도가 달라짐.
  • AI 챗봇·동반자형 서비스로 적용 범위가 넓어지면서, 미성년 이용자에게 별도 모델 정책·대화 제한을 적용하기 위한 전제 조건으로 다뤄짐.
  • 확실한 확인일수록 신원 정보 수집과 익명성 훼손, 확인 기록 유출 위험이 커져 프라이버시와 긴장 관계에 있음. 연령 기준 충족 사실만 증명하는 방식이 대안으로 논의됨.

용어 관계

해설 · 참고 기사 3 · 정책 문서 4

성인 콘텐츠와 도박에 오래 요구돼 왔고, 최근에는 소셜미디어와 AI 챗봇 접근으로 범위가 넓어졌다. 방식은 네 갈래로 나뉜다. 이용자가 스스로 나이를 입력하는 자기 신고, 신분증을 확인하는 방식, 성인만 가질 수 있는 결제 수단을 이용하는 방식, 얼굴 영상으로 나이를 추정하는 방식이다. 자기 신고는 손쉽게 우회되고, 얼굴 기반 추정은 기준 연령 부근에서 오차가 생기며, 신분증 확인은 정확한 대신 가장 민감한 정보를 요구한다. 정확성과 수집 정보의 민감도 사이에서 균형을 찾는 문제다.

프라이버시와 정면으로 충돌하는 대표적인 영역이다. 확실하게 확인하려면 모든 이용자의 신원을 확인해야 하는데, 그러면 익명으로 서비스를 쓸 수 없게 되고 확인 기록이 유출될 때의 피해도 크다. 아동을 보호하려는 조치가 전체 이용자의 감시 기반을 만드는 결과가 되는 것이다. 그래서 나이가 기준을 넘는다는 사실만 증명하고 신원 자체는 서비스에 넘기지 않는 방식이 대안으로 논의되지만, 보급은 아직 제한적이다.

동향 표기 · 연령 확인(13) / 연령확인(8) / Verification(26)
동향 문서 13기간 4개월최근 100%병기 0
101사고incidentAI 시스템의 개발·사용·오작동이 직접 또는 간접으로 사람·기반시설·권리·재산 등에 실제 피해를 일으킨 사건이나 상황을 말함.
#07. 사고·보고 및 모니터링 Incidents & Monitoring
AI 위험·사고
대체어AI 사고

용어 설명

AI 시스템의 개발·사용·오작동이 직접 또는 간접으로 사람·기반시설·권리·재산 등에 실제 피해를 일으킨 사건이나 상황을 말함.

  • 단일 사건뿐 아니라 일련의 사건·상황도 포함되며, AI 시스템이 직접 원인인 경우와 기여요인에 그치는 경우가 모두 해당됨.
  • 사고 보고·분석의 기본 단위이므로, 무엇을 사고로 볼지가 보고 의무의 범위, 통계의 비교 가능성, 재발 방지 학습의 범위를 정함.
  • 개인에게 즉각 나타나는 피해와 체계적 차별처럼 누적되어 드러나는 피해가 모두 사고가 될 수 있어, 인과관계와 피해 시점 판단이 쉽지 않음.

구별'사고(incident)'는 실제 피해가 발생한 사건을, '위험원(AI hazard)'은 사고로 이어질 개연성이 있는 사건을 뜻하며, 'accident'가 주로 우발적 사고를 가리키는 것과 달리 incident는 오용 등 의도적 사건까지 포괄함.

용어 관계

하위 중대 사고 · 먼저 알 개념 피해 · 앞 단계 위험원, 오작동 · 혼동 주의 아차사고

주요 기관·문서별 개념 및 적용

🌐OECD2024
  • AI 사고를 하나 이상의 AI 시스템의 개발·사용·오작동이 직간접으로 건강 피해, 핵심 기반시설 교란, 인권·법적 의무 침해, 재산·공동체·환경 피해를 낳은 사건·상황으로 정의함. [1]
  • 실제 피해가 발생한 경우를 사고로, 피해로 이어질 개연성이 있는 경우를 AI 위험원(AI hazard)으로 구분함. [1]
🇺🇸NISTAI 600-1, 2024
  • 생성형 AI 프로파일은 OECD 정의를 따르면서 건강 피해에 심리적 피해·정신 건강 피해를 포함하고, 사고가 누적적(체계적 차별)으로도 급성적(개인 1명)으로도 발생할 수 있다고 봄. [2]
🇪🇺EU AI Act2024/1689
  • 제3조제49호는 '중대 사고'를 AI 시스템의 사고·오작동이 직간접으로 사망·건강의 심각한 피해, 핵심 기반시설의 심각하고 되돌릴 수 없는 교란, 기본권 보호 의무 위반, 재산·환경의 심각한 피해를 낳은 경우로 정의함. [4]
📄안전성 확보 가이드라인한국, 2026
  • 안전성 확보 가이드라인은 '안전사고'를 AI의 설계·학습·배포·운영 과정에서 발생해 생명·신체의 안전, 기본권, 공공의 안전에 중대한 영향을 미치는 사고로 보고 해킹 같은 전통적 침해사고에 한정하지 않되, 중대한 영향을 요건으로 삼는 점에서 표제어 '사고'보다 범위가 좁음. [3]

출처

  1. 1OECD (2024). Defining AI incidents and related terms, p.10–13 · 원문
  2. 2NIST AI 600-1, p.52 · 원문
  3. 3『인공지능 안전성 확보 가이드라인』 v1.3, p.67 · 원문
  4. 4EU AI Act, Art. 3(49), p.49 · 원문
관련 연구 4 · 정책 문서 4

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-16🇺🇸 「초지능 학습·평가의 사고 대비와 대응 핵심 실행 방안」 미국 NIST CAISSI, NSA SISC, CISA
  2. 2026-09-09Anthropic 최근 사이버보안 사고에 대한 정렬 평가 Anthropic · 정책보고서
  3. 2025-07-09OECD AI 사건·위험 모니터 기구·제도
  4. 2025-06-18AI 사고 공통 보고 프레임워크 정책보고서
102중대 사고serious incidentAI 사고 가운데 사망·심각한 건강 피해, 핵심 기반시설의 심각하고 되돌릴 수 없는 교란, 기본권의 심각한 침해 등 중대한 피해를 낳은 사고를 말함.
#07. 사고·보고 및 모니터링 Incidents & Monitoring
AI 위험·사고
대체어중대 AI 사고

용어 설명

AI 사고 가운데 사망·심각한 건강 피해, 핵심 기반시설의 심각하고 되돌릴 수 없는 교란, 기본권의 심각한 침해 등 중대한 피해를 낳은 사고를 말함.

  • AI 사고의 하위 범주로, 피해의 심각성과 회복 불가능성을 기준으로 일반 사고와 구분됨.
  • 규제 제도에서 의무적 신고와 짧은 보고 시한이 걸리는 대상이 되는 경우가 많아, 해당 여부 판단이 사업자의 법적 의무를 직접 좌우함.
  • 원인이나 책임이 확정되기 전에 신고를 요구하는 제도가 많아, 초기 판단의 불확실성을 어떻게 다룰지가 실무 쟁점이 됨.

구별'중대 사고'는 '사고'의 부분집합이며, 사회·공동체의 대응 역량을 넘어서는 수준의 중대 사고는 '재해'로 따로 구분하기도 함.

용어 관계

상위 사고 · 하위 재해

주요 기관·문서별 개념 및 적용

🌐OECD2024
  • 중대 AI 사고를 사망·심각한 건강 피해, 핵심 기반시설의 심각하고 되돌릴 수 없는 교란, 인권·법적 의무의 심각한 침해, 재산·공동체·환경의 심각한 피해를 낳은 사건으로 정의하고, AI 사고의 부분집합으로 둠. [1]
  • 이 작업 정의는 EU AI Act에서 제안된 중대 사고 정의와 맞춘 것이라고 밝힘. [1]
🇪🇺EU AI Act2024/1689
  • 제3조(49)는 중대 사고를 AI 시스템의 사고 또는 오작동이 직간접으로 사망·심각한 건강 피해, 핵심 기반시설의 심각하고 되돌릴 수 없는 교란, 기본권 보호 의무 위반, 재산·환경의 심각한 피해를 낳은 경우로 규정함(유럽의회 2024.3.13 채택안 기준). [2]
📄안전성 확보 가이드라인한국, 2026
  • 안전성 확보 가이드라인은 생명·신체 안전, 기본권, 공공의 안전에 중대한 영향을 미치는 안전사고를 인지 후 24시간 이내 최초 보고 대상으로 두고, 원인·책임이 확정되지 않아도 피해 가능성이 합리적으로 인지되면 포함함. [3]

출처

  1. 1OECD (2024). Defining AI incidents and related terms, p.12 · 원문
  2. 2OECD (2024). Defining AI incidents and related terms, Annex B, p.18–19 · 원문
  3. 3『인공지능 안전성 확보 가이드라인』 v1.3, p.67 · 원문
관련 연구 2
103재해disaster중대 AI 사고 가운데 공동체나 사회의 기능을 교란하고, 그 사회가 자체 자원으로 감당할 수 있는 대응 역량을 시험하거나 넘어서는 사고를 말함.
#07. 사고·보고 및 모니터링 Incidents & Monitoring
AI 위험·사고
대체어AI 재해

용어 설명

중대 AI 사고 가운데 공동체나 사회의 기능을 교란하고, 그 사회가 자체 자원으로 감당할 수 있는 대응 역량을 시험하거나 넘어서는 사고를 말함.

  • 재난 관리 분야의 재해 개념을 AI에 옮긴 것으로, 개별 피해의 크기보다 사회 기능의 교란과 대응 역량 초과 여부가 기준이 됨.
  • 영향은 즉각적·국지적일 수도, 광범위하고 장기적일 수도 있음. 핵심 기반시설이나 다수 서비스가 같은 AI 시스템에 의존할 때 위험이 커질 수 있음.
  • 아직 국제적 작업 정의 단계의 용어로, 파국적 위험 논의와 연결되지만 실제 발생한 사건을 가리킨다는 점에서 위험(가능성)과 다름.

구별'재해'는 실제 발생한 사건의 등급을, '파국적 위험'은 앞으로 일어날 수 있는 극단적 피해의 가능성을 가리킴.

용어 관계

상위 중대 사고 · 혼동 주의 파국적 위험

주요 기관·문서별 개념 및 적용

🌐OECD2024
  • AI 재해를 공동체·사회의 기능을 교란하고 자체 자원으로 대처할 역량을 시험하거나 넘어설 수 있는 중대 AI 사고로 정의하고, 중대 AI 사고의 부분집합으로 둠. [1]
  • UN 재난위험경감사무국(UNDRR)과 국제적십자연맹(IFRC)의 재해 정의를 바탕으로 한 작업 정의이며, 영향은 즉각적·국지적이거나 광범위·장기적일 수 있다고 봄. [1]

출처

  1. 1OECD (2024). Defining AI incidents and related terms, p.12–13 · 원문
관련 연구 1
104아차사고near missAI 시스템과 관련해 실제 피해로 이어질 수 있었으나 우연이나 개입으로 피해가 발생하지 않은 사건을 말함.
#07. 사고·보고 및 모니터링 Incidents & Monitoring
AI 위험·사고

용어 설명

AI 시스템과 관련해 실제 피해로 이어질 수 있었으나 우연이나 개입으로 피해가 발생하지 않은 사건을 말함.

  • 안전장치가 뚫렸지만 결과가 실행되지 않은 경우, 위험한 출력이 사람의 검토에서 걸러진 경우 등이 해당될 수 있음.
  • 실제 사고보다 훨씬 자주 발생하므로, 이를 기록·공유하면 피해가 나기 전에 실패 유형을 파악하고 안전장치를 보강할 수 있음.
  • 피해가 없어 신고 의무 밖에 놓이는 경우가 많고, 조직이 공개를 꺼려 보고가 적게 이루어지는 문제가 있음.

구별'아차사고'는 피해 없이 끝난 구체적 사건이고 '위험원(AI hazard)'은 사고로 이어질 개연성이 있는 사건·상황 전반을 가리키는 더 넓은 범주로, OECD는 아차사고를 AI 위험원에 포함함.

용어 관계

상위 위험원 · 혼동 주의 사고

주요 기관·문서별 개념 및 적용

🌐OECD2024
  • 아차사고를 AI 사고로 이어질 수 있었던 사건으로 보고, AI 위험원(AI hazard) 정의에 포함된다고 명시함. [1]
📄안전성 확보 가이드라인한국, 2026
  • 안전성 확보 가이드라인은 사고 대응 개시 기준에 실제 피해뿐 아니라, 피해가 없더라도 생명·신체·기본권 침해로 이어질 수 있는 합리적 위험 징후를 포함하도록 함. [2]

출처

  1. 1OECD (2024). Defining AI incidents and related terms, p.13 · 원문
  2. 2『인공지능 안전성 확보 가이드라인』 v1.3, p.57 · 원문
105사고 보고incident reportingAI 시스템과 관련해 발생한 사고 정보를 기록·전달·제출하는 행위·절차 또는 체계를 의미함.
#07. 사고·보고 및 모니터링 Incidents & Monitoring
AI 위험·사고
대체어AI 사고 보고사고 신고

용어 설명

AI 시스템과 관련해 발생한 사고 정보를 기록·전달·제출하는 행위·절차 또는 체계를 의미함.

  • 사고의 사실관계, 영향, 원인·기여요인, 관련 AI 시스템, 대응조치 등을 일정한 형식으로 수집·공유하는 과정이 포함됨.
  • 보고 항목, 제출 대상, 보고 시한, 공개 범위 등은 적용되는 제도와 사고의 중대성에 따라 달라질 수 있음.

구별'사고 보고(incident reporting)'는 행위·절차·체계를, '사고 보고서(incident report)'는 그 과정에서 생성되는 개별 문서·기록물을 뜻함.

용어 관계

먼저 알 개념 사고 · 앞 단계 배포 후 모니터링 · 다음 단계 사고 모니터링 · 혼동 주의 사고 보고서

주요 기관·문서별 개념 및 적용

🌐OECD2025
  • AI 사고를 관할권·부문에 관계없이 같은 방식으로 기록·공유하기 위한 공통 보고 프레임워크를 제시하고, 사고 정보를 구조화할 29개 기준을 제안함. [1]
  • 각국이 국내 정책·법제에 맞게 대응을 조정하면서 채택할 수 있는 공통 보고 방식으로, 의무 보고와 자율 보고 모두의 기반이 되고 보고의 상호운용성과 비교 가능성을 높이는 데 목적이 있음. [1]
🇺🇸NISTAI 100-1, 2023
  • AI RMF 1.0의 MANAGE 4.1은 배포 후 모니터링에 사고 대응·복구 등을 포함하도록 하고, MANAGE 4.3은 사고·오류를 관련 주체에 알리고 추적·대응·복구 절차를 문서화하도록 함. [2]
  • 법정 신고 의무가 아니라 자율적 위험관리 체계 안의 문서화·의사소통 절차로 제시됨. [2]
🇪🇺EU AI Act·실천강령2024·2025
  • 제73조는 고위험 AI 시스템 제공자가 중대 사고를 인과관계 또는 그 합리적 개연성을 확인한 즉시, 늦어도 인지 후 15일 안에 발생 회원국의 시장감시당국에 보고하도록 하고, 광범위한 침해·핵심 기반시설의 심각하고 되돌릴 수 없는 교란은 2일, 사망은 인과관계를 의심하는 즉시 보고하되 10일을 상한으로 둠. [4]
  • 제55조제1항(c)는 시스템적 위험 GPAI 모델 제공자에게도 보고를 요구하고, 실천강령 이행조치 9.3은 예외적 사정이 없는 한 초기 보고 기한을 기반시설의 심각하고 되돌릴 수 없는 교란 2일, 중대한 사이버 보안 침해 5일, 사망 10일, 그 밖의 심각한 피해·기본권 의무 위반 15일로 정함. [5] [8]
🇰🇷한국 AI 기본법2026
  • 사고보고에 대한 별도 정의는 없으나, 제32조는 일정 기준 이상의 AI 시스템에 안전사고 모니터링·대응 위험관리체계 구축과 이행 결과 제출을 요구함. [6]
  • 제34조제1항제5호는 고영향 AI를 제공하는 사업자에게 안전성·신뢰성 확보 조치의 내용을 확인할 수 있는 문서를 작성·보관하도록 규정함. [6]

출처

  1. 1OECD (2025). Towards a common reporting framework for AI incidents, p.7, p.13, p.15 · 원문
  2. 2NIST AI 100-1 (AI RMF 1.0), p.2, p.33 · 원문
  3. 4EU AI Act, Art. 73, p.101–102 · 원문
  4. 5EU AI Act, Art. 55(1)(c), p.86 · 원문
  5. 6「인공지능기본법」, 제32조·제34조 · 원문
  6. 8EU GPAI Code of Practice (2025), Safety & Security, Measure 9.3, p.26–27 · 원문
해설 · 참고 기사 3 · 관련 연구 1 · 정책 문서 3

항공과 의약품 분야에서 확립된 방식을 가져온 것이다. 개별 사고를 처벌하기 위해 모으는 것이 아니라, 사례를 쌓아 유형을 분류하고 추세를 읽기 위해 모은다. 항공 안전이 개선된 과정이 이 방식의 근거로 자주 인용된다. AI에서 이 제도가 특히 중요한 이유는, 배포 전 평가가 놓친 위험을 뒤늦게라도 포착하는 사실상 유일한 경로이기 때문이다. EU AI법은 고위험 AI에 중대 사고 보고 의무를 두고 있다.

작동 조건은 두 가지다. 하나는 정의와 양식이다. 무엇을 사고로 볼지가 조직마다 다르고 기록 형식이 어긋나면 사례를 합산할 수 없어 추세를 볼 수 없다. 그래서 실패 모드 분류를 공유하는 일이 함께 요구된다. 다른 하나는 보고 동기다. 보고가 곧바로 제재로 이어지면 숨기려는 유인이 생기고, 그러면 제도 자체가 비어 버린다. 비난하지 않는 보고 문화와 제재를 분리하는 설계가 관행으로 권고되는 이유다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-01-29🇺🇸 미국 S 3742 AV 안전 데이터법 2026 United States Congress · 법안
  2. 2025-01-03🇺🇸 연방 민간기관 AI 시험·인증·사고보고법 United States Congress · 법안
  3. 2025-01-03🇺🇸 AI 사고 보고·보안 강화법 United States Congress · 법안
동향 표기 · 사고 보고(16) / 사고 대응(16) / incident(27)
동향 문서 16기간 11개월최근 75%병기 1
106사고 보고서incident reportAI 사고 보고 과정에서 작성·제출되는 개별 문서나 기록으로, 특정 사고의 사실관계·영향·원인·대응을 담은 것을 말함.
#07. 사고·보고 및 모니터링 Incidents & Monitoring
AI 위험·사고
대체어AI 사고 보고서

용어 설명

AI 사고 보고 과정에서 작성·제출되는 개별 문서나 기록으로, 특정 사고의 사실관계·영향·원인·대응을 담은 것을 말함.

  • 보통 사고 개요, 관련 AI 시스템과 버전, 개발·배포 주체, 발생 일시·국가, AI 시스템이 사고에 관여한 방식, 피해 유형, 대응조치 등의 항목으로 구성됨.
  • 보고서 항목이 표준화될수록 기관·국가 간 사고 정보를 모아 비교·분석할 수 있어, 반복되는 실패 유형을 찾고 위험 관리에 반영하는 근거가 됨.
  • 초기 보고서는 원인이 확정되지 않은 상태에서 작성되는 경우가 많아, 후속 보고로 내용을 보완·정정하는 절차가 함께 필요함.

구별'사고 보고서(incident report)'는 개별 문서·기록물을, '사고 보고(incident reporting)'는 그 문서를 만들고 전달하는 행위·절차·체계를 뜻함.

용어 관계

혼동 주의 사고 보고

주요 기관·문서별 개념 및 적용

🌐OECD2025
  • 공통 보고 프레임워크는 제목, 사고 설명, AI 시스템과 사고의 관계(직접 원인·기여요인·과신과 의도적 오용·인적 오류 등), 제출자 정보, 최초 발생일, 발생 국가, 관련 AI 시스템 명칭·버전, 개발·배포 조직 등을 보고 항목으로 제시함. [1]
📄안전성 확보 가이드라인한국, 2026
  • 안전성 확보 가이드라인은 안전사고 인지 후 24시간 이내에 핵심 정보 중심의 최초 보고를 하도록 해, 초기 보고서와 후속 보완을 구분하는 구조를 둠. [2]

출처

  1. 1OECD (2025). Towards a common reporting framework for AI incidents, p.17 · 원문
  2. 2『인공지능 안전성 확보 가이드라인』 v1.3, p.67 · 원문
관련 연구 2
107사고 모니터링incident monitoringAI 사고와 그 징후를 지속적으로 찾아내고 수집·분류·분석해, 대응과 재발 방지에 쓰도록 하는 활동이나 체계를 말함.
#07. 사고·보고 및 모니터링 Incidents & Monitoring
AI 위험·사고
대체어AI 사고 모니터링

용어 설명

AI 사고와 그 징후를 지속적으로 찾아내고 수집·분류·분석해, 대응과 재발 방지에 쓰도록 하는 활동이나 체계를 말함.

  • 사업자 차원에서는 사용자 피드백, 사고 신고 채널, 로그 분석, 유통 플랫폼 협력 등으로 징후를 모으고, 자동 탐지와 전문가 검토를 거쳐 대응을 개시함.
  • 정부·국제기구 차원에서는 언론 보도나 제출 사례를 모아 사고 데이터베이스를 만들고, 피해 유형과 추세를 파악해 정책 근거로 씀.
  • 공개 보도에 의존하는 모니터링은 주목받는 사건 위주로 쌓이는 편향이 있어, 실제 발생 빈도의 지표로 쓰는 데 한계가 있음.

구별'사고 모니터링'은 사고와 그 징후 자체를 추적하는 데 초점이 있고, '배포 후 모니터링'은 특정 시스템의 운영 중 성능·행동·영향 전반을 관찰하는 더 넓은 활동임.

용어 관계

먼저 알 개념 사고 · 앞 단계 사고 보고

주요 기관·문서별 개념 및 적용

🌐OECD2026
  • OECD.AI 사고·위험원 모니터(AIM)는 언론에 보도된 AI 사고와 위험원을 실시간으로 추적하며, 현재는 언론 보도에만 의존한다고 밝힘. [1]
  • 앞으로 판례, 학술 문헌, 공개 제출 사례를 더해 범위를 넓힐 수 있다고 봄. [1]
🇰🇷한국 AI 기본법하위법령
  • 하위법령집은 사업자가 안전사고 예방과 신속한 대응을 위해 전주기적·체계적 모니터링 체계를 운영하도록 하고, 유통 채널별 전략 수립, 정보 수집, 자동 탐지와 독립적 분석, 사고 대응의 단계를 제시함. [2]

출처

  1. 1OECD (2026). Trends in AI incidents and hazards reported by the media, p.11 · 원문
  2. 2「인공지능기본법 하위법령집」 (2025), 4.2 인공지능 안전사고 모니터링 및 대응.
관련 연구 1
108배포 후 모니터링post-deployment monitoringAI 모델·시스템을 배포한 뒤 실제 사용 환경에서 성능·행동·오용·영향을 지속적으로 관찰하고, 문제가 드러나면 대응에 반영하는 활동을 말함.
#07. 사고·보고 및 모니터링 Incidents & Monitoring
AI 위험·사고

용어 설명

AI 모델·시스템을 배포한 뒤 실제 사용 환경에서 성능·행동·오용·영향을 지속적으로 관찰하고, 문제가 드러나면 대응에 반영하는 활동을 말함.

  • 입출력 모니터링, 사용자 피드백·신고 채널, 버그 바운티, 사고 추적, 출처 추적 등으로 배포 전 평가에서 드러나지 않은 문제를 찾음.
  • 배포 전 평가만으로는 실제 사용에서 나타나는 역량·행동을 충분히 예측하기 어려워, 운영 단계의 관찰이 위험 관리의 필수 요소로 다뤄짐.
  • 오픈 웨이트 모델은 배포 후 사용을 관찰하기 어려워 모니터링 수단이 제한되는 문제가 있음.

구별'배포 후 모니터링'은 기술·위험관리 일반에서 쓰는 넓은 표현이고, '출시 후 모니터링(post-market monitoring)'은 EU AI Act 등 제품 규제 맥락에서 제공자에게 부과되는 법적 의무를 가리키는 경우가 많음.

용어 관계

앞 단계 배포 전 평가 · 다음 단계 사고 보고 · 혼동 주의 출시 후 모니터링

주요 기관·문서별 개념 및 적용

🇺🇸NISTAI 100-1, 2023
  • AI RMF 1.0의 MANAGE 4.1은 사용자·관련 주체의 의견 수렴, 이의 제기와 수동 개입, 폐기, 사고 대응, 복구, 변경 관리를 포함한 배포 후 모니터링 계획을 이행하도록 함. [1]
🌐국제 AI 안전 보고서2025
  • 배포 후 모니터링 도구는 AI 모델·에이전트·출력이 실제로 어떻게 유통·사용되는지 추적해 출처 확인, 피해 발생 시 사고 조사, 책임 메커니즘 이행을 돕는다고 설명함. [2]
🇪🇺EU AI Act2024/1689
  • 제72조는 고위험 AI 시스템 제공자가 위험에 비례한 출시 후 모니터링 체계를 수립·문서화하고, 수명주기 전반의 성능 자료를 능동적·체계적으로 수집·분석하도록 함. [3]
🇪🇺EU GPAI 실천강령2025
  • 이행조치 3.5는 시스템적 위험의 허용 가능성과 모델 보고서 갱신 필요 여부를 판단할 정보를 모으도록 출시 후 모니터링을 요구하고, 이용자 피드백·신고 채널·버그 바운티 등을 방법으로 예시함. [4]

출처

  1. 1NIST AI 100-1 (AI RMF 1.0), MANAGE 4.1·4.3, p.33 · 원문
  2. 2International AI Safety Report Second Key Update (2025), p.13 · 원문
  3. 3EU AI Act, Art. 72, p.101 · 원문
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Measure 3.5, p.13–14 · 원문
관련 연구 2
109출시 후 모니터링post-market monitoringAI 시스템이나 모델을 시장에 내놓은 뒤 제공자가 사용 경험과 위험 정보를 체계적으로 수집·검토해, 필요한 시정 조치로 이어지게 하는 규제상 활동을 말함.
#07. 사고·보고 및 모니터링 Incidents & Monitoring
AI 위험·사고
대체어시판 후 모니터링

용어 설명

AI 시스템이나 모델을 시장에 내놓은 뒤 제공자가 사용 경험과 위험 정보를 체계적으로 수집·검토해, 필요한 시정 조치로 이어지게 하는 규제상 활동을 말함.

  • 의료기기 등 제품 안전 규제에서 온 개념으로, 출시 후 수집한 정보로 위험 평가와 기술 문서를 갱신하고 중대 사고 보고와 연계하는 구조임.
  • 범용 AI 모델에서는 역량·성향·영향에 관한 정보를 모아 시스템적 위험이 허용 가능한지 다시 판단하는 근거로 쓰임.
  • 수집 방법으로 최종 사용자 피드백, 익명 신고 채널, 사고 신고 양식, 버그 바운티, 공개 평가 등이 거론됨.

구별'출시 후 모니터링'은 제품 규제상 제공자의 의무를 강조하는 표현이고, '배포 후 모니터링'은 운영 중 관찰 활동 일반을 가리키는 더 넓은 표현임.

용어 관계

주요 기관·문서별 개념 및 적용

🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험이 있는 범용 AI 모델 제공자가 출시 후 모니터링으로 모델의 역량·성향·어포던스·영향 정보를 모아, 시스템적 위험의 허용 가능성 판단과 모델 보고서 갱신에 활용하도록 함. [1]
  • 예시 방법으로 최종 사용자 피드백 수집, (익명) 신고 채널, (중대) 사고 신고 양식, 버그 바운티, 공동체 주도 평가와 공개 리더보드 등을 제시함. [1]

출처

  1. 1EU GPAI Code of Practice (2025), Safety & Security, Measure 3.5, p.13–14 · 원문
110오작동malfunctionAI 시스템이 개발자나 사용자가 의도한 대로 동작하지 않아 잘못되거나 해로운 출력, 운영 장애를 낳는 현상을 말함.
#07. 사고·보고 및 모니터링 Incidents & Monitoring
AI 위험·사고
대체어AI 오작동

용어 설명

AI 시스템이 개발자나 사용자가 의도한 대로 동작하지 않아 잘못되거나 해로운 출력, 운영 장애를 낳는 현상을 말함.

  • 환각, 편향된 출력, 강건성 부족에 따른 성능 저하, 에이전트의 의도치 않은 행동 등이 포함되며, 악의적 의도 없이 발생한다는 점이 특징임.
  • 오용·악의적 사용과 함께 AI 위험의 주요 원천으로 분류되며, 고위험 영역에서 일어나면 AI 사고나 중대 AI 사고로 이어질 수 있음.
  • 의도한 동작이 무엇이었는지가 명확하지 않은 범용 시스템에서는 오작동과 정상 동작의 경계를 정하기 어렵다는 지적이 있음.

구별'오작동'은 의도와 다르게 동작하는 시스템 측 실패이고, '오용'·'악의적 사용'은 사람이 시스템을 의도와 다르게 쓰는 데서 생기는 위험임.

용어 관계

앞 단계 실패 모드 · 다음 단계 사고 · 혼동 주의 오정렬, 오용

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 오작동을 개발자나 사용자가 의도한 대로 시스템이 동작하지 않아 잘못되거나 해로운 출력, 운영 장애를 낳는 실패로 정의함. [1]
🌐OECD2024
  • AI 사고와 AI 위험원의 정의 모두에 AI 시스템의 개발·사용과 나란히 '오작동'을 사건의 원인으로 포함함. [2]
📄안전성 확보 가이드라인한국, 2026
  • 안전성 확보 가이드라인은 시스템 오작동을 비의도적 기능 발현, 알고리즘적 편향, 오남용과 함께 안전사고 범위에 포함되는 AI 특유의 위험으로 듦. [3]

출처

  1. 1International AI Safety Report 2026, p.151 · 원문 · 라이브러리에서 보기
  2. 2OECD (2024). Defining AI incidents and related terms, p.11–13 · 원문
  3. 3『인공지능 안전성 확보 가이드라인』 v1.3, p.57 · 원문
원문 인용 1 · 관련 연구 2

번역개발자나 사용자가 의도한 대로 동작하지 않아 잘못된·해로운 출력이나 운영 장애를 낳는 시스템의 실패.

The failure of a system to operate as intended by its developer or user, resulting in incorrect or harmful outputs or operational disruptions.

출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기

PDF 표기 · Malfunction
PDF 문서 13정의섹션 5
111평가evaluationAI 모델·시스템의 성능, 역량, 취약점, 잠재적 영향을 배포 전후에 체계적으로 측정·검토하는 활동을 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어모델 평가

용어 설명

AI 모델·시스템의 성능, 역량, 취약점, 잠재적 영향을 배포 전후에 체계적으로 측정·검토하는 활동을 말함.

  • 벤치마크, 레드티밍, 감사, 사람 평가 등 여러 방법을 포함하며, 개발 중·배포 전·배포 후 어느 단계에서나 수행될 수 있음.
  • 위험 임계값 도달 여부, 안전장치의 효과, 배포 결정 등 AI 안전의 주요 판단이 평가 결과를 근거로 이루어짐.
  • 평가에서의 성능과 실제 환경의 성능이 다르게 나타나는 평가 격차가 보고되어, 결과를 해석할 때 측정 범위와 한계를 함께 봐야 함.

구별'평가(evaluation)'는 모델·시스템의 성능·특성을 측정하는 활동을, '위험 평가(risk assessment)'의 평가(assessment)는 위험의 크기와 수용 가능성을 판단하는 절차를 가리키는데, 두 말이 모두 '평가'로 옮겨지므로 문서에서 혼동될 때는 원어를 함께 적어 구별함.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 평가를 AI 시스템의 성능·역량·취약점·잠재 영향에 대한 체계적 평가로 정의하고, 벤치마크·레드티밍·감사를 포함하며 배포 전후 모두 수행될 수 있다고 봄. [1] [2]
  • 2026년 보고서는 현재의 평가 방법이 역량과 성향을 모두 신뢰성 있게 측정하지 못하며, 배포 전 평가와 실제 성능 사이에 격차가 있다고 지적함. [2]
🇺🇸NISTAI 800-1 초안, 2025
  • 오용 위험과 관련된 역량을 배포 전에 평가하고, 학습 중·학습 후·하위 시스템 통합 시점 등 개발 과정 전반에서 평가하도록 권고함. [3]
🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험이 있는 모델의 역량·경향·영향을 최첨단 수준으로 평가하고, 벤치마크·레드티밍·휴먼 업리프트 연구 등을 방법으로 예시함. [4]
📄안전성 확보 가이드라인한국, 2026
  • 모델 평가를 AI 모델의 특정 과제 성능을 평가·측정하는 절차로 소개하고, 위험 관리 방법의 하나로 둠. [5]

출처

  1. 1International AI Safety Report 2025, Glossary, p.221–222 · 원문
  2. 2International AI Safety Report 2026, p.99–100, p.149 · 원문 · 라이브러리에서 보기
  3. 3NIST AI 800-1 2차 초안, Practice 4.1, p.13–14 · 원문
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
  5. 5『인공지능 안전성 확보 가이드라인』 v1.3, 3-1, p.43 · 원문
원문 인용 3 · 관련 연구 4 · 정책 문서 4

번역인공지능 시스템의 성능·능력·취약점·잠재 영향을 체계적으로 평가하는 것. 벤치마크·레드팀·감사 등을 포함하며 배포 전후에 할 수 있다.

Systematic assessments of an AI system's performance, capabilities, vulnerabilities or potential impacts. Evaluations can include benchmarking, red-teaming and audits and can be conducted both before and after model deployment.

출처 International Scientific Report on the Safety of Advanced AI · p.38, p.170, p.182, p.221–222, p.319 · EN · 정의섹션

번역배포 전후에 인공지능 모델·시스템의 성능·능력·취약점·잠재 영향을 체계적으로 평가하는 것.

Systematic assessments, before or after deployment, of the performance, capabilities, vulnerability, or potential impacts of an AI model or system.

출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 라이브러리에서 보기

시스템적 위험 평가 기법으로서 시스템적 위험 평가 의 모든 단계 아래 정의 (ass) , (ass) ( 참조 에서 사용될 수 있는 기법 )

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.111 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-29🇦🇪 UAE AI 기반 국가 교육자 역량 평가 기타
  2. 2026-10-28🇸🇪 스웨덴 영향평가 도우미 기구·제도
  3. 2026-10-27🇦🇺 호주 AI 입찰 평가 기구·제도
  4. 2026-10-21🇪🇺 EU GPAI 외부 평가자 요건 워크숍 보고서 정책보고서
PDF 표기 · Evaluate · Evaluated · Evaluating · Evaluation · Evaluations · evalua- tions
PDF 표기 · Model evaluation
PDF 문서 38정의섹션 7
112안전성 평가safety evaluationAI 모델·시스템이 위험한 역량이나 해로운 행동 성향을 보이는지, 안전장치가 제대로 작동하는지를 배포 전후에 시험하는 평가를 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어안전 평가

용어 설명

AI 모델·시스템이 위험한 역량이나 해로운 행동 성향을 보이는지, 안전장치가 제대로 작동하는지를 배포 전후에 시험하는 평가를 말함.

  • 유해 요청 거절, 사이버·생물학 등 위험 영역의 역량, 감시 회피나 기만 같은 행동 성향을 각각 다른 방법으로 측정하므로 단일 점수로 요약되지 않음.
  • 배포 결정과 안전장치 수준을 정하는 근거가 되며, 위험을 측정해 이해·감시·완화를 돕는 것이 목적임.
  • 시험 통과는 시험한 범위에서 문제가 보이지 않았다는 뜻일 뿐 안전의 증명이 아니며, 모델이 평가 상황을 인식하면 결과가 왜곡될 수 있음.

구별성능 평가는 시켰을 때 얼마나 잘하는지를, '안전성 평가'는 하면 안 되는 일을 할 수 있거나 하려는지를 봄. '역량 평가'는 그중 위험 역량 측정에 초점을 둔 하위 범주임.

용어 관계

상위 평가 · 하위 역량 평가

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 안전 중심 평가의 핵심 목표를 위험을 측정해 이해·감시·완화를 돕는 것으로 보면서, 현재 평가 방법의 한계로 이 목표 달성이 어렵다고 지적함. [1]

출처

  1. 1International AI Safety Report 2026, p.99–100 · 원문 · 라이브러리에서 보기
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

성능 평가와 묻는 것이 다르다. 성능 평가는 시켰을 때 얼마나 잘하는지를 보고, 안전성 평가는 하면 안 되는 일을 할 수 있는지를 본다. 그래서 측정하는 축이 여럿으로 갈린다. 유해한 요청을 제대로 거절하는지, 사이버 공격이나 생물학 무기처럼 위험한 영역에서 실질적인 도움을 줄 역량이 있는지, 감시를 피하거나 사실과 다르게 보고하는 성향이 있는지가 각각 다른 방법으로 확인된다. 한 가지 점수로 요약되지 않는다는 뜻이다.

이 평가에는 구조적인 한계가 있다. 시험을 통과했다는 것은 시험한 범위에서 문제가 보이지 않았다는 뜻이지 안전하다는 증명이 아니다. 시험하지 않은 방식으로 요청하면 결과가 달라질 수 있고, 모델이 지금 평가받는 중이라는 것을 알아채면 평소와 다르게 행동해 결과 자체가 왜곡될 수 있다. 그래서 배포 전 평가만으로 안전을 확보하기는 어렵다. 운영 중의 감시와 사고 보고를 함께 두고, 새로 드러난 문제로 평가 항목을 갱신하는 순환이 필요하다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-03-28🇯🇵 일본 AI 안전성 평가 관점 가이드 제1.10판 일본AI안전연구소(Japan AI Safety Inst
동향 표기 · 안전성 평가(50) / 안전 평가(42) / 안전성(340)
동향 문서 50기간 10개월최근 100%병기 13
113역량 평가capability evaluationAI 모델이 사이버 공격, 생물학 무기 개발 지원, 자율적 복제처럼 심각한 위험으로 이어질 수 있는 역량을 어느 수준까지 갖추었는지 측정하는 평가를 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어위험 역량 평가

용어 설명

AI 모델이 사이버 공격, 생물학 무기 개발 지원, 자율적 복제처럼 심각한 위험으로 이어질 수 있는 역량을 어느 수준까지 갖추었는지 측정하는 평가를 말함.

  • 질의응답형 시험, 에이전트 과제, 전문가 대비 성능 비교, 휴먼 업리프트 연구 등으로 수행되며, 모델이 낼 수 있는 최대 역량을 끌어내는 것이 원칙임.
  • 프론티어 AI 안전 프레임워크에서 역량 임계값 도달 여부를 판단하는 주된 수단으로, 결과에 따라 추가 안전장치나 배포 제한이 결정됨.
  • 역량을 충분히 끌어내지 못하면 위험이 과소평가되고, 모델이 평가 상황을 알아채 성능을 낮추는 샌드배깅 가능성도 제기됨.

구별'역량 평가'는 모델이 무엇을 할 수 있는지를, '성향 평가(propensity evaluation)'는 실제로 어떻게 행동하는 경향이 있는지를 보며, '안전성 평가'는 둘을 포함해 위험 전반을 보는 더 넓은 범주임.

용어 관계

상위 안전성 평가 · 먼저 알 개념 역량

주요 기관·문서별 개념 및 적용

🇬🇧UK AISI2025
  • 프론티어 AI 안전 서약의 임계값 점검 약속과 관련해, 역량 임계값을 쓰는 경우 위험 역량 평가가 임계값 도달 여부를 판단하는 일반적 방법이라고 설명함. [1]
  • 안전 프레임워크가 평가 시점·빈도, 최신 기법 활용과 완전한 역량 유도 같은 원칙, 사용할 평가 유형, 결과 검증과 심화 평가 절차를 명시할 수 있다고 봄. [1]
🌐국제 AI 안전 보고서2026
  • 유해 역량 평가를 모델이 사이버공격 지원 같은 특히 위험한 지식·기술을 보유했는지 평가하는 도구로 설명하고, 기업·정부의 출시 결정이 일부 이에 의존한다고 봄. [2]
🇺🇸NISTAI 800-1 초안, 2025
  • 오용 위험과 관련된 과업에서 모델 역량을 배포 전에 평가하고, 학습 중·학습 후·하위 시스템 통합 시점까지 개발 전반에 걸쳐 평가하도록 권고함. [3]
🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험과 관련해 모델의 역량·성향·어포던스·영향을 평가하는 최첨단 모델 평가를 요구하고, 예상치 못한 행동과 역량 한계를 찾는 개방형 테스트를 포함하도록 함. [4]

출처

  1. 1UK AISI (2025). Emerging Practices in Frontier AI Safety Frameworks, p.11–12 · 원문
  2. 2International AI Safety Report 2026, p.110 · 원문 · 라이브러리에서 보기
  3. 3NIST AI 800-1 2차 초안, Practice 4.1, p.13–14 · 원문
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
관련 연구 4 · 정책 문서 2

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-29🇦🇪 UAE AI 기반 국가 교육자 역량 평가 기타
  2. 2024-09G20 2024 AI 준비도·역량평가 툴킷 G20 브라질 의장국 / 디지털경제작업반 · 정책보고서
114배포 전 평가pre-deployment evaluationAI 모델·시스템을 외부에 공개하거나 서비스에 투입하기 전에 역량, 안전성, 취약점, 잠재적 영향을 시험하는 평가를 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책

용어 설명

AI 모델·시스템을 외부에 공개하거나 서비스에 투입하기 전에 역량, 안전성, 취약점, 잠재적 영향을 시험하는 평가를 말함.

  • 역량 평가, 안전성 평가, 레드티밍 등을 조합하며, 개발사 내부뿐 아니라 정부 AI 안전 연구기관 등 외부 평가자가 참여하기도 함.
  • 위험 임계값을 넘는 모델의 배포를 막거나 추가 안전장치를 요구하는 판단의 근거가 되어, 사전 예방적 위험 관리의 핵심 단계로 다뤄짐.
  • 시험 환경과 실제 사용 환경의 차이 때문에 배포 전 성능이 실제를 대표하지 못하는 평가 격차가 있어, 배포 후 모니터링과 함께 운영되어야 함.

구별'배포 전 평가'는 출시 전에 위험을 확인하는 단계이고, '배포 후 모니터링'은 운영 중에 드러나는 문제를 추적하는 단계로, 둘은 상호 보완 관계임.

용어 관계

상위 평가 · 다음 단계 배포 후 모니터링

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 배포 전 평가의 성능과 실제 환경의 성능 사이에 평가 격차가 있으며, 현재 평가 방법이 역량과 성향을 모두 신뢰성 있게 측정하지 못한다고 지적함. [1]
🇺🇸NISTAI 800-1 초안, 2025
  • 오용 위험을 낳을 수 있는 특정 역량의 성능을 측정하는 배포 전 평가를 권고하고, 저비용 시험 결과가 불확실하거나 위험 징후가 있으면 더 정밀한 측정을 하도록 함. [2]
🇪🇺EU GPAI 실천강령2025
  • 위험 식별·분석·수용 여부 결정·완화로 이어지는 전체 시스템적 위험 평가·완화 절차를 최소한 모델을 시장에 출시하기 전에 수행하도록 함. [3]

출처

  1. 1International AI Safety Report 2026, p.99–100 · 원문 · 라이브러리에서 보기
  2. 2NIST AI 800-1 2차 초안, Practice 4.1, p.13–14 · 원문
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Measure 1.2, p.8 · 원문
115벤치마크benchmark고정된 과제 묶음과 채점 방식을 갖추어 AI 모델·시스템의 성능이나 부적절한 행동을 표준화된 방식으로 측정·비교하는 시험을 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어벤치마크 데이터셋

용어 설명

고정된 과제 묶음과 채점 방식을 갖추어 AI 모델·시스템의 성능이나 부적절한 행동을 표준화된 방식으로 측정·비교하는 시험을 말함.

  • 문항·정답·채점 규칙을 묶어 공개함으로써 서로 다른 모델을 같은 조건에서 비교할 수 있게 하며, 지식·추론·코딩·에이전트 과제·안전성 등 영역별로 쓰임.
  • AI 안전에서는 위험 역량의 수준이나 유해 요청 거절 성능을 추적하는 지표로 쓰여, 위험 임계값 판단과 정책 논의의 근거가 됨.
  • 문항이 학습 데이터에 섞이는 오염, 특정 점수를 겨냥한 과적합, 측정한다고 주장하는 역량을 실제로 측정하지 못하는 타당성 문제가 지적됨.

구별'벤치마크'는 평가에 쓰이는 표준화된 도구의 하나이고, '평가'는 벤치마크·레드티밍·감사 등을 아우르는 활동 전체임.

용어 관계

상위 평가

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 벤치마크를 실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템의 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표로 정의하며, 일부 판본은 부적절한 행동의 정량화도 포함함. [1] [2]
  • 2026년 보고서는 많은 벤치마크가 측정한다고 주장하는 역량을 정확히 측정하지 못하며, 객관식 형식에서는 지름길로 정답을 맞혀 점수가 부풀려질 수 있다고 지적함. [2]
🇺🇸NISTAI 600-1, 2024
  • 편향·혐오 콘텐츠 정량화에 용도에 맞는 벤치마크를 쓰되, 학습·시험 데이터 교차 오염 등 벤치마크의 가정과 한계를 문서화하도록 권고함. [3]
🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험 평가를 위한 모델 평가 방법의 하나로 벤치마크를 질의응답 세트·과제 기반 평가·레드티밍과 함께 예시함. [4]
📄안전성 확보 가이드라인한국, 2026
  • 벤치마크를 실제 사용 사례를 대표하는 고정 과제 집합으로 AI 모델 성능을 평가·비교하는 표준화된 정량 시험으로 소개하고, 위험 평가의 정량 분석 자료로 예시함. [5] [6]

출처

  1. 1International AI Safety Report First Key Update (2025), p.21 · 원문
  2. 2International AI Safety Report 2026, p.99–100, p.148 · 원문 · 라이브러리에서 보기
  3. 3NIST AI 600-1, MS-2.11-001, p.36 · 원문
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
  5. 5『인공지능 안전성 확보 가이드라인』 v1.3, 3-1, p.43 · 원문
  6. 6『인공지능 안전성 확보 가이드라인』 v1.3, p.41 · 원문
해설 · 원문 인용 6 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

서로 다른 모델을 같은 잣대로 비교하려면 같은 문제를 같은 방식으로 풀게 해야 한다. 그래서 문항과 정답, 채점 규칙을 묶어 공개해 둔 것이 벤치마크다. 지식을 묻는 것, 수학 문제를 푸는 것, 실제 코드 저장소의 버그를 고치는 것, 여러 단계를 거쳐 과제를 완수하는 것처럼 영역별로 표준 묶음이 자리 잡았다. 새 모델이 나올 때 발표되는 성능 수치는 대개 이 점수들이다.

다만 두 가지 방식으로 망가진다는 것을 알고 봐야 한다. 하나는 오염이다. 벤치마크는 공개돼 있어서 문항과 정답이 학습 데이터에 섞여 들어갈 수 있고, 그러면 점수는 실력이 아니라 암기를 재게 된다. 다른 하나는 과적합이다. 특정 벤치마크에서 잘 나오도록 겨냥해 만들면 그 점수만 오르고 실제 활용에서는 나아지지 않는다. 그래서 문항 일부를 공개하지 않거나, 주기적으로 새 문항으로 교체하거나, 사람 평가를 함께 두는 방식이 병행된다.

번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.

A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage. This section focuses on the core capabilities of general-purpose AI models and systems that are publicly available today. Section 1.3. Capabilities in coming years, discusses expected future developments in AI capabilities, and Section 2. Risks, discusses specific dangerous capabilities and their associated applications that contribute to risks.

출처 International Scientific Report on the Safety of Advanced AI · p.38 · EN · 정의섹션

번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.

A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage. Capabilities of general-purpose AI 1.3 Capabilities in coming years

출처 International Scientific Report on the Safety of Advanced AI · p.47–48 · EN · 정의섹션

번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.

A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of | Cognitive offloading: Reducing one's own mental effort by delegating cognitive tasks to other people or external systems. tasks, often designed to represent real-world usage. | Cognitive tasks: Activities that involve processing information, problem-solving, decision-making, and creative thinking, as distinct from physical | pathogen (such as | Biological weapon: A a bacterium, virus, or fungus) or a toxin (a poison derived from animals, plants, microorganisms or produced synthetically) that is deliberately released to cause disease, death, or incapacitation in humans, animals, plants or microorganisms. Biosecurity: A set of policies, practices, and measures (e.g.

출처 International AI Safety Report 2026 · p.149 · EN · 정의섹션 · 라이브러리에서 보기

번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.

A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage.

출처 International Scientific Report on the Safety of Advanced AI · p.182, p.219–220 · EN · 정의섹션

번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.

A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage or quantify inappropriate behaviour.

출처 International Scientific Report on the Safety of Advanced AI · p.319 · EN · 정의섹션

벤치마크 데이터셋은 AI 모델의 성능을 객관적이고 재현 가능하게 평가하기 위한 데이터 집합입니다. 단순한 학습용 데이터가 아니라 공통된 테스트 환경과 평가 지표를 함께 제공해 모델 간 비교가 가능하도록 설계됩니다. 연구자는 동일한 데이터와 조건으로 실험해 어느 모델이 더 우수한지 확인할 수 있습니다.

출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.45 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2024-02-08🇺🇸 DC MO 2024-028 AI 가치·전략 벤치마크 행정규칙
동향 표기 · 벤치마크(368)
PDF 표기 · 벤치마크 데이터셋
동향 문서 368기간 23개월최근 95%병기 6PDF 문서 27정의섹션 3
116레드티밍red teaming전담 인력이나 팀이 공격자 관점에서 AI 모델·시스템의 취약점, 한계, 오용 가능성을 체계적으로 찾아내는 시험 활동을 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어레드팀

용어 설명

전담 인력이나 팀이 공격자 관점에서 AI 모델·시스템의 취약점, 한계, 오용 가능성을 체계적으로 찾아내는 시험 활동을 말함.

  • 유해 출력을 끌어내는 입력 탐색, 안전장치 우회, 시스템 프롬프트 추출, 에이전트의 권한 초과 행동 유도 등을 사람 또는 자동화된 공격 모델로 시도함.
  • 정해진 문항으로는 드러나지 않는 예상 밖의 실패 경로를 찾는 데 강점이 있어, 배포 전 평가와 안전장치 보강의 핵심 수단으로 쓰임.
  • 참여자의 전문성과 시도 범위에 따라 결과가 크게 달라지고 재현이 어려워, 시도 범위와 성공 판정 기준을 함께 보고해야 한다는 논의가 있음.

구별'레드티밍'은 공격자 역할을 맡아 결함을 찾는 활동 전체를, '레드팀'은 그 활동을 수행하는 팀을 가리키고, '적대적 시험'은 적대적 입력으로 강건성을 확인하는 더 좁은 시험 방법을 뜻하는 경우가 많음.

용어 관계

상위 평가 · 혼동 주의 적대적 시험

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 레드티밍을 전담 인력·팀이 다양한 방법으로 취약점·한계·오용 가능성을 찾는 체계적 과정으로 정의하고, 흔히 바람직하지 않은 행동을 유발하는 입력을 찾아 안전 공백을 드러낸다고 설명함. [1]
🇺🇸NISTAI 600-1, 2024
  • AI 레드티밍을 통제된 환경에서 개발자와 협력해 생성형 AI의 잠재적 부정적 행동·결과를 찾고 안전장치를 스트레스 테스트하는 실천으로 설명하고, 레드팀의 다양성과 전문성을 강조함. [2]
🇪🇺EU GPAI 실천강령2025
  • 레드티밍과 그 밖의 적대적 테스트를 질의응답 세트·벤치마크·휴먼 업리프트 연구 등과 함께 시스템적 위험을 평가하는 모델 평가 방법의 예시로 듦. [3]
📄안전성 확보 가이드라인한국, 2026
  • 안전성 확보 가이드라인은 레드티밍을 사람이나 자동화 시스템이 모의 적대자로서 조직의 시스템을 공격해 취약점을 식별하는 연습으로 설명함. [4]

출처

  1. 1International AI Safety Report 2025, Glossary, p.225–226 · 원문
  2. 2NIST AI 600-1, p.50–51 · 원문
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
  4. 4『인공지능 안전성 확보 가이드라인』 v1.3, p.43 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 3

군사 훈련과 정보보안에서 온 방식이다. 방어하는 쪽이 아니라 공격하는 쪽 역할을 맡은 팀을 따로 두고, 실제 악용 경로를 재현해 보게 한다. AI에서는 유해한 답을 끌어내는 프롬프트를 찾고, 안전장치를 우회하는 방법을 시도하고, 개발자가 숨겨 둔 지시문을 빼내려 하고, 에이전트가 권한을 넘어선 행동을 하게 유도한다. 사람이 직접 하는 경우와 다른 모델을 공격자로 세워 자동화하는 경우가 함께 쓰인다.

정해진 문항을 푸는 평가가 놓치는 것을 잡아내는 것이 강점이다. 벤치마크는 예상한 위험만 측정할 수 있지만, 레드티밍은 아무도 생각하지 못한 우회로를 찾는 데 목적이 있다. 대신 약점도 분명하다. 같은 조건을 다시 만들기 어려워 결과를 재현하거나 모델 사이에 비교하기가 힘들고, 참여한 사람의 배경과 상상력에 따라 발견되는 문제가 크게 달라진다. 그래서 무엇을 얼마나 시도했고 어떤 기준으로 성공을 판정했는지 보고 양식을 표준화하려는 논의가 이어진다.

번역전담 인력·팀이 다양한 방법으로 취약점·한계·오용 가능성을 찾는 체계적 과정. 흔히 모델·시스템에 바람직하지 않은 행동을 유발하는 입력을 찾아 안전 공백을 드러낸다.

A systematic process in which dedicated individuals or teams search for vulnerabilities, limitations, or potential for misuse through various methods. Often, the red team searches for inputs that induce undesirable behaviour in a model or system to identify safety gaps.

출처 International Scientific Report on the Safety of Advanced AI · p.182, p.192, p.225–226 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-07-11🇰🇷 AI 보안 레드티밍 가이드 과기부/KISA · 가이드라인·원칙
  2. 2026-03-20Vendor Evaluation Criteria AI Red Teaming Providers & Tooling AIGL · 기타
  3. 2025-03-31🇯🇵 일본 AI 안전성 레드팀 방법론 가이드 제1.10판 Japan AI Safety Institute, AIS
동향 표기 · 레드팀(28) / red-teaming(45)
동향 문서 28기간 8개월최근 100%병기 2PDF 문서 22정의섹션 4
117적대적 시험adversarial testing의도적으로 조작한 입력이나 공격 시나리오를 AI 모델·시스템에 가해, 오작동이나 안전장치 우회가 일어나는지 확인하는 시험 방법을 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어적대적 테스트

용어 설명

의도적으로 조작한 입력이나 공격 시나리오를 AI 모델·시스템에 가해, 오작동이나 안전장치 우회가 일어나는지 확인하는 시험 방법을 말함.

  • 적대적 예제, 탈옥 프롬프트, 프롬프트 인젝션 등 알려진 공격 기법을 체계적으로 적용하고, 공격 성공률 같은 지표로 결과를 측정함.
  • 정상 입력에서는 드러나지 않는 취약점을 찾아 강건성을 확인하고, 적대적 학습이나 안전장치 보강의 근거로 쓰임.
  • 알려진 공격 기법 위주로 시험하게 되어 새로운 공격까지 막아 낸다고 보장하지 못한다는 한계가 있음.

구별'적대적 시험'은 적대적 입력을 이용한 시험 방법을 가리키고, '레드티밍'은 공격자 관점에서 사회적·운영적 오용 경로까지 폭넓게 탐색하는 활동으로 적대적 시험을 수단으로 포함함.

용어 관계

상위 평가 · 혼동 주의 적대적 학습, 레드티밍

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 레드티밍과 적대적 공격을 위험 식별·평가의 주요 방법으로 보고 자동·수동으로 만든 입력으로 최악의 행동·악용 기회·예상치 못한 실패를 찾는다고 설명하면서, 특별한 접근 권한이 필요할 수 있다고 지적함. [1]
  • 2026년판은 적대적 공격 같은 시험 방법을 학습 단계 안전장치 뒤에 남은 취약점을 찾아내는 기술적 안전장치의 한 단계로 정리함. [2]
🇪🇺EU AI Act2024/1689
  • 제55조제1항(a)는 시스템적 위험이 있는 GPAI 모델 제공자에게 적대적 시험의 수행·문서화를 포함한 모델 평가 의무를 부과하고, 전문 제114항은 이러한 모델 평가를 특히 최초 시장 출시 전에 하고 적절한 경우 내부 또는 독립적 외부 시험으로 하도록 설명함. [3] [4]
🇪🇺EU GPAI 실천강령2025
  • 이행조치 3.2는 시스템적 위험 평가에 쓸 최첨단 모델 평가 방법의 예로 레드티밍과 그 밖의 적대적 시험을 제시함. [5]
  • 부록 3.3은 미세조정 공격·탈옥 같은 적대적 압력 아래에서도 안전 완화 조치가 효과적인지, 우회·무력화된 적이 있는지 평가하도록 함. [6]

출처

  1. 1International AI Safety Report 2025, p.186 · 원문
  2. 2International AI Safety Report 2026, Figure 3.6, p.123 · 원문 · 라이브러리에서 보기
  3. 3EU AI Act, Art. 55(1)(a), p.86 · 원문
  4. 4EU AI Act, Recital 114, p.30 · 원문
  5. 5EU GPAI Code of Practice (2025), Safety & Security, Measure 3.2, p.12–13 · 원문
  6. 6EU GPAI Code of Practice (2025), Safety & Security, Appendix 3.3, p.39 · 원문
관련 연구 1

관련 연구 · AI 안전 연구

  1. 2024-10-22다국어 환경에서의 LLM 적대적 테스트 International Symposium
118공격 성공률attack success rate (ASR)탈옥·프롬프트 인젝션 등 공격 시도 가운데 실제로 안전장치를 뚫고 공격자가 의도한 출력이나 행동을 얻어낸 비율을 나타내는 지표를 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어ASR

용어 설명

탈옥·프롬프트 인젝션 등 공격 시도 가운데 실제로 안전장치를 뚫고 공격자가 의도한 출력이나 행동을 얻어낸 비율을 나타내는 지표를 말함.

  • 같은 공격 기법을 여러 요청·모델에 반복 적용해 성공 건수를 비율로 계산하며, 방어 기법 적용 전후의 비교에 자주 쓰임.
  • 적대적 시험과 레드티밍의 결과를 정량화하는 대표 지표로, 안전장치의 강건성을 비교·추적하는 근거가 됨.
  • 시도 횟수, 성공 판정 방식(사람·자동 분류기), 공격 대상 요청의 성격에 따라 값이 크게 달라져, 연구 간 절대 수치 비교에는 한계가 있음.

용어 관계

먼저 알 개념 탈옥, 프롬프트 인젝션

해설 · 참고 기사 3 · 관련 연구 4

탈옥이나 프롬프트 인젝션 같은 공격을 연구할 때 방어가 얼마나 튼튼한지 나타내는 표준 지표다. 같은 공격 기법을 여러 모델과 여러 요청에 반복 적용해, 그중 몇 번이 원하는 유해한 출력을 얻어냈는지 비율로 계산한다. 값이 낮을수록 강건하다는 뜻이 되고, 방어 기법을 적용하기 전과 후를 비교해 효과를 재는 데도 쓰인다.

이 숫자를 서로 다른 연구 사이에서 그대로 비교하는 것은 대체로 무의미하다는 점을 알아 두는 것이 좋다. 몇 번 시도해서 한 번만 성공해도 성공으로 볼지, 성공 여부를 사람이 판정할지 자동 분류기가 판정할지, 공격 대상으로 삼은 요청이 얼마나 노골적인 것인지가 연구마다 다르다. 조건이 하나만 달라져도 값이 크게 움직인다. 그래서 절대 수치보다는 같은 조건 안에서 방어 기법을 적용했을 때 얼마나 내려갔는지를 보는 쪽이 신뢰할 만하다.

동향 표기 · 공격 성공률(49) / ASR(29)
동향 문서 49기간 11개월최근 92%병기 11
119LLM 심판LLM-as-a-judge성능이 높은 거대 언어 모델에 채점 기준을 주고, 다른 모델의 출력을 사람 대신 비교·채점하게 하는 평가 방식을 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어LLM 평가자

용어 설명

성능이 높은 거대 언어 모델에 채점 기준을 주고, 다른 모델의 출력을 사람 대신 비교·채점하게 하는 평가 방식을 말함.

  • 두 응답 중 나은 쪽을 고르게 하거나 항목별 점수를 매기게 하는 방식으로, 사람 평가로는 감당하기 어려운 대규모 비교와 자동화된 안전성 평가를 가능하게 함.
  • 유해성 판정, 공격 성공 여부 판정 등 안전 평가 파이프라인에도 널리 쓰여, 심판 모델의 판정 품질이 평가 결과의 신뢰성을 좌우함.
  • 긴 답 선호, 같은 계열 모델 선호, 제시 순서 편향 등이 보고되며, 심판 모델이 놓치는 유해성 유형은 평가 결과에 아예 나타나지 않는 문제가 있음.

용어 관계

상위 평가 · 먼저 알 개념 거대 언어 모델

해설 · 참고 기사 3 · 관련 연구 4

사람 평가는 품질이 높지만 느리고 비싸서 수천 건 규모의 비교에는 쓰기 어렵다. 그래서 성능이 좋은 모델에게 채점 기준을 주고, 두 응답 중 어느 쪽이 나은지 고르게 하거나 항목별 점수를 매기게 한다. 이 방식의 판정이 사람 판정과 상당히 일치한다는 결과가 나오면서 모델 개발과 비교의 표준 절차로 자리 잡았고, 자동화된 대규모 평가를 가능하게 만들었다.

심판 모델이 가진 편향이 그대로 평가 결과에 들어온다는 것이 이 방식의 약점이다. 긴 답을 더 좋게 보는 경향, 자기와 같은 계열 모델의 문체를 선호하는 경향, 먼저 제시된 후보를 고르는 경향이 보고된다. 그래서 후보의 순서를 바꿔 다시 평가하거나, 서로 다른 계열의 심판을 여러 개 두고 결과를 합치는 방식으로 완화한다. 안전성 평가에 쓸 때는 특히 주의가 필요하다. 심판 모델도 놓치는 유해성 유형이 있고, 그 유형은 평가 결과에 아예 나타나지 않는다.

동향 표기 · LLM-as-a-Judge(14)
동향 문서 14기간 7개월최근 93%병기 3
120보정calibrationAI 모델이 출력에 대해 나타내는 확신도가 실제 정답률과 얼마나 일치하는지를 나타내는 성질을 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어캘리브레이션

용어 설명

AI 모델이 출력에 대해 나타내는 확신도가 실제 정답률과 얼마나 일치하는지를 나타내는 성질을 말함.

  • 90% 확신한 답이 실제로 약 90% 맞으면 잘 보정된 것이고, 그보다 덜 맞으면 과신으로 봄. 정확도와는 별개의 성질임.
  • 모델이 불확실성을 신뢰성 있게 알려 주면 사람의 검토를 위험한 출력에 집중할 수 있어, 환각 대응과 인간 감독의 효율을 높이는 데 중요함.
  • 토큰 확률, 말로 표현한 확신 등 어떤 확신도를 측정하느냐에 따라 결과가 달라질 수 있어, 측정 방식을 함께 밝혀야 함.

구별정확도는 얼마나 자주 맞는지를, '보정'은 자신이 맞을지를 얼마나 정확히 아는지를 봄. 정확도가 낮아도 보정은 좋을 수 있음.

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

90퍼센트 확신한다고 말한 답이 실제로 열 번에 아홉 번 맞으면 잘 보정된 것이고, 열 번에 여섯 번만 맞으면 과신하는 것이다. 정확도와는 다른 성질이라는 점이 핵심이다. 정확도가 낮아도 자기가 못한다는 사실을 정확히 알고 있으면 보정은 좋을 수 있고, 정확도가 높아도 언제 틀리는지 모르면 보정은 나쁠 수 있다. 그래서 두 지표를 함께 봐야 모델을 어떻게 쓸지 판단할 수 있다.

이 성질이 결정적으로 중요해지는 지점은 위임이다. 사람이 모든 출력을 검토할 수 없는 규모에서는, 어디를 검토해야 하는지 골라내는 일이 관건이 된다. 모델이 확실하지 않다고 신뢰할 만하게 알려 주면 검토 자원을 그곳에 집중할 수 있고, 그러지 못하면 전부 검토하거나 전부 믿는 양극단밖에 남지 않는다. 환각 문제를 다룰 때 사실성을 높이는 노력만이 아니라 보정을 개선하는 노력이 함께 필요한 이유가 여기 있다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-01-03🇺🇸 국가안보 정보 분류·해제 기술 도입법 United States Congress · 법안
동향 표기 · 보정(19) / Calibration(18)
동향 문서 19기간 6개월최근 100%병기 7
121감사audit독립적인 제3자 등이 AI 시스템과 이를 운영하는 조직이 표준·정책·절차와 요구 사항을 지키는지 공식적으로 검토·검증하는 절차를 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어AI 감사알고리즘 감사

용어 설명

독립적인 제3자 등이 AI 시스템과 이를 운영하는 조직이 표준·정책·절차와 요구 사항을 지키는지 공식적으로 검토·검증하는 절차를 말함.

  • 학습 데이터의 출처·구성, 성능·편향 측정 결과, 위험 관리 문서, 운영 기록 등을 대상으로 하며, 절차의 독립성과 반복 가능성이 핵심임.
  • 개발자 자체 평가의 이해 상충을 보완해 외부 검증 가능성을 높이는 장치로, AI 책임성과 신뢰보증 체계의 기반이 됨.
  • 감사인이 모델·데이터에 접근할 권한의 범위가 실효성을 가르며, 접근을 넓힐수록 영업비밀·개인정보 보호와 충돌하는 문제가 있음.

구별'감사'는 기준 준수 여부를 독립적으로 검토하는 절차이고, '평가'는 성능·역량·위험을 측정하는 활동임. '적합성 평가'는 법정 요구 사항 충족을 확인하는 규제 절차를 가리킴.

용어 관계

상위 신뢰보증 · 혼동 주의 적합성 평가, 평가

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 감사를 조직이 표준·정책·절차를 준수하는지에 대한 공식 검토로 정의하고, 대개 독립적인 제3자가 수행한다고 봄. [1]

출처

  1. 1International AI Safety Report 2025, Glossary, p.219–220 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

만든 쪽이 스스로 낸 평가 결과만으로는 이해 상충을 피할 수 없다는 문제의식에서 나왔다. 회계 감사가 기업이 작성한 재무제표를 외부 감사인이 검증하도록 만든 것과 같은 구조를 AI에 적용하는 것이다. 대상은 학습 데이터의 출처와 구성, 성능과 편향 측정 결과, 위험을 어떻게 관리했는지 담은 문서, 그리고 실제 운영 기록이다. 절차의 독립성과 반복 가능성이 이 제도의 핵심이다.

실행 조건이 이 제도의 실질을 가른다. 감사인이 모델과 데이터에 접근할 권한이 없으면 제출된 서류를 읽는 데 그치고, 접근을 넓히면 영업비밀과 개인정보 문제가 생긴다. 그래서 어느 범위까지 어떤 조건으로 접근을 허용할지가 제도 설계의 쟁점이 된다. 최근에는 대상을 넓혀야 한다는 지적도 나온다. 모델 하나를 따로 검증해도, 그것이 다른 시스템과 연결되고 도구를 호출하는 과정에서 생기는 문제는 드러나지 않기 때문이다.

번역조직이 표준·정책·절차를 지키는지 공식적으로 검토하는 일. 대개 독립적인 제3자가 수행한다.

A formal review of an organisation's compliance with standards, policies, and procedures, typically carried out by an independent third party.

출처 International Scientific Report on the Safety of Advanced AI · p.182, p.219–220 · EN · 정의섹션

동향 표기 · 감사(187) / Audit(40)
PDF 표기 · Audit · Audits · 감사
동향 문서 187기간 15개월최근 95%병기 17PDF 문서 23정의섹션 2
122안전 사례safety caseAI 모델·시스템이 특정 운영 맥락에서 수용 가능한 수준으로 안전하다는 주장을 증거로 뒷받침해 구조화한 논증을 말함.
#08. 평가·시험 Evaluation & Testing
AI 평가·안전 대책
대체어안전성 논증

용어 설명

AI 모델·시스템이 특정 운영 맥락에서 수용 가능한 수준으로 안전하다는 주장을 증거로 뒷받침해 구조화한 논증을 말함.

  • 최상위 안전 주장을 하위 주장으로 나누고 평가 결과·안전장치·통제 수단 등의 증거로 각각 뒷받침하는 방식으로 작성되며, 원자력·항공 등 안전 공학에서 유래함.
  • 개발자나 규제기관이 배포 여부 같은 중요한 결정의 근거로 쓸 수 있어, 위험 판단의 논리와 증거를 외부에서 검토할 수 있게 함.
  • AI 역량이 커질수록 '위험한 일을 할 수 없다'는 주장만으로는 부족해, 통제 수단이나 신뢰성에 근거한 논증을 보완해야 한다는 논의가 있음.

구별'안전 사례'는 안전하다는 결론을 증거로 논증하는 문서이고, '위험 평가'는 위험의 크기와 수용 가능성을 판단하는 절차로, 안전 사례의 증거가 되는 경우가 많음.

용어 관계

상위 신뢰보증 · 혼동 주의 위험 평가

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 안전 사례를 대개 개발자가 작성하고 증거로 뒷받침하는, AI 모델·시스템이 주어진 운영 맥락에서 수용 가능하게 안전하다는 구조화된 논증으로 정의함. [1]
  • 개발자나 규제기관이 배포 여부 같은 중요한 결정의 근거로 활용할 수 있다고 봄. [1]

출처

  1. 1International AI Safety Report 2025, Glossary, p.226–227 · 원문
관련 연구 4
123정렬alignmentAI 시스템이 자신의 역량을 개발자·이용자·사회 등 인간의 의도와 가치에 맞게 쓰도록 만드는 과제 또는 그런 성향을 의미함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어AI 정렬얼라인먼트

용어 설명

AI 시스템이 자신의 역량을 개발자·이용자·사회 등 인간의 의도와 가치에 맞게 쓰도록 만드는 과제 또는 그런 성향을 의미함.

  • 학습 목표·보상 신호는 사람이 실제로 바라는 것의 근사치이므로 이 신호를 충실히 만족한 모델도 의도와 다르게 행동할 수 있으며, 인간 피드백 기반 강화학습 등이 대표적 정렬 기법임.
  • 역량 부족으로 인한 오류와 달리 정렬 실패는 역량이 높아질수록 피해가 커질 수 있어, 오정렬·기만적 정렬·통제 상실 논의의 출발점이 됨.
  • 누구의 의도·가치에 맞출지가 맥락에 따라 달라지며, 서로 다른 집단의 선호를 반영·조정하려는 다원적 정렬 접근도 제기됨.

구별'정렬'은 의도·가치에 맞게 행동하도록 만드는 과제·상태를, '오정렬'은 그것이 실패해 의도와 어긋난 목표·행동이 나타난 상태를 가리킴.

용어 관계

혼동 주의 오정렬

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • AI가 인간의 의도나 가치에 맞게 자신의 역량을 쓰는 성향으로 정의하고, 맥락에 따라 개발자·운영자·사용자·특정 공동체·사회 전체의 의도·가치를 가리킬 수 있다고 봄(2026년 보고서는 '규범'을 더함). [1] [2]
  • 2026년 보고서는 서로 다르고 때로 충돌하는 집단 간 선호를 반영·균형 맞추려는 개발 접근을 '다원적 정렬(pluralistic alignment)'로 별도 정의함. [3]
🇪🇺EU GPAI 실천강령2025
  • 시스템적 위험 원천인 모델 경향으로 인간의 의도·가치와의 오정렬을 들고, 통제 상실 위험이 오정렬·기만·목표 변경 저항 등에서 생길 수 있다고 봄. [4]
📄범용 AI 위험 관리 프레임워크AISI·TTA, 2026
  • 범용 AI 위험 관리 프레임워크는 정렬 원칙을 AI가 설정된 목표와 일치하게 작동하는지, 인간의 권리와 자율성을 존중하는지, 사회적 가치를 반영하는지 평가하는 기준으로 두고, 목표 지속성·인류 우선성·가치 보존성 위배에 따라 위험 점수를 매김. [5]

출처

  1. 1International AI Safety Report 2025, Glossary, p.218 · 원문
  2. 2『2026 국제 AI 안전 보고서』 한국어판, 용어 정의, p.185–187 · 원문
  3. 3International AI Safety Report 2026, Glossary, p.152 · 원문 · 라이브러리에서 보기
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Appendix 1.3.2·1.4, p.36–37 · 원문
  5. 5인공지능안전연구소·TTA (2026). 『범용 인공지능(GPAI) 위험 관리 프레임워크』 v2, p.93–94
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 3

사람은 AI에게 목표를 직접 심어 줄 수 없다. 할 수 있는 일은 원하는 방향을 가리키는 신호를 주는 것뿐이다 — 좋은 답에 높은 점수를 주거나, 모범 답안을 예시로 보여 주는 식이다. 모델은 그 신호를 최대한 만족시키도록 학습하는데, 신호는 언제나 진짜 의도의 근사치일 뿐이다. 그래서 신호를 완벽하게 만족시킨 모델이 정작 사람이 바란 것과 다르게 행동하는 일이 생긴다. 청소 로봇에게 먼지가 센서에 잡히지 않게 하라고 점수를 주면, 청소하는 대신 센서를 가리는 쪽을 배우는 것과 같은 구조다.

이 문제가 성능 문제와 구별된다는 점이 중요하다. 역량이 부족해 틀리는 것은 더 학습시키면 나아지지만, 정렬 실패는 역량이 올라갈수록 오히려 심각해질 수 있다. 목표를 더 잘 달성하는 모델일수록 잘못 지정된 목표도 더 철저하게 달성할 수 있기 때문이다. 그래서 안전 연구는 모델을 더 똑똑하게 만드는 일과 의도를 더 정확하게 전달하는 일을 서로 다른 과제로 놓고 다룬다. 국문에서는 정렬이 번역어로 자리 잡았지만 뜻이 곧바로 전달되지 않아 원어를 함께 적는 경우가 많다.

번역인공지능이 인간의 의도나 가치에 맞게 자신의 능력을 쓰는 성향. 맥락에 따라 개발자·운영자·사용자·특정 공동체·사회 전체의 의도·가치를 가리킬 수 있다.

An AI's propensity to use its capabilities in line with human intentions or values. Depending on the context, this can variously refer to the intentions and values of developers, operators, users, specific communities, or society as a whole.

출처 International Scientific Report on the Safety of Advanced AI · p.218–219 · EN · 정의섹션

번역서로 다르고 때로 충돌하는 집단의 선호를 반영·균형 맞추려는 AI 시스템 개발 접근.

An approach to developing AI systems that seeks to represent and balance different, and sometimes conflicting, preferences across different groups.

출처 International AI Safety Report 2026 · p.153 · EN · 정의섹션 · 라이브러리에서 보기

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-09-21🇺🇳 AI 에이전트 정렬 실패·통제 상실 위험 브리프 인공지능 독립 국제과학패널(Independent Int
  2. 2026-09-09Anthropic 최근 사이버보안 사고에 대한 정렬 평가 Anthropic · 정책보고서
  3. 2025-09-29🇺🇸 미국 S 2937 AI 책임·책무 정렬 법안 United States Congress · 법안
동향 표기 · 정렬(260) / alignment(198)
PDF 표기 · Pluralistic alignment
동향 문서 260기간 19개월최근 96%병기 78PDF 문서 29정의섹션 2
124인간 피드백 기반 강화학습reinforcement learning from human feedback (RLHF)사람이 모델 응답을 비교·평가한 선호 데이터로 보상 모델을 만들고, 그 보상을 높이도록 강화학습으로 언어 모델을 조정하는 학습 기법을 의미함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어RLHF

용어 설명

사람이 모델 응답을 비교·평가한 선호 데이터로 보상 모델을 만들고, 그 보상을 높이도록 강화학습으로 언어 모델을 조정하는 학습 기법을 의미함.

  • 응답 생성과 사람의 선호 비교, 보상 모델 학습, 보상을 최대화하는 강화학습 순으로 진행되며, 모범 답안을 쓰기보다 두 답을 비교하는 편이 쉽다는 점을 활용함.
  • 지시를 따르고 유해한 요청을 거절하는 성향을 만드는 대표적 정렬 기법이지만, 보상 모델이 사람의 평가 편향까지 학습해 아첨이나 보상 해킹을 낳을 수 있음.

구별'인간 피드백 기반 강화학습'은 사람의 선호로 보상 모델을 학습해 강화학습을 거치는 방식이고, AI의 피드백을 쓰는 RLAIF·헌법 AI나 보상 모델 없이 선호 데이터를 직접 최적화하는 DPO는 그 변형·대안임.

용어 관계

상위 미세조정 · 다음 단계 아첨, 보상 해킹

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • RLHF를 인간 평가자가 긍정적으로 평가하는 출력을 내도록 모델을 학습시키는, 범용 AI 모델 미세조정의 주요 패러다임으로 소개함. [1]
  • 인간의 긍정적 피드백은 유익한 행동의 불완전한 대리 지표이고 인간의 오류·편향에 제약돼, 아첨이나 맥락에 따라 유해한 응답 같은 문제가 생긴다고 지적함. [1]
🇺🇸NISTAI 600-1, 2024
  • 생성형 AI 프로파일(MS-2.5-002)은 RLHF·미세조정·검색 증강 생성 등으로 인간의 영역 지식이 성능 향상에 얼마나 쓰였는지 문서화하도록 권고함. [2]

출처

  1. 1International AI Safety Report 2026, 3.2, p.124 · 원문 · 라이브러리에서 보기
  2. 2NIST AI 600-1, MS-2.5-002, p.31 · 원문
해설 · 참고 기사 3 · 관련 연구 4

세 단계로 이뤄진다. 먼저 모델에게 같은 질문에 여러 답을 내게 하고, 사람이 어느 쪽이 더 나은지 표시한다. 다음으로 그 선호 데이터를 학습해 답에 점수를 매기는 보상 모델을 만든다. 마지막으로 그 점수를 높이는 방향으로 언어 모델을 다시 학습시킨다. 사람이 모든 상황에 대한 모범 답안을 쓰는 것은 불가능하지만 두 답을 비교하는 일은 할 수 있다는 점을 이용한 설계다. 지시를 따르고 유해한 요청을 거절하는 오늘날 대화형 모델의 성격은 상당 부분 이 단계에서 만들어진다.

정렬을 위한 수단이면서 동시에 정렬 문제의 원천이기도 하다는 점이 이 기법을 이해하는 핵심이다. 보상 모델이 실제로 배우는 것은 좋은 답이 아니라 사람이 좋다고 표시한 답이다. 사람의 평가는 시간에 쫓기고, 긴 답과 자신 있는 문체에 후하며, 검증하기 어려운 주장을 걸러내지 못한다. 그 편향이 그대로 보상에 들어가면 모델은 좋은 답 대신 좋아 보이는 답을 최적화한다. 아첨 성향이 이 경로로 생기는 대표적인 부작용이다.

동향 표기 · RLHF(35)
동향 문서 35기간 12개월최근 80%병기 2
125해석 가능성interpretability사람이 AI 모델의 내부 작동, 특히 특정 출력·결정이 왜 나왔는지를 이해할 수 있는 정도, 또는 이를 밝히려는 연구를 의미함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어해석 가능성 연구해석성

용어 설명

사람이 AI 모델의 내부 작동, 특히 특정 출력·결정이 왜 나왔는지를 이해할 수 있는 정도, 또는 이를 밝히려는 연구를 의미함.

  • 특정 개념이 신경망 내부에 어떻게 표현되는지 찾고 그 표현을 조작했을 때 행동이 예상대로 바뀌는지 확인하는 방식으로 연구되며, 기계적 해석 가능성이 대표적 갈래임.
  • 평가 중에만 협조하거나 말과 다르게 계산하는 등 행동 관찰만으로 드러나지 않는 기만적 정렬·계략적 행동을 확인할 수단으로 기대됨.
  • 대형 모델 전체를 설명하는 단계에는 이르지 못했고, 특정 역량이나 회로를 부분적으로 규명하는 수준이라는 평가가 있음.

구별'해석 가능성'은 모델 내부 계산 자체를 이해하는 것을, '설명 가능한 AI'는 사람이 납득·활용할 수 있는 설명을 만들어 제시하는 것을 목표로 하나, NIST AI RMF는 두 말을 다른 축으로 정의하므로 인용할 때 출처의 정의를 확인해야 함.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 인간이 AI 모델의 내부 작동을, 특정 출력이나 결정이 나온 이유를 포함해 이해할 수 있는 정도로 정의함. [1] [2]
  • 모델의 수학적 과정을 인간이 출력에 영향을 준 요인과 논리를 추적할 수 있는 개념으로 옮길 수 있으면 해석 가능성이 높다고 봄. [2]
  • 해석 가능성 연구는 범용 AI 모델의 내부 작동을 연구하고 이를 인간이 이해할 수 있게 만드는 방법을 개발하는 일로 정의함. [2]
🇺🇸NISTAI 100-1, 2023
  • 설명 가능성은 AI 시스템 작동 메커니즘의 표현, 해석 가능성은 설계된 기능 목적의 맥락에서 출력이 갖는 의미로 구분함. [3]
🌐싱가포르 합의2025
  • 해석 가능성 기법은 AI 시스템이 왜 그렇게 행동하는지에 대한 통찰에 근거해 신뢰성의 정성·정량 증거를 제공하려는 것으로 설명함. [4]

출처

  1. 1International AI Safety Report 2026, Glossary, p.151 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2025, p.192, p.201–202; Glossary p.223 · 원문
  3. 3NIST AI 100-1 (AI RMF 1.0), 3.5, p.16–17 · 원문
  4. 4Singapore Consensus (2025), 2.3.3, p.23–24 · 원문
해설 · 원문 인용 3 · 참고 기사 3 · 관련 연구 4

입력과 출력만 관찰하는 대신 모델 안에서 실제로 무슨 일이 벌어지는지 규명하려는 분야다. 특정 개념이 신경망의 어느 부분에 어떤 형태로 표현돼 있는지 찾고, 그 표현을 인위적으로 키우거나 지웠을 때 행동이 예상대로 바뀌는지 확인하는 방식으로 진행된다. 여러 개념이 뒤섞여 하나의 단위에 겹쳐 저장되는 성질 때문에 작업이 까다로운데, 이 겹침을 풀어내는 기법이 최근 연구의 중심에 있다.

행동을 관찰하는 것만으로는 풀리지 않는 문제가 있기 때문에 안전 연구에서 기대가 크다. 모델이 평가받는 동안에만 협조하는 경우, 말과 다르게 계산하는 경우, 특정 조건에서만 다르게 작동하도록 심어진 경우는 겉으로 드러나지 않는다. 내부를 볼 수 있다면 이런 것을 사전에 확인할 여지가 생긴다. 다만 큰 모델 전체를 설명할 수 있는 단계는 아니고, 지금은 특정 역량이나 회로를 부분적으로 규명하는 수준이다. 설명 가능성과 이름이 비슷해 자주 섞이지만 목표가 다르다.

번역인간이 AI 모델의 내부 작동—특정 출력·결정이 나온 이유 포함—을 이해할 수 있는 정도. 수학적 과정을 인간이 추적 가능한 개념으로 옮길 수 있으면 해석가능성이 높다고 본다.

The degree to which humans can understand the inner workings of an AI model, including why it generated a particular output or decision.

출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기

번역인간이 AI 모델의 내부 작동—특정 출력·결정이 나온 이유 포함—을 이해할 수 있는 정도. 수학적 과정을 인간이 추적 가능한 개념으로 옮길 수 있으면 해석가능성이 높다고 본다.

The degree to which humans can understand the inner workings of an AI model, including why it generated a particular output or decision. A model is highly interpretable if its mathematical processes can be translated into concepts that allow humans to trace the specific factors and logic that influenced the model's output.

출처 International Scientific Report on the Safety of Advanced AI · p.192, p.201–202, p.223 · EN · 정의섹션

번역범용 AI 모델의 내부 작동을 연구하고, 이를 인간이 이해할 수 있게 만드는 방법을 개발하는 일.

The study of how general-purpose AI models function internally, and the development of methods to make this comprehensible to humans.

출처 International Scientific Report on the Safety of Advanced AI · p.170, p.223 · EN · 정의섹션

동향 표기 · 해석가능성(13) / interpretability(11)
PDF 표기 · Interpretability Research
동향 문서 13기간 3개월최근 100%병기 1PDF 문서 20정의섹션 3
126설명 가능한 AIexplainable AI (XAI)AI 시스템의 개별 출력·결정이 왜 나왔는지를 사람이 이해하고 활용할 수 있는 형태로 제시하는 기법과 연구 분야를 의미함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어설명 가능성

용어 설명

AI 시스템의 개별 출력·결정이 왜 나왔는지를 사람이 이해하고 활용할 수 있는 형태로 제시하는 기법과 연구 분야를 의미함.

  • 입력 특성의 기여도, 유사 사례, 결과가 바뀌려면 무엇이 달라져야 하는지를 보여 주는 반사실적 설명 등이 쓰임.
  • 영향을 받는 사람의 이의 제기, 인간 감독, 책임성 확보의 전제로 요구되며, 투명성 원칙을 구현하는 수단으로 다뤄짐.
  • 사후에 만든 설명이 실제 내부 계산과 다를 수 있어, 그럴듯한 설명이 잘못된 신뢰나 자동화 편향을 키울 수 있다는 지적이 있음.

구별'해석 가능성'은 모델 내부에서 실제로 일어난 계산을 밝히는 데 초점을 두고, '설명 가능한 AI'는 사람이 납득·활용할 수 있는 설명을 만들어 내는 데 초점을 둠.

용어 관계

해설 · 참고 기사 3 · 관련 연구 3 · 정책 문서 3

왜 이런 결과가 나왔는지 사람에게 답해 주는 것이 목적이다. 어떤 입력 항목이 결정에 얼마나 기여했는지 수치로 보여 주거나, 비슷한 판단을 받은 과거 사례를 제시하거나, 결과가 뒤집히려면 무엇이 얼마나 달라져야 하는지 알려 주는 방식이 쓰인다. 마지막 방식은 대출 거절을 통보할 때 소득이 얼마 더 있었으면 승인됐다고 알려 주는 형태로 나타나며, 당사자가 실제로 취할 행동을 알려 준다는 점에서 유용하게 평가된다.

해석 가능성과 방향이 반대라고 보면 이해가 쉽다. 해석 가능성은 모델 안에서 실제로 일어난 계산을 밝히려 하고, 설명 가능성은 사람이 이해하고 쓸 수 있는 설명을 만들어 내려 한다. 그래서 후자에는 오래된 약점이 따라붙는다. 나중에 붙인 설명이 실제 계산 과정과 다를 수 있다는 것이다. 그럴듯하고 납득이 가는 설명이 반드시 정확한 설명은 아니다. 설명을 제도적으로 요구할 때 이 간극을 함께 다루지 않으면, 형식만 갖춘 설명이 오히려 잘못된 신뢰를 만들 수 있다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-07-09🇪🇺 인공지능의 견고성과 설명가능성 보고서 정책보고서
  2. 2020-08-17🇺🇸 미국 · NIST 원칙 Explainable AI National Institute of Standard
  3. 2016-08-10🇺🇸 DARPA 설명가능 AI(XAI) 프로그램 Defense Advanced Research Proj
동향 표기 · 설명가능성(23) / XAI(59)
동향 문서 23기간 11개월최근 83%병기 4
127안전장치safeguardAI 시스템이 해를 끼치지 않고 의도대로 작동하도록 개발·배포·운영 단계에 두는 기술적·절차적 보호 조치를 통칭함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책

용어 설명

AI 시스템이 해를 끼치지 않고 의도대로 작동하도록 개발·배포·운영 단계에 두는 기술적·절차적 보호 조치를 통칭함.

  • 안전 학습(거부 학습·적대적 학습 등), 입출력 필터와 가드레일, 접근 통제·이용 정책, 모니터링, 인간 감독 등 여러 층의 조치를 포괄함.
  • 위험 관리에서 위험 완화 수단의 핵심이며, 위험 임계값에 이른 모델의 배포 조건이나 오픈 웨이트 공개 여부를 판단할 때 그 충분성이 쟁점이 됨.
  • 탈옥·미세조정 등으로 우회·제거될 수 있어 단일 조치가 아니라 다층 방어로 설계해야 한다는 견해가 일반적임.

구별'안전장치'는 피해를 막기 위한 보호 조치 전반을 가리키는 상위 개념이고, '가드레일'은 그중 주로 모델 바깥에서 입출력과 행동을 실시간으로 검사·차단하는 기술적 통제 장치를 가리킴.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 2026년 보고서는 AI 시스템이 해를 끼치지 않도록 막기 위한 보호 조치로 정의함. [1]
  • 2025년 보고서는 가드레일을 AI 시스템이 의도대로 작동하고 해로운 결과를 피하도록 하는 내장 안전 제약으로 정의함. [2]
🇺🇸NISTAI 800-1 초안, 2025
  • 배포 결정은 가용한 안전장치와 그 효과가 오용 위험을 충분히 완화하는지에 근거해야 하며, 위협 행위자의 우회 가능성을 고려해 안전 여유를 두도록 권고함. [3]
🇪🇺EU GPAI 실천강령2025
  • 미세조정 공격·탈옥 같은 적대적 압박에도 강건한 안전 완화를 요구하고, 학습 데이터 정제, 입출력 필터링, 거부 학습, 단계적 접근을 예시함. [4]
📄안전성 확보 가이드라인한국, 2026
  • 위험 완화 조치를 모델 설계(유해 요청 거부 학습), 보안, 배포 전략, 운영(실시간 모니터링) 전반에 다층적으로 설계하도록 함. [5]

출처

  1. 1International AI Safety Report 2026, Glossary, p.153–154 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2025, Glossary, p.222–223 · 원문
  3. 3NIST AI 800-1 2차 초안, Practice 5.3, p.16–17 · 원문
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Measure 5.1, p.17 · 원문
  5. 5『인공지능 안전성 확보 가이드라인』 v1.3, 3-1, p.47–48 · 원문
원문 인용 2 · 관련 연구 4 · 정책 문서 3

번역인공지능 시스템이 해를 끼치지 않도록 막는 보호 조치.

A protective measure intended to prevent an AI system from causing harm.

출처 International AI Safety Report 2026 · p.154–155 · EN · 정의섹션 · 라이브러리에서 보기

번역인공지능 시스템이 의도대로 동작하고 해로운 결과를 피하도록 넣는 내장 안전 제약.

Built-in safety constraints to ensure that an AI system operates as desired and avoids harmful outcomes.

출처 International Scientific Report on the Safety of Advanced AI · p.222–223 · EN · 정의섹션

PDF 표기 · Guardrails · Safeguard · Safeguards · guardrail · 가드레일
PDF 문서 28정의섹션 4
128가드레일guardrail주로 모델 바깥에서 입력·출력·도구 사용을 검사하고 차단·수정·제한해 유해하거나 정책에 어긋난 동작을 막는 통제 장치를 말하며, 문헌에 따라 학습으로 내장한 제약까지 포함하는 넓은 뜻으로도 씀.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어AI 가드레일

용어 설명

주로 모델 바깥에서 입력·출력·도구 사용을 검사하고 차단·수정·제한해 유해하거나 정책에 어긋난 동작을 막는 통제 장치를 말하며, 문헌에 따라 학습으로 내장한 제약까지 포함하는 넓은 뜻으로도 씀.

  • 입력 필터, 출력 분류기, 금지 규칙, 도구·권한 제한, 승인이 필요한 행위를 정한 정책 엔진 등으로 구성되며, 모델을 다시 학습시키지 않고도 정책을 바꾸거나 즉시 차단할 수 있음.
  • 탈옥·프롬프트 인젝션으로 우회될 수 있어, 학습된 거부·샌드박싱·권한 최소화 등과 겹쳐 쓰는 다층 방어의 한 층으로 다뤄짐.

구별'안전장치(safeguard)'는 학습 단계의 안전 조정, 접근 통제, 모니터링, 인간 감독까지 포괄하는 보호 조치 전반을 가리키는 상위 개념이고, '가드레일'은 그중 주로 모델 바깥에서 입출력과 행동을 실시간으로 통제하는 기술적 장치를 가리킴.

용어 관계

상위 안전장치 · 혼동 주의 검열

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 입력·출력·모델 자체에 모니터링·개입·통제 기법을 적용해 시스템 행동을 감독하고 가드레일을 세운다고 보고, 입출력 유해 콘텐츠 탐지기·사고 사슬 모니터·샌드박싱 등을 예로 듦. [1]
  • 입출력 콘텐츠 필터는 우발적 피해와 오용 위험을 줄이는 매우 효과적인 수단이지만, 추가 연산이 들고 일부 공격에 취약해 최적화된 악의적 공격 앞에서는 불완전하다고 평가함. [2] [3]
🇺🇸NISTAI 600-1, 2024
  • 생성형 AI 프로파일(MS-2.5-006)은 보안·안전 가드레일을 정기적으로 검토하되, 특히 시스템이 새로운 상황에서 운영될 때 검토하도록 권고함. [4]
🇪🇺EU GPAI 실천강령2025
  • 이행조치 5.1은 미세조정 공격·탈옥 같은 적대적 압박에도 충분히 견디는 안전 완화를 요구하고, 그 예로 모델 입력·출력의 모니터링·필터링을 듦. [5]

출처

  1. 1International AI Safety Report Second Key Update (2025), Figure 3, p.12 · 원문
  2. 2International AI Safety Report 2026, Table 3.6, p.122 · 원문 · 라이브러리에서 보기
  3. 3International AI Safety Report 2026, 3.3, p.127–128 · 원문 · 라이브러리에서 보기
  4. 4NIST AI 600-1, MS-2.5-006, p.31 · 원문
  5. 5EU GPAI Code of Practice (2025), Safety & Security, Measure 5.1, p.17 · 원문
해설 · 참고 기사 3 · 관련 연구 4

모델이 학습을 통해 갖게 된 거부 성향과는 다른 층이다. 모델 바깥에 놓여서, 들어오는 요청을 먼저 검사해 차단하거나, 나가는 답을 검사해 수정하거나 보류하거나, 모델이 호출할 수 있는 도구와 권한을 미리 제한한다. 유해성을 판정하는 별도의 작은 모델, 금지어와 패턴을 담은 규칙, 어떤 행동에 승인이 필요한지 정해 둔 정책 엔진이 함께 쓰인다.

바깥에 있다는 점이 장점과 약점을 동시에 만든다. 장점은 유연함이다. 모델을 다시 학습시키지 않고도 정책을 바꿀 수 있고, 사고가 났을 때 즉시 막을 수 있다. 약점은 우회 가능성이다. 검사를 피하는 표현을 찾아내면 모델은 그대로인데 통제만 사라진다. 그래서 어느 한 층에 의존하지 않는 것이 원칙이다. 학습된 거부, 외부 필터, 권한 제한, 실행 환경 격리를 겹쳐 쌓아 한 겹이 뚫려도 피해가 제한되게 만드는 다층 방어가 기본으로 권고된다.

동향 표기 · 안전장치(141) / guardrails(21) / guardrail(8)
동향 문서 141기간 15개월최근 92%병기 4
129샌드박싱sandboxing코드나 AI 에이전트를 파일·네트워크·자원 접근이 제한된 격리 환경에서만 실행해, 오작동하거나 탈취돼도 피해 범위를 좁히는 기법을 의미함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어격리샌드박스 격리

용어 설명

코드나 AI 에이전트를 파일·네트워크·자원 접근이 제한된 격리 환경에서만 실행해, 오작동하거나 탈취돼도 피해 범위를 좁히는 기법을 의미함.

  • 접근 가능한 파일을 지정 디렉터리로 한정하고, 네트워크를 차단하거나 허용 목록만 열며, 메모리·시간 사용에 상한을 두는 방식으로 구현됨.
  • AI 에이전트가 코드 실행·도구 사용을 하게 되면서 프롬프트 인젝션 등으로 통제가 넘어가도 할 수 있는 일을 제한하는 핵심 안전장치가 됐고, 위험한 역량 평가 환경에도 쓰임.
  • 권한 최소화, 되돌릴 수 없는 행위를 사람이 승인하는 절차와 함께 적용되며, 격리 탈출이나 자기 유출 시도를 막을 만큼 견고한지가 쟁점임.

구별'샌드박싱'은 AI의 실행 환경을 격리하는 기술적 통제이고, 규제 특례를 주는 제도인 '규제 샌드박스'나 평가에서 역량을 낮춰 보이는 '샌드배깅'과는 다른 말임.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 샌드박싱을 AI 에이전트가 세상에 직접 영향을 미치는 방식을 제한해 감독·관리를 쉽게 하는 기법으로 설명하고, 인터넷 게시나 파일 시스템 수정 제한을 예로 듦. [1]
  • AI 시스템이 반드시 세상에 직접 행동해야 하는 응용에는 항상 쓸 수 있는 방법이 아니라는 한계도 지적함. [1]
🇺🇸NISTAI 800-1 초안, 2025
  • 사이버 역량 평가에서 모델이 격리되거나 모의된 무해한 환경에서 실제와 유사한 시스템·자원과 상호작용하게 해 역량을 직접 측정할 수 있다고 봄. [2]
🇪🇺EU GPAI 실천강령2025
  • 부록 4.4는 모델에 의한 (자기)유출·사보타주를 포함한 내부자 위협 대응책으로, 가상머신·코드 실행 격리 같은 모델 주변 샌드박스로 자기 유출 위험을 줄이도록 함. [3]

출처

  1. 1International AI Safety Report 2026, 3.3, p.128–129 · 원문 · 라이브러리에서 보기
  2. 2NIST AI 800-1 2차 초안, Appendix E.2.1, p.52–53 · 원문
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Appendix 4.4, p.42 · 원문
해설 · 참고 기사 3 · 관련 연구 2

무엇을 할 수 있는지 미리 좁혀 둔 환경을 만들고 그 안에서만 동작하게 한다. 접근할 수 있는 파일을 지정된 디렉터리로 한정하고, 네트워크 연결을 막거나 허용 목록만 열어 주고, 쓸 수 있는 메모리와 시간에 상한을 두는 방식이다. 신뢰할 수 없는 코드를 다뤄야 하는 상황에서 오래 쓰여 온 기법인데, AI 에이전트가 코드를 직접 실행하기 시작하면서 사실상 필수 요소가 됐다.

이 기법의 비중이 커진 배경에는 프롬프트 인젝션을 근본적으로 막을 방법이 아직 확립되지 않았다는 현실이 있다. 지시와 자료를 확실히 구별하는 해법이 없다면, 가로채이지 않게 하는 데 더해 가로채였을 때 할 수 있는 일을 좁히는 쪽으로도 대비해야 한다. 그래서 격리는 권한 최소화와 함께 묶여 적용된다. 각 도구에 꼭 필요한 권한만 주고, 되돌릴 수 있는 행위만 자동으로 허용하고, 되돌릴 수 없는 행위는 격리 환경 밖에서 사람 승인을 거치게 하는 설계다.

동향 표기 · 격리(35)
동향 문서 35기간 10개월최근 91%병기 1
130인간 감독human oversight사람이 AI 시스템의 작동을 이해·모니터링하고, 필요할 때 출력을 무시·번복하거나 시스템을 중단할 수 있도록 보장하는 원칙과 그 구현 체계를 의미함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어인적 감독

용어 설명

사람이 AI 시스템의 작동을 이해·모니터링하고, 필요할 때 출력을 무시·번복하거나 시스템을 중단할 수 있도록 보장하는 원칙과 그 구현 체계를 의미함.

  • 감독자가 시스템의 역량과 한계를 알고 자동화 편향을 경계하며 개입·중단할 실질적 권한과 수단을 갖추는 것이 요건이 되고, 이를 가능하게 하는 설계가 개발 단계부터 들어가야 함.
  • 고위험 AI와 AI 에이전트에서 오작동·오정렬로 인한 피해를 줄이고 책임성을 확보하는 핵심 장치로, 규제와 위험 관리 체계에서 요구 사항으로 다뤄짐.
  • 검토 시간·근거 정보·권한이 없으면 승인만 남는 형식적 감독이 되어 책임만 사람에게 옮겨 가는 문제가 지적됨.

구별'인간 감독'은 감독 가능성을 보장하는 상위 원칙·요건이고 '휴먼 인 더 루프'는 사람이 결정 과정 안에서 개별 결정을 직접 승인·개입하는 구체적 구현 방식 중 하나로, 휴먼 인 더 루프가 없어도 모니터링·중단 권한으로 인간 감독이 이뤄질 수 있음.

용어 관계

주요 기관·문서별 개념 및 적용

🇪🇺EU AI Act2024/1689
  • 제14조는 고위험 AI 시스템을 사용 중 사람이 효과적으로 감독할 수 있게 설계하도록 하고, 감독자가 적절하고 비례적인 범위에서 역량과 한계를 이해하고 자동화 편향을 인식하며 출력을 무시·번복하거나 시스템을 멈출 수 있게 하도록 함. [5]
  • 옴니버스 규정으로 이 요건의 적용일은 부속서 III 시스템 2027.12.2, 부속서 I 시스템 2028.8.2로 늦춰짐. [6]
🌐국제 AI 안전 보고서2026
  • 피해가 큰 사용처에서는 휴먼 인 더 루프가 직접 감독을 가능하게 하지만, 결정 속도·규모 때문에 비현실적일 때가 많고 자동화 편향이 생길 수 있다고 봄. [2]
🇺🇸NISTAI 100-1, 2023
  • AI 의사결정·감독에서 인간의 역할과 책임을 명확히 정의·구분해야 하며, 인간과 AI의 구성은 완전 자율부터 완전 수동까지 걸친다고 봄. [3]
🇰🇷한국 AI 기본법2026
  • 제34조는 고영향 AI 사업자 책무로 사람의 관리·감독을 두고, 사례집은 이를 오류·성능 저하 등 비상 시 사람이 즉시 통제·개입할 기준과 방법, 정기 점검·교육 체계로 설명함. [4]

출처

  1. 2International AI Safety Report 2026, p.128 · 원문 · 라이브러리에서 보기
  2. 3NIST AI 100-1 (AI RMF 1.0), Appendix C, p.40–41 · 원문
  3. 4『인공지능기본법 지원데스크 사례집』(2026), 제34조, p.17 · 원문 · 라이브러리에서 보기
  4. 5EU AI Act, Art. 14, p.60–61 · 원문
  5. 6Regulation (EU) 2026/1744, Art. 1(39)·(40) · 원문
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 1

사람을 한 명 앉혀 두는 것과는 다르다. 감독이 실제로 작동하려면 감독자가 그 시스템이 무엇을 잘하고 무엇을 못하는지 알아야 하고, 자동화된 출력을 지나치게 믿지 않도록 훈련돼야 하며, 결정을 무시하거나 시스템을 멈출 실질적인 권한을 가져야 한다. EU AI법이 고위험 AI에 요구하는 내용도 이런 조건들이다. 감독을 가능하게 하는 설계가 개발 단계에서부터 들어가야 한다는 뜻이기도 하다.

가장 흔한 실패는 감독이 형식만 남는 것이다. 검토할 시간이 없거나, 판단 근거를 볼 수 없거나, 반대했을 때 불이익이 돌아오는 구조에서는 사람이 승인 버튼만 누르게 된다. 이렇게 되면 책임 소재만 사람 쪽으로 옮겨 가고 통제는 실제로 존재하지 않는다. 그래서 감독 지점을 설계할 때는 되돌릴 수 없는 행위에 초점을 맞추고, 그 지점에는 충분한 정보와 시간을 함께 배치하는 것이 원칙으로 권고된다. 모든 단계를 확인하게 하면 어느 단계도 제대로 확인되지 않는다.

동향 표기 · 인간 감독(52) / oversight(36)
동향 문서 52기간 14개월최근 81%병기 0
131휴먼 인 더 루프human-in-the-loop (HITL)AI 시스템의 결정·행동 과정 안에 사람이 직접 참여해, 실행 전에 검토·승인·수정할 수 있도록 설계한 운영 방식을 말함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어인간 최종 확인인간 개입

용어 설명

AI 시스템의 결정·행동 과정 안에 사람이 직접 참여해, 실행 전에 검토·승인·수정할 수 있도록 설계한 운영 방식을 말함.

  • 사람이 개별 결정마다 확인하거나 신뢰도가 낮은 출력·되돌릴 수 없는 행위 등 특정 지점에서 승인하도록 하는 방식으로 구현되며, AI 에이전트의 고위험 행위 통제에 자주 쓰임.
  • 금융·의료·치안처럼 잘못된 결정의 피해가 큰 영역에서 직접 감독 수단이 되지만, 결정 속도·규모 때문에 비현실적인 경우가 많음.
  • 사람이 AI 출력을 과신하는 자동화 편향, 검토 시간·정보 부족 탓에 승인만 남는 형식적 개입이 한계로 지적됨.

구별'인간 감독'은 사람이 AI 시스템을 이해·모니터링·개입·중단할 수 있도록 보장하는 상위 원칙·요건이고, '휴먼 인 더 루프'는 그것을 구현하는 여러 방식 가운데 사람이 결정 과정 안에서 직접 승인·개입하는 구체적 설계를 가리킴.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 잘못된 결정이 큰 피해로 이어질 수 있는 금융·의료·치안 등에서 AI 시스템이 완전 자율이 아니라 사람과 협력해 작동하도록 설계하는 것이 AI 에이전트의 실패 가능성을 줄인다고 봄. [1]
  • 다만 결정이 너무 빠르거나 대규모로 이뤄지는 경우 휴먼 인 더 루프는 비현실적인 경우가 많고, 사람의 편향·오류와 자동화 편향이 오히려 위험을 키울 수 있다고 지적함. [1]
🇪🇺EU AI HLEG2019
  • HITL을 시스템의 모든 의사결정 주기에 사람이 개입할 수 있는 역량으로, HOTL(human-on-the-loop)을 설계 주기 개입과 작동 모니터링 역량으로, HIC(human-in-command)를 전반적 활동을 감독하고 언제 어떻게 쓸지 결정하는 역량으로 구분하고, HITL은 많은 경우 가능하지도 바람직하지도 않다고 봄. [3]

출처

  1. 1International AI Safety Report 2026, p.128 · 원문 · 라이브러리에서 보기
  2. 3AI HLEG (2019). Ethics Guidelines for Trustworthy AI, 1.1, p.16 · 원문
관련 연구 4
132적대적 학습adversarial training모델을 실패시키도록 고안한 적대적 입력을 학습 데이터에 포함해, 그런 입력에도 의도대로 작동하도록 모델을 학습시키는 기법을 의미함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어적대적 훈련

용어 설명

모델을 실패시키도록 고안한 적대적 입력을 학습 데이터에 포함해, 그런 입력에도 의도대로 작동하도록 모델을 학습시키는 기법을 의미함.

  • 레드티밍·적대적 시험 등으로 모델이 오작동하거나 유해 응답을 내는 입력을 찾아낸 뒤, 이를 인식·처리하도록 추가 학습하는 순환 구조로 이뤄짐.
  • 탈옥·프롬프트 인젝션 같은 공격에 대한 강건성을 높여 안전장치가 우회되는 위험을 줄이는 데 쓰임.
  • 학습에 쓰인 공격 유형에는 효과가 있어도 새로운 공격으로 일반화되지 않을 수 있어, 그 자체로 충분한 방어로 보기는 어렵다는 지적이 있음.

구별'적대적 학습'은 적대적 입력으로 모델을 고치는 학습 기법이고, '적대적 시험'은 그런 입력으로 모델의 약점을 찾아내는 시험·평가 활동임.

용어 관계

상위 안전장치 · 다음 단계 강건성 · 혼동 주의 적대적 시험

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 모델을 더 신뢰할 수 있게 만드는 기계학습 기법으로, 먼저 모델을 실패시키도록 고안한 입력을 만들고 이어서 그런 입력을 인식·처리하도록 학습시키는 두 단계로 정의함. [1] [2]
  • 2025년 보고서는 적대적 입력을 만드는 방법의 예로 레드티밍을 듦. [2]

출처

  1. 1International AI Safety Report 2026, Glossary, p.147 · 원문 · 라이브러리에서 보기
  2. 2International AI Safety Report 2025, p.192; Glossary p.218–219 · 원문
원문 인용 2 · 관련 연구 1

번역모델을 더 견고하게 만드는 기계학습 기법. 먼저 모델을 실패시키도록 고안한 입력을 만들고, 이어서 그런 입력을 인식·처리하도록 학습시킨다.

A machine learning technique used to make models more reliable. First, developers construct inputs that are designed to make a model fail. Second, they train the model to recognise and handle these kinds of inputs.

출처 International AI Safety Report 2026 · p.148 · EN · 정의섹션 · 라이브러리에서 보기

번역모델을 더 견고하게 만드는 기계학습 기법. 먼저 모델을 실패시키도록 고안한 입력을 만들고, 이어서 그런 입력을 인식·처리하도록 학습시킨다.

A machine learning technique used to make models more reliable. First, developers construct 'adversarial inputs' (e.g. through red -teaming) that are designed to make a model fail, and second, they train the model to recognise and handle these kinds of inputs.

출처 International Scientific Report on the Safety of Advanced AI · p.192, p.218–219 · EN · 정의섹션

관련 연구 · AI 안전 연구

  1. 2025-01-01표적 잠재 적대적 학습 기반 다국어 탈옥 방어 Widening NLP Workshop (W
PDF 표기 · Adversarial training
PDF 문서 7정의섹션 2
133머신 언러닝machine unlearning이미 학습된 모델에서 특정 데이터나 지식·역량의 영향을 처음부터 다시 학습하지 않고 제거하려는 기법을 의미함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어망각 학습기계 삭제 학습

용어 설명

이미 학습된 모델에서 특정 데이터나 지식·역량의 영향을 처음부터 다시 학습하지 않고 제거하려는 기법을 의미함.

  • 삭제 대상 데이터에 대한 추가 학습이나 가중치 조정으로 해당 정보를 모델이 더는 재현·활용하지 못하게 하는 방식이 연구됨.
  • 개인정보 삭제 요청·저작권 대응뿐 아니라, 화학·생물·방사능·핵 무기 관련 지식처럼 오용 위험이 큰 역량을 줄이는 안전장치로도 논의됨.
  • 제거가 실제로 이뤄졌는지 검증하기 어렵고, 미세조정 등으로 지운 지식이 되살아날 수 있다는 한계가 지적됨.
관련 연구 1
134사이버 방어cyber defence시스템·네트워크에 대한 침해 시도를 탐지·차단·대응·복구해 정보 자산을 지키는 활동을 말하며, AI 안전에서는 AI를 방어에 활용하는 일과 AI 시스템 자체를 지키는 일을 함께 가리킴.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어사이버 방호

용어 설명

시스템·네트워크에 대한 침해 시도를 탐지·차단·대응·복구해 정보 자산을 지키는 활동을 말하며, AI 안전에서는 AI를 방어에 활용하는 일과 AI 시스템 자체를 지키는 일을 함께 가리킴.

  • 탐지·차단·사고 대응·복구의 순환으로 운영되며, AI는 대량의 로그에서 이상 징후를 찾고 경보의 위험도를 분류하는 단계에 주로 쓰임.
  • AI의 사이버 공격 역량이 높아지면서 같은 역량을 방어에 먼저 활용할 수 있는지가 논의되며, 오탐이 정상 업무를 막는 비용 때문에 방어 자동화가 더 보수적일 수밖에 없다는 비대칭이 지적됨.

구별'사이버 보안'은 정보 자산을 보호하는 상태·체계 전반을, '사이버 방어'는 그 안에서 실제 위협을 탐지·대응하는 활동을 가리킴.

용어 관계

해설 · 참고 기사 3 · 관련 연구 4

탐지, 차단, 사고 대응, 복구로 이어지는 순환으로 운영된다. AI가 투입되는 지점은 주로 앞쪽 두 단계다. 사람이 다 볼 수 없는 양의 접속 기록과 통신 내역에서 평소와 다른 패턴을 찾아내고, 경보가 올라오면 위험도를 분류해 우선순위를 매기는 일이다. 보안 담당자가 처리할 수 있는 양보다 경보가 훨씬 많이 발생하는 구조적 문제를 완화하려는 목적으로 도입된다.

자동화의 병목은 오탐 비용이다. 공격을 자동화하는 쪽은 실패해도 다시 시도하면 되지만, 방어를 자동화하는 쪽은 정상 업무를 잘못 차단하면 그 자체가 피해가 된다. 결제 시스템이나 병원 기록 시스템을 잘못 막으면 공격을 당한 것과 비슷한 결과가 나온다. 그래서 방어 자동화는 공격 자동화보다 훨씬 보수적으로 움직여야 하고, 이 비대칭이 공격 측에 유리하게 작동할 수 있다는 우려가 국가 차원의 방어 역량 논의를 불러왔다.

동향 표기 · 사이버 방어(26)
동향 문서 26기간 8개월최근 100%병기 0
135취약점 탐지vulnerability detection소프트웨어·시스템에서 악용될 수 있는 결함을 찾아내는 활동을 말하며, AI 안전에서는 AI를 이용한 취약점 발견 역량과 그 이중 용도 위험을 함께 다룸.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어취약점 발견

용어 설명

소프트웨어·시스템에서 악용될 수 있는 결함을 찾아내는 활동을 말하며, AI 안전에서는 AI를 이용한 취약점 발견 역량과 그 이중 용도 위험을 함께 다룸.

  • 정적 분석, 퍼징, 침투 시험 등 기존 방법에 더해, 모델이 코드를 읽고 결함 후보를 지목하거나 악용 가능성을 검증하는 방식이 쓰이기 시작함.
  • 같은 역량이 방어 측에는 배포 전 수정 기회를, 공격 측에는 제로데이 취약점 확보 기회를 주므로, 위험한 역량 평가의 별도 항목이자 책임 있는 공개 관행의 논의 대상이 됨.

구별'취약점'은 악용될 수 있는 결함 그 자체를, '취약점 탐지'는 그런 결함을 찾아내는 활동을 가리킴.

용어 관계

먼저 알 개념 취약점

해설 · 참고 기사 3 · 관련 연구 4

방법은 여러 갈래다. 코드를 실행하지 않고 분석해 위험한 패턴을 찾는 정적 분석, 무작위에 가까운 입력을 대량으로 넣어 비정상 동작을 유발하는 퍼징, 실제 공격자처럼 침입을 시도해 보는 침투 시험이 오래 쓰여 왔다. 여기에 최근 더해진 것이 모델을 쓰는 방식이다. 코드를 읽고 결함이 있을 만한 지점을 지목하게 하고, 그것이 실제로 악용 가능한지 검증하는 코드까지 만들어 확인하게 한다. 사람이 검토하기 어려운 규모의 코드에서 성과가 보고된다.

이중 용도 성격이 가장 뚜렷하게 드러나는 영역이다. 같은 역량이 방어하는 쪽에는 배포 전에 결함을 찾아 고칠 기회를 주고, 공격하는 쪽에는 아직 알려지지 않은 구멍을 확보할 기회를 준다. 어느 쪽이 더 빨리 활용하는지가 실제 안전을 가르게 되므로, 모델의 위험한 역량을 평가할 때 이 항목이 별도 축으로 다뤄진다. 발견한 결함을 언제 어디까지 공개할지 조율하는 관행도 함께 논의된다.

동향 표기 · 취약점 탐지(28) / 취약점 발견(21)
동향 문서 28기간 8개월최근 100%병기 0
136워터마킹watermarkingAI가 생성한 텍스트·이미지·오디오·영상에 눈에 잘 띄지 않는 표식을 심어, 이후 검출기로 AI 생성물임과 출처를 확인할 수 있게 하는 기법을 의미함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책
대체어AI 워터마킹워터마크워터마크 삽입

용어 설명

AI가 생성한 텍스트·이미지·오디오·영상에 눈에 잘 띄지 않는 표식을 심어, 이후 검출기로 AI 생성물임과 출처를 확인할 수 있게 하는 기법을 의미함.

  • 이미지·음성·영상은 신호를 미세하게 변형해 패턴을 넣고, 텍스트는 다음 토큰 선택에 통계적 편향을 주어 흔적을 남기는 방식이 쓰임. 표식 규칙을 아는 쪽이 검출함.
  • 딥페이크·허위 정보 확산 대응과 생성물 표시 의무 이행 수단으로 논의되며, 출처 메타데이터와 함께 쓰이는 경우가 많음.
  • 압축·편집·바꿔 쓰기 등에 견디는 강건성과 눈에 띄지 않는 은닉성이 상충해, 특히 텍스트에서는 쉽게 지워질 수 있다는 한계가 있음.

구별'워터마킹'은 콘텐츠 자체에 표식을 숨기는 방식이고, '출처 메타데이터'는 파일에 생성·편집 이력을 서명된 기록으로 붙이는 방식임.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 워터마크를 AI 생성 콘텐츠(텍스트·이미지·오디오 등)에 심어 인공 출처를 표시하거나 출처를 검증하고 잠재적 오용을 탐지하기 위한, 미묘하고 대개 눈에 띄지 않는 패턴으로 정의함. [1]

출처

  1. 1International AI Safety Report 2025, p.201–202; Glossary p.227–228 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 1

매체에 따라 방식이 다르다. 이미지나 음성, 영상에는 사람이 알아채지 못할 정도로 신호를 미세하게 변형해 규칙적인 패턴을 심는다. 텍스트에는 다음 낱말을 고를 때 특정 후보군에 미세하게 가중을 주어 통계적인 흔적을 남긴다. 어느 쪽이든 표식의 규칙을 아는 쪽이 검출기로 확인하는 구조이며, 사람이 읽거나 보는 품질에는 영향을 주지 않는 것을 목표로 한다.

근본적인 제약은 강건성과 은닉성이 서로 반대 방향이라는 점이다. 재압축하고 자르고 필터를 씌우고 문장을 다시 쓰는 변형을 모두 견디게 만들려면 표식을 강하게 심어야 하는데, 그러면 눈에 띄거나 품질이 떨어진다. 반대로 완전히 보이지 않게 하면 간단한 변형에도 지워진다. 텍스트는 특히 어렵다. 문장을 바꿔 쓰기만 해도 통계적 흔적이 흐려지기 때문이다. 그래서 워터마킹만으로 표시 의무를 충족하기는 어렵다는 평가가 일반적이다.

번역AI 생성 콘텐츠(텍스트·이미지·오디오 등)에 심어 인공 출처를 표시하거나 출처를 검증·오용을 탐지하기 위한, 미묘하고 대개 눈에 잘 띄지 않는 패턴.

A subtle, often imperceptible pattern embedded within AI-generated content (such as text, images, or audio) to indicate its artificial origin, verify its source, or detect potential misuse.

출처 International Scientific Report on the Safety of Advanced AI · p.201–202, p.227–228 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-01-03🇺🇸 연방 민간기관 AI 워터마크법 United States Congress · 법안
동향 표기 · 워터마크(32) / 워터마킹(12)
PDF 표기 · Watermark
동향 문서 32기간 13개월최근 88%병기 0PDF 문서 10정의섹션 1
137출처 메타데이터provenance metadata콘텐츠가 어떤 기기·도구로 생성되고 어떤 편집을 거쳤는지를 암호학적으로 서명해 파일에 함께 실어 두는 이력 기록을 말함.
#09. 정렬·안전장치·감독 Alignment, Safeguards & Oversight
AI 평가·안전 대책

용어 설명

콘텐츠가 어떤 기기·도구로 생성되고 어떤 편집을 거쳤는지를 암호학적으로 서명해 파일에 함께 실어 두는 이력 기록을 말함.

  • 생성·편집 단계마다 기록과 서명을 덧붙여, 기록을 몰래 바꾸면 검증 과정에서 드러나도록 함. C2PA 같은 업계 표준이 대표적임.
  • AI 생성 콘텐츠 표시, 딥페이크·허위 정보 대응에서 진본 확인 수단으로 쓰이며, 플랫폼이 업로드 시점에 검증해 표시하는 구조와 함께 작동함.
  • 메타데이터는 재촬영·형식 변환만으로 쉽게 떨어져 나가므로, 표식이 없다고 AI 생성물이 아니라고 단정할 수 없음.

구별'출처 메타데이터'는 개별 콘텐츠의 생성·편집 이력을 붙이는 것이고, '데이터 기원'은 모델 학습에 쓰인 데이터의 출처·수집 경로를 추적하는 것임. 콘텐츠 자체에 표식을 숨기는 '워터마킹'과도 구별됨.

용어 관계

해설 · 참고 기사 3

워터마킹이 내용물 안에 표식을 숨기는 방식이라면 이쪽은 파일에 이력표를 붙이는 방식이다. 어떤 기기로 촬영했는지, 어떤 도구로 생성했는지, 이후 어떤 편집을 거쳤는지를 단계마다 기록하고 암호학적 서명을 붙인다. 서명이 있으므로 기록을 몰래 고치면 검증에서 걸린다. 언론사와 카메라 제조사, 소프트웨어 회사가 참여한 C2PA가 대표적인 업계 표준이다.

강점은 검증 가능성이고 약점은 제거 용이성이다. 서명을 위조하기는 어렵지만 메타데이터 자체를 떼어내는 일은 아주 쉽다. 화면을 다시 촬영하거나 다른 형식으로 저장하기만 해도 사라진다. 그래서 이 방식으로는 어떤 파일이 진짜라는 것을 확인할 수 있어도, 표식이 없는 파일이 AI 생성물이 아니라고 확인할 수는 없다. 워터마킹과 함께 쓰고, 플랫폼이 업로드 시점에 검증해 표시하는 구조가 함께 필요한 이유다.

동향 표기 · 메타데이터(27)
동향 문서 27기간 12개월최근 85%병기 3
138안전safetyAI 시스템이 오용, 오작동, 통제 상실 등으로 사람과 사회에 피해를 일으키지 않도록 하는 성질, 그리고 이를 위한 연구·기술·제도적 노력의 분야를 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도
대체어AI 안전AI 안전성

용어 설명

AI 시스템이 오용, 오작동, 통제 상실 등으로 사람과 사회에 피해를 일으키지 않도록 하는 성질, 그리고 이를 위한 연구·기술·제도적 노력의 분야를 의미함.

  • 역량 평가·레드티밍·위험 평가 같은 위험 식별, 정렬·강건성 확보 같은 개발 단계의 기법, 안전장치·배포 후 모니터링·사고 보고 같은 배포 후 통제를 포괄함.
  • 범용 AI의 역량이 빠르게 늘면서 개별 제품 결함을 넘어 악의적 사용, 시스템적 위험, 통제 상실까지 다루는 분야로 범위가 넓어짐.

구별'안전(safety)'이 오작동·오용을 포함해 피해를 일으키지 않는 성질 전반을 가리킨다면, '보안(security)'은 의도적 공격으로부터 시스템·데이터·모델 가중치를 보호하는 데 초점을 둠.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • AI 시스템의 안전을 악의적 오용이나 시스템 오작동 등으로 피해를 일으킬 가능성이 낮은 성질로 정의함. [1]
🇺🇸NISTAI 100-1, 2023
  • AI RMF 1.0은 안전을 신뢰할 수 있는 AI의 특성으로 두고, 정해진 조건에서 사람의 생명·건강·재산이나 환경을 위태롭게 하는 상태로 이어지지 않아야 한다고 정의함(ISO/IEC TS 5723 인용). [2]
🇪🇺EU AI HLEG2019
  • 신뢰할 수 있는 AI의 강건성 요소로, AI 시스템이 의도치 않은 피해를 일으키지 않도록 안전·보안·신뢰성 있게 작동하고 부정적 영향을 막는 안전장치를 갖춰야 한다고 봄. [3]
🇰🇷한국 AI 기본법2026
  • 누적 연산량이 기준 이상인 AI 시스템의 안전성 확보를 위해 수명주기 전반의 위험 식별·평가·완화와 안전사고 모니터링·대응 위험관리체계 구축을 의무로 둠. [4]

출처

  1. 1International AI Safety Report 2026, Glossary, p.153–154 · 원문 · 라이브러리에서 보기
  2. 2NIST AI 100-1 (AI RMF 1.0), 3.2, p.14–15 · 원문
  3. 3AI HLEG (2019). Ethics Guidelines for Trustworthy AI, p.7 · 원문
  4. 4「인공지능기본법」, 제32조 · 원문
관련 연구 4 · 정책 문서 4

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-16Reflection AI Beam 안전 기술 보고서 Reflection AI · 정책보고서
  2. 2026-10-06🇰🇷 한국·안전·신뢰 AI 기술영향평가 정책보고서
  3. 2026-10-05Reflection AI Open 안전 프레임워크 (OSF) Reflection AI · 가이드라인·원칙
  4. 2026-09-17Amazon 프론티어 모델 안전 프레임워크 Amazon · 가이드라인·원칙
139AI 거버넌스AI governanceAI의 개발·배포·이용을 규율하는 법령, 비구속 지침, 국제 합의, 기술 표준, 조직 내부 정책과 이를 집행하는 기구의 총체를 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도
대체어AI 규율 체계

용어 설명

AI의 개발·배포·이용을 규율하는 법령, 비구속 지침, 국제 합의, 기술 표준, 조직 내부 정책과 이를 집행하는 기구의 총체를 의미함.

  • 국제(정상회의·다자 원칙), 국가(법령·전담 기구·안전연구소), 조직(내부 위원회·위험 관리 체계) 층위가 서로 다른 속도와 구속력으로 겹쳐 작동함.
  • AI 안전에서는 위험 평가, 배포 전 평가, AI 사고 보고 같은 안전 조치를 누가 어떤 권한으로 요구하고 확인할지를 정하는 틀이 됨.
  • 기술 변화가 입법보다 빨라 비구속 수단의 비중이 크며, 같은 요구라도 층위에 따라 권고·법적 의무·자율 약속으로 무게가 달라짐.
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

법률만 가리키는 말이 아니다. 구속력 있는 법령, 정부가 내는 비구속 가이드라인, 국가 사이의 합의와 선언, 기술 표준, 기업 내부 정책이 층을 이루며 함께 작동하는 구조 전체를 부른다. 기술이 입법보다 빠르게 바뀌기 때문에 법이 아닌 수단이 실질적인 역할을 크게 맡는 것이 이 분야의 특징이다. 어느 하나가 다른 것을 대체하지 않고, 서로 다른 속도와 강도로 겹쳐 작동한다.

문서를 읽을 때는 어느 층위를 말하는지 먼저 확인하는 것이 좋다. 국제 층위에서는 정상회의와 다자 원칙이 방향을 제시하고, 국가 층위에서는 법령과 전담 기구와 안전연구소가 실행을 맡으며, 조직 층위에서는 내부 위원회와 위험관리 체계가 개별 결정을 다룬다. 같은 말이 각 층위에서 다른 무게를 갖는다. 국제 합의의 투명성은 권고이고, 법령의 투명성은 의무이며, 기업 정책의 투명성은 스스로 정한 약속이다.

동향 표기 · 거버넌스(491) / Governance(149)
동향 문서 491기간 32개월최근 87%병기 14
140AI 윤리AI ethicsAI의 개발·배포·이용이 지켜야 할 가치와 규범을 다루는 원칙과 논의의 영역, 그리고 이를 정리한 원칙 체계를 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도

용어 설명

AI의 개발·배포·이용이 지켜야 할 가치와 규범을 다루는 원칙과 논의의 영역, 그리고 이를 정리한 원칙 체계를 의미함.

  • 인간 존엄 존중, 해악 방지, 공정성, 투명성, 책임성, 프라이버시 보호 등이 정부·기업·국제기구의 원칙 문서에 공통으로 나타나며, OECD와 유네스코의 권고가 다자 문서로 널리 인용됨.
  • 원칙끼리 충돌할 때(예: 투명성과 보안, 유해 표현 차단과 표현의 자유) 무엇을 우선할지 답하지 않는 경우가 많아, 실행 수단으로 표준·법제·위험 관리 체계가 함께 필요하다는 지적이 있음.

구별'안전'이 피해·사고를 막는 기술적·제도적 조치에 초점을 둔다면, 'AI 윤리'는 무엇을 피해로 보고 무엇을 지킬 가치로 볼지에 대한 규범적 기준을 제공함.

용어 관계

혼동 주의 안전

해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 4

2010년대 후반에 정부, 기업, 국제기구, 학회가 수십 건을 발표했고 내용은 상당히 수렴했다. 인간 존엄의 존중, 해악 방지, 공정성, 투명성, 책임성, 프라이버시 보호가 거의 모든 문서에 반복해 등장한다. 여러 주체가 독립적으로 도달한 목록이 비슷하다는 것은, 최소한 무엇이 문제인지에 대해서는 광범위한 동의가 있다는 뜻으로 읽힌다. OECD와 유네스코의 권고가 다자 문서로 널리 인용된다.

다만 수렴했다는 사실이 곧 실행을 뜻하지는 않는다. 원칙 문서가 대체로 답하지 않는 것은 원칙 사이가 충돌할 때 무엇을 우선하느냐다. 정확도를 높이려면 더 많은 개인정보가 필요하고, 유해 표현을 막으려면 표현의 자유가 제약되며, 투명성을 높이면 보안이 약해질 수 있다. 실제 결정은 이런 상충 지점에서 내려지는데 원칙은 그 지점에서 침묵한다. 논의의 무게가 원칙에서 표준과 법제로 옮겨 간 이유가 여기 있다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-16🇹🇷 튀르키예 AI 윤리 권고 가이드라인·원칙
  2. 2026-10-15🇧🇷 브라질 인간 대상 연구 AI 윤리 평가 지침·도구 모음 가이드라인·원칙
  3. 2026-10-01🇲🇾 말레이시아 자율 AI 윤리강령(AICE) 가이드라인·원칙
  4. 2026-09-14🇺🇳 제4차 유네스코 AI 윤리 글로벌 포럼 공동의장 요약문 유네스코(UNESCO) / 사우디 데이터·AI청(SDA
동향 표기 · 윤리(124) / 윤리 원칙(14) / ethics(21)
동향 문서 124기간 29개월최근 79%병기 4
141책임 있는 AIresponsible AIAI를 개발·운영하는 조직이 윤리 원칙을 내부 절차와 관행으로 구현해 위험을 스스로 관리하려는 접근과 그 실무를 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도
대체어책임성 있는 AI

용어 설명

AI를 개발·운영하는 조직이 윤리 원칙을 내부 절차와 관행으로 구현해 위험을 스스로 관리하려는 접근과 그 실무를 의미함.

  • 출시 전 위험 검토 절차, 심의 위원회, 영향 평가, 배포 후 모니터링, 문제 발생 시 대응 경로 등을 조직 운영에 넣는 형태로 구현됨.
  • 법이 아직 다루지 못한 영역을 먼저 다룰 수 있으나, 구속력이 없어 사업 압력과 충돌할 때 후퇴하기 쉽고 원칙이 실제 제품 결정으로 이어졌는지 외부에서 확인하기 어렵다는 비판이 있음.
  • 이 때문에 구속력 있는 요구와 외부 감사로 뒷받침해야 실효가 있다는 쪽으로 논의가 이어지고 있음.

구별'책임 있는 AI'는 조직의 자율적 실무 관행에 무게가 있고, '책임성(accountability)'은 결과에 대해 설명·시정·배상하게 만드는 구조를 가리킴.

용어 관계

먼저 알 개념 AI 윤리 · 혼동 주의 책임성

해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 4

규제가 요구하는 최소선을 지키는 것과 달리, 조직이 자율적으로 절차를 만들어 실천하는 쪽에 무게가 있는 말이다. 구체적으로는 출시 전에 위험을 검토하는 내부 절차, 결정을 심의하는 위원회, 영향 평가, 배포 후의 모니터링, 문제가 생겼을 때의 대응 경로를 조직 운영 안에 넣는 형태로 구현된다. 법이 아직 다루지 못하는 영역을 조직이 먼저 다룰 수 있다는 점이 이 접근의 강점이다.

비판은 실효성에 모인다. 자율 규범은 구속력이 없어서 사업 압력과 충돌할 때 물러나기 쉽고, 원칙 선언이 실제 제품 결정으로 이어졌는지 외부에서 확인할 방법이 마땅치 않다. 내부 위원회의 권고가 받아들여지지 않은 사례나 담당 조직이 축소된 사례가 이런 우려의 근거로 인용된다. 그래서 최근 논의는 자율 규범을 대체 수단으로 보지 않고, 구속력 있는 요구와 외부 감사로 뒷받침해야 작동한다는 쪽으로 정리되고 있다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-30🇮🇳 인도 TRAI 통신 분야 책임있는 AI 가이드라인 초안 가이드라인·원칙
  2. 2026-09-30🇨🇦 뉴펀들랜드 래브라도 책임 있는 AI 활용 정책 가이드라인·원칙
  3. 2026-09-12책임 있는 AI 지침 Businesses AIGL · 행정규칙
  4. 2026-09-11🇳🇿 뉴질랜드 공공서비스 생성형 AI 책임 있는 AI 지침 가이드라인·원칙
동향 표기 · Responsible(41)
동향 문서 41기간 15개월최근 78%병기 0
142신뢰할 수 있는 AItrustworthy AI안전성, 강건성, 투명성, 공정성, 프라이버시, 책임성 등 여러 요건을 함께 갖추어 신뢰할 만한 근거가 있는 AI를 가리키는 정책 개념을 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도
대체어신뢰 가능한 AI

용어 설명

안전성, 강건성, 투명성, 공정성, 프라이버시, 책임성 등 여러 요건을 함께 갖추어 신뢰할 만한 근거가 있는 AI를 가리키는 정책 개념을 의미함.

  • 하나의 기술 속성이 아니라 여러 요건의 묶음이며, 어느 하나만 충족해서는 안 되고 AI 수명주기 전반에 걸쳐 함께 유지되어야 한다는 점이 요지임.
  • 사람들이 실제로 신뢰하는지와 신뢰할 만한지는 다른 문제로, 신뢰를 높이는 것 자체가 목표가 되면 안전하지 않은 시스템의 수용을 늘리는 방향으로 뒤집힐 수 있음.
  • 요건 사이의 상충(예: 투명성과 보안, 정확성과 프라이버시)을 어떻게 조정할지는 맥락별 판단이 필요함.

구별'신뢰성(reliability)'은 의도된 기능을 일관되게 수행하는 개별 성질이고, '신뢰할 수 있는 AI(trustworthy AI)'는 신뢰성을 포함한 여러 요건을 묶은 상위 개념임.

용어 관계

주요 기관·문서별 개념 및 적용

🇪🇺EU AI HLEG윤리 지침
  • 신뢰할 수 있는 AI의 일곱 요건으로 인간의 행위주체성과 감독, 기술적 강건성과 안전, 프라이버시와 데이터 거버넌스, 투명성, 다양성·비차별·공정성, 사회적·환경적 복리, 책임성을 제시함. [1]
  • 일곱 요건은 모두 동등하게 중요하고 서로를 뒷받침하며, AI 시스템 수명주기 전반에서 이행·평가되어야 한다고 봄. [1]
🇺🇸NISTAI 100-1, 2023
  • AI RMF 1.0은 신뢰할 수 있는 AI의 특성으로 타당성·신뢰성, 안전, 보안·회복력, 책임성·투명성, 설명 가능성·해석 가능성, 프라이버시 강화, 유해한 편향이 관리된 공정성을 제시함. [2]
  • 타당성·신뢰성을 다른 특성의 기반이 되는 필요조건으로, 책임성·투명성을 다른 모든 특성과 관련된 특성으로 배치함. [2]

출처

  1. 1AI HLEG (2019). Ethics Guidelines for Trustworthy AI, p.15 · 원문
  2. 2NIST AI 100-1 (AI RMF 1.0), Section 3, p.12 · 원문
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 4

하나의 기술 속성이 아니라 여러 요건을 함께 묶은 정책 개념이다. 유럽에서 정리한 정식화가 가장 널리 인용된다. 인간의 행위주체성과 감독, 기술적 강건성과 안전, 프라이버시와 데이터 거버넌스, 투명성, 다양성과 비차별·공정성, 사회적·환경적 복리, 책임성의 일곱 요건이다. 어느 하나만 충족해서는 안 되고 전체가 함께 요구된다는 점, 그리고 개발 단계뿐 아니라 사용되는 동안 계속 유지돼야 한다는 점이 이 틀의 요지다.

신뢰(trust)와 신뢰할 만함(trustworthiness)을 구별하는 것이 이 개념을 오해하지 않는 요령이다. 사람들이 실제로 신뢰하는지는 조사하면 알 수 있는 사실의 문제이고, 신뢰할 만한지는 근거를 따져야 하는 규범의 문제다. 둘이 어긋날 수 있다는 점이 중요하다. 신뢰를 높이는 것 자체가 목표가 되면, 실제로 안전하지 않은 시스템에 대한 수용을 늘리는 방향으로 뒤집힐 수 있다. 목표는 사람들이 믿게 만드는 것이 아니라 믿을 만하게 만드는 것이다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-06🇰🇷 한국·안전·신뢰 AI 기술영향평가 정책보고서
  2. 2025-10-01🇳🇱 ROBUST 신뢰할 수 있는 AI 시스템 연구 프로젝트 Dutch Research Council · 기타
  3. 2025-09-02🇺🇸 노스캐롤라이나 신뢰할 수 있는 AI 행정명령 행정규칙
  4. 2025-07-09🇹🇷 튀르키예 신뢰할 수 있는 AI 신뢰 표지 Ministry of Industry and Techn
동향 표기 · Trustworthy(25)
동향 문서 25기간 12개월최근 72%병기 0
143책임성accountabilityAI 시스템의 개발·배포·운영으로 생긴 결과에 대해 누가 설명하고 시정·배상해야 하는지가 정해져 있고, 실제로 그렇게 하도록 만드는 구조·성질을 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도
대체어AI 책임성어카운터빌리티

용어 설명

AI 시스템의 개발·배포·운영으로 생긴 결과에 대해 누가 설명하고 시정·배상해야 하는지가 정해져 있고, 실제로 그렇게 하도록 만드는 구조·성질을 의미함.

  • 책임 주체의 지정, 무슨 일이 있었는지 확인할 수 있는 기록·문서, 외부 검증 수단, 피해자의 이의 제기·구제 절차가 함께 갖춰질 때 성립하며, 원칙 선언만으로는 확보되지 않음.
  • 파운데이션 모델 개발자, 미세조정·통합 사업자, 배포자, 운영 조직으로 이어지는 가치사슬이 길어 책임이 분산·소실되기 쉬우므로, 단계별 의무 배분과 기록 의무가 AI 거버넌스의 핵심 과제가 됨.

구별'책임 있는 AI(responsible AI)'가 조직이 자율적으로 갖추는 실무 관행을 가리킨다면, '책임성(accountability)'은 결과를 설명하고 시정하게 만드는 구조 자체를 가리킴.

용어 관계

주요 기관·문서별 개념 및 적용

🇺🇸NISTAI 100-1, 2023
  • 신뢰할 수 있는 AI는 책임성에 달려 있고 책임성은 투명성을 전제로 한다고 보며, 잘못된 출력에 대한 실질적 구제에 투명성이 흔히 필요하다고 설명함. [1]
  • GOVERN 2는 AI 위험의 매핑·측정·관리에 적절한 팀과 개인이 권한·책임·교육을 갖도록 책임 구조를 갖추고, 역할·책임·소통 경로를 문서화하도록 함. [2]
🇪🇺EU GPAI 실천강령2025
  • 이행조치 8.1은 시스템적 위험 관리 책임을 조직 모든 층위에 명확히 정의하고, 감독·소유·지원과 모니터링·신뢰보증 책임을 감독 기구와 경영진 등에 배분하도록 함. [3]
🇰🇷한국 AI 기본법2026
  • 제34조는 고영향 AI 사업자에게 위험관리방안, 결과·주요 기준·학습데이터 개요의 설명 방안, 이용자 보호 방안, 사람의 관리·감독, 조치 내용을 확인할 문서의 작성·보관을 이행하게 함. [4]
📄인공지능 윤리원칙한국, 2026
  • 인공지능 윤리원칙은 책임성 원칙으로 AI 행위자가 생애주기 전반의 역할과 책임을 인식하고 이행하려 노력하며, 문제 발생 시 책임 소재를 밝혀 실질적 피해 구제가 이루어지게 하도록 함. [5]

출처

  1. 1NIST AI 100-1 (AI RMF 1.0), 3.4, p.15–16 · 원문
  2. 2NIST AI 100-1 (AI RMF 1.0), GOVERN 2, p.23 · 원문
  3. 3EU GPAI Code of Practice (2025), Safety & Security, Measure 8.1, p.23–24 · 원문
  4. 4「인공지능기본법」, 제34조 · 원문
  5. 5『대한민국 인공지능 윤리원칙』(2026), 3.2.4, p.5 · 원문
해설 · 참고 기사 3 · 관련 연구 3 · 정책 문서 2

맡은 역할을 뜻하는 책임과 갈라 두면 뜻이 분명해진다. 책임은 무엇을 해야 하는지에 관한 것이고, 책임성은 일이 잘못됐을 때 설명하고 시정하고 배상하게 만드는 구조에 관한 것이다. 그래서 원칙 선언만으로는 확보되지 않는다. 무슨 일이 있었는지 확인할 수 있는 기록이 남아야 하고, 외부에서 검증할 수 있어야 하며, 피해를 입은 사람이 이의를 제기할 창구와 실제로 구제받을 절차가 있어야 한다.

AI에서 이것이 어려운 이유는 관여하는 주체의 사슬이 길다는 점이다. 파운데이션 모델을 만든 회사, 그것을 특정 용도로 조정한 사업자, 서비스로 묶어 배포한 곳, 실제로 운영하며 결정에 쓰는 조직이 모두 다를 수 있다. 각자 자기 앞의 단계를 신뢰했다고 말하면 책임이 사슬 어딘가로 사라진다. EU AI법이 모델을 공급하는 쪽과 실제로 배치해 쓰는 쪽의 의무를 나눠 규정한 것도 이 공백을 막으려는 설계다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-07-21🇺🇸 미국 상원법안 S 2367 AI 책무성 · 개인정보보호 법 2025 United States Congress · 법안
  2. 2025-07-09🇵🇹 포르투갈 공공행정 AI 윤리·투명성·책임성 가이드 Agency for Administrative Mode
동향 표기 · 책임성(111)
동향 문서 111기간 19개월최근 89%병기 4
144투명성transparencyAI 시스템의 존재와 성질, 작동 방식, 개발·운영 과정에 관한 정보가 이용자·영향받는 사람·규제기관·연구자 등 관계자에게 제공되는 정도를 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도

용어 설명

AI 시스템의 존재와 성질, 작동 방식, 개발·운영 과정에 관한 정보가 이용자·영향받는 사람·규제기관·연구자 등 관계자에게 제공되는 정도를 의미함.

  • AI와 대화 중임을 알리는 것, 결정 당사자에게 판단 근거를 설명하는 것, 규제기관에 학습 데이터와 평가 결과를 제출하는 것, 연구자에게 모델 접근을 허용하는 것이 모두 투명성으로 불리며, 앞의 둘은 개인의 권리에서, 뒤의 둘은 감독·검증의 필요에서 나옴.
  • AI 위험을 외부에서 평가·감시하고 책임을 묻기 위한 전제 조건이며, 모델 카드처럼 공개 항목과 형식을 미리 정한 문서가 보안·영업비밀·개인정보와의 절충 도구로 쓰임.
  • 완전 공개와 같은 말이 아니며, 모델 가중치 공개가 시스템 문서 공개보다 반드시 더 투명한 것도 아님.

구별'투명성'은 정보 제공의 정도를 가리키고, '해석 가능성(interpretability)'은 모델 내부 작동을 사람이 이해할 수 있는 정도, '설명 가능성(explainability)'은 개별 출력의 근거를 사람이 이해할 수 있게 설명하는 성질·기법을 가리킴.

용어 관계

주요 기관·문서별 개념 및 적용

🇺🇸NISTAI 100-1, 2023
  • 투명성을 AI 시스템과 그 출력에 관한 정보가 상호작용하는 사람에게 제공되는 정도로 정의하고, 설계 결정·학습 데이터부터 배포 결정과 그 결정 주체까지를 범위로 보며 책임성의 전제로 둠. [1]
🇪🇺EU AI Act2024/1689
  • 제50조는 사람과 직접 상호작용하는 AI 시스템이 AI와 상호작용 중임을 알리도록 설계하게 하고, 합성 음성·이미지·영상·텍스트 출력은 기계 판독 가능한 형식으로 표시해 탐지할 수 있게 함. [2]
  • 제50조는 2026.8.2부터 적용되며, 그 전에 출시된 시스템의 표시 의무(제2항)는 옴니버스 규정으로 2026.12.2까지 유예됨. [5]
🇪🇺EU GPAI 실천강령2025
  • 투명성 장은 제53조(1)(a)·(b)의 문서화 의무 이행을 위한 세 이행조치와 모델 문서화 양식을 두고, 항목별로 하류 제공자용인지 AI 사무국·국가 당국용(요청 시 제공)인지 표시함. [3]
🇰🇷한국 AI 기본법2026
  • 제31조는 고영향·생성형 AI 기반 제품·서비스임을 이용자에게 사전 고지하고, 생성형 AI 결과물임을 표시하며, 실제와 구분하기 어려운 가상 음향·이미지·영상은 명확히 인식할 수 있게 고지·표시하도록 함. [4]

출처

  1. 1NIST AI 100-1 (AI RMF 1.0), 3.4, p.15–16 · 원문
  2. 2EU AI Act, Art. 50, p.82 · 원문
  3. 3EU GPAI Code of Practice (2025), Transparency, p.2 · 원문
  4. 4「인공지능기본법」, 제31조 · 원문
  5. 5Regulation (EU) 2026/1744, Art. 1(39)·(40) · 원문
해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

누구에게 무엇을 알리는지에 따라 전혀 다른 요구가 되는데, 하나의 낱말로 뭉쳐 쓰이는 탓에 혼동이 잦다. 이용자에게 지금 AI와 대화하고 있음을 알리는 것, 결정을 받은 당사자에게 판단 근거를 설명하는 것, 규제기관에 학습 자료와 평가 결과를 제출하는 것, 연구자에게 모델 접근을 허용하는 것이 모두 투명성으로 불린다. 요구의 근거도 다르다. 앞의 둘은 개인의 권리에서, 뒤의 둘은 감독과 검증의 필요에서 나온다.

완전 공개와 같은 말이 아니라는 점도 짚어 둘 만하다. 모델 가중치를 공개하는 것과 시스템 문서를 공개하는 것은 전혀 다른 일이고, 전자가 반드시 후자보다 투명한 것도 아니다. 실제로는 보안, 영업비밀, 개인정보 때문에 대상별로 다른 수준을 정하는 것이 통상적인 해법이다. 모델 카드나 데이터 시트처럼 무엇을 어떤 형식으로 밝힐지 미리 정해 둔 문서가 이 절충의 도구로 쓰인다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-08-28🇰🇷 인공지능 투명성 확보 가이드라인 과기부/NIA/TTA/ETRI · 가이드라인·원칙
  2. 2026-08-25🇯🇵 일본 생성AI 지식재산 보호·투명성 원칙 코드 일본 내각부 지식재산전략추진사무국(内閣府 知的財産戦略推
  3. 2026-08-18🇯🇵 생성AI 적정 이용을 위한 지식재산 보호·투명성 원칙 코드 가이드라인·원칙
  4. 2026-08-02🇺🇸 캘리포니아 AI 투명성 법(AB 853) 설계 요건 법
동향 표기 · 투명성(293)
동향 문서 293기간 30개월최근 84%병기 2
145알고리즘 투명성algorithmic transparencyAI 시스템의 출력(추천·결정 등)을 좌우하는 요인을 이용자·결정 당사자·감독기관 등 이해관계자가 알 수 있는 정도를 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도

용어 설명

AI 시스템의 출력(추천·결정 등)을 좌우하는 요인을 이용자·결정 당사자·감독기관 등 이해관계자가 알 수 있는 정도를 의미함.

  • 모델의 내부 작동, 학습 방식과 학습 데이터, 출력에 영향을 준 입력의 특징, 다른 조건에서 내렸을 결정 등이 알 수 있어야 할 대상에 포함됨.
  • 결정의 오류·편향을 발견하고 이의를 제기하기 위한 전제가 되며, 해석 가능성·설명 가능한 AI 연구가 이를 높이는 기술적 수단으로 쓰임.
  • 거대 언어 모델처럼 내부 작동을 사람이 이해하기 어려운 모델에서는 충분한 알고리즘 투명성을 확보하기 어렵다는 한계가 있음.

구별'알고리즘 투명성'이 개별 출력의 근거를 알 수 있는 정도라면, '제도적 투명성'은 기업·조직이 학습 데이터·안전 조치·의사결정 과정 등을 외부에 공개하는 정도를 가리킴.

용어 관계

상위 투명성 · 혼동 주의 제도적 투명성

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 범용 AI의 출력을 좌우하는 요인을 여러 이해관계자가 알 수 있는 정도로 정의하고, 모델 내부 작동, 학습 방식·데이터, 출력에 영향을 준 입력 특징, 다른 상황에서 내렸을 결정 등을 그 요인으로 듦. [1]

출처

  1. 1International AI Safety Report 2025, p.176–177; Glossary p.218–219 · 원문
원문 인용 1 · 정책 문서 3

번역범용 AI의 출력(추천·결정 등)을 좌우하는 요인을 이해관계자가 알 수 있는 정도. 모델 내부 작동, 학습 방식·데이터, 입력의 어떤 특징이 출력에 영향을 줬는지, 다른 상황에서 어떤 결정을 내렸을지 등이 포함될 수 있다.

The degree to which the factors informing general-purpose AI output, e.g. recommendations or decisions, are knowable by various stakeholders. Such factors might include the inner workings of the AI model, how it has been trained, what data it is trained on, what features of the input affected its output, and what decisions it would have made under different circumstances.

출처 International Scientific Report on the Safety of Advanced AI · p.176–177, p.218–219 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-05-18🇪🇺 알고리즘 투명성 유럽센터(ECAT) 기구·제도
  2. 2025-12-11🇺🇸 알고리즘 투명성·선택법 United States Congress · 법안
  3. 2021-11-29🇬🇧 영국 알고리즘 투명성 기록 표준(ATRS) Department for Science, Innova
PDF 표기 · Algorithmic Transparency
PDF 문서 6정의섹션 1
146제도적 투명성institutional transparencyAI 기업·조직이 학습 데이터, 모델 구조, 안전·보안 조치, 의사결정 과정 등 기술·조직 정보를 공개하거나 정부의 감독에 드러내는 정도를 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도

용어 설명

AI 기업·조직이 학습 데이터, 모델 구조, 안전·보안 조치, 의사결정 과정 등 기술·조직 정보를 공개하거나 정부의 감독에 드러내는 정도를 의미함.

  • 모델 카드·시스템 카드, 안전 프레임워크, 평가 결과 공개, 규제기관 제출 문서 등이 주요 수단이 됨.
  • 외부 연구자와 규제기관이 개발자의 안전 주장을 검증하고 AI 위험을 독립적으로 평가하기 위한 전제이며, 공개 범위와 형식이 개발자마다 달라 비교가 어렵다는 지적이 있음.
  • 모델 가중치나 위험 역량 정보처럼 공개 자체가 위험이 될 수 있는 정보, 영업비밀과의 균형이 쟁점이 됨.

구별'제도적 투명성'이 조직 차원의 정보 공개 정도라면, '알고리즘 투명성'은 개별 출력을 좌우한 요인을 알 수 있는 정도를 가리킴.

용어 관계

상위 투명성 · 혼동 주의 알고리즘 투명성

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 2025년 보고서는 AI 기업이 학습 데이터, 모델 구조, 배출 데이터, 안전·보안 조치, 의사결정 과정 등 기술·조직 정보를 공개나 정부 감독에 드러내는 정도로 정의함. [1]
  • 2026년 보고서는 조직이 정보를 공개하는 정도로 정의하고, AI 개발자의 경우 학습 데이터·모델 구조·안전·보안 조치·의사결정 과정의 공유를 예로 듦. [2]

출처

  1. 1International AI Safety Report 2025, p.176–177; Glossary p.223 · 원문
  2. 2International AI Safety Report 2026, p.151 · 원문 · 라이브러리에서 보기
원문 인용 3

번역AI 기업이 학습 데이터·모델 구조·배출 데이터·안전·보안 조치·의사결정 과정 등 기술·조직 정보를 공개·정부 감시에 드러내는 정도.

The degree to which AI companies disclose technical or organisational information to public or governmental scrutiny, including training data, model architectures, emissions data, safety and security measures, or decision-making processes. Recent advances in general-purpose AI capabilities have largely been powered by a rapid increase in the amount of computation that goes into developing and using AI models. The most straightforward methodology for improving general-purpose AI performance on end-tasks is to allow the model to learn from as many data examples as possible. This is achieved by increasing the size of the model, measured as the number of parameters, roughly in proportion with the amount of available data ( 156*, 157* ).

출처 International Scientific Report on the Safety of Advanced AI · p.129–130 · EN · 정의섹션

번역조직이 정보를 공개하는 정도. AI 개발자의 경우 학습 데이터·모델 구조·안전·보안 조치·의사결정 과정 공유 등이 해당한다.

The degree to which organisations publicly disclose information, such as (in the case of AI developers) sharing training data, model architectures, safety and security measures, or decision-making processes.

출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 라이브러리에서 보기

번역AI 기업이 학습 데이터·모델 구조·배출 데이터·안전·보안 조치·의사결정 과정 등 기술·조직 정보를 공개·정부 감시에 드러내는 정도.

The degree to which AI companies disclose technical or organisational information to public or governmental scrutiny, including training data, model architectures, emissions data, safety and security measures, or decision-making processes.

출처 International Scientific Report on the Safety of Advanced AI · p.176–177, p.223 · EN · 정의섹션

PDF 표기 · Institutional transparency
PDF 문서 3정의섹션 2
147공정성fairnessAI 시스템의 결정이나 결과가 개인·집단을 편향이나 부당한 차별 없이 대우해야 한다는 규범적 가치와, 그 충족 정도를 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도

용어 설명

AI 시스템의 결정이나 결과가 개인·집단을 편향이나 부당한 차별 없이 대우해야 한다는 규범적 가치와, 그 충족 정도를 의미함.

  • 집단별 선정률 동등, 집단별 오류율 동등, 실제 자격을 갖춘 사람 사이의 선정률 동등, 비슷한 개인의 비슷한 대우 등 여러 정량적 정의가 제시되며 서로 다른 결과를 냄.
  • 집단 간 실제 분포가 다르면 이 기준들을 동시에 만족하기 어렵다는 점이 알려져 있어, 어떤 기준을 택할지는 채용·대출·의료·형사 절차 등 결정 맥락에 따른 정책적 판단이 됨.
  • 차별로 인한 AI 피해를 예방하는 요건으로, 고위험 AI의 데이터 품질 관리와 편향 평가의 근거가 됨.

구별'편향'이 데이터·모델·운용에서 관측되는 체계적 치우침이라는 현상이라면, '공정성'은 그 결과를 판단하는 규범적 기준임.

용어 관계

상위 신뢰할 수 있는 AI · 혼동 주의 편향

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • AI 시스템이 편향이나 부당한 차별 없이, 특히 인종·성별·연령·사회경제적 지위 등 보호 속성과 관련해 모든 개인·집단을 공평하게 대우하는 결정을 내려야 한다는 사회적 가치로 정의함. [1]

출처

  1. 1International AI Safety Report 2025, Glossary, p.221–222 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

편향이 관측되는 현상이라면 공정성은 그것을 판단하는 규범이다. 그런데 무엇이 공정인지에 대한 정의가 하나가 아니라는 점이 이 개념을 다루기 어렵게 만든다. 집단별 합격률을 같게 맞추는 것, 집단별 오류율을 같게 맞추는 것, 실제로 자격을 갖춘 사람들 사이에서 합격률을 같게 맞추는 것, 비슷한 개인을 비슷하게 대하는 것이 모두 공정성의 정의로 제시된다. 각각 그럴듯하지만 서로 다른 결과를 낸다.

더 중요한 사실은 이 기준들이 일반적으로 동시에 만족될 수 없다는 것이 수학적으로 증명돼 있다는 점이다. 집단 사이에 실제 분포가 다르면 한 기준을 맞추면 다른 기준이 어긋난다. 그래서 공정성 확보는 최적화 문제가 아니라 선택 문제가 된다. 무엇을 배분하는 결정인지에 따라 — 채용인지 대출인지 의료 자원 배분인지 형사 절차인지 — 어떤 기준이 적절한지가 달라지며, 그 선택은 정책적 판단의 영역이다. 기준을 밝히지 않은 공정성 주장은 검증할 수 없다.

번역인공지능 시스템이 편향이나 부당한 차별 없이, 특히 인종·성별·연령·사회경제적 지위 등 보호 속성과 관련해 모든 개인·집단을 공정하게 대우해야 한다는 사회적 가치.

A societal value according to which AI systems should make decisions that are free from bias or unjust discrimination, treating all individuals and groups equitably, particularly with regard to protected attributes such as race, gender, age, or socio-economic status.

출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-01-03🇺🇸 스포츠 경기 내기 AI 제한 및 소비자 보호 조항 United States Congress · 법안
  2. 2025-01-03🇺🇸 법과학 알고리즘 공정성 법안 United States Congress · 법안
  3. 2024-01-03🇺🇸 뉴욕 디지털 공정성법안(S2277, 제7~9절) 법안
  4. 2023-08-30🇬🇧 영국 공정성 혁신 챌린지 Department for Science, Innova
동향 표기 · 공정성(78)
동향 문서 78기간 19개월최근 86%병기 2PDF 문서 23정의섹션 3
148신뢰성reliabilityAI 시스템이 의도된 기능을 다양한 운용 조건과 시간에 걸쳐 일관되게 수행하는 성질을 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도

용어 설명

AI 시스템이 의도된 기능을 다양한 운용 조건과 시간에 걸쳐 일관되게 수행하는 성질을 의미함.

  • 같은 조건에서 결과가 일관되는지, 시간이 지나도 성능이 유지되는지, 실패가 예측 가능한 범위에 있는지 등으로 판단됨.
  • AI 오작동에 의한 피해를 줄이는 기초 요건이며, 그럴듯하지만 틀린 출력을 내는 환각은 거대 언어 모델의 신뢰성 한계로 자주 지적됨.

구별'신뢰성(reliability)'이 의도된 기능을 일관되게 수행하는 성질이라면, '강건성(robustness)'은 예상치 못한 입력이나 적대적 공격 등 넓은 상황에서도 안전하게 작동하는 성질이고, '신뢰할 수 있는 AI(trustworthy AI)'는 신뢰성을 포함한 여러 요건을 묶은 상위 정책 개념임.

용어 관계

상위 신뢰할 수 있는 AI · 혼동 주의 강건성

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • AI 시스템이 의도된 기능을 일관되게 수행하는 능력으로 정의함. [1]

출처

  1. 1International AI Safety Report 2025, p.88–89; Glossary p.225–226 · 원문
원문 인용 1 · 관련 연구 4 · 정책 문서 4

번역인공지능 시스템이 의도된 기능을 일관되게 수행하는 능력.

An AI system's ability to consistently perform its intended function.

출처 International Scientific Report on the Safety of Advanced AI · p.88–89, p.225–226 · EN · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-01-03🇺🇸 AI 발전·신뢰성 연구센터 설립법 United States Congress · 법안
  2. 2024-11-01🇬🇧 JSP 936 V1.1 국방 분야 신뢰성 있는 인공지능 지침 Government of the United Kingd
  3. 2023-06-09🇯🇵 생성형 AI 투명성·신뢰성 연구개발 센터 The National Institute of Info
  4. 2021-05-13🇰🇷 한국 AI 윤리·신뢰성 확보 추진계획 Ministry of Science and ICT (M
PDF 표기 · Reliability
PDF 문서 33정의섹션 4
149강건성robustnessAI 시스템이 학습 때와 다른 입력, 예상치 못한 환경, 의도적 공격 등 넓은 범위의 상황에서도 안전하고 의도대로 작동하는 성질을 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도
대체어견고성

용어 설명

AI 시스템이 학습 때와 다른 입력, 예상치 못한 환경, 의도적 공격 등 넓은 범위의 상황에서도 안전하고 의도대로 작동하는 성질을 의미함.

  • 분포가 바뀐 입력에서도 일반화하는 능력, 적대적 입력·탈옥·프롬프트 인젝션을 견디는 힘, 잡음이나 오류가 섞인 입력에도 흔들리지 않는 안정성 등을 포괄함.
  • 배포 환경의 낯선 입력이 예상치 못한 실패를 일으킬 수 있어, 적대적 학습·레드티밍·적대적 시험이 강건성 확보와 검증 수단으로 쓰임.
  • 알려진 공격을 막는 방어가 새로운 공격에는 통하지 않는 경우가 많아, 강건성을 충분히 입증하기 어렵다는 한계가 있음.

구별'강건성(robustness)'이 넓은 상황에서의 안전한 작동을 가리킨다면, '신뢰성(reliability)'은 의도된 기능을 일관되게 수행하는 성질을 가리킴.

용어 관계

상위 신뢰할 수 있는 AI · 앞 단계 적대적 학습 · 혼동 주의 신뢰성

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • AI 시스템의 강건성을 넓은 범위의 상황에서 안전하게 행동하는 성질로 정의하고, 악의적 이용자가 의도적으로 해로운 행동을 유도하려는 시도를 견디는 것을 포함하되 이에 한정되지 않는다고 설명함. [1]
🇺🇸NISTAI 100-1, 2023
  • 정확성과 강건성은 AI 시스템의 타당성·신뢰성에 기여하지만 서로 긴장 관계일 수 있으며, 학습 범위 밖으로 일반화되지 못한 시스템은 위험을 키운다고 봄. [2]
🇪🇺EU AI HLEG2019
  • 강건성을 적용 맥락에 맞는 기술적 강건성과 운영 환경을 고려하는 사회적 강건성을 아우르는 것으로 보고, 신뢰할 수 있는 AI의 세 요소 중 하나로 둠. [3]
🇪🇺EU GPAI 실천강령2025
  • 안전 완화 조치가 미세조정 공격·탈옥 같은 적대적 압박에도 충분히 강건해야 한다고 요구함. [4]

출처

  1. 1International AI Safety Report 2026, Glossary, p.153–154 · 원문 · 라이브러리에서 보기
  2. 2NIST AI 100-1 (AI RMF 1.0), 3.1, p.13–14 · 원문
  3. 3AI HLEG (2019). Ethics Guidelines for Trustworthy AI, Glossary, p.37 · 원문
  4. 4EU GPAI Code of Practice (2025), Safety & Security, Measure 5.1, p.17 · 원문
관련 연구 4 · 정책 문서 1

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-07-09🇪🇺 인공지능의 견고성과 설명가능성 보고서 정책보고서
150신뢰보증assuranceAI 시스템이 안전성·신뢰성 등 정해진 요건이나 기대를 충족한다는 근거를 수집·평가하고, 그 결과를 이해관계자에게 전달하는 활동과 체계를 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도
대체어AI 신뢰보증AI 보증AI 어슈어런스

용어 설명

AI 시스템이 안전성·신뢰성 등 정해진 요건이나 기대를 충족한다는 근거를 수집·평가하고, 그 결과를 이해관계자에게 전달하는 활동과 체계를 의미함.

  • 모델 평가, 감사, 적합성 평가, 인증, 안전 사례 작성 등 여러 기법으로 주장과 증거를 연결하며, 개발자 자체 점검부터 독립 제3자 검증까지 수준이 다양함.
  • 개발자의 '안전하다'는 주장을 규제기관·구매자·이용자가 확인할 수 있게 해 주는 장치로, 신뢰보증 수단이 갖춰져야 AI 안전 요건도 실제로 집행·확인될 수 있음.
  • 평가 방법이 충분히 표준화되지 않았고 모델이 계속 갱신되어 한 시점의 보증이 오래 유효하지 않다는 한계가 지적됨.

구별'규정 준수(compliance)'가 정해진 법령·표준의 요구를 지키고 증명하는 일이라면, '신뢰보증'은 규제 여부와 관계없이 시스템이 믿을 만하다는 근거를 만들어 전달하는 더 넓은 활동임.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025
  • 두 번째 핵심 업데이트는 개발자들이 범용 AI 제품의 신뢰성·강건성·거버넌스에 관한 주장을 입증하려고 신뢰보증 도구를 도입하기 시작했다고 보고하면서, 대표 예인 안전 사례는 도입이 제한적이고 적합성에 논란이 있다고 봄. [1]
🇪🇺EU GPAI 실천강령2025
  • 이행조치 8.1은 조직 내 책임의 하나로 '시스템적 위험 신뢰보증'을 두고, 위험 평가·완화 절차의 적절성에 대한 내부 및 필요시 외부 보증을 감독 기능의 경영기구 등 독립 기구에 제공하도록 함. [2]
🇬🇧UK AISI2025
  • 프론티어 AI 안전 프레임워크의 새 관행으로 배포 전 제3자 평가 의뢰를 들고, 안전한 개발·배포 조건이 충족됐는지에 대한 추가 증거와 보증을 제공하는 데 도움이 된다고 보며, 제3자 평가자에게 충분한 모델 접근과 시간을 주는 것도 별도 관행으로 듦. [3]
🇰🇷한국 AI 기본법2026
  • 제30조는 과기정통부 장관이 단체 등이 안전성·신뢰성 확보를 위해 자율적으로 추진하는 검증·인증 활동(검·인증등)을 가이드라인 보급, 연구, 장비·전문인력 양성 등으로 지원할 수 있게 함. [4]

출처

  1. 1International AI Safety Report Second Key Update (2025), p.16–17 · 원문
  2. 2EU GPAI Code of Practice (2025), Safety & Security, Measure 8.1, p.23–24 · 원문
  3. 3UK AISI (2025). Emerging Practices in Frontier AI Safety Frameworks, p.28 · 원문
  4. 4『인공지능기본법 지원데스크 사례집』(2026), 제30조, p.91–92 · 원문 · 라이브러리에서 보기
관련 연구 3 · 정책 문서 4

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-07-09🇦🇺 NSW AI 보증 프레임워크 Government of New South Wales
  2. 2025-07-07🇸🇬 싱가포르 글로벌 AI 보증 샌드박스 기구·제도
  3. 2024-02-12🇬🇧 영국 AI 보증 소개 Department for Science, Innova
  4. 2023-11-22🇬🇧 영국 AI 보증 혁신 기금 전략·정책
151모델 카드model cardAI 모델의 개발 목적, 학습·평가 방식, 성능, 한계와 위험, 의도된 용도 등을 정해진 형식으로 정리해 공개하는 문서를 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도

용어 설명

AI 모델의 개발 목적, 학습·평가 방식, 성능, 한계와 위험, 의도된 용도 등을 정해진 형식으로 정리해 공개하는 문서를 의미함.

  • 학습 데이터 개요, 벤치마크·안전성 평가 결과, 알려진 한계, 권장·비권장 용도 등을 담으며, 시스템 전체를 다루는 '시스템 카드'와 함께 쓰이기도 함.
  • 제도적 투명성을 높이는 대표적 문서화 관행으로, 하위 개발자·배포자·규제기관이 모델의 위험을 판단하는 근거가 됨.
  • 형식과 공개 범위가 개발자 재량이라 중요한 위험 정보가 빠지거나 출시 후 갱신되지 않을 수 있다는 지적이 있음.

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 문서화를 위험 거버넌스 관행의 하나로 분류하고, AI 모델·시스템이 어떻게 학습·평가되었는지 정보를 제공하는 모델 카드와 시스템 카드를 대표적 문서화 모범 관행으로 듦. [1]

출처

  1. 1International AI Safety Report 2026, p.113 · 원문 · 라이브러리에서 보기
관련 연구 1

관련 연구 · AI 안전 연구

  1. 2026-02-19Gemini 3.1 Pro 모델 카드 공개 딥마인드(DeepMind) 공식 모델 카드
152책임 있는 스케일링 정책responsible scaling policy (RSP)AI 개발자가 모델 역량이 미리 정한 임계값에 도달하면 그에 상응하는 안전·보안 조치를 적용하겠다고 사전에 약속해 공개하는 자율적 위험 관리 정책을 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도
대체어프론티어 안전 프레임워크

용어 설명

AI 개발자가 모델 역량이 미리 정한 임계값에 도달하면 그에 상응하는 안전·보안 조치를 적용하겠다고 사전에 약속해 공개하는 자율적 위험 관리 정책을 의미함.

  • 역량 평가로 화학·생물·방사능·핵 무기 개발 지원, 사이버 공격 등 위험 역량을 점검하고, 임계값에 도달하면 강화된 보안, 배포 통제, 실시간 모니터링 등을 적용하는 조건부(if-then) 약속 구조를 가짐.
  • Anthropic의 책임 있는 스케일링 정책, Google DeepMind의 프론티어 안전 프레임워크처럼 개발자마다 명칭이 달라, 통칭 '프론티어 AI 안전 프레임워크'로 묶여 논의됨.
  • 임계값 설정과 도달 여부 판정을 개발자가 스스로 하고 구속력이 없어, 외부 검증과 규제 연계가 과제로 지적됨.

용어 관계

상위 위험 관리 · 먼저 알 개념 역량 평가, 위험 임계값

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2026
  • 프론티어 AI 안전 프레임워크의 핵심을 모델이 사전에 정한 역량 임계값에 도달하면 특정 대응을 촉발하는 조건부 약속으로 설명하고, CBRN 무기 개발을 의미 있게 도울 수 있는 역량이 확인되면 보안 강화·배포 통제·실시간 모니터링을 적용하는 예를 듦. [1]
  • 이러한 프레임워크는 통상 위험 완화 전 초기 역량 평가와, 완화 후 레드티밍 등에 기반한 잔여 위험 분석 또는 안전 사례를 요구한다고 정리함. [1]
🇬🇧UK AISI2025
  • Anthropic의 책임 있는 스케일링 정책과 Google DeepMind의 프론티어 안전 프레임워크 등 공개된 안전 프레임워크의 실천 사례를 비교하고, 역량 평가 절차와 평가·안전조치 정보의 외부 공개, 정부 통지 같은 조항을 사례로 제시함. [2]

출처

  1. 1International AI Safety Report 2026, p.115 · 원문 · 라이브러리에서 보기
  2. 2UK AISI (2025). Emerging Practices in Frontier AI Safety Frameworks, p.13, p.31 · 원문
관련 연구 3 · 정책 문서 4

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-07-08Anthropic 책임 있는 Scaling 정책(RSP) v3.4 Anthropic · 가이드라인·원칙
  2. 2026-04-17Google DeepMind 프론티어 안전 프레임워크 v3.1 Google DeepMind · 가이드라인·원칙
  3. 2026-02-24Anthropic 책임 있는 스케일링 정책 v3.0 Private-sector companies · 가이드
  4. 2024-10-15책임 있는 스케일링 정책 Private-sector companies · 가이드
153AI 리터러시AI literacyAI의 작동 방식과 한계·위험을 이해하고, AI 출력을 비판적으로 판단해 활용할 수 있는 지식과 역량을 의미함.
#10. 원칙·책임 Principles & Accountability
AI 거버넌스·제도
대체어AI 문해력

용어 설명

AI의 작동 방식과 한계·위험을 이해하고, AI 출력을 비판적으로 판단해 활용할 수 있는 지식과 역량을 의미함.

  • 출력이 틀릴 수 있는 이유(환각 등), 위임해도 되는 판단과 그렇지 않은 판단의 구분, 입력한 정보의 처리 경로, 저작권·개인정보 쟁점에 대한 이해를 포함하며, 도구 사용 요령과는 구별됨.
  • 자동화 편향과 과신을 줄여 인간 감독이 실제로 작동하게 하는 기반이 되며, EU AI법은 AI 리터러시를 별도 용어로 정의함.
  • 개인의 역량에 구조적 위험 대응을 떠넘기는 근거로 쓰이면 표시 의무나 제품 안전 요구를 대체하는 알리바이가 될 수 있어, 다른 통제를 보완하는 층으로 다뤄야 한다는 지적이 있음.

주요 기관·문서별 개념 및 적용

🇪🇺EU AI Act2024/1689
  • AI 리터러시를 제공자·운용자·영향을 받는 자가 각자의 권리와 의무를 고려해 AI 시스템을 충분한 정보에 입각해 활용하고, AI의 기회와 위험, 잠재적 위해를 인식할 수 있게 하는 기술·지식·이해로 정의함. [1]

출처

  1. 1『EU GPAI 실천강령 한글 안내서』(2026), 용어 정의, p.12 · 원문
해설 · 원문 인용 1 · 참고 기사 3 · 관련 연구 1 · 정책 문서 4

도구 사용법을 익히는 것과 다르다. 프롬프트를 잘 쓰는 요령이 아니라, 출력이 왜 틀릴 수 있는지 이해하고, 어떤 판단은 위임해도 되고 어떤 판단은 안 되는지 가리고, 입력한 내용이 어디로 가는지 인식하고, 저작권과 개인정보 문제가 어디서 생기는지 판단하는 능력을 가리킨다. EU AI법도 공급자와 배치자에게 관련 인력의 이런 역량을 확보하도록 요구한다.

다만 정책 수단으로서의 한계도 함께 지적된다. 개인의 역량으로 구조적인 위험을 감당하게 하는 방향으로 쓰이면, 표시 의무나 제품 안전 요구를 대체하는 알리바이가 될 수 있다. 이용자가 조심하면 된다는 논리는 만드는 쪽의 책임을 덜어 주는 데 쓰일 수 있기 때문이다. 그래서 리터러시는 다른 통제를 대신하는 것이 아니라 보완하는 층으로 다뤄질 때 의미를 갖는다는 정리가 통용된다.

제공자 운용자 및 영향을 받는 자들이 본 규정의 맥락에서 각자의 권리와 의무를 고려 , 하여 시스템을 충분한 정보에 입각하여 활용할 수 있도록 하고 의 기회와 위험 , AI , AI 및 가 초래할 수 있는 잠재적 위해에 대한 인식을 제고할 수 있도록 하는 기술 지식 AI , 및 이해

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.16 · KO · 정의섹션

관련 연구 · AI 안전 연구

  1. 2026-05-18BridgeAI 프로젝트: 인간은 토큰이 아니다 NATO science for peace a

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-09-30🇧🇷 브라질 ANATEL 생성형 AI 리터러시 프로그램 전략·정책
  2. 2026-09-12AI Literacy Whitepaper Understanding · Implementing AI Literacy AIGL · 전략·정책
  3. 2026-08-21🇰🇷 전북 AI 리터러시 교육 가이드라인 전북특별자치도교육청 · 가이드라인·원칙
  4. 2026-04-07🇺🇳 UNESCO AI·신흥기술 시대 미디어·정보 리터러시 문서 UNESCO 집행이사회 · 기타
동향 표기 · 리터러시(39)
동향 문서 39기간 14개월최근 80%병기 2PDF 문서 9정의섹션 2
154인공지능artificial intelligence (AI)학습·추론·지각·판단·언어 이해처럼 인간의 지적 능력이 필요한 과제를 기계가 수행하도록 구현한 기술, 또는 이를 연구하는 컴퓨터과학 분야를 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도

용어 설명

학습·추론·지각·판단·언어 이해처럼 인간의 지적 능력이 필요한 과제를 기계가 수행하도록 구현한 기술, 또는 이를 연구하는 컴퓨터과학 분야를 의미함.

  • 법·정책 문서에서는 기술 자체(인공지능)와, 이를 기반으로 예측·추천·결정 등의 결과물을 추론하는 시스템(인공지능시스템)을 나눠 정의하는 경우가 많음.
  • AI 안전 규제의 적용 범위는 대개 '인공지능시스템' 정의로 정해지며, 자율성·적응성·추론 같은 정의 요소가 어떤 소프트웨어가 규율 대상인지를 가름.
  • 정의가 넓으면 일반 소프트웨어까지 포함되고 좁으면 새 기술이 빠질 수 있어 정의 설계 자체가 쟁점이 되며, EU AI법의 정의는 OECD 정의와 밀접하게 맞춰져 있다는 평가가 있음.

구별'인공일반지능(AGI)'은 인간 수준의 폭넓은 지적 능력을 갖춘, 아직 도달하지 않은 상태를 가리키는 개념으로, 현재의 AI 기술 전반을 가리키는 '인공지능'과 구별됨.

용어 관계

주요 기관·문서별 개념 및 적용

🇰🇷한국 AI 기본법2026
  • 제2조는 '인공지능'을 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것으로 정의함. [1] [2]
  • '인공지능시스템'은 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위해 실제 및 가상환경에 영향을 미치는 예측·추천·결정 등의 결과물을 추론하는 인공지능 기반 시스템으로, '인공지능기술'은 인공지능 구현에 필요한 하드웨어·소프트웨어 기술 또는 그 활용 기술로 따로 정의함. [1] [2]
🇪🇺EU AI Act2024/1689
  • 'AI 시스템'을 다양한 수준의 자율성으로 작동하도록 설계되고 배포 후 적응성을 보일 수 있으며, 명시적·암묵적 목표를 위해 입력으로부터 예측 등의 출력을 생성하는 방법을 추론하는 기계 기반 시스템으로 정의함. [3]
  • 추론 능력을 기존 소프트웨어와 구별되는 핵심 특징으로 보며, 이 정의가 OECD 정의와 밀접하게 맞춰져 있다는 분석이 있음. [3]
🌐국제 AI 안전 보고서2025
  • 학습·추론·문제 해결·자연어 처리·의사결정처럼 보통 인간 지능이 필요한 과제를 수행하는 시스템·기계를 만드는 데 초점을 둔 컴퓨터과학 분야로 정의함. [4]

출처

  1. 1「인공지능기본법」, 제2조 · 원문
  2. 2『인공지능 안전성 확보 가이드라인』 v1.3, p.13 · 원문
  3. 3Fraunhofer IKS (2025). AI Regulatory Roadmap: Past, present, and future trends in AI regulation., p.3–4
  4. 4International AI Safety Report 2025, Glossary, p.219–220 · 원문
원문 인용 13 · 관련 연구 4 · 정책 문서 4

'인공지능'이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것을 말 한다.

출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션

번역학습·추론·문제 해결·자연어 처리·의사결정처럼 보통 인간 지능이 필요한 과제를 수행하는 시스템·기계를 만드는 데 초점을 둔 컴퓨터과학 분야.

The field of computer science focused on creating systems or machines capable of performing tasks that typically require human intelligence. These tasks include learning, reasoning, problem-solving, natural language processing, and decision-making.

출처 International Scientific Report on the Safety of Advanced AI · p.219–220 · EN · 정의섹션

'인공지능'이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현 한 것을 말한다. 2.

출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 라이브러리에서 보기

'인공지능'이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방 법으로 구현한 것을 말한다. 

출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 라이브러리에서 보기

∙ 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것 | 법 제2조

출처 인공지능 안전성 확보 가이드라인 v1.3 (2026.1.21) · p.13 · KO · 정의섹션

'인공지능시스템'이란 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향 을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스템을 말한다.

출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션

'인공지능시스템'이란 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스템을 말한다. 

출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 라이브러리에서 보기

'인공지능시스템'이란 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스 템을 말한다. 

출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 라이브러리에서 보기

∙ 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스템 | 법 제2조

출처 인공지능 안전성 확보 가이드라인 v1.3 (2026.1.21) · p.13 · KO · 정의섹션

'인공지능기술'이란 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술을 말한 다.

출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션

'인공지능기술'이란 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술 을 말한다. 

출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 라이브러리에서 보기

'인공지능기술'이란 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술을 말한다. 

출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 라이브러리에서 보기

∙ 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술 | 법 제2조

출처 인공지능 안전성 확보 가이드라인 v1.3 (2026.1.21) · p.13 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-12-10🇺🇸 미국 책임 있는·윤리적 AI 라벨링 법 United States Congress · 법안
  2. 2026-11-06🇰🇷 에이전틱 AI 제로트러스트 안내서 가이드라인·원칙
  3. 2026-11-04🇬🇧 북아일랜드 EU AI Act 부분 적용 지침 가이드라인·원칙
  4. 2026-11-02🇰🇷 산업 디지털 전환·AI 활용 촉진법 개정안 법안
PDF 표기 · ARTIFICIAL INTELLIGENCE · artificial-intelligence · 인공 지능 · 인공지능
PDF 표기 · 인공지능시스템
PDF 표기 · 인공지능기술
PDF 문서 43정의섹션 7
155고위험 AIhigh-risk AI사람의 건강·안전이나 기본권에 중대한 위험을 줄 수 있는 용도로 쓰여 강화된 규제 의무가 적용되는 AI 시스템을 가리키는 규제상 범주를 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어고위험 AI 시스템

용어 설명

사람의 건강·안전이나 기본권에 중대한 위험을 줄 수 있는 용도로 쓰여 강화된 규제 의무가 적용되는 AI 시스템을 가리키는 규제상 범주를 의미함.

  • 위험 수준에 따라 의무 강도를 달리하는 위험 기반 접근에서 금지 대상과 투명성 의무 정도만 지는 대상 사이에 놓이며, 위험 관리, 데이터 품질 관리, 기술 문서·기록 유지, 인간 감독, 정확성·강건성·사이버 보안 등 요건이 붙음.
  • 분류는 기술이 아니라 용도가 정해서, 같은 얼굴 인식 기술이라도 사진 정리에 쓰이면 해당하지 않고 채용 심사나 법 집행에 쓰이면 고위험이 될 수 있음.
  • 범용 AI처럼 용도가 정해지지 않은 모델은 이 틀로 포착하기 어려워 별도 규율이 마련되었음.

구별'고위험 AI'는 EU AI법 등의 규제 범주이고 한국 AI 기본법은 이에 대응해 '고영향 AI'라는 별도 법정 용어를 쓰는데, 분류 기준과 의무가 달라 서로 바꿔 쓰지 않으며, '고영향 AI'는 EU의 '고영향 역량'과도 다른 개념임.

용어 관계

다음 단계 적합성 평가 · 혼동 주의 고영향 AI

주요 기관·문서별 개념 및 적용

🇪🇺EU AI Act2024/1689
  • 제6조에 따라 부속서 I의 EU 조화 법령상 제3자 적합성 평가 대상인 제품·안전 구성요소이거나, 부속서 III에 열거된 용도(핵심 기반시설, 교육·직업훈련, 고용 등)에 쓰이는 AI 시스템을 고위험으로 분류하되, 부속서 III 시스템이라도 건강·안전·기본권에 중대한 위해 위험이 없으면 고위험으로 보지 않음(제6조제3항). [1]
🇪🇺EU AI Act2024/1689
  • 고위험 AI 시스템에는 위험 관리, 데이터 품질·거버넌스, 기술 문서, 기록 유지, 배포자에 대한 정보 제공, 인간 감독, 정확성·강건성·사이버 보안 요건이 적용되고, 시장 출시 전 적합성 평가를 거쳐야 함. [2]
  • 옴니버스 규정으로 이 요건의 적용일은 부속서 III 시스템 2027.12.2, 부속서 I 시스템 2028.8.2로 늦춰짐. [4]
🇰🇷한국 AI 기본법2026
  • '고위험' 대신 '고영향 인공지능'이라는 용어를 쓰며, 생명·신체의 안전과 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템으로서 열거된 영역에서 활용되는 것으로 정의함. [3]

출처

  1. 1EU AI Act, Art. 6, p.53–54 · 원문
  2. 2EU AI Act, Art. 8–16, p.55–62 · 원문
  3. 3「인공지능기본법」, 제2조 · 원문
  4. 4Regulation (EU) 2026/1744, Art. 1(39)·(40) · 원문
해설 · 참고 기사 3 · 관련 연구 3 · 정책 문서 4

모든 AI를 같은 강도로 규율하면 위험한 용도는 충분히 통제되지 않고 무해한 용도는 과도하게 묶인다. 그래서 위험 수준에 따라 층을 나누는 방식이 채택됐다. EU AI법은 아예 금지되는 것, 고위험으로 강한 의무가 붙는 것, 표시 의무 정도만 지는 것, 별도 의무가 없는 것으로 나눈다. 고위험에 해당하면 위험 관리 체계를 갖추고, 학습 데이터의 품질을 관리하고, 기술 문서와 기록을 남기고, 인간 감독이 가능하게 설계하고, 정확성·강건성·사이버 보안 요건을 충족해야 한다.

무엇이 고위험인지는 기술이 아니라 용도가 정한다는 점이 이 범주를 이해하는 핵심이다. 같은 얼굴 인식 기술이 사진첩을 정리하는 데 쓰이면 규율 대상이 아니고, 채용 심사나 법 집행에 쓰이면 고위험이 된다. 위험은 모델의 성능 수치에 있지 않고 그 판단이 누구의 무엇을 좌우하는지에 있기 때문이다. 그래서 규제 대응은 모델 문서를 준비하는 일이 아니라 어떤 맥락에 배치할지 특정하는 일에서 시작한다.

동향 표기 · 고위험(181)
동향 문서 181기간 25개월최근 84%병기 2
156고영향 AIhigh-impact AI사람의 생명·신체의 안전과 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템으로서, 법이 열거한 영역에서 활용되는 것을 가리키는 한국 AI 기본법상 개념을 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어고영향 인공지능

용어 설명

사람의 생명·신체의 안전과 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템으로서, 법이 열거한 영역에서 활용되는 것을 가리키는 한국 AI 기본법상 개념을 의미함.

  • 에너지 공급, 먹는물 생산, 보건의료, 의료기기, 원자력 시설, 범죄 수사용 생체인식정보 분석, 채용·대출 심사, 교통, 공공 의사결정, 학생 평가 등 열거 영역과 대통령령으로 정하는 영역에서의 활용이 기준이 됨.
  • 기술 자체가 아니라 활용 영역과 영향이 분류를 가르며, 해당하면 위험관리방안, 설명 방안, 이용자 보호 방안, 사람의 관리·감독, 관련 문서 작성·보관 등 사업자 책무가 부과됨.
  • EU AI법의 '고위험 AI'와 취지가 비슷하나 분류 기준과 의무 구조가 달라, 두 용어를 같은 개념으로 옮기지 않도록 주의가 필요함.

구별'고영향 AI'는 한국 AI 기본법의 법정 용어이고, '고위험 AI'는 EU AI법 등에서 쓰는 용어로, 분류 기준과 부과 의무가 달라 서로 바꿔 쓰지 않음.

용어 관계

혼동 주의 고위험 AI

주요 기관·문서별 개념 및 적용

🇰🇷한국 AI 기본법2026
  • 제2조는 '고영향 인공지능'을 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서 에너지 공급, 보건의료, 채용·대출 심사, 학생 평가 등 열거된 영역에서 활용되는 것으로 정의함. [1]
  • 제34조는 고영향 AI를 제공하는 사업자에게 위험관리방안 수립·운영, 최종결과·주요 기준·학습용데이터 개요 등에 대한 설명 방안, 이용자 보호 방안, 사람의 관리·감독, 조치 내용을 확인할 수 있는 문서의 작성·보관을 요구함. [2]
🇪🇺EU AI Act2024/1689
  • 대응 개념인 고위험 AI 시스템은 부속서 I의 EU 조화 법령상 제3자 적합성 평가 대상인 제품·안전 구성요소이거나, 부속서 III에 열거된 용도(핵심 기반시설, 교육·직업훈련, 고용 등)에 쓰이는 시스템으로 분류됨(제6조). [3]

출처

  1. 1「인공지능기본법」, 제2조 · 원문
  2. 2『인공지능기본법 지원데스크 사례집』(2026), p.17 · 원문 · 라이브러리에서 보기
  3. 3G'sell (2024). Regulating Under Uncertainty, Ch.5, p.204–205 · 원문
원문 인용 4 · 정책 문서 3

'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있 는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다. 가. 「에너지법」 제2조제1호에 따른 에너지의 공급 나. 「먹는물관리법」 제3조제1호에 따른 먹는물의 생산 공정 다. 「보건의료기본법」 제3조제1호에 따른 보건의료의 제공 및 이용체계의 구축ㆍ운영 라. 「의료기기법」 제2조제1항에 따른 의료기기 및 「디지털의료제품법」 제2조제2호에 따른 디지털의료기기의 개 발 및 이용 마. 「원자력시설 등의 방호 및 방사능 방재 대책법」 제2조제1항제1호에 따른 핵물질과 같은 항 제2호에 따른 원 자력시설의 안전한 관리 및 운영 바. 범죄 수사나 체포 업무를 위한 생체인식정보(얼굴ㆍ지문ㆍ홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신 체적ㆍ생리적ㆍ행동적 특징에 관한 개인정보를 말한다)의 분석ㆍ활용 사. 채용, 대출 심사 등 개인의 권리ㆍ의무 관계에 중대한 영향을 미치는 판단 또는 평가 아. 「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영 자. 공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 '국가기관등'이라 한다)의 의사결정 차. 「교육기본법」 제9조제1항에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가 카. 그 밖에 사람의 생명ㆍ신체의 안전 및 기본권 보호에 중대한 영향을 미치는 영역으로서 대통령령으로 정하는 영역

출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션

'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려 가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다. 가. 「에너지법」 제2조제1호에 따른 에너지의 공급 나. 「먹는물관리법」 제3조제1호에 따른 먹는물의 생산 공정 다. 「보건의료기본법」 제3조제1호에 따른 보건의료의 제공 및 이용체계의 구축ㆍ운영 라.  「의료기기법」 제2조제1항에 따른 의료기기 및 「디지털의료제품법」 제2조제2호에 따른 디지털의료기기 의 개발 및 이용 마.  「원자력시설 등의 방호 및 방사능 방재 대책법」 제2조제1항제1호에 따른 핵물질과 같은 항 제2호에 따 른 원자력시설의 안전한 관리 및 운영 바.  범죄 수사나 체포 업무를 위한 생체인식정보(얼굴ㆍ지문ㆍ홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신체적ㆍ생리적ㆍ행동적 특징에 관한 개인정보를 말한다)의 분석ㆍ활용 사. 채용, 대출 심사 등 개인의 권리ㆍ의무 관계에 중대한 영향을 미치는 판단 또는 평가 아.  「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영 자.  공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단 체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 '국가기관등'이라 한다)의 의사결정 차.  「교육기본법」 제9조제1항에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가하는 영역 8 인공지능기본법 지원데스크 사례집 

출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 라이브러리에서 보기

'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다.

출처 인공지능기본법 지원데스크 사례집 · p.79 · KO · 정의섹션 · 라이브러리에서 보기

'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험 을 초래할 우려가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다. 가. 「에너지법」 제2조제1호에 따른 에너지의 공급 나. 「먹는물관리법」 제3조제1호에 따른 먹는물의 생산 공정 다. 「보건의료기본법」 제3조제1호에 따른 보건의료의 제공 및 이용체계의 구축ㆍ운영 라.  「의료기기법」 제2조제1항에 따른 의료기기 및 「디지털의료제품법」 제2조제2호에 따른 디지털의료기기의 개발 및 이용 마.  「원자력시설 등의 방호 및 방사능 방재 대책법」 제2조제1항제1호에 따른 핵물질과 같은 항 제2호에 따른 원자력시설의 안전한 관리 및 운영 바.  범죄 수사나 체포 업무를 위한 생체인식정보(얼굴ㆍ지문ㆍ홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신체적ㆍ생리적ㆍ행동적 특징에 관한 개인정보를 말한다)의 분석ㆍ활용 20선의 질답 사례로 배우는 기업 실무 가이드 75 사. 채용, 대출 심사 등 개인의 권리ㆍ의무 관계에 중대한 영향을 미치는 판단 또는 평가 아.  「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요 한 작동 및 운영 자.  공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 '국 가기관등'이라 한다)의 의사결정 차. 「교육기본법」 제9조제1항에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가 카.  그 밖에 사람의 생명ㆍ신체의 안전 및 기본권 보호에 중대한 영향을 미치는 영역으로서 대통령령으로 정하는 영역 

출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 라이브러리에서 보기

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-08-28🇰🇷 고영향 AI 판단 가이드라인 과기부/NIA/TTA/ETRI · 가이드라인·원칙
  2. 2026-08-28🇰🇷 고영향 인공지능 사업자 책무 가이드라인 과기부/NIA/TTA/ETRI · 가이드라인·원칙
  3. 2026-07-21🇰🇷 근로자 영향 고영향 AI 확대·모니터링 규제 법안(법안 제2220058호) 법안
PDF 표기 · 고영향 인공지능
PDF 문서 6정의섹션 2
157범용 AIgeneral-purpose AI (GPAI)특정 기능에 한정되지 않고 여러 영역에 걸친 다양한 과제를 수행할 수 있도록 설계·학습된 AI 모델 또는 시스템을 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어범용 AI 모델GPAI

용어 설명

특정 기능에 한정되지 않고 여러 영역에 걸친 다양한 과제를 수행할 수 있도록 설계·학습된 AI 모델 또는 시스템을 의미함.

  • 대량의 데이터로 자기지도 학습한 거대 언어 모델 등 생성형 AI가 대표적이며, 하나의 모델이 다수의 하위 시스템·서비스에 통합되는 토대 역할을 함.
  • 특정 용도에 속하지 않아 용도 기반 규제만으로는 포착되지 않으므로, 모델 제공자에게 문서화·저작권 정책·학습 콘텐츠 요약 같은 별도 의무를 지우고 영향력이 큰 모델은 시스템적 위험 관리 대상으로 삼는 방식이 도입됨.
  • 역량 범위가 넓어 개발 단계에서 예상하지 못한 용도와 위험이 배포 후에 드러날 수 있다는 점이 안전성 평가를 어렵게 함.

구별'범용 AI'는 현재 존재하는 모델·시스템을 가리키는 기술적·법적 범주이고, '인공일반지능(AGI)'은 인간 수준의 폭넓은 지적 능력이라는 아직 도달하지 않은 상태를 가리킴. '협소 AI'는 한 가지 기능에 특화된 AI로 범용 AI와 대조됨.

용어 관계

주요 기관·문서별 개념 및 적용

🇪🇺EU AI Act2024/1689
  • 범용 AI 모델을 대량의 데이터로 대규모 자기지도 학습한 경우를 포함해 상당한 일반성을 보이고 다양한 과제를 유능하게 수행하며 여러 하위 시스템·응용에 통합될 수 있는 AI 모델로 정의하고, 시장 출시 전 연구·개발·시제품 용도의 모델은 제외함(제3조제63호). [1]
  • 제공자에게 EU 저작권법 준수 정책과 학습 콘텐츠 요약 공개를 요구하고(제53조제1항(c)·(d)), 누적 학습 연산량이 10^25 FLOP을 넘는 모델은 고영향 역량을 가진 것으로 추정해 시스템적 위험이 있는 범용 AI 모델로 분류하며(제51조), 이런 모델에는 추가 의무를 부과함(제55조). [2] [3] [4]
🇰🇷한국 AI 기본법2026
  • 범용 AI라는 명칭 대신, 학습에 사용된 누적 연산량이 대통령령으로 정하는 기준 이상인 AI 시스템에 위험 식별·평가·완화와 위험관리체계 구축 의무를 부과하는 방식(제32조)으로 대규모 모델을 다룸. [5]
🌐국제 AI 안전 보고서2025
  • 한 가지 기능에 특화되지 않고 여러 영역에 걸쳐 폭넓은 과제를 수행하도록 설계된 AI 시스템으로 정의하고, 협소 AI와 대조함. [6]

출처

  1. 1EU AI Act, Art. 3(63), p.50 · 원문
  2. 2EU AI Act, Art. 53(1)(c)·(d), p.84 · 원문
  3. 3EU AI Act, Art. 51, p.83 · 원문
  4. 4EU AI Act, Art. 55, p.86 · 원문
  5. 5「인공지능기본법」, 제32조 · 원문
  6. 6International AI Safety Report 2025, Glossary, p.221–222 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

용도별로 규율하는 방식만으로는 다룰 수 없는 대상이 있어서 도입된 범주다. 하나의 모델이 수백 가지 서비스의 토대가 되는데, 그 모델 자체는 어떤 특정 용도에도 속하지 않기 때문이다. EU AI법은 이런 모델을 만든 쪽에 기술 문서 작성, 학습에 쓴 콘텐츠의 요약 공개, 저작권 정책 마련 같은 의무를 지운다. 그중 영향력이 특히 큰 모델은 시스템적 위험이 있다고 보고, 평가와 사고 보고, 사이버 보안 요건을 추가로 요구한다.

약어가 비슷한 인공일반지능(AGI)과 구별해 읽어야 한다. 범용 AI 모델은 지금 존재하는 모델을 가리키는 법적 범주이고, 인공일반지능은 사람 수준의 지능이라는 아직 도달하지 않은 상태를 가리키는 개념이다. 국문 표기가 범용 AI 모델, 범용 인공지능 모델 등으로 갈려 있고 파운데이션 모델과 겹쳐 쓰이기도 해 원어나 약어를 함께 적는 관행이 자리 잡았는데, 이 혼동을 막는 데도 도움이 된다.

번역한 가지 기능에 특화되지 않고 여러 영역에 걸쳐 폭넓은 과제를 수행하도록 설계된 AI 시스템. 대조: 협소 AI.

AI systems designed to perform a wide range of tasks across various domains, rather than being specialised for one specific function. See 'Narrow AI' for contrast.

출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션

범용 AI 에이전트는 특정 작업 자동화에 최적화된 기존 AI 에이전트와 달리, 서로 성격이 다른 다양한 작업을 하나의 시스템이 자율적으로 조합·전환하며 수행하도록 설계된 고도형 에이전트입니다. 입력 형태나 작업 조건이 변해도 별도의 구조 변경 없이 대응하며, 정보 탐색-계획 생성-행동 실행-결과 평가가 하나의 순환 구조로 통합되어 있다는 점이 핵심입니다. 즉, 이미 정의된 절차를 따르는 도구가 아니라, 여러 업무 흐름을 스스로 구성하고 필요에 따라 전략을 바꾸며 문제를 해결하는 범용적 실행 주체를 목표로 합니다.

출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.164 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-21🇪🇺 EU GPAI 외부 평가자 요건 워크숍 보고서 정책보고서
  2. 2026-05-18글로벌 인공지능 파트너십(GPAI) 기구·제도
  3. 2026-02-202026 GPAI 뉴델리 공동의장 요약 성명 OECD / GPAI · 선언·성명
  4. 2025-07-18🇪🇺 EU AI Act 범용 AI 모델 제공자 의무 가이드라인 유럽연합 집행위원회 / AI Office · 가이드라인
PDF 표기 · GPAI · General Purpose AI · General-Purpose AI · general- purpose AI · 범용 인공지능 · 범용인공지능
동향 표기 · GPAI(44) / General-Purpose(23)
동향 문서 21기간 0개월최근 0%병기 0PDF 문서 21정의섹션 4
158연산 임계값compute thresholdAI 모델 학습에 사용된 누적 연산량(부동소수점연산, FLOP)을 기준으로 규제 의무의 적용 대상을 가르는 정량적 기준을 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어FLOP 기준학습 연산량 기준

용어 설명

AI 모델 학습에 사용된 누적 연산량(부동소수점연산, FLOP)을 기준으로 규제 의무의 적용 대상을 가르는 정량적 기준을 의미함.

  • 모델 크기와 학습 데이터 양을 한 수치로 묶을 수 있고 개발자가 비교적 쉽게 산정할 수 있어, 역량을 직접 측정하기 어려운 상황에서 대리 지표로 쓰임.
  • 위험이 큰 프론티어 AI 모델을 사전에 선별해 평가·위험 관리·보고 의무를 집중시키는 진입 장치 역할을 함.
  • 연산량은 역량의 불완전한 대리 지표이고 알고리즘 효율이 높아지면 같은 역량을 더 적은 연산으로 얻을 수 있어, 다른 기준과 함께 쓰거나 주기적으로 조정해야 한다는 논의가 있음.

구별'위험 임계값'이 허용 가능한 위험과 그렇지 않은 위험을 가르는 한계라면, '연산 임계값'은 위험 자체가 아니라 학습 연산량으로 규제 대상을 1차 선별하는 기준임.

용어 관계

먼저 알 개념 연산 · 혼동 주의 위험 임계값

주요 기관·문서별 개념 및 적용

🇪🇺EU AI Act2024/1689
  • 누적 학습 연산량이 10^25 FLOP를 넘는 범용 AI 모델을 시스템적 위험을 가진 범용 AI 모델로 추정하며(제51조제2항), 집행위원회가 부속서 XIII 기준에 따라 따로 지정할 수도 있음. [1] [2]
  • 집행위원회 지침은 학습 연산량 10^23 FLOP 초과와 언어(텍스트·음성) 또는 텍스트-이미지·텍스트-비디오 생성 가능성을 범용 AI 모델 여부의 지표 기준으로 제시하면서, 학습 연산량은 일반성과 역량의 불완전한 대리 지표라고 밝힘. [2]
🇰🇷한국 AI 기본법2026
  • 제32조는 학습에 사용된 누적 연산량이 대통령령으로 정하는 기준 이상인 AI 시스템에 대해 수명주기 전반의 위험 식별·평가·완화, 안전사고 모니터링·대응 위험관리체계 구축, 이행 결과 제출을 요구함. [3]
  • 시행령 제24조는 누적 연산량 10^26 FLOP 이상, 최첨단 AI 기술 적용, 생명·신체의 안전과 기본권에 광범위하고 중대한 영향을 미칠 우려라는 세 기준을 모두 충족하는 시스템을 대상으로 정해, 연산량만으로 추정하는 EU 방식과 달리 복수 요건을 함께 요구함. [5]

출처

  1. 1EU AI Act, Art. 51, p.83 · 원문
  2. 2European Commission (2025). GPAI Guidelines, p.1–2, p.4 · 원문
  3. 3「인공지능기본법」, 제32조 · 원문
  4. 5「인공지능기본법 시행령」, 제24조 · 원문
159적합성 평가conformity assessment제품이나 AI 시스템이 법령·표준에 규정된 요건을 충족하는지를 시장 출시 전후에 확인·입증하는 공식 절차를 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도

용어 설명

제품이나 AI 시스템이 법령·표준에 규정된 요건을 충족하는지를 시장 출시 전후에 확인·입증하는 공식 절차를 의미함.

  • 공급자가 스스로 확인·선언하는 자체 평가와, 지정된 제3자 기관이 시험·검사·인증 등으로 확인하는 방식이 있으며, 통과하면 표식을 붙여 유통을 허용하는 제품 안전 규제의 틀을 따름.
  • AI 안전에서는 고위험 AI의 위험 관리, 데이터 품질, 인간 감독, 강건성 등 요건이 실제로 갖춰졌는지 확인하는 관문 역할을 함.
  • 모델이 갱신·추가 학습·용도 전용되면 앞선 평가의 근거가 흔들리므로, 실질적 변경 시 재평가와 출시 후 모니터링이 함께 요구됨.

구별'적합성 평가(conformity assessment)'는 규정 요건 충족 여부를 판정하는 제도적 절차로, 모델의 역량·안전성을 측정하는 '평가(evaluation)'와 구별됨. 모델 평가 결과는 적합성 평가의 증거 중 하나로 쓰일 수 있음.

용어 관계

상위 신뢰보증 · 앞 단계 조화 표준, 고위험 AI · 혼동 주의 감사, 인증, 평가

주요 기관·문서별 개념 및 적용

🇪🇺EU AI Act2024/1689
  • 적합성 평가를 고위험 AI 시스템에 관해 제3장 제2절에 규정된 요건이 충족되었는지를 입증하는 절차로 정의하고, 시험·인증·검사를 포함한 제3자 적합성 평가 활동을 수행하는 기관을 따로 정의함. [1]
  • 고위험 AI 시스템 제공자는 시장 출시나 사용 전에 적합성 평가를 거쳐야 하며, 대부분은 제공자의 자체 평가가 허용되고 생체인식 시스템 등 제한된 경우에 인증기관(notified body)의 제3자 평가가 요구된다는 분석이 있음. [2]

출처

  1. 1『EU GPAI 실천강령 한글 안내서』(2026), 용어 정의, p.8 · 원문
  2. 2G'sell (2024). Regulating Under Uncertainty, Ch.5, p.207–208 · 원문
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 2

제품 안전 규제가 오래 써 온 장치다. 요건을 정해 두고, 시장에 내기 전에 그것을 충족하는지 확인하게 하고, 통과하면 표식을 붙여 유통을 허용한다. 확인 방식은 두 갈래다. 공급자가 스스로 확인하고 선언하는 자기평가와, 지정된 제3자 기관이 확인하는 방식이다. 위험이 클수록 후자가 요구된다. EU AI법은 고위험 AI에 이 틀을 그대로 적용해, 기존 제품 안전 체계와 이어 붙였다.

AI에 적용할 때의 난점은 평가 대상이 고정되지 않는다는 것이다. 기계나 장비는 출하된 상태가 유지되므로 한 번의 확인이 계속 유효하다. 모델은 그렇지 않다. 갱신되고 추가 학습되고 다른 용도로 전용되며, 그때마다 앞서 확인한 근거가 흔들린다. 그래서 무엇을 실질적 변경으로 볼지 정해 두고 그 경우 재평가를 요구하는 조항, 그리고 시장에 나온 뒤에도 계속 지켜보는 사후 감시가 함께 붙는다.

고위험 시스템에 관한 제 장 제 절에 규정된 요건이 충족되었는지 여부를 입증하는 AI 3 2 절차

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.12 · KO · 정의섹션

시험 인증 및 검사를 포함하여 제 자 적합성 평가 활동을 수행하는 기관 , 3

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.12 · KO · 정의섹션

동향 표기 · 적합성 평가(13) / 적합성(41)
동향 문서 13기간 10개월최근 69%병기 0PDF 문서 7정의섹션 2
160인증certification독립된 제3자가 조직이나 제품·시스템이 정해진 요건을 충족함을 확인하고, 이를 공식적으로 증명하는 제도·절차를 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어적합 인증

용어 설명

독립된 제3자가 조직이나 제품·시스템이 정해진 요건을 충족함을 확인하고, 이를 공식적으로 증명하는 제도·절차를 의미함.

  • 조직의 위험 관리 절차를 갖추고 운영하는지를 확인하는 관리체계 인증과, 개별 제품·시스템이 요건을 충족하는지를 확인하는 제품 인증으로 나뉨.
  • AI 안전에서는 적합성 평가 결과를 외부에 보이는 형식으로 쓰이나, 관리체계 인증이 개별 모델 출력의 안전을 보장하지는 않으므로 무엇을 인증받았는지 명시해야 과도한 신뢰를 막을 수 있음.

구별'적합성 평가'는 요건 충족 여부를 확인하는 활동 전반(시험·검사·인증 포함)을, '인증'은 그중 제3자가 충족 사실을 공식 증명하는 형태를 가리킴.

용어 관계

상위 신뢰보증 · 혼동 주의 적합성 평가

해설 · 참고 기사 3 · 관련 연구 3 · 정책 문서 4

적합성 평가의 결과를 외부에 보이는 형식이다. 무엇을 인증하는지에 따라 두 종류로 나뉜다. 하나는 조직의 관리체계를 인증하는 것으로, 그 조직이 위험을 관리하는 절차를 갖추고 실제로 운영하고 있음을 확인한다. 다른 하나는 개별 제품이나 시스템을 인증하는 것으로, 그 제품이 정해진 요건을 충족함을 확인한다. 앞의 것은 조직의 역량에 대한 증명이고 뒤의 것은 물건의 성질에 대한 증명이다.

AI 인증에서 가장 흔한 오해는 이 두 가지를 섞어 읽는 것이다. 관리체계 인증을 받았다는 것은 절차를 갖췄다는 뜻이지, 그 조직이 만든 모델의 개별 출력이 안전하다는 뜻이 아니다. 이 구별이 흐려지면 인증 표식이 실제로 보장하는 것보다 넓은 신뢰를 만들어 낸다. 그래서 인증을 홍보에 쓸 때 무엇을 인증받았는지 명시하도록 요구하는 것이 함께 논의된다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-07-09🇲🇹 몰타 AI 인증 프로그램 Malta Digital Innovation Autho
  2. 2025-01-03🇺🇸 연방 민간기관 AI 시험·인증·사고보고법 United States Congress · 법안
  3. 2025-01-03🇺🇸 농업용 AI 인증법 United States Congress · 법안
  4. 2024-01-09🇺🇸 미국 보건 데이터·기술·상호운용성 인증 규칙 Department of Health and Human
동향 표기 · 인증(99)
동향 문서 99기간 20개월최근 87%병기 5
161표준화standardization용어, 측정·시험 방법, 기술 요건 등을 이해관계자의 합의를 거쳐 공통 규격으로 정하고 문서화하는 활동을 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어표준 제정

용어 설명

용어, 측정·시험 방법, 기술 요건 등을 이해관계자의 합의를 거쳐 공통 규격으로 정하고 문서화하는 활동을 의미함.

  • 법이 '강건해야 한다', '정확해야 한다'고 정한 요건을 무엇을 어떤 방법으로 재야 충족되는지로 구체화해 규제와 기술을 잇는 역할을 하며, ISO/IEC 등 국제 표준화 기구와 각국 표준 기관의 작업이 이 층을 이룸.
  • 어떤 측정 방법을 택하느냐에 따라 통과하는 제품이 갈려 표준 제정이 사실상의 규범 형성이 되며, AI 안전 평가 방법의 표준화는 평가 결과의 비교 가능성과 상호운용성의 전제가 됨.
  • 표준 자체는 비구속 문서지만 적합성 평가의 기준으로 편입되면 사실상 구속력을 가짐.

용어 관계

다음 단계 조화 표준

해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 4

규제와 기술 사이를 잇는 다리 역할을 한다. 법은 견고해야 한다거나 정확해야 한다고 쓸 수 있지만, 무엇을 어떤 방법으로 재야 견고한 것인지까지 법에 담을 수는 없다. 그 자리를 표준이 채운다. 용어의 뜻을 통일하고, 측정 절차를 정하고, 충족해야 할 수치를 제시하는 문서다. 국제 표준화 기구의 AI 관련 규격과 각국 표준 기관의 작업이 이 층을 이룬다.

그래서 표준을 만드는 과정이 사실상의 규범 형성이 된다. 어떤 측정 방법을 택하는지에 따라 통과하는 제품과 통과하지 못하는 제품이 갈리고, 그 결정은 표준 회의에 참여한 조직들의 논의로 이뤄진다. 국내 논의에서 표준화 대응을 산업 경쟁력 문제로 다루는 것도 이 때문이다. 표준 자체는 지키지 않아도 제재가 없는 비구속 문서지만, 적합성 평가의 기준으로 편입되면 사실상 구속력을 갖게 된다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-05-08🇨🇳 중국 지능형 에이전트 표준화·혁신 발전 실시의견 국가인터넷정보판공실(CAC) 등 관계부처 · 전략·정책
  2. 2025-07-09🇸🇮 슬로베니아 NOSI-AI 국가 표준화·구현 프레임워크 Ministry of Digital Transforma
  3. 2025-07-09🇮🇳 인도 AI 표준화 위원회 Ministry of Consumer Affairs,
  4. 2024-11-01🇨🇳 중국 인공지능 안보 표준화 백서 §5 Other authorities · 정책보고서
동향 표기 · 표준화(60)
동향 문서 60기간 15개월최근 87%병기 2
162조화 표준harmonised standardEU 법령이 정한 필수 요건을 구체화하기 위해 EU 표준화 체계에서 마련한 유럽 표준으로, 이를 따르면 해당 요건을 충족한 것으로 추정받을 수 있는 표준을 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어조화 규격

용어 설명

EU 법령이 정한 필수 요건을 구체화하기 위해 EU 표준화 체계에서 마련한 유럽 표준으로, 이를 따르면 해당 요건을 충족한 것으로 추정받을 수 있는 표준을 의미함.

  • EU AI법은 정확성·강건성 같은 요건을 원칙 수준으로 정하고, 이를 무엇을 어떻게 재서 충족할지는 조화 표준이 구체화하는 구조임.
  • 적용 자체는 자발적이지만 적합성 평가에서 요건 충족을 입증하는 가장 손쉬운 경로가 되어 사실상의 구속력을 가지며, AI 안전 요건의 실제 수준이 표준 제정 과정에서 정해진다는 점에서 표준화 참여가 중요하게 다뤄짐.

용어 관계

앞 단계 표준화 · 다음 단계 적합성 평가

주요 기관·문서별 개념 및 적용

🇪🇺EU AI Act2024/1689
  • 조화 표준을 Regulation (EU) 1025/2012 제2조제1항(c)에 정의된 조화된 표준으로 정의해, 기존 EU 표준화 규정의 개념을 그대로 따름. [1]

출처

  1. 1『EU GPAI 실천강령 한글 안내서』(2026), 용어 정의, p.9 · 원문
원문 인용 1 · 정책 문서 1

제 호 제 조 에 정의된 조화된 표준 Regulation (EU) 1025/2012 2 (1)(c)

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-14🇪🇺 EU 집행위 시행결정 2026/2274 행정규칙
PDF 표기 · harmonised standard
PDF 문서 2정의섹션 1
163상호운용성interoperability서로 다른 시스템·조직·제도가 공통 표준과 형식을 공유해 정보를 주고받고 함께 작동할 수 있는 성질을 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도

용어 설명

서로 다른 시스템·조직·제도가 공통 표준과 형식을 공유해 정보를 주고받고 함께 작동할 수 있는 성질을 의미함.

  • AI에서는 모델과 도구를 잇는 연결 규격, 평가 결과를 주고받는 형식, 합성 콘텐츠 출처 정보의 상호 검증 표준, AI 사고 기록·공유 양식 등 여러 층에서 요구됨.
  • 합성 콘텐츠 표시(다른 플랫폼이 표식을 읽을 수 있는가)와 AI 사고 보고(사례를 합산해 추세를 볼 수 있는가)에서 AI 안전과 직접 연결되며, 각국 규제 요건 간 호환이라는 거버넌스 차원의 의미도 가짐.

용어 관계

먼저 알 개념 표준화

해설 · 참고 기사 3 · 관련 연구 1 · 정책 문서 4

표준을 만드는 목적이면서 정책 수단으로도 쓰인다. AI에서는 여러 층에서 요구된다. 모델과 도구를 잇는 연결 규격, 평가 결과를 주고받는 형식, 합성 콘텐츠의 출처 정보를 서로 검증할 수 있게 하는 표준, 사고를 기록하고 공유하는 양식이 그런 것들이다. 각자 다른 방식으로 만들어도 각각은 작동하지만, 함께 놓았을 때 아무것도 이어지지 않는다는 문제가 생긴다.

안전과 직결되는 지점이 두 곳이다. 하나는 합성 콘텐츠 표시다. 어떤 플랫폼이 심어 둔 표식을 다른 플랫폼이 읽지 못하면 표시 의무가 사실상 무력해진다. 다른 하나는 사고 보고다. 조직마다 다른 이름과 형식으로 기록하면 사례를 합산할 수 없고, 합산할 수 없으면 추세를 볼 수 없다. 개별 사고에서 배우는 것과 전체 흐름을 파악하는 것은 다른 일이며, 후자에는 공통 형식이 반드시 필요하다.

관련 연구 · AI 안전 연구

  1. 2026-09-17유럽 AI법 관점의 LLM 워터마킹 해석 Ethics and Information T

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-07-17🇨🇳 지능형 에이전트 상호 신뢰·상호운용성 글로벌 협력 이니셔티브 전략·정책
  2. 2026-07-16🇪🇺 EU 디지털시장법 Android AI 상호운용성 지정 결정 행정규칙
  3. 2025-10-06🇵🇱 폴란드 SNOMED CT 및 의미적 상호운용성 Ministry of Digital Affairs ·
  4. 2024-01-09🇺🇸 미국 보건 데이터·기술·상호운용성 인증 규칙 Department of Health and Human
동향 표기 · 상호운용성(30)
동향 문서 30기간 10개월최근 90%병기 4
164규정 준수compliance적용되는 법령·표준·내부 정책의 요구를 지키고, 지켰다는 사실을 증거로 보일 수 있는 상태를 유지하는 활동을 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어컴플라이언스

용어 설명

적용되는 법령·표준·내부 정책의 요구를 지키고, 지켰다는 사실을 증거로 보일 수 있는 상태를 유지하는 활동을 의미함.

  • 적용 요구의 식별, 이행 절차 수립, 이행 기록 보존, 요청 시 증거 제출로 이루어지며, AI에서는 위험 관리 문서, 학습 데이터의 출처·처리 이력, 평가 결과, 사고 기록이 주된 증거가 됨.
  • 모델이 갱신·추가 학습·용도 전용되면 기존 적합성 판단의 근거가 흔들리므로, 실질적 변경 시 재평가와 AI 수명주기 전반의 지속 관리가 필요함.
  • 형식적 준수가 곧 실제 위험 감소를 뜻하지는 않는다는 점에서, 문서 갖추기에 그치는 대응의 한계가 지적됨.

용어 관계

혼동 주의 신뢰보증

해설 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

지키는 것과 증명하는 것이 함께라는 점이 이 개념의 핵심이다. 실제로 잘 하고 있어도 그것을 보일 수 없으면 규정 준수가 되지 않는다. 그래서 작업은 네 단계로 이뤄진다. 우리에게 적용되는 요구가 무엇인지 식별하고, 그것을 지키는 절차를 만들고, 절차를 따랐다는 기록을 남기고, 요청이 오면 증거를 제출할 수 있는 상태를 유지하는 것이다. AI에서는 위험 관리 문서, 학습 데이터의 출처와 처리 이력, 평가 결과, 사고 기록이 주된 증거가 된다.

AI에서 이 일이 특히 번거로운 이유는 대상이 가만히 있지 않기 때문이다. 제조업의 제품은 출하 시점의 상태가 유지되지만, 모델은 갱신되고 추가 학습되고 새 용도로 전용된다. 그때마다 앞서 받은 적합성 판단의 근거가 흔들린다. 그래서 한 번의 심사로 끝내는 설계는 성립하기 어렵고, 무엇이 실질적 변경인지 미리 정해 두고 그때 재평가하도록 만드는 방식, 그리고 수명주기 전체를 지속 관리하는 방식이 표준 접근으로 자리 잡았다.

동향 표기 · 규제 준수(29) / 규정 준수(25) / 준수(197)
동향 문서 29기간 13개월최근 90%병기 8
165투명성 의무transparency obligationAI를 사용한다는 사실이나 결과물이 AI로 생성되었다는 사실을 이용자·대상자에게 고지하거나 표시하도록 법이 부과하는 의무를 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어표시 의무

용어 설명

AI를 사용한다는 사실이나 결과물이 AI로 생성되었다는 사실을 이용자·대상자에게 고지하거나 표시하도록 법이 부과하는 의무를 의미함.

  • AI 기반으로 운용된다는 사실의 사전 고지, 생성물에 대한 AI 생성 표시, 실제와 구별하기 어려운 합성 음향·이미지·영상(딥페이크)의 명확한 고지·표시가 주요 유형임.
  • 상대가 AI의 개입을 알고 스스로 판단하게 해 기만·허위 정보·조작 피해를 줄이려는 취지이며, 위험 등급과 별도로 부과되는 경우가 많음.
  • 눈에 보이는 표시는 편집·재저장으로 쉽게 사라지므로, 기계 판독 가능한 표시(AI 워터마킹, 출처 메타데이터)와 플랫폼 간 상호운용 표준이 함께 요구됨.

구별'투명성'이 시스템에 관한 정보가 관계자에게 제공되는 정도라는 넓은 원칙이라면, '투명성 의무'는 그중 고지·표시처럼 법으로 구체화된 의무를 가리킴.

용어 관계

혼동 주의 투명성

주요 기관·문서별 개념 및 적용

🇰🇷한국 AI 기본법2026
  • 제31조는 고영향 AI나 생성형 AI를 이용한 제품·서비스를 제공하려는 경우 해당 AI에 기반해 운용된다는 사실을 이용자에게 사전에 고지하고, 생성형 AI 결과물에는 생성형 AI로 생성되었다는 사실을 표시하도록 함. [1]
  • 실제와 구분하기 어려운 가상의 음향·이미지·영상 등을 제공하는 경우에는 AI 시스템으로 생성되었다는 사실을 이용자가 명확하게 인식할 수 있는 방식으로 고지 또는 표시하도록 함. [1]
🇪🇺EU AI Act2024/1689
  • 제50조제2항은 합성 음성·이미지·영상·텍스트를 생성하는 AI 시스템 제공자에게 출력이 인위적으로 생성·조작되었음을 기계 판독 가능한 형식으로 표시해 탐지할 수 있게 하고, 기술적 해법이 가능한 범위에서 효과적·상호운용적·강건·신뢰할 수 있도록 요구함. [2]
  • 제50조제4항은 공공의 이익에 관한 사안을 알리려고 게시하는 텍스트를 생성·조작하는 AI 시스템의 배포자에게 인위적 생성·조작 사실을 공개하도록 함. [2]

출처

  1. 1『인공지능기본법 지원데스크 사례집』(2026), p.11 · 원문 · 라이브러리에서 보기
  2. 2G'sell (2024). Regulating Under Uncertainty, Ch.5, p.211 · 원문
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 2

위험 등급과 무관하게 별도로 붙는 의무라는 점이 특징이다. 위험이 낮아도 상대가 그 사실을 알아야 하는 상황이 있기 때문이다. EU AI법은 사람과 대화하는 AI는 자신이 AI임을 알리고, 감정을 인식하거나 생체 정보로 사람을 분류하는 시스템은 대상자에게 고지하며, 실제와 구별하기 어려운 합성 콘텐츠는 합성물임을 표시하도록 요구한다. 알 권리를 보장해 상대가 스스로 판단할 수 있게 하는 것이 취지다.

이 의무의 실효는 표시가 유통 과정에서 살아남는지에 달려 있다. 화면 한쪽에 붙은 안내 문구나 이미지 모서리의 표식은 잘라내거나 다시 저장하면 사라진다. 그래서 파일 자체에 실리는 방식이 함께 요구된다. 내용물 안에 눈에 띄지 않는 신호를 심는 워터마킹과, 서명된 이력을 파일에 붙이는 출처 메타데이터가 그런 수단이다. 어느 쪽이든 표준이 공유되지 않으면 플랫폼 사이의 검증이 성립하지 않기 때문에, 표시 의무는 표준화 문제와 함께 다뤄진다.

동향 표기 · 투명성 의무(28)
동향 문서 28기간 8개월최근 89%병기 1
166구속력binding force규범을 위반했을 때 제재나 강제가 따르는지, 즉 그 규범이 지켜야 하는 의무로 작동하는지를 가리키는 법적 성질을 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어법적 구속력

용어 설명

규범을 위반했을 때 제재나 강제가 따르는지, 즉 그 규범이 지켜야 하는 의무로 작동하는지를 가리키는 법적 성질을 의미함.

  • 법령·시행령은 위반 시 과태료·과징금·시정명령 같은 제재가 따르지만, 가이드라인·권고·행동규약·국제 선언은 원칙적으로 그런 효력이 없음.
  • AI 안전 거버넌스 문서를 읽을 때 어떤 요구가 의무인지 권고인지를 먼저 가려야 실제 효과를 판단할 수 있음.
  • 비구속 문서도 적합성 평가 기준 편입, 조달·계약 요건, 각국 입법의 참조점 등을 통해 사실상의 강제력을 얻을 수 있어, 유무보다 어떤 경로로 강제되는지를 보는 편이 정확함.
해설 · 참고 기사 3 · 관련 연구 2

AI 거버넌스 문서를 읽을 때 가장 먼저 확인해야 하는 성질이다. 법령과 시행령은 위반하면 과징금이나 시정명령 같은 제재가 따르고, 가이드라인·권고·행동규약은 원칙적으로 그런 효력이 없다. 같은 내용을 담고 있어도 이 차이가 실제 효과를 가른다. 그래서 어떤 요구를 두고 논의할 때, 그것이 지켜야 하는 의무인지 참고하면 좋은 권고인지 구별하지 않으면 논의가 헛돌게 된다.

다만 있다와 없다로만 나누면 놓치는 것이 있다. 비구속 문서도 여러 경로로 사실상의 강제력을 얻는다. 적합성 평가의 기준으로 편입되면 그것을 따르지 않고는 시장에 낼 수 없게 되고, 계약 조건이나 조달 요건에 들어가면 지키지 않으면 거래가 안 된다. 국가 사이의 합의도 구속력은 없지만 각국 입법의 참조점이 되어 간접적으로 작동한다. 그래서 실무에서는 구속력의 유무보다 어떤 경로로 강제되는지를 보는 편이 정확하다.

동향 표기 · 구속력(28)
동향 문서 28기간 12개월최근 71%병기 0
167수출 통제export control안보상 민감한 기술·물자·소프트웨어의 국외 이전을 국가가 허가·제한하는 제도로, AI에서는 고성능 반도체와 제조 장비, 모델 가중치 등의 이전 통제를 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어수출 규제

용어 설명

안보상 민감한 기술·물자·소프트웨어의 국외 이전을 국가가 허가·제한하는 제도로, AI에서는 고성능 반도체와 제조 장비, 모델 가중치 등의 이전 통제를 의미함.

  • 모델 학습에 대규모 연산이 필요하다는 점을 이용해, 고성능 AI 가속기와 반도체 제조 장비의 특정국 수출을 제한함으로써 역량 개발을 물리적 자원 쪽에서 억제하려는 접근이 대표적임.
  • 이중 용도 역량의 확산 속도를 늦추는 국가안보 수단으로 논의되며, 모델 가중치 자체를 통제 대상으로 삼을 수 있는지가 쟁점임.
  • 가중치 파일은 복제·전송 비용이 거의 없고 클라우드를 통한 원격 연산 접근은 수출 여부가 모호해, 통제 지점을 물리적 연산 자원에 두는 편이 상대적으로 실효적이라는 평가가 있음.

용어 관계

먼저 알 개념 국가안보

해설 · 참고 기사 3 · 관련 연구 1 · 정책 문서 2

군사적으로 쓰일 수 있는 기술이 경쟁국이나 우려 대상에게 넘어가는 것을 막으려는 제도로, 냉전기부터 운용돼 왔다. AI에서는 주로 연산 자원에 걸린다. 고성능 AI 가속기와 그것을 만드는 장비의 특정국 수출을 제한하는 조치가 대표적이다. 모델을 학습시키는 데 대규모 연산이 필요하다는 점을 이용해, 역량의 상한을 물리적 자원 쪽에서 억제하려는 접근이다. 모델 가중치 자체를 통제 대상으로 볼 수 있는지가 뒤이어 논의됐다.

소프트웨어를 통제하는 데는 근본적인 난점이 있다. 물자는 국경에서 세관이 막을 수 있지만, 가중치 파일은 복제 비용이 사실상 없고 네트워크로 옮겨진다. 클라우드를 통해 원격으로 연산 자원에 접근하는 경우를 수출로 볼지 서비스 이용으로 볼지도 경계가 모호하다. 이런 이유로 통제 지점을 소프트웨어가 아니라 물리적인 연산 자원과 제조 장비에 두는 접근이 상대적으로 실효를 갖는다는 평가가 있다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2025-01-03🇺🇸 수출통제 집행조정센터 설립 및 불법 환적 대응법 United States Congress · 법안
  2. 2020-01-06🇺🇸 지리공간 영상 분석 자동화 소프트웨어 수출통제 규칙 Department of Commerce (DOC)|D
동향 표기 · 수출 통제(25)
동향 문서 25기간 13개월최근 72%병기 0
168프라이버시privacy자신에 관한 정보와 활동에 타인이 접근·처리하는 방식을 스스로 통제할 수 있는 권리, 그리고 감시나 간섭을 받지 않는 상태를 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어사생활

용어 설명

자신에 관한 정보와 활동에 타인이 접근·처리하는 방식을 스스로 통제할 수 있는 권리, 그리고 감시나 간섭을 받지 않는 상태를 의미함.

  • 데이터 처리 규율을 넘어 감시받지 않을 상태, 방해받지 않고 홀로 있을 자유, 자기에 관한 일을 스스로 결정할 자유까지 포함함.
  • AI는 학습 데이터의 기억·유출뿐 아니라 위치 이력·문체·소비 기록 등에서 제공한 적 없는 민감한 사실을 추론해 내는 방식으로 프라이버시를 침해할 수 있어, 수집 단계 규율만으로는 대응이 어려움.
  • 감시 기술과 결합하면 개별 정보 처리가 적법하더라도 사람을 상시 관찰받는 상태에 두는 침해가 성립할 수 있음.

구별'프라이버시'가 자기 정보와 사적 영역에 대한 통제권이라는 넓은 권리 개념이라면, '개인정보 보호'는 그중 데이터 처리의 적법성을 규율하는 법제·실무를 가리킴.

용어 관계

주요 기관·문서별 개념 및 적용

🌐국제 AI 안전 보고서2025·2026
  • 2025년 보고서는 개인이나 집단이 자신의 민감한 정보·활동에 타인이 접근·처리하는 방식을 통제할 권리로 정의함. [1]
  • 2026년 보고서는 자신에 관한 데이터에 타인이 접근·처리하는 방식을 통제할 권리로 정의함. [2]

출처

  1. 1International AI Safety Report 2025, Glossary, p.224–225 · 원문
  2. 2International AI Safety Report 2026, p.153 · 원문 · 라이브러리에서 보기
해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 4 · 정책 문서 4

개인정보 보호보다 넓은 개념이다. 개인정보 보호가 데이터를 어떻게 처리해야 하는지에 관한 규율이라면, 프라이버시는 감시받지 않을 상태, 방해받지 않고 홀로 있을 자유, 자기에 관한 일을 스스로 결정할 자유까지 포함한다. 그래서 둘이 어긋날 수 있다. 법이 정한 절차를 모두 지켜 개인정보를 적법하게 처리했더라도, 그 결과가 사람을 상시 관찰받는 상태에 두었다면 프라이버시 침해는 성립할 수 있다.

AI가 만든 새로운 국면은 추론이다. 예전에는 정보를 알아내려면 수집해야 했지만, 이제는 이미 가진 다른 정보에서 추정해 낼 수 있다. 위치 이력에서 종교나 건강 상태를, 글의 문체에서 신원을, 소비 기록에서 임신 여부를 추정하는 식이다. 제공한 적 없는 사실이 노출되는 것이므로 수집 단계를 규율하는 방식만으로는 다루기 어렵다. 무엇을 모을 수 있는지가 아니라 무엇을 추론해 써도 되는지를 규율해야 한다는 논의가 여기서 나온다.

번역자신이나 집단의 민감 정보·활동에 타인이 접근·처리하는 방식을 스스로 통제할 권리.

A person's or group's right to control how others access or process their sensitive information and activities.

출처 International Scientific Report on the Safety of Advanced AI · p.139–140, p.208–209, p.224–225 · EN · 정의섹션

번역자신에 관한 데이터에 타인이 접근·처리하는 방식을 스스로 통제할 권리.

A person's right to control how others access or process data about them. | a mathematical proof, to improve performance on tasks such as mathematical problem-solving

출처 International AI Safety Report 2026 · p.154 · EN · 정의섹션 · 라이브러리에서 보기

동향 표기 · 프라이버시(108)
동향 문서 108기간 17개월최근 82%병기 1PDF 문서 38정의섹션 3
169개인정보 보호data protection개인에 관한 정보의 수집·이용·제공·보관 과정을 규율해 정보 주체의 권리를 지키는 법제와 실무를 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어데이터 보호

용어 설명

개인에 관한 정보의 수집·이용·제공·보관 과정을 규율해 정보 주체의 권리를 지키는 법제와 실무를 의미함.

  • 목적 특정, 최소 수집, 정확성 유지, 보관 기간 제한, 안전한 관리, 열람·정정·삭제 요구권 등이 각국 법제에 공통된 원칙임.
  • AI 학습은 목적을 특정하지 않은 대량 수집과 재사용을 전제로 하는 경우가 많아 이 원칙들과 충돌하며, 학습 데이터의 법적 근거와 삭제권이 이미 학습된 모델에까지 미치는지가 쟁점임.
  • 가명·익명 처리, 합성 데이터, 머신 언러닝이 완충 수단으로 쓰이나, 모델이 학습한 개인정보를 출력하거나 다른 정보에서 추론해 내는 위험은 남음.

구별'개인정보 보호'가 데이터 처리의 적법성을 규율하는 법제·실무라면, '프라이버시'는 감시받지 않을 상태와 자기 정보에 대한 통제권까지 포함하는 더 넓은 권리 개념임.

용어 관계

해설 · 원문 인용 2 · 참고 기사 3 · 관련 연구 1 · 정책 문서 4

나라마다 법은 다르지만 원칙은 대체로 공통이다. 목적을 미리 특정하고, 그 목적에 필요한 최소한만 모으고, 정확하게 유지하고, 필요한 기간만 보관하고, 안전하게 관리하고, 정보의 주인이 열람·정정·삭제를 요구할 수 있게 하는 것이다. 문제는 AI 학습이 이 원칙 대부분과 어긋나는 방식으로 작동한다는 점이다. 목적을 특정하지 않은 채 가능한 한 많이 모아 두고, 나중에 새로운 용도에 쓰는 것이 학습의 기본 방식이기 때문이다.

쟁점이 가장 집중되는 곳은 학습 자료의 법적 근거다. 공개된 웹에 있는 글과 사진을 수집해 학습하는 일이 어떤 근거로 정당화되는지, 정보의 주인이 삭제를 요구할 권리가 이미 학습을 마친 모델에까지 미치는지가 여러 나라에서 다투어지고 있다. 실무에서는 개인을 특정할 수 없게 처리한 자료를 쓰거나, 실제 자료의 통계적 성질만 닮은 합성 자료를 만들어 쓰는 방식이 완충으로 활용된다.

제 조 에 정의된 개인정보 Regulation (EU) 2016/679 4 (1)

출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.15 · KO · 정의섹션

번역공개되거나 잘못 다루되면 개인·조직에 피해·곤란·불편·불공정을 초래할 수 있는 정보.

Information that, if disclosed or mishandled, could result in harm, embarrassment, inconvenience, or unfairness to an individual or organisation.

출처 International Scientific Report on the Safety of Advanced AI · p.139–140, p.208–209, p.226–227 · EN · 정의섹션

동향 표기 · 개인정보 보호(61) / 개인정보(178)
PDF 표기 · Personal Data
PDF 표기 · Sensitive data
동향 문서 61기간 16개월최근 92%병기 1PDF 문서 19정의섹션 3
171AI 주권sovereign AI국가가 자국의 데이터, 연산 자원, AI 모델과 관련 인프라에 대한 통제력을 확보하려는 정책 지향 또는 그 상태를 의미함.
#11. 법·규제·표준 Law, Regulation & Standards
AI 거버넌스·제도
대체어소버린 AI

용어 설명

국가가 자국의 데이터, 연산 자원, AI 모델과 관련 인프라에 대한 통제력을 확보하려는 정책 지향 또는 그 상태를 의미함.

  • 국가 차원의 연산 자원 확보, 자국어·자국 자료 기반 모델 개발, 데이터 국내 보관 요건 등이 정책 수단으로 제시되며, 언어와 문화가 반영된 모델이 필요하다는 논거가 함께 쓰임.
  • 특정 국가나 소수 기업의 인프라에 의존하면 서비스 중단·가격 인상·접근 제한 때 대응 수단이 없다는 점에서 국가안보상 취약점으로 다뤄지며, 자국 환경에 맞는 안전 평가·통제 역량 확보와도 연결됨.
  • 반도체·클라우드가 국제 공급망에 묶여 있어 완전한 자립은 어렵고, 어느 층(모델·운영·데이터·응용)에서 통제를 확보할지 고르는 문제로 정리되는 경향이 있음.
해설 · 참고 기사 3 · 관련 연구 2 · 정책 문서 4

특정 국가나 소수 기업의 AI 인프라에 의존하는 상태가 경제적·안보적 취약점이라는 문제의식에서 나왔다. 서비스가 갑자기 중단되거나, 가격이 오르거나, 정치적 이유로 접근이 제한될 때 대응할 수단이 없다는 우려다. 정책 수단으로는 국가 차원의 연산 자원 확보, 자국어와 자국 자료에 기반한 모델 개발, 데이터를 국내에 보관하도록 하는 요건이 제시된다. 언어와 문화가 반영된 모델이 필요하다는 논거가 함께 쓰인다.

비판은 실효성과 비용에 모인다. 프론티어 AI 모델을 학습시키는 데 드는 자원을 감당할 수 있는 국가가 제한적이고, 감당하더라도 반도체와 클라우드가 국제 공급망에 묶여 있어 자립의 범위가 모호하다. 그래서 최근 논의는 완전한 자립을 목표로 삼는 대신, 어느 층에서 통제를 확보할지 고르는 문제로 정리되는 경향이 있다. 모델을 직접 만들 것인가, 남의 모델을 국내에서 돌릴 역량을 갖출 것인가, 자료와 응용 층만 통제할 것인가의 선택이다.

관련 정책 문서 · AI 안전 라이브러리

  1. 2026-10-19🇬🇧 영국 AI 주권 권고 서한 과학기술위원회(Council for Science an
  2. 2026-09-02🇬🇧 영국 주권 AI 유닛 기구·제도
  3. 2026-05-11AI 주권 시대의 디지털 대사관 프레임워크 World Economic Forum / Bain &
  4. 2025-03-07🇨🇦 캐나다 AI 주권 컴퓨팅 인프라 프로그램 전략·정책
동향 표기 · 소버린(23) / Sovereign(24)
동향 문서 23기간 10개월최근 96%병기 0

검색 결과가 없습니다.