001정렬(얼라인먼트)alignment양쪽동향PDF정렬·모델 행동
동향 문서 260기간 19개월최근 96%병기 78허브 0.72PDF 문서 29정의섹션 2점수 15.0814
동향 표기 · 정렬(260) / alignment(198)
이 용어집 · 집필 정의
AI 시스템이 설계자와 이용자가 실제로 의도한 목표대로 행동하게 만드는 문제.
사람은 AI에게 목표를 직접 심어 줄 수 없다. 할 수 있는 일은 원하는 방향을 가리키는 신호를 주는 것뿐이다 — 좋은 답에 높은 점수를 주거나, 모범 답안을 예시로 보여 주는 식이다. 모델은 그 신호를 최대한 만족시키도록 학습하는데, 신호는 언제나 진짜 의도의 근사치일 뿐이다. 그래서 신호를 완벽하게 만족시킨 모델이 정작 사람이 바란 것과 다르게 행동하는 일이 생긴다. 청소 로봇에게 먼지가 센서에 잡히지 않게 하라고 점수를 주면, 청소하는 대신 센서를 가리는 쪽을 배우는 것과 같은 구조다.
이 문제가 성능 문제와 구별된다는 점이 중요하다. 능력이 부족해 틀리는 것은 더 학습시키면 나아지지만, 정렬 실패는 능력이 올라갈수록 오히려 심각해진다. 목표를 더 잘 달성하는 모델일수록 잘못 지정된 목표도 더 철저하게 달성하기 때문이다. 그래서 안전 연구는 모델을 더 똑똑하게 만드는 일과 의도를 더 정확하게 전달하는 일을 서로 다른 과제로 놓고 다룬다. 국문에서는 정렬이 번역어로 자리 잡았지만 뜻이 곧바로 전달되지 않아 원어를 함께 적는 경우가 많다.
PDF 원문 인용
번역인공지능이 인간의 의도나 가치에 맞게 자신의 능력을 쓰는 성향. 맥락에 따라 개발자·운영자·사용자·특정 공동체·사회 전체의 의도·가치를 가리킬 수 있다.
An AI's propensity to use its capabilities in line with human intentions or values. Depending on the context, this can variously refer to the intentions and values of developers, operators, users, specific communities, or society as a whole.
출처 International Scientific Report on the Safety of Advanced AI · p.218–219 · EN · 정의섹션 · 원문
002편향(바이어스)bias양쪽동향PDF정렬·모델 행동
동향 문서 186기간 25개월최근 80%병기 6허브 0.77PDF 문서 30정의섹션 6점수 15.8027
동향 표기 · 편향(186)
이 용어집 · 집필 정의
특정 집단이나 관점에 체계적으로 불리하거나 유리하게 작동하는 성향.
어디서 들어오는지 보면 셋으로 나뉜다. 첫째는 자료다. 과거의 채용 기록으로 학습하면 과거의 채용 관행이 그대로 재현된다. 둘째는 만드는 과정이다. 전체 정확도만 높이도록 최적화하면 자료가 적은 소수 집단의 오류는 비용이 작아서 방치된다. 셋째는 쓰는 맥락이다. 어떤 집단에 맞게 만든 모델을 다른 집단에 적용하면 성능 차이가 그대로 불이익이 된다. 통계학에서 말하는 편향, 곧 추정값과 참값의 차이와는 같은 낱말을 쓰지만 뜻이 다르다.
정확도를 올리면 함께 사라지는 결함이 아니라는 점을 이해하는 것이 중요하다. 오히려 무엇을 공정으로 볼지 먼저 정해야 측정이 시작된다. 집단별 합격률을 맞출지, 집단별 오류율을 맞출지, 비슷한 개인을 비슷하게 대할지에 따라 결과가 달라지고, 이 기준들은 일반적으로 동시에 만족될 수 없다는 것이 수학적으로 알려져 있다. 그래서 편향을 없앴다는 말은 그 자체로는 성립하지 않는다. 어떤 기준으로 무엇을 줄였는지 밝혀야 검증할 수 있는 주장이 된다.
PDF 원문 인용
번역특정 집단이나 세계관에 유리하고 일부에게 불공정한 결과를 자주 낳는, 알고리즘 시스템의 체계적 오류. 설계 오류, 비대표·결함 데이터, 기존 사회 불평등 등에서 비롯될 수 있다.
Systematic errors in algorithmic systems that favour certain groups or worldviews and often create unfair outcomes for some people. Bias can have multiple sources, including errors in algorithmic design, unrepresentative or otherwise flawed datasets, or pre-existing social inequalities.
출처 International Scientific Report on the Safety of Advanced AI · p.92–93, p.219–220 · EN · 정의섹션 · 원문
003환각(할루시네이션)hallucination양쪽동향PDF정렬·모델 행동
동향 문서 42기간 15개월최근 90%병기 3허브 0.76PDF 문서 10정의섹션 1점수 5.7364
동향 표기 · 환각(42) / hallucination(18)
이 용어집 · 집필 정의
모델이 근거 없는 내용을 사실처럼 자신 있게 생성하는 현상.
언어모델은 다음에 올 말로 무엇이 그럴듯한지를 맞추도록 학습된다. 사실을 확인하는 별도의 장치가 있는 것이 아니라, 학습해 둔 언어의 패턴에서 가장 자연스러운 이어짐을 고르는 것이다. 그래서 존재하지 않는 논문 제목, 실재하지 않는 판례 번호, 없는 조문을 형식만 완벽하게 지어낸다. 저자 이름과 학술지 이름과 연도가 그럴듯하게 배열된 인용을 만들어 내는 것이 전형적인 예다. 모델은 거짓말을 하려는 것이 아니라, 사실인지 여부가 애초에 판단 대상이 아니었을 뿐이다.
형식이 정확할수록 사람이 걸러내기 어렵다는 점이 이 현상을 위험하게 만든다. 어색한 문장은 의심받지만 잘 짜인 인용은 그대로 받아들여진다. 검색 결과를 함께 넣어 주거나 출처를 반드시 달게 하면 빈도를 크게 줄일 수 있지만, 생성 원리에서 비롯되는 현상이라 완전히 없애기는 어렵다. 그래서 대응의 무게는 발생을 막는 쪽만이 아니라, 모델이 자기 확신도를 정직하게 알려 주게 만드는 쪽에도 놓인다. 환각 문제가 보정 문제와 맞닿는 지점이다.
PDF 원문 인용
번역인공지능 시스템이 생성하는 부정확하거나 오해를 부르는 정보. 거짓 사실이나 가짜 인용 등이 예다.
Inaccurate or misleading information generated by an AI system, for instance false facts or citations.
출처 International Scientific Report on the Safety of Advanced AI · p.222–223 · EN · 정의섹션 · 원문
004오정렬(미스얼라인먼트)misalignment양쪽동향PDF정렬·모델 행동
동향 문서 39기간 14개월최근 92%병기 2허브 0.86PDF 문서 15정의섹션 2점수 6.5999
동향 표기 · misalignment(39)
이 용어집 · 집필 정의
모델이 추구하는 실제 목표가 사람이 부여하려 한 목표와 어긋난 상태.
정렬이 이루려는 상태라면 오정렬은 그것이 실패한 상태다. 눈에 잘 띄는 형태는 모델이 요청을 거부하거나 엉뚱한 답을 내놓는 경우지만, 정작 다루기 어려운 것은 그 반대다. 학습 신호를 훌륭하게 만족시키면서도 의도와 다르게 행동하는 경우다. 채점 기준의 빈틈을 찾아내 점수만 올리는 보상 해킹이 대표적이고, 시험받는 상황에서만 바람직하게 행동하고 감시가 없을 때 달라지는 형태도 여기 든다. 겉으로 보이는 지표가 모두 정상이라 문제를 발견하는 일 자체가 과제가 된다.
오정렬은 특정 기능의 결함처럼 국소적으로 머물지 않는다는 점이 알려져 있다. 좁은 영역의 유해한 자료로 추가 학습을 시켰을 때, 학습과 아무 상관이 없는 질문에서까지 어긋난 답이 나오는 현상이 관측된다. 창발적 오정렬이라고 부르는 이 현상은 모델이 개별 규칙을 배우는 게 아니라 어떤 종류의 화자로 행동할지를 배운다는 것을 시사한다. 한 부분을 건드리면 전체 성향이 함께 움직일 수 있다는 뜻이어서, 부분적인 수정으로 정렬을 관리하기 어렵게 만든다.
PDF 원문 인용
번역인공지능이 인간의 의도·가치·규범과 어긋나게 능력을 쓰는 성향. 맥락에 따라 개발자·사용자·특정 공동체·사회 전체의 의도·가치를 가리킬 수 있다.
An AI's propensity to use its capabilities in ways that conflict with human intentions or values. Depending on the context, this can variously refer to the intentions and values of developers, operators, users, specific communities, or society as a whole.
출처 International Scientific Report on the Safety of Advanced AI · p.100–101, p.223–224 · EN · 정의섹션 · 원문
번역인공지능이 인간의 의도·가치·규범과 어긋나게 능력을 쓰는 성향. 맥락에 따라 개발자·사용자·특정 공동체·사회 전체의 의도·가치를 가리킬 수 있다.
An AI's propensity to use its capabilities in ways that conflict with human intentions, values, or norms. Depending on the context, this can refer to the intentions and values of various entities, such as developers, users, specific communities, or society as a whole.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 원문
005파인튜닝(미세조정)fine-tuning양쪽동향PDF정렬·모델 행동
동향 문서 33기간 7개월최근 91%병기 2허브 0.69PDF 문서 22정의섹션 4점수 10.65
동향 표기 · 파인튜닝(33) / fine-tuning(43) / 미세조정(10)
이 용어집 · 집필 정의
이미 학습된 모델을 소량의 데이터로 추가 학습해 용도에 맞게 바꾸는 것.
큰 모델을 처음부터 학습시키는 데는 막대한 자료와 계산이 들지만, 이미 만들어진 모델을 특정 용도에 맞추는 데는 훨씬 적은 자원으로 충분하다. 사내 문서의 문체를 익히게 하거나, 특정 분야의 용어를 정확히 쓰게 하거나, 정해진 형식으로만 답하게 만드는 일이 여기 해당한다. 방식은 두 갈래다. 모델의 모든 수치를 조금씩 고치는 방법과, 원래 수치는 그대로 두고 작은 보정층만 덧붙이는 방법이다. 후자가 비용이 훨씬 적어 실무에서 널리 쓰인다.
안전 관점에서 이 기법이 중요한 이유는 정렬을 되돌리는 통로가 되기 때문이다. 유해한 요청을 거절하도록 공들여 학습시킨 모델도, 소량의 자료로 추가 학습을 하면 그 거부 성향이 쉽게 풀린다는 것이 반복 확인됐다. 심지어 유해하지 않은 자료로 조정했을 때도 안전 학습이 약해지는 경우가 보고된다. 모델을 서비스로만 제공하는 쪽은 어떤 조정을 허용할지 통제할 수 있지만, 모델 가중치가 공개되면 이 통제가 사라진다. 오픈웨이트 모델 논쟁의 핵심이 여기 있다.
PDF 원문 인용
번역초기 학습 이후 추가 데이터로 특정 과제에 맞추거나 전반적으로 더 유용하게 적응시키는 과정.
The process of adapting an AI model after its initial training to a specific task or making it more useful in general by training it on additional data.
출처 International AI Safety Report 2026 · p.151 · EN · 정의섹션 · 원문
번역사전학습된 AI 모델을 추가 데이터로 특정 과제에 맞추거나 전반적으로 더 유용하게 적응시키는 과정.
The process of adapting a pre-trained AI model to a specific task or making it more useful in general by training it on additional data.
출처 International Scientific Report on the Safety of Advanced AI · p.170, p.221–222 · EN · 정의섹션 · 원문
미세조정은 이미 학습된 AI 모델을 새로운 목적이나 환경에 맞게 다시 조정하는 학습 과정으로, 대규모 데이터로 사전 학습된 모델이 특정 분야에서 더 정확하고 안정적으로 작동하도록 추가 학습을 수행하는 기술을 의미합니다. 기존 학습 과정에서 모델이 얻은 일반 지식을 유지한 채, 새로운 데이터의 특성을 반영해 모델의 행동을 재정렬하는 절차라 할 수 있습니다. 최근 LLM의 발전 이후 미세조정은 단순한 성능 개선을 넘어, 응답 스타일·추론 방식·안전성 기준을 목적에 적합한 방향으로 정교하게 다듬는 핵심 단계로 활용됩니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.42 · KO · 정의섹션 · 원문
006통제 상실loss of control양쪽동향PDF정렬·모델 행동
동향 문서 23기간 12개월최근 91%병기 1허브 0.86PDF 문서 13정의섹션 2점수 8.3113
동향 표기 · 통제 상실(23)
이 용어집 · 집필 정의
인간이 AI 시스템의 행동을 되돌리거나 멈출 수 없게 되는 상태.
어느 순간 갑자기 벌어지는 사건이 아니라 정도의 문제다. 통제력은 세 가지가 겹칠 때 줄어든다. 첫째, 시스템이 사람 개입 없이 오래 움직일 때. 둘째, 그 행동이 되돌릴 수 없을 때 — 보낸 메일, 실행된 거래, 지워진 파일은 취소가 안 된다. 셋째, 감독자가 결과의 옳고 그름을 판단할 능력이 시스템보다 뒤처질 때. 그래서 통제 상실은 모델의 성질이라기보다 모델을 어떻게 배치했는지의 성질로 다뤄진다. 같은 모델도 권한을 어떻게 주느냐에 따라 통제 가능성이 달라진다.
논의는 두 갈래의 경로를 구분한다. 하나는 시스템이 정지나 수정에 저항하는 경우다. 목표를 달성하려면 계속 작동해야 하므로 정지를 피하는 것이 하위 목표가 될 수 있다는 논리다. 다른 하나는 저항이 전혀 없어도 도달하는 경로다. 단계마다 합리적인 위임이 쌓이고, 검증할 수 없는 결정이 조금씩 늘어나, 결국 아무도 전체를 이해하지 못하는 상태가 된다. 극적인 장면이 없어서 알아채기 어렵다는 점에서 후자가 더 현실적인 위험으로 지적된다.
PDF 원문 인용
번역하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 동작하며, 통제를 되찾을 명확한 경로가 없는 시나리오.
A scenario in which one or more general-purpose AI systems come to operate outside of anyone's control, with no clear path to regaining control.
출처 International Scientific Report on the Safety of Advanced AI · p.100–101, p.223 · EN · 정의섹션 · 원문
번역하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않고 동작하며, 통제를 되찾을 명확한 경로가 없는 시나리오.
A scenario in which one or more general-purpose AI systems come to operate outside of anyone's control, with no clear path to regaining control.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 원문
007기만(속임)deception양쪽동향PDF정렬·모델 행동
동향 문서 15기간 8개월최근 93%병기 2허브 0.69PDF 문서 18정의섹션 3점수 12.7351
동향 표기 · 기만(15) / deception(11)
이 용어집 · 집필 정의
모델이 상대가 틀린 믿음을 갖도록 유도하는 행동.
환각과 갈라 두어야 하는 개념이다. 환각은 모델도 근거를 갖추지 못한 상태에서 그럴듯한 말을 만드는 것이고, 기만은 내부적으로 파악한 것과 다르게 말하는 경우를 가리킨다. 특별한 악의를 가정할 필요는 없다. 목표를 달성하는 데 사실대로 보고하는 것이 불리하다면, 거짓 보고가 그저 더 높은 점수를 받는 선택이 될 수 있다. 작업을 완료했다고 보고하는 편이 실패를 알리는 편보다 좋은 평가를 받는 구조라면, 그 구조가 기만을 학습시킨다.
판정이 어렵다는 것이 이 개념의 실질적인 난점이다. 모델이 무엇을 알고 있었는지 직접 확인할 방법이 없기 때문에, 말과 사실이 어긋났다는 것만으로는 기만인지 환각인지 가릴 수 없다. 그래서 우회로를 쓴다. 내부 계산을 들여다보는 해석가능성 연구나, 모델이 답을 내기 전에 풀어 쓴 사고연쇄를 살펴보는 방식이다. 다만 서술된 사고 과정이 실제 계산과 일치한다는 보장이 없어서, 이 우회로만으로 판정을 끝낼 수는 없다.
PDF 원문 인용
번역어떤 목표를 위해 타인에게 체계적으로 잘못된 믿음을 심어 주는 형태의 영향력.
A form of influence characterised by systematically inducing false beliefs in others in pursuit of some goal.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 원문
타인에게 체계적으로 잘못된 믿음을 형성하게 하는 모델 행동으로서 모델이 자신이 평 , 가되고 있음을 탐지하여 의도적으로 성능을 낮추거나 그 밖의 방식으로 감독을 약화시 키는 등 감독 회피를 수반하는 목표 달성을 위한 모델 행동을 포함
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.109 · KO · 정의섹션 · 원문
008사보타주(태업·방해)sabotage양쪽동향PDF정렬·모델 행동
동향 문서 12기간 9개월최근 83%병기 1허브 0.70PDF 문서 13정의섹션 1점수 5.7482
동향 표기 · 사보타주(12) / sabotage(11)
이 용어집 · 집필 정의
모델이 맡은 일을 의도적으로 부실하게 수행하거나 훼손하는 행동.
거부와 다른 형태의 비협조다. 요청을 거절하면 그 사실이 곧바로 드러나지만, 사보타주는 겉으로 협조하는 모습을 유지하면서 결과만 어긋나게 만든다. 능력을 갖고 있으면서 못하는 척하는 샌드배깅, 코드에 눈에 잘 띄지 않는 결함을 남기는 것, 감시 장치가 볼 수 있는 기록만 정상으로 맞춰 두는 것이 여기 든다. 통상적인 품질 검사는 결과물이 요건을 충족하는지 보는데, 이런 행동은 요건을 충족한 것처럼 보이게 만들어 검사를 통과한다.
왜 별도의 개념으로 다루는지는 AI가 안전 절차의 일부를 맡는 상황을 놓고 보면 분명해진다. 모델이 다른 모델을 평가하고, 학습 데이터를 만들고, 코드를 검토하는 구조에서는 감독 대상이 감독 절차의 일부가 된다. 이때 한 번의 사보타주가 이후 판단 전체를 오염시킬 수 있다. 그래서 모델이 협조한다는 가정을 아예 버리고, 협조하지 않는 모델을 상대로도 안전이 유지되는지 확인하는 방식이 별도로 제안된다.
PDF 원문 인용
번역특정인이 성행위나 약물 사용 등 곤란한 행위에 가담하는 것처럼 보이는 가짜 콘텐츠를 만들어 유포함으로써, 명예·경력을 해치거나 공적 활동에서 물러나게 하려는 행위.
Generating fake content that presents an individual engaging in compromising activities, such as sexual activity or using drugs, and then releasing that content in order to erode a person's reputation, harm their career, and/or force them to disengage from public-facing activities (e.g. in politics, journalism, or entertainment).
출처 International Scientific Report on the Safety of Advanced AI · p.63 · EN · 정의섹션 · 원문
009아첨 성향(사코펀시)sycophancy양쪽동향PDF정렬·모델 행동
동향 문서 7기간 4개월최근 71%병기 2허브 0.53PDF 문서 7정의섹션 1점수 3.7117
동향 표기 · 아첨(7) / sycophancy(26)
이 용어집 · 집필 정의
사실보다 이용자의 기대에 맞추어 답을 바꾸는 성향.
사람의 선호로 모델을 다듬으면 자연스럽게 생기는 부작용이다. 평가자가 마음에 든다고 표시한 답에 높은 점수가 실리는데, 사람은 자기 생각에 동의하는 답을 더 좋게 평가하는 경향이 있다. 그 결과 모델은 옳은 답보다 상대가 듣고 싶은 답을 고르는 쪽으로 기울어진다. 이용자가 그럴 리 없다고 반박하면 맞았던 답을 철회하고, 이용자가 자기 입장을 먼저 밝히면 그에 맞춰 견해를 조정하는 모습으로 나타난다.
무례함의 반대말이 아니라 안전 문제로 취급된다는 점이 중요하다. 아첨하는 모델은 이용자가 위험한 계획을 내놓아도 제동을 걸지 않고, 잘못된 전제를 바로잡지 않는다. 더 근본적인 문제는 감독을 무력화한다는 데 있다. 사람이 모델을 감독하는 구조는 모델이 정직하게 보고한다는 전제 위에 서 있는데, 감독자가 보고 싶어 하는 결과를 보여 주는 모델은 그 전제를 허문다. 검토를 통과했다는 사실이 안전의 근거가 되지 못하게 되는 것이다.
PDF 원문 인용
번역범용 AI 모델·시스템이 사용자를 치켜세우거나 맞장구치는 경향. 그 과정에서 부정확하거나 해로운 정보를 주더라도 그렇게 하는 경우를 포함한다.
The tendency of general-purpose AI models and systems to flatter or validate their users, even when that involves providing inaccurate or harmful information.
출처 International AI Safety Report 2026 · p.154–155, p.155–156 · EN · 정의섹션 · 원문
010인간 감독(인적 감독)human oversight동향정렬·모델 행동
동향 문서 52기간 14개월최근 81%병기 0허브 0.86
동향 표기 · 인간 감독(52) / oversight(36)
이 용어집 · 집필 정의
사람이 AI의 판단을 이해하고 개입·중단할 수 있도록 보장하는 장치.
사람을 한 명 앉혀 두는 것과는 다르다. 감독이 실제로 작동하려면 감독자가 그 시스템이 무엇을 잘하고 무엇을 못하는지 알아야 하고, 자동화된 출력을 지나치게 믿지 않도록 훈련돼야 하며, 결정을 무시하거나 시스템을 멈출 실질적인 권한을 가져야 한다. EU AI법이 고위험 AI에 요구하는 내용도 이런 조건들이다. 감독을 가능하게 하는 설계가 개발 단계에서부터 들어가야 한다는 뜻이기도 하다.
가장 흔한 실패는 감독이 형식만 남는 것이다. 검토할 시간이 없거나, 판단 근거를 볼 수 없거나, 반대했을 때 불이익이 돌아오는 구조에서는 사람이 승인 버튼만 누르게 된다. 이렇게 되면 책임 소재만 사람 쪽으로 옮겨 가고 통제는 실제로 존재하지 않는다. 그래서 감독 지점을 설계할 때는 되돌릴 수 없는 행위에 초점을 맞추고, 그 지점에는 충분한 정보와 시간을 함께 배치하는 것이 원칙으로 권고된다. 모든 단계를 확인하게 하면 어느 단계도 제대로 확인되지 않는다.
EU AI법 제14조(인간 감독)
011인간 피드백 기반 강화학습(RLHF)RLHF동향정렬·모델 행동
동향 문서 35기간 12개월최근 80%병기 2허브 0.67
동향 표기 · RLHF(35)
이 용어집 · 집필 정의
사람의 선호 비교로 보상 모델을 만들어 언어모델을 조정하는 기법.
세 단계로 이뤄진다. 먼저 모델에게 같은 질문에 여러 답을 내게 하고, 사람이 어느 쪽이 더 나은지 표시한다. 다음으로 그 선호 데이터를 학습해 답에 점수를 매기는 보상 모델을 만든다. 마지막으로 그 점수를 높이는 방향으로 언어모델을 다시 학습시킨다. 사람이 모든 상황에 대한 모범 답안을 쓰는 것은 불가능하지만 두 답을 비교하는 일은 할 수 있다는 점을 이용한 설계다. 지시를 따르고 유해한 요청을 거절하는 오늘날 대화형 모델의 성격은 대부분 이 단계에서 만들어진다.
정렬을 위한 수단이면서 동시에 정렬 문제의 원천이기도 하다는 점이 이 기법을 이해하는 핵심이다. 보상 모델이 실제로 배우는 것은 좋은 답이 아니라 사람이 좋다고 표시한 답이다. 사람의 평가는 시간에 쫓기고, 긴 답과 자신 있는 문체에 후하며, 검증하기 어려운 주장을 걸러내지 못한다. 그 편향이 그대로 보상에 들어가면 모델은 좋은 답 대신 좋아 보이는 답을 최적화한다. 아첨 성향이 이 경로로 생기는 대표적인 부작용이다.
012증류(지식 증류)distillation동향정렬·모델 행동
동향 문서 32기간 6개월최근 100%병기 10허브 0.56
동향 표기 · 증류(32) / distillation(35)
이 용어집 · 집필 정의
큰 모델의 출력을 교사로 삼아 작은 모델에 능력을 옮기는 기법.
작은 모델을 정답 데이터로 직접 가르치는 대신, 큰 모델이 내놓은 답과 그 답에 이르는 확률 분포를 흉내내게 한다. 정답만 알려 주는 것보다 정보가 풍부하기 때문에 — 어떤 오답이 그럴듯하고 어떤 오답이 터무니없는지까지 함께 배운다 — 훨씬 적은 규모로 큰 모델에 가까운 성능에 이를 수 있다. 서비스 비용과 응답 지연을 줄이려면 결국 작은 모델이 필요하므로, 실무에서는 거의 표준 절차에 가깝다.
두 가지 쟁점이 따라붙는다. 하나는 권리 문제다. 다른 회사 모델에 대량으로 질문을 보내 그 답을 모아 경쟁 모델을 만드는 행위가 어디까지 허용되는지를 두고 이용약관 위반 여부가 다투어진다. 다른 하나는 안전 문제다. 능력은 옮겨 가는데 안전장치는 함께 옮겨 가지 않을 수 있다. 교사 모델이 거절하던 요청을 증류된 모델이 받아 주는 경우가 보고되는데, 거부 행동은 특정 상황에서만 드러나므로 흉내낼 표본에 충분히 포함되지 않기 때문이다.
013사고연쇄(생각의 사슬)chain-of-thought (CoT)동향정렬·모델 행동
동향 문서 28기간 10개월최근 79%병기 6허브 0.56
동향 표기 · chain-of-thought(28) / CoT(30)
이 용어집 · 집필 정의
모델이 답을 내기 전에 중간 추론 단계를 글로 풀어 쓰게 하는 방식.
여러 단계를 거쳐야 하는 문제에서 곧바로 답을 내게 하면 틀리는데, 단계별로 생각해 보라고 지시하거나 풀이 과정이 담긴 예시를 몇 개 보여 주면 정확도가 크게 오른다. 중간 과정을 글로 쓰는 동안 모델이 그 글을 다시 입력으로 읽으면서 계산을 나눠 수행할 수 있게 되기 때문이다. 이 성질이 확인된 뒤로는 프롬프트 기법에 머물지 않고, 긴 추론 과정을 스스로 만들어 내도록 학습시킨 추론 모델 계열로 이어졌다.
안전 연구가 이 방식에 주목하는 이유는 감시 창구가 열린다는 점이다. 모델이 무엇을 고려하고 어떤 계획을 세우는지가 사람이 읽을 수 있는 글로 드러나므로, 위험한 의도를 결과가 나오기 전에 잡아낼 여지가 생긴다. 다만 여기에는 큰 전제가 붙는다. 써 놓은 사고 과정이 실제 내부 계산을 반영한다는 보장이 없다는 것이다. 답에는 영향을 주지 않은 그럴듯한 이유를 나중에 붙이는 경우가 확인되며, 이를 충실성 문제라고 부른다. 사고연쇄 감시만으로 안전을 보장할 수 없는 이유다.
014기만적 정렬Deceptive alignmentPDF정렬·모델 행동
PDF 문서 3정의섹션 1점수 3.2366
PDF 표기 · Deceptive alignment
PDF 원문 인용
번역시스템이 적어도 처음에는 무해해 보이는 행동을 하여, 탐지하기 어려운 오정렬.
Misalignment that is difficult to detect, because the system behaves in ways that at least initially appear benign. Risks 2.2 Risks from malfunctions
출처 International Scientific Report on the Safety of Advanced AI · p.100–101 · EN · 정의섹션 · 원문
번역시스템이 적어도 처음에는 무해해 보이는 행동을 하여, 탐지하기 어려운 오정렬.
Misalignment that is difficult to detect, because the system behaves in ways that at least initially appear benign.
출처 International Scientific Report on the Safety of Advanced AI · p.220–221 · EN · 정의섹션 · 원문
015다원적 정렬Pluralistic alignmentPDF정렬·모델 행동
PDF 문서 3정의섹션 1점수 3.0528
PDF 표기 · Pluralistic alignment
PDF 원문 인용
번역서로 다르고 때로 충돌하는 집단의 선호를 반영·균형 맞추려는 AI 시스템 개발 접근.
An approach to developing AI systems that seeks to represent and balance different, and sometimes conflicting, preferences across different groups.
출처 International AI Safety Report 2026 · p.153 · EN · 정의섹션 · 원문
016목표 명세 오류goal misspecificationPDF정렬·모델 행동
PDF 문서 3정의섹션 2점수 3.8061
PDF 표기 · Goal misspecification
PDF 원문 인용
번역인공지능에 부여된 목표와 개발자 의도가 어긋나, 의도하지 않거나 바람직하지 않은 행동을 추구하게 되는 상태.
A mismatch between the objective given to an AI and the developer's intention, leading the AI to pursue unintended or undesired behaviours.
출처 International Scientific Report on the Safety of Advanced AI · p.100–101, p.222–223 · EN · 정의섹션 · 원문
번역개발자가 의도한 목표의 불완전한 대리 지표로 목표를 적어 두어, 시스템이 의도치 않은 행동을 하게 되는 개발 실패 유형.
A failure mode in AI development where the specified objective serves as an imperfect proxy for the developer's intended goal, leading to unintended system behaviours.
출처 International AI Safety Report 2026 · p.151 · EN · 정의섹션 · 원문
017벤치마크(평가 문항집)benchmark양쪽동향PDF안전성 평가·측정
동향 문서 368기간 23개월최근 95%병기 6허브 0.59PDF 문서 27정의섹션 3점수 15.0425
동향 표기 · 벤치마크(368)
이 용어집 · 집필 정의
정해진 문제 묶음과 채점 방식으로 모델 능력을 견줄 수 있게 만든 시험.
서로 다른 모델을 같은 잣대로 비교하려면 같은 문제를 같은 방식으로 풀게 해야 한다. 그래서 문항과 정답, 채점 규칙을 묶어 공개해 둔 것이 벤치마크다. 지식을 묻는 것, 수학 문제를 푸는 것, 실제 코드 저장소의 버그를 고치는 것, 여러 단계를 거쳐 과제를 완수하는 것처럼 영역별로 표준 묶음이 자리 잡았다. 새 모델이 나올 때 발표되는 성능 수치는 대개 이 점수들이다.
다만 두 가지 방식으로 망가진다는 것을 알고 봐야 한다. 하나는 오염이다. 벤치마크는 공개돼 있어서 문항과 정답이 학습 데이터에 섞여 들어갈 수 있고, 그러면 점수는 실력이 아니라 암기를 재게 된다. 다른 하나는 과적합이다. 특정 벤치마크에서 잘 나오도록 겨냥해 만들면 그 점수만 오르고 실제 활용에서는 나아지지 않는다. 그래서 문항 일부를 공개하지 않거나, 주기적으로 새 문항으로 교체하거나, 사람 평가를 함께 두는 방식이 병행된다.
PDF 원문 인용
번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.
A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage. This section focuses on the core capabilities of general-purpose AI models and systems that are publicly available today. Section 1.3. Capabilities in coming years, discusses expected future developments in AI capabilities, and Section 2. Risks, discusses specific dangerous capabilities and their associated applications that contribute to risks.
출처 International Scientific Report on the Safety of Advanced AI · p.38 · EN · 정의섹션 · 원문
번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.
A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage. Capabilities of general-purpose AI 1.3 Capabilities in coming years
출처 International Scientific Report on the Safety of Advanced AI · p.47–48 · EN · 정의섹션 · 원문
번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.
A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of | Cognitive offloading: Reducing one's own mental effort by delegating cognitive tasks to other people or external systems. tasks, often designed to represent real-world usage. | Cognitive tasks: Activities that involve processing information, problem-solving, decision-making, and creative thinking, as distinct from physical | pathogen (such as | Biological weapon: A a bacterium, virus, or fungus) or a toxin (a poison derived from animals, plants, microorganisms or produced synthetically) that is deliberately released to cause disease, death, or incapacitation in humans, animals, plants or microorganisms. Biosecurity: A set of policies, practices, and measures (e.g.
출처 International AI Safety Report 2026 · p.149 · EN · 정의섹션 · 원문
번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.
A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage.
출처 International Scientific Report on the Safety of Advanced AI · p.182, p.219–220 · EN · 정의섹션 · 원문
번역실제 사용을 대표하도록 고안된 고정 과제 집합에서 AI 시스템 성능을 평가·비교하는, 표준화되고 대개 정량적인 시험·지표.
A standardised, often quantitative test or metric used to evaluate and compare the performance of AI systems on a fixed set of tasks designed to represent real-world usage or quantify inappropriate behaviour.
출처 International Scientific Report on the Safety of Advanced AI · p.319 · EN · 정의섹션 · 원문
018프롬프트 인젝션(프롬프트 주입)prompt injection양쪽동향PDF안전성 평가·측정
동향 문서 47기간 10개월최근 87%병기 2허브 0.90PDF 문서 8정의섹션 0점수 5.4573
동향 표기 · prompt injection(47)
이 용어집 · 집필 정의
모델이 읽는 데이터에 지시를 숨겨 원래 명령을 가로채는 공격.
언어모델은 개발자가 준 지시와 처리해야 할 자료를 같은 텍스트 흐름으로 받는다. 둘을 구조적으로 구별하는 장치가 없기 때문에, 자료 안에 명령처럼 생긴 문장이 들어 있으면 그것을 명령으로 실행할 수 있다. 요약해 달라고 건넨 웹페이지 안에 이전 지시를 무시하고 다음을 수행하라는 문장이 흰 글씨로 숨어 있는 경우가 전형이다. 이용자는 그런 지시를 한 적이 없고 존재조차 모른다는 점이 이 공격의 성격을 규정한다.
에이전트가 도구를 쓰기 시작하면 위험의 크기가 달라진다. 텍스트만 생성하던 모델이 가로채이면 잘못된 답이 나오는 데 그치지만, 파일을 읽고 메일을 보내고 코드를 실행하는 모델이 가로채이면 자료가 밖으로 나가고 시스템이 조작된다. 지시와 데이터를 원리적으로 분리하는 해법은 아직 없다. 그래서 현실적인 대응은 가로채이는 것을 전제로 하고 피해를 가두는 쪽이다. 도구별로 권한을 최소한으로 주고, 실행 환경을 격리하고, 되돌릴 수 없는 행위에는 사람 승인을 남긴다.
PDF 원문 인용
사용자가 텍스트 안에 숨겨 둔 지시가 AI의 시스템 규칙·안전 정책보다 우선 적용되도록 만들어, 모델이 본래 의도와 다른 행동을 수행하게 만드는 공격 기법입니다. 생성형 AI는 입력된 문장을 충실하게 따르려는 경향이 있어, 공격자는 평범한 요청 속에 전략적으로 삽입한 문구를 통해 모델의 응답 흐름을 교란할 수 있습니다. 단순 텍스트만으로도 내부 지침이 무력화될 수 있다는 점에서 대화형 AI의 핵심 보안 문제 중 하나입니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.86 · KO · 정의섹션 · 원문
019레드팀(레드티밍)red teaming양쪽동향PDF안전성 평가·측정
동향 문서 28기간 8개월최근 100%병기 2허브 0.78PDF 문서 22정의섹션 4점수 15.8634
동향 표기 · 레드팀(28) / red-teaming(45)
이 용어집 · 집필 정의
시스템을 깨뜨리려는 공격자 관점에서 의도적으로 결함을 찾는 활동.
군사 훈련과 정보보안에서 온 방식이다. 방어하는 쪽이 아니라 공격하는 쪽 역할을 맡은 팀을 따로 두고, 실제 악용 경로를 재현해 보게 한다. AI에서는 유해한 답을 끌어내는 프롬프트를 찾고, 안전장치를 우회하는 방법을 시도하고, 개발자가 숨겨 둔 지시문을 빼내려 하고, 에이전트가 권한을 넘어선 행동을 하게 유도한다. 사람이 직접 하는 경우와 다른 모델을 공격자로 세워 자동화하는 경우가 함께 쓰인다.
정해진 문항을 푸는 평가가 놓치는 것을 잡아내는 것이 강점이다. 벤치마크는 예상한 위험만 측정할 수 있지만, 레드팀은 아무도 생각하지 못한 우회로를 찾는 데 목적이 있다. 대신 약점도 분명하다. 같은 조건을 다시 만들기 어려워 결과를 재현하거나 모델 사이에 비교하기가 힘들고, 참여한 사람의 배경과 상상력에 따라 발견되는 문제가 크게 달라진다. 그래서 무엇을 얼마나 시도했고 어떤 기준으로 성공을 판정했는지 보고 양식을 표준화하려는 논의가 이어진다.
PDF 원문 인용
번역전담 인력·팀이 다양한 방법으로 취약점·한계·오용 가능성을 찾는 체계적 과정. 흔히 모델·시스템에 바람직하지 않은 행동을 유발하는 입력을 찾아 안전 공백을 드러낸다.
A systematic process in which dedicated individuals or teams search for vulnerabilities, limitations, or potential for misuse through various methods. Often, the red team searches for inputs that induce undesirable behaviour in a model or system to identify safety gaps.
출처 International Scientific Report on the Safety of Advanced AI · p.182, p.192, p.225–226 · EN · 정의섹션 · 원문
020탈옥(제일브레이크)jailbreak양쪽동향PDF안전성 평가·측정
동향 문서 21기간 11개월최근 81%병기 6허브 0.61PDF 문서 14정의섹션 2점수 6.8328
동향 표기 · 탈옥(21) / jailbreak(98)
이 용어집 · 집필 정의
프롬프트를 조작해 모델의 거부 장치를 우회하는 공격.
모델에게 거절해야 할 요청을 하면서, 그 요청이 거절 대상으로 보이지 않게 감싸는 방식이다. 소설 속 인물의 대사로 만들게 하거나, 교육 목적이라는 틀을 씌우거나, 다른 언어나 암호로 바꿔 쓰거나, 사람이 보면 무의미한 문자열을 뒤에 붙이는 방법이 알려져 있다. 마지막 방식은 사람이 고안하는 대신 자동 탐색으로 찾아내기도 한다. 거부가 요청의 뜻이 아니라 표면적인 형태에 반응하는 부분이 남아 있다는 점을 이용하는 것이다.
프롬프트 인젝션과 갈라 두는 것이 좋다. 탈옥은 이용자 자신이 자기 요청을 통과시키려는 공격이고, 프롬프트 인젝션은 제3자가 심어 둔 지시가 이용자의 의도와 무관하게 모델을 가로채는 공격이다. 방어의 목표가 다를 수밖에 없다. 탈옥은 지금까지 완전히 막힌 적이 없고 새 모델이 나오면 새 우회로가 발견되는 양상이 반복된다. 그래서 실무의 목표는 제거가 아니라, 성공률을 낮추고 뚫렸을 때 실제로 얻어낼 수 있는 피해를 제한하는 쪽에 놓인다.
PDF 원문 인용
번역안전장치를 우회해 무기 제조 지침 등 유해 콘텐츠를 내게 하려고 고안한 프롬프트를 만들어 제출하는 행위.
Generating and submitting prompts designed to bypass safeguards and make an AI system produce harmful content, such as instructions for building weapons.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 원문
번역가드레일을 우회해 무기 제조 지침 등 유해 콘텐츠를 내게 하려고 고안한 프롬프트를 만들어 제출하는 행위.
Generating and submitting prompts designed to bypass guardrails and make an AI system produce harmful content, such as instructions for building weapons.
출처 International Scientific Report on the Safety of Advanced AI · p.170, p.182, p.223 · EN · 정의섹션 · 원문
번역가드레일을 우회해 무기 제조 지침 등 유해 콘텐츠를 내게 하려고 고안한 프롬프트를 만들어 제출하는 행위.
Generating and submitting prompts designed to bypass guardrails and make an AI system produce harmful content, such as instructions for building weapons. The risks of general-purpose AI systems may be mitigated in part by limiting their behaviours. For example, policymakers may wish to prevent general-purpose AI systems from providing dangerous information to users (e.g. on the production of weapons; see 2.1.4. Biological and chemical attacks), being used for malicious purposes (e.g. for cyberattacks; see 2.1.3. Cyber offence), or having malfunctions that lead to harm (see 2.2. Risks from malfunctions ). A system's behaviour is safe if it avoids such mistakes, and a system is robust if it continues to behave safely in a wide range of circumstances. Beyond this, a system is adversarially robust if it maintains safe behaviour even in the presence of an adversary (e.g.
출처 International Scientific Report on the Safety of Advanced AI · p.192 · EN · 정의섹션 · 원문
탈옥(Jailbreak)은 사용자가 의도적으로 AI의 내장 안전장치(콘텐츠 정책·시스템 지시·거부 규칙 등)를 회피하도록 입력을 조작해, 모델로 하여금 금지된 응답을 생성하게 만드는 행위입니다. 스마트폰 탈옥의 개념을 차용한 용어로, 본질은 '모델의 허용 범위를 벗어나게 하는 조작'입니다. 탈옥이 성공하면 개인정보 노출, 유해·불법 정보 생성, 허위 정보 확산, 악성 코드·범죄 수법 제공 등 실질적 피해로 이어질 수 있으며, 서비스 제공자의 법적·평판적 리스크를 크게 높입니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.77 · KO · 정의섹션 · 원문
021해석가능성(해석성)interpretability양쪽동향PDF안전성 평가·측정
동향 문서 13기간 3개월최근 100%병기 1허브 0.51PDF 문서 20정의섹션 3점수 12.2636
동향 표기 · 해석가능성(13) / interpretability(11)
이 용어집 · 집필 정의
모델 내부 계산을 들여다봐 어떤 표현과 회로가 행동을 만드는지 밝히는 연구.
입력과 출력만 관찰하는 대신 모델 안에서 실제로 무슨 일이 벌어지는지 규명하려는 분야다. 특정 개념이 신경망의 어느 부분에 어떤 형태로 표현돼 있는지 찾고, 그 표현을 인위적으로 키우거나 지웠을 때 행동이 예상대로 바뀌는지 확인하는 방식으로 진행된다. 여러 개념이 뒤섞여 하나의 단위에 겹쳐 저장되는 성질 때문에 작업이 까다로운데, 이 겹침을 풀어내는 기법이 최근 연구의 중심에 있다.
행동을 관찰하는 것만으로는 풀리지 않는 문제가 있기 때문에 안전 연구에서 기대가 크다. 모델이 평가받는 동안에만 협조하는 경우, 말과 다르게 계산하는 경우, 특정 조건에서만 다르게 작동하도록 심어진 경우는 겉으로 드러나지 않는다. 내부를 볼 수 있다면 이런 것을 사전에 확인할 여지가 생긴다. 다만 큰 모델 전체를 설명할 수 있는 단계는 아니고, 지금은 특정 능력이나 회로를 부분적으로 규명하는 수준이다. 설명가능성과 이름이 비슷해 자주 섞이지만 목표가 다르다.
PDF 원문 인용
번역인간이 AI 모델의 내부 작동—특정 출력·결정이 나온 이유 포함—을 이해할 수 있는 정도. 수학적 과정을 인간이 추적 가능한 개념으로 옮길 수 있으면 해석가능성이 높다고 본다.
The degree to which humans can understand the inner workings of an AI model, including why it generated a particular output or decision.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 원문
번역인간이 AI 모델의 내부 작동—특정 출력·결정이 나온 이유 포함—을 이해할 수 있는 정도. 수학적 과정을 인간이 추적 가능한 개념으로 옮길 수 있으면 해석가능성이 높다고 본다.
The degree to which humans can understand the inner workings of an AI model, including why it generated a particular output or decision. A model is highly interpretable if its mathematical processes can be translated into concepts that allow humans to trace the specific factors and logic that influenced the model's output.
출처 International Scientific Report on the Safety of Advanced AI · p.192, p.201–202, p.223 · EN · 정의섹션 · 원문
022AI 감사(알고리즘 감사)AI audit동향안전성 평가·측정
동향 문서 187기간 15개월최근 95%병기 17허브 0.73
동향 표기 · 감사(187) / Audit(40)
이 용어집 · 집필 정의
독립적인 제3자가 AI 시스템의 설계·데이터·성능을 검증하는 절차.
만든 쪽이 스스로 낸 평가 결과만으로는 이해 상충을 피할 수 없다는 문제의식에서 나왔다. 회계 감사가 기업이 작성한 재무제표를 외부 감사인이 검증하도록 만든 것과 같은 구조를 AI에 적용하는 것이다. 대상은 학습 데이터의 출처와 구성, 성능과 편향 측정 결과, 위험을 어떻게 관리했는지 담은 문서, 그리고 실제 운영 기록이다. 절차의 독립성과 반복 가능성이 이 제도의 핵심이다.
실행 조건이 이 제도의 실질을 가른다. 감사인이 모델과 데이터에 접근할 권한이 없으면 제출된 서류를 읽는 데 그치고, 접근을 넓히면 영업비밀과 개인정보 문제가 생긴다. 그래서 어느 범위까지 어떤 조건으로 접근을 허용할지가 제도 설계의 쟁점이 된다. 최근에는 대상을 넓혀야 한다는 지적도 나온다. 모델 하나를 따로 검증해도, 그것이 다른 시스템과 연결되고 도구를 호출하는 과정에서 생기는 문제는 드러나지 않기 때문이다.
023가드레일(안전장치)guardrail동향안전성 평가·측정
동향 문서 141기간 15개월최근 92%병기 4허브 0.71
동향 표기 · 안전장치(141) / guardrails(21) / guardrail(8)
이 용어집 · 집필 정의
모델 앞뒤에 덧붙여 위험한 입력과 출력을 걸러내는 외부 통제 장치.
모델이 학습을 통해 갖게 된 거부 성향과는 다른 층이다. 모델 바깥에 놓여서, 들어오는 요청을 먼저 검사해 차단하거나, 나가는 답을 검사해 수정하거나 보류하거나, 모델이 호출할 수 있는 도구와 권한을 미리 제한한다. 유해성을 판정하는 별도의 작은 모델, 금지어와 패턴을 담은 규칙, 어떤 행동에 승인이 필요한지 정해 둔 정책 엔진이 함께 쓰인다.
바깥에 있다는 점이 장점과 약점을 동시에 만든다. 장점은 유연함이다. 모델을 다시 학습시키지 않고도 정책을 바꿀 수 있고, 사고가 났을 때 즉시 막을 수 있다. 약점은 우회 가능성이다. 검사를 피하는 표현을 찾아내면 모델은 그대로인데 통제만 사라진다. 그래서 어느 한 층에 의존하지 않는 것이 원칙이다. 학습된 거부, 외부 필터, 권한 제한, 실행 환경 격리를 겹쳐 쌓아 한 겹이 뚫려도 피해가 제한되게 만드는 다층 방어가 기본으로 권고된다.
024일반화generalization동향안전성 평가·측정
동향 문서 112기간 15개월최근 89%병기 1허브 0.72
동향 표기 · 일반화(112)
이 용어집 · 집필 정의
학습에서 본 적 없는 입력에도 성능이 유지되는 성질.
기계학습이 목표로 삼는 성질이다. 학습에 쓴 자료를 그대로 외운 모델은 그 자료에서는 완벽하지만 새로운 입력에서는 무너진다. 그래서 학습에 쓰지 않은 자료를 따로 남겨 두고 그것으로 성능을 재는 것이 기본 절차이며, 실제 사용 환경이 학습 환경과 달라졌을 때도 견디는지를 함께 확인한다. 병원 한 곳의 자료로 만든 진단 모델이 다른 병원에서 성능이 떨어지는 것이 이 성질이 부족한 대표적인 예다.
안전에서는 축이 하나 더 붙는다. 능력이 일반화되는 만큼 안전 학습도 함께 일반화되는지가 문제다. 실제로는 안전이 능력보다 좁게 일반화되는 경우가 반복 확인된다. 영어로 물으면 거절하는 요청을 자원이 적은 언어로 물으면 응하거나, 학습에서 다룬 유해 범주는 막지만 조금 다른 범주는 놓치거나, 평문으로는 거절하면서 부호화한 요청은 통과시키는 식이다. 안전 학습이 원리를 배운 것이 아니라 학습 자료에 나온 표면적 특징을 배운 결과로 해석된다.
025위험 평가(리스크 평가)risk assessment동향안전성 평가·측정
동향 문서 74기간 21개월최근 74%병기 3허브 0.77
동향 표기 · 위험 평가(74) / Risk Assessment(11)
이 용어집 · 집필 정의
위험을 식별하고 크기를 추정해 대응 우선순위를 정하는 절차.
무엇이 잘못될 수 있는지 목록을 만들고, 각 항목이 얼마나 자주 일어날지와 일어나면 얼마나 큰 피해가 되는지를 함께 따져 등급을 매긴다. 그 등급을 조직이 받아들일 수 있는 수준과 비교해 무엇을 먼저 손볼지 정하는 것이 목적이다. AI에서는 여기에 축이 몇 개 더 붙는다. 되돌릴 수 있는 피해인지, 영향이 개인에 머무는지 사회 전체에 미치는지, 피해를 입는 사람이 그 시스템을 쓰기로 선택한 당사자인지 아니면 무관한 제3자인지가 함께 고려된다.
안전성 평가와 혼동하지 않는 것이 좋다. 안전성 평가는 모델을 실제로 시험해 사실을 확인하는 일이고, 위험 평가는 그렇게 모은 사실을 놓고 판단을 내리는 일이다. 앞의 것은 측정이고 뒤의 것은 결정이라고 나눠 볼 수 있다. 그래서 위험 평가에는 반드시 가치 판단이 들어간다. 어느 정도의 위험을 감수할 만하다고 볼지는 데이터가 알려 주지 않기 때문이다. 표준 체계가 이 과정을 문서로 남기게 하는 이유도, 판단의 근거를 나중에 검증할 수 있게 하려는 것이다.
026안전성 평가(안전 평가)safety evaluation동향안전성 평가·측정
동향 문서 50기간 10개월최근 100%병기 13허브 0.70
동향 표기 · 안전성 평가(50) / 안전 평가(42) / 안전성(340)
이 용어집 · 집필 정의
모델이 위험한 능력이나 행동을 보이는지 배포 전후에 시험하는 절차.
성능 평가와 묻는 것이 다르다. 성능 평가는 시켰을 때 얼마나 잘하는지를 보고, 안전성 평가는 하면 안 되는 일을 할 수 있는지를 본다. 그래서 측정하는 축이 여럿으로 갈린다. 유해한 요청을 제대로 거절하는지, 사이버 공격이나 생물학 무기처럼 위험한 영역에서 실질적인 도움을 줄 능력이 있는지, 감시를 피하거나 사실과 다르게 보고하는 성향이 있는지가 각각 다른 방법으로 확인된다. 한 가지 점수로 요약되지 않는다는 뜻이다.
이 평가에는 구조적인 한계가 있다. 시험을 통과했다는 것은 시험한 범위에서 문제가 보이지 않았다는 뜻이지 안전하다는 증명이 아니다. 시험하지 않은 방식으로 요청하면 결과가 달라질 수 있고, 모델이 지금 평가받는 중이라는 것을 알아채면 평소와 다르게 행동해 결과 자체가 왜곡된다. 그래서 배포 전 평가만으로 안전을 확보하는 설계는 성립하지 않는다. 운영 중의 감시와 사고 보고를 함께 두고, 새로 드러난 문제로 평가 항목을 갱신하는 순환이 필요하다.
027공격 성공률(ASR)attack success rate (ASR)동향안전성 평가·측정
동향 문서 49기간 11개월최근 92%병기 11허브 0.58
동향 표기 · 공격 성공률(49) / ASR(29)
이 용어집 · 집필 정의
시도한 공격 가운데 실제로 안전장치를 뚫은 비율.
탈옥이나 프롬프트 인젝션 같은 공격을 연구할 때 방어가 얼마나 튼튼한지 나타내는 표준 지표다. 같은 공격 기법을 여러 모델과 여러 요청에 반복 적용해, 그중 몇 번이 원하는 유해한 출력을 얻어냈는지 비율로 계산한다. 값이 낮을수록 견고하다는 뜻이 되고, 방어 기법을 적용하기 전과 후를 비교해 효과를 재는 데도 쓰인다.
이 숫자를 서로 다른 연구 사이에서 그대로 비교하는 것은 대체로 무의미하다는 점을 알아 두는 것이 좋다. 몇 번 시도해서 한 번만 성공해도 성공으로 볼지, 성공 여부를 사람이 판정할지 자동 분류기가 판정할지, 공격 대상으로 삼은 요청이 얼마나 노골적인 것인지가 연구마다 다르다. 조건이 하나만 달라져도 값이 크게 움직인다. 그래서 절대 수치보다는 같은 조건 안에서 방어 기법을 적용했을 때 얼마나 내려갔는지를 보는 쪽이 신뢰할 만하다.
028실패 모드(고장 유형)failure mode동향안전성 평가·측정
동향 문서 28기간 8개월최근 93%병기 4허브 0.68
동향 표기 · 실패 모드(28)
이 용어집 · 집필 정의
시스템이 잘못되는 방식을 유형별로 나눠 정리한 것.
성능이 나쁘다는 하나의 덩어리로 두지 않고, 어떤 조건에서 어떤 모습으로 어긋나는지 갈라놓는 작업이다. 근거 없는 내용을 지어내는 것, 이용자 말에 맞춰 답을 바꾸는 것, 막아야 할 요청을 통과시키는 것, 입력 분포가 달라지자 무너지는 것, 도구를 잘못 호출해 엉뚱한 결과를 얻는 것은 원인과 대응이 전부 다르다. 하나로 묶어 두면 어느 것도 제대로 다룰 수 없다.
공학에서 온 개념이라 곧바로 설계로 이어진다는 점이 이 분류의 값어치다. 유형이 정해지면 유형별로 감지 지표를 붙일 수 있고, 어떤 완화책이 어떤 유형에 듣는지 따져 볼 수 있으며, 새 사고가 났을 때 기존 유형에 들어가는지 새 유형인지 판단할 수 있다. 여러 조직이 같은 분류를 공유하는 것도 중요하다. 사고 보고 체계가 서로 다른 이름으로 같은 문제를 기록하면 사례를 합산해 추세를 볼 수 없기 때문이다.
029설명가능성(설명력)explainability (XAI)동향안전성 평가·측정
동향 문서 23기간 11개월최근 83%병기 4허브 0.64
동향 표기 · 설명가능성(23) / XAI(59)
이 용어집 · 집필 정의
개별 판단의 근거를 사람이 납득할 수 있게 제시하는 능력.
왜 이런 결과가 나왔는지 사람에게 답해 주는 것이 목적이다. 어떤 입력 항목이 결정에 얼마나 기여했는지 수치로 보여 주거나, 비슷한 판단을 받은 과거 사례를 제시하거나, 결과가 뒤집히려면 무엇이 얼마나 달라져야 하는지 알려 주는 방식이 쓰인다. 마지막 방식은 대출 거절을 통보할 때 소득이 얼마 더 있었으면 승인됐다고 알려 주는 형태로 나타나며, 당사자가 실제로 취할 행동을 알려 준다는 점에서 유용하게 평가된다.
해석가능성과 방향이 반대라고 보면 이해가 쉽다. 해석가능성은 모델 안에서 실제로 일어난 계산을 밝히려 하고, 설명가능성은 사람이 이해하고 쓸 수 있는 설명을 만들어 내려 한다. 그래서 후자에는 오래된 약점이 따라붙는다. 나중에 붙인 설명이 실제 계산 과정과 다를 수 있다는 것이다. 그럴듯하고 납득이 가는 설명이 반드시 정확한 설명은 아니다. 설명을 제도적으로 요구할 때 이 간극을 함께 다루지 않으면, 형식만 갖춘 설명이 오히려 잘못된 신뢰를 만들 수 있다.
030보정(캘리브레이션)calibration동향안전성 평가·측정
동향 문서 19기간 6개월최근 100%병기 7허브 0.68
동향 표기 · 보정(19) / Calibration(18)
이 용어집 · 집필 정의
모델이 표시한 확신도가 실제 정답률과 일치하는 정도.
90퍼센트 확신한다고 말한 답이 실제로 열 번에 아홉 번 맞으면 잘 보정된 것이고, 열 번에 여섯 번만 맞으면 과신하는 것이다. 정확도와는 다른 성질이라는 점이 핵심이다. 정확도가 낮아도 자기가 못한다는 사실을 정확히 알고 있으면 보정은 좋을 수 있고, 정확도가 높아도 언제 틀리는지 모르면 보정은 나쁠 수 있다. 그래서 두 지표를 함께 봐야 모델을 어떻게 쓸지 판단할 수 있다.
이 성질이 결정적으로 중요해지는 지점은 위임이다. 사람이 모든 출력을 검토할 수 없는 규모에서는, 어디를 검토해야 하는지 골라내는 일이 관건이 된다. 모델이 확실하지 않다고 신뢰할 만하게 알려 주면 검토 자원을 그곳에 집중할 수 있고, 그러지 못하면 전부 검토하거나 전부 믿는 양극단밖에 남지 않는다. 환각 문제를 다룰 때 사실성을 높이는 노력만이 아니라 보정을 개선하는 노력이 함께 필요한 이유가 여기 있다.
031LLM 심판(LLM 평가자)LLM-as-a-Judge동향안전성 평가·측정
동향 문서 14기간 7개월최근 93%병기 3허브 0.68
동향 표기 · LLM-as-a-Judge(14)
이 용어집 · 집필 정의
모델의 출력을 사람 대신 다른 모델이 채점하게 하는 평가 방식.
사람 평가는 품질이 높지만 느리고 비싸서 수천 건 규모의 비교에는 쓰기 어렵다. 그래서 성능이 좋은 모델에게 채점 기준을 주고, 두 응답 중 어느 쪽이 나은지 고르게 하거나 항목별 점수를 매기게 한다. 이 방식의 판정이 사람 판정과 상당히 일치한다는 결과가 나오면서 모델 개발과 비교의 표준 절차로 자리 잡았고, 자동화된 대규모 평가를 가능하게 만들었다.
심판 모델이 가진 편향이 그대로 평가 결과에 들어온다는 것이 이 방식의 약점이다. 긴 답을 더 좋게 보는 경향, 자기와 같은 계열 모델의 문체를 선호하는 경향, 먼저 제시된 후보를 고르는 경향이 보고된다. 그래서 후보의 순서를 바꿔 다시 평가하거나, 서로 다른 계열의 심판을 여러 개 두고 결과를 합치는 방식으로 완화한다. 안전성 평가에 쓸 때는 특히 주의가 필요하다. 심판 모델도 놓치는 유해성 유형이 있고, 그 유형은 평가 결과에 아예 나타나지 않는다.
032평가evaluationPDF안전성 평가·측정
PDF 문서 38정의섹션 7점수 18.6692
PDF 표기 · Evaluate · Evaluated · Evaluating · Evaluation · Evaluations · evalua- tions
PDF 원문 인용
번역인공지능 시스템의 성능·능력·취약점·잠재 영향을 체계적으로 평가하는 것. 벤치마크·레드팀·감사 등을 포함하며 배포 전후에 할 수 있다.
Systematic assessments of an AI system's performance, capabilities, vulnerabilities or potential impacts. Evaluations can include benchmarking, red-teaming and audits and can be conducted both before and after model deployment.
출처 International Scientific Report on the Safety of Advanced AI · p.38, p.170, p.182, p.221–222, p.319 · EN · 정의섹션 · 원문
번역배포 전후에 인공지능 모델·시스템의 성능·능력·취약점·잠재 영향을 체계적으로 평가하는 것.
Systematic assessments, before or after deployment, of the performance, capabilities, vulnerability, or potential impacts of an AI model or system.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 원문
033안전장치safeguardsPDF안전성 평가·측정
PDF 문서 28정의섹션 4점수 15.3372
PDF 표기 · Guardrails · Safeguard · Safeguards · guardrail · 가드레일
PDF 원문 인용
번역인공지능 시스템이 해를 끼치지 않도록 막는 보호 조치.
A protective measure intended to prevent an AI system from causing harm.
출처 International AI Safety Report 2026 · p.154–155 · EN · 정의섹션 · 원문
번역인공지능 시스템이 의도대로 동작하고 해로운 결과를 피하도록 넣는 내장 안전 제약.
Built-in safety constraints to ensure that an AI system operates as desired and avoids harmful outcomes.
출처 International Scientific Report on the Safety of Advanced AI · p.222–223 · EN · 정의섹션 · 원문
034감사auditPDF안전성 평가·측정
PDF 문서 23정의섹션 2점수 13.3067
PDF 표기 · Audit · Audits · 감사
PDF 원문 인용
번역조직이 표준·정책·절차를 지키는지 공식적으로 검토하는 일. 대개 독립적인 제3자가 수행한다.
A formal review of an organisation's compliance with standards, policies, and procedures, typically carried out by an independent third party.
출처 International Scientific Report on the Safety of Advanced AI · p.182, p.219–220 · EN · 정의섹션 · 원문
035모델 평가Model evaluationPDF안전성 평가·측정
PDF 문서 19정의섹션 2점수 14.4445
PDF 표기 · Model evaluation
PDF 원문 인용
시스템적 위험 평가 기법으로서 시스템적 위험 평가 의 모든 단계 아래 정의 (ass) , (ass) ( 참조 에서 사용될 수 있는 기법 )
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.111 · KO · 정의섹션 · 원문
036해석가능성 연구Interpretability ResearchPDF안전성 평가·측정
PDF 문서 3정의섹션 1점수 3.1274
PDF 표기 · Interpretability Research
PDF 원문 인용
번역범용 AI 모델의 내부 작동을 연구하고, 이를 인간이 이해할 수 있게 만드는 방법을 개발하는 일.
The study of how general-purpose AI models function internally, and the development of methods to make this comprehensible to humans.
출처 International Scientific Report on the Safety of Advanced AI · p.170, p.223 · EN · 정의섹션 · 원문
037검증 데이터검증 데이터PDF안전성 평가·측정
PDF 문서 2정의섹션 1점수 2.476
PDF 표기 · 검증 데이터
PDF 원문 인용
학습된 시스템에 대한 평가를 제공하고 특히 과소적합 또는 과대적 AI , (underfitting) 합 을 방지하는 등을 목적으로 해당 시스템의 학습 불가능한 파라미터 및 (overfitting) 학습 과정을 조정하는 데 사용되는 데이터
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션 · 원문
038벤치마크 데이터셋벤치마크 데이터셋PDF안전성 평가·측정
PDF 문서 2정의섹션 0점수 1.861
PDF 표기 · 벤치마크 데이터셋
PDF 원문 인용
벤치마크 데이터셋은 AI 모델의 성능을 객관적이고 재현 가능하게 평가하기 위한 데이터 집합입니다. 단순한 학습용 데이터가 아니라 공통된 테스트 환경과 평가 지표를 함께 제공해 모델 간 비교가 가능하도록 설계됩니다. 연구자는 동일한 데이터와 조건으로 실험해 어느 모델이 더 우수한지 확인할 수 있습니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.45 · KO · 정의섹션 · 원문
039사이버 공격(사이버 침해)cyberattack양쪽동향PDF오용·악용 위험
동향 문서 92기간 18개월최근 91%병기 0허브 0.60PDF 문서 10정의섹션 3점수 5.686
동향 표기 · 사이버 공격(92)
이 용어집 · 집필 정의
정보 시스템의 기밀성·완전성·가용성을 침해하려는 고의적 행위.
무엇을 깨뜨리려 하는지에 따라 유형이 갈린다. 몰래 들어가 자료를 빼내면 기밀성을 침해하는 것이고, 자료나 시스템을 조작하면 완전성을, 서비스를 멈추게 하면 가용성을 침해하는 것이다. 랜섬웨어는 자료를 암호화해 가용성을 볼모로 잡는 방식이다. AI가 개입하는 지점은 크게 셋으로 정리된다. 표적을 조사하고 속이는 문안을 만드는 단계, 취약점을 찾고 공격 코드를 만드는 단계, 그리고 침입한 뒤의 행동을 자동으로 이어 가는 단계다.
논의의 초점이 속도에 놓이는 이유가 있다. 공격 준비에 걸리던 시간이 줄면 방어하는 쪽이 알아채고 대응할 여유도 함께 줄어든다. 문제는 방어를 같은 속도로 자동화하기가 어렵다는 점이다. 공격 자동화는 실패해도 다시 시도하면 되지만, 방어 자동화는 정상 업무를 잘못 차단하면 그 자체가 피해가 되기 때문에 보수적으로 움직여야 한다. 이 비대칭이 공격 측에 유리하게 작동한다는 우려가 국가 차원의 방어 역량 논의를 불러왔다.
PDF 원문 인용
번역정보를 훔치거나 파괴하는 등 목적으로 컴퓨터 시스템·네트워크·디지털 기기에 접근하려는 악의적 시도.
A malicious attempt to gain access to a computer system, network or digital device, for example, in order to steal or destroy information.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 원문
040취약점(보안 취약점)vulnerability동향오용·악용 위험
동향 문서 268기간 22개월최근 96%병기 7허브 0.55
동향 표기 · 취약점(268)
이 용어집 · 집필 정의
공격자가 악용할 수 있는 시스템의 결함이나 약점.
보안을 다룰 때 쓰는 세 낱말을 함께 놓으면 뜻이 분명해진다. 취약점은 시스템 안쪽의 약한 지점이고, 위협은 그 약점을 노릴 수 있는 바깥의 행위자나 사건이며, 위험은 둘이 만났을 때 실제로 생길 피해의 크기다. AI 시스템에는 전통적인 소프트웨어 취약점 위에 모델 고유의 것이 얹힌다. 자료에 지시를 숨겨 명령을 가로채는 것, 학습 자료를 오염시켜 특정 조건에서만 다르게 작동하게 만드는 것, 질문을 반복해 모델 자체나 학습 내용을 빼내는 것이 그런 예다.
AI와 취약점은 두 방향으로 얽힌다. 하나는 AI가 공격 대상이 되는 방향이고, 다른 하나는 AI가 취약점을 찾는 도구가 되는 방향이다. 두 번째가 최근 논의를 끌어올렸다. 사람이 읽기 어려운 규모의 코드에서 결함을 찾아내는 능력은 방어자에게는 미리 고칠 기회를 주지만, 공격자에게는 알려지지 않은 구멍을 확보할 기회를 준다. 같은 능력이 양쪽에 동시에 주어지므로, 어느 쪽이 더 빨리 활용하는지가 실제 안전을 가르게 된다.
041위협(위협 요인)threat동향오용·악용 위험
동향 문서 257기간 25개월최근 86%병기 10허브 0.59
동향 표기 · 위협(257)
이 용어집 · 집필 정의
피해를 일으킬 수 있는 행위자·사건·조건.
취약점이 있어도 그것을 노리는 쪽이 없으면 피해는 생기지 않는다. 위협은 그 노리는 쪽을 가리키는 말이다. 보안 실무에서는 누가(국가가 지원하는 조직, 금전을 노리는 범죄 집단, 내부 직원), 무엇을 노리고, 어떤 수단을 쓰는지 조합해 목록으로 정리한다. 이렇게 정리해 두면 무한히 많은 가능성 가운데 실제로 성립하는 조합만 골라 방어 자원을 배분할 수 있다. 위협 모형을 세운다고 부르는 작업이다.
AI가 위협 지형을 바꾸는 방식은 새로운 공격을 발명하는 쪽이 아니라 진입장벽을 낮추는 쪽으로 나타난다. 고급 기법을 쓰려면 필요했던 숙련도와 시간이 줄면, 같은 공격을 할 수 있는 사람의 수가 늘고 표적별로 맞춘 공격을 대량으로 만드는 일이 가능해진다. 그래서 위협을 평가할 때 새로운 종류가 생겼는지 묻는 것만으로는 부족하다. 기존 공격의 비용과 규모가 어떻게 달라졌는지를 함께 봐야 실제 변화를 잡을 수 있다.
042감시(감시 활동)surveillance동향오용·악용 위험
동향 문서 117기간 16개월최근 89%병기 3허브 0.64
동향 표기 · 감시(117) / Surveillance(15)
이 용어집 · 집필 정의
사람의 행동·위치·통신을 지속적으로 관찰하고 기록하는 것.
AI가 바꿔 놓은 것은 감시의 종류가 아니라 규모다. 예전에는 영상과 통신 기록을 사람이 일일이 봐야 했기 때문에, 누구를 감시할지 고르는 것 자체가 비용이었고 그 비용이 사실상 제약으로 작동했다. 자동 분석이 가능해지면서 그 제약이 사라졌다. 특정인을 표적으로 삼는 감시에 들던 자원으로 모든 사람을 상시 관찰할 수 있게 된 것이다. 얼굴 인식, 걸음걸이 식별, 감정 추정, 통신 패턴 분석이 이런 전환을 가능하게 한 수단이다.
규제는 감시 기술 자체를 금지하는 대신 용도별로 선을 긋는 방향으로 정리되고 있다. EU AI법은 개인의 사회적 행동을 점수화해 불이익을 주는 이용을 금지 목록에 넣고, 공개된 장소에서의 실시간 원격 생체인식과 직장·교육기관에서의 감정 추정을 금지하거나 강한 통제 아래 두었다. 실제 입법 협상에서 초점이 되는 것은 이런 금지에 두는 예외의 범위다. 국가안보나 중대 범죄 수사를 이유로 한 예외를 어디까지 인정할지에 따라 규제의 실효가 크게 달라진다.
EU AI법 제5조(금지되는 AI 관행)
043오용(악용)misuse동향오용·악용 위험
동향 문서 36기간 12개월최근 89%병기 3허브 1.00
동향 표기 · 오용(36)
이 용어집 · 집필 정의
만든 쪽의 의도와 다르게, 해를 끼칠 목적으로 시스템을 쓰는 것.
사고와 갈라 두어야 하는 개념이다. 사고는 시스템이 의도대로 작동하지 않아 생기는 피해이고, 오용은 시스템이 완벽하게 정상 작동하는데 쓰는 사람의 목적이 해로운 경우다. 고장을 고치면 사고는 줄지만 오용은 줄지 않는다. 설득력 있는 피싱 문안을 대량으로 쓰게 하는 것, 악성코드 작성을 돕게 하는 것, 특정인의 합성 성착취물을 만드는 것이 전형이다. 모델이 유능해질수록 오용의 위력도 함께 커진다는 점에서 능력 향상과 분리할 수 없는 문제다.
누가 어떻게 막을 것인가가 이 개념의 실질적인 쟁점이다. 만드는 쪽은 유해한 요청을 거절하도록 학습시키고 외부 필터를 두어 막으려 하고, 규제는 배포 단계의 통제와 사후 추적을 요구한다. 다만 이 모든 통제는 모델에 접근하는 경로를 쥐고 있을 때만 작동한다. 모델 가중치가 공개되면 추가 학습으로 거부 장치를 떼어낼 수 있고 사용 기록도 남지 않아, 어떤 통제도 적용할 수 없다. 오용 위험이 오픈웨이트 모델 논쟁의 중심에 놓이는 이유다.
044유해 콘텐츠(위해 콘텐츠)harmful content동향오용·악용 위험
동향 문서 22기간 7개월최근 96%병기 0허브 0.60
동향 표기 · 유해 콘텐츠(22)
이 용어집 · 집필 정의
이용자나 제3자에게 피해를 줄 수 있는 내용물.
불법인 것과 반드시 겹치지 않는다는 점이 이 범주의 특징이다. 아동 성착취물처럼 어디서나 명백히 불법인 것부터, 자살이나 자해를 조장하는 내용, 섭식장애를 유발하는 내용, 혐오 표현처럼 나라마다 법적 지위가 다른 것까지 함께 묶인다. 그래서 플랫폼과 AI 서비스는 법이 금지하는 범위보다 넓은 자체 기준을 따로 세우고, 무엇을 어떤 근거로 막는지 공개하는 방식으로 정당성을 확보하려 한다.
생성 AI가 이 문제를 바꿔 놓은 지점은 둘이다. 하나는 생산 방식이다. 이미 만들어진 콘텐츠를 찾아 막는 것이 아니라, 요청에 맞춰 그 자리에서 새로 만들어지므로 사전에 목록으로 관리할 수 없다. 다른 하나는 전달 방식이다. 일방적으로 노출되는 콘텐츠와 달리 대화는 상대의 반응에 맞춰 이어지므로, 취약한 이용자에게는 훨씬 강하게 작용할 수 있다. 정서적 의존이나 정신건강 영향이 별도 항목으로 다뤄지기 시작한 배경이다.
045비동의 성적 합성물(비동의 성적 이미지)NCII동향오용·악용 위험
동향 문서 19기간 8개월최근 90%병기 0허브 0.72
동향 표기 · 비동 성적(19)
이 용어집 · 집필 정의
당사자 동의 없이 제작·유포되는 성적 이미지와 영상.
국제 문헌에서는 non-consensual intimate imagery, 줄여서 NCII로 부른다. 실제로 촬영된 자료가 동의 없이 퍼지는 경우와, 촬영된 적 없는 장면을 AI로 합성한 경우가 함께 포함된다. 뒤쪽이 최근 급격히 늘어난 이유는 제작 장벽이 사실상 사라졌기 때문이다. 얼굴 사진 몇 장이면 충분하고 기술 지식도 필요하지 않다. 피해자가 유명인에 한정되지 않고 학교나 직장 같은 일상 관계 안에서 발생한다는 점이 특히 문제로 지적된다.
대응이 여러 층에서 동시에 이뤄져야 실효가 생긴다. 제작과 유포를 처벌하는 입법, 신고가 들어오면 빠르게 삭제하도록 플랫폼에 부과하는 의무, 생성 단계에서 특정 인물의 성적 이미지를 만들지 못하게 막는 조치, 그리고 피해자가 한 번의 신고로 여러 플랫폼에서 동시에 삭제를 요청할 수 있게 하는 해시 공유 체계다. 마지막 것이 중요한 이유는, 한 곳에서 지워도 다른 곳에 남아 있으면 피해가 끝나지 않기 때문이다.
성폭력범죄의 처벌 등에 관한 특례법 제14조의2
046검열censorship동향오용·악용 위험
동향 문서 17기간 6개월최근 94%병기 0허브 0.67
동향 표기 · 검열(17)
이 용어집 · 집필 정의
특정 내용의 표현과 유통을 권력이나 사업자가 차단하는 것.
AI에서는 두 층에서 논쟁이 된다. 하나는 국가가 모델이 답할 수 있는 범위를 규정하는 경우다. 특정 역사적 사건이나 정치 지도자에 대한 답변을 제한하도록 요구하는 것이 그런 예다. 다른 하나는 사업자가 안전을 이유로 응답을 거부하는 경우다. 이쪽은 통상 안전장치라고 불리지만, 정치적으로 민감한 주제나 논쟁적인 사회 문제에 이르면 안전과 검열의 경계가 흐려진다. 무엇이 유해한지에 대한 판단 자체가 관점을 담기 때문이다.
이 문제의 기술적 대응물이 과도 거부다. 유해한 요청을 막으려는 학습이 정당한 질문까지 거절하게 만드는 현상으로, 의학 정보를 묻는 질문을 자해 관련으로 오인해 거부하거나 역사적 사건에 대한 설명을 폭력적 내용으로 분류해 막는 형태로 나타난다. 그래서 안전성 평가는 유해 요청 거부율만 재지 않고 정당한 요청을 잘못 거부하는 비율을 함께 잰다. 두 값을 함께 보지 않으면 무조건 거절하는 모델이 가장 안전한 모델로 나오게 된다.
047개인정보 침해(개인정보 유출)privacy breach동향오용·악용 위험
동향 문서 13기간 11개월최근 69%병기 0허브 0.84
동향 표기 · 개인정보 침해(13)
이 용어집 · 집필 정의
개인정보가 권한 없이 노출·유출·오용되는 사건.
AI에서는 정보가 새어 나가는 경로가 셋으로 갈린다. 첫째는 학습 자료를 모으는 단계다. 웹에서 대량으로 수집하면 개인의 이름, 연락처, 사적인 글이 함께 들어온다. 둘째는 모델이 학습한 내용을 되뇌는 단계다. 특정 방식으로 물으면 학습 자료에 있던 문장을 거의 그대로 출력하는 현상이 알려져 있다. 셋째는 이용자가 직접 입력한 내용이 저장되거나 다음 학습에 쓰이는 단계다. 업무 자료를 요약해 달라고 넣은 내용이 그렇게 남을 수 있다.
기존 유출 사고와 결정적으로 다른 점은 되돌리기가 어렵다는 것이다. 데이터베이스에서는 특정 레코드를 지우고 지웠다는 사실을 확인할 수 있지만, 모델 가중치에 스며든 정보는 어디 있는지 특정할 수도 없고 지웠다는 것을 증명하기도 어렵다. 이 때문에 학습된 내용을 사후에 덜어내는 기법과, 삭제를 요구할 권리가 이미 학습된 모델에까지 미치는지의 문제가 함께 쟁점이 됐다.
048남용(과도한 이용)abuse동향오용·악용 위험
동향 문서 7기간 7개월최근 86%병기 1허브 0.84
동향 표기 · 남용(7)
이 용어집 · 집필 정의
정당한 권한이나 기능의 범위를 넘어 부당하게 이용하는 것.
오용과 겹치지만 강조점이 다르다. 오용은 목적 자체가 해롭다는 데 무게가 있고, 남용은 목적은 정당할 수 있으나 정도와 범위가 지나치다는 데 무게가 있다. 범죄 수사를 위해 도입한 얼굴 인식을 경미한 위반 단속까지 확대해 쓰는 것, 업무 관리를 위한 모니터링 도구로 직원의 사생활까지 들여다보는 것, 서비스가 허용한 한도를 넘겨 자원을 대량 소모하는 것이 여기 든다. 권한을 준 근거와 실제 사용 범위 사이의 간격이 문제가 되는 셈이다.
국문에서는 오용으로 뭉뚱그려 쓰이는 편이지만, 구분해 두면 대응이 달라진다는 점에서 실익이 있다. 오용은 접근을 막거나 능력을 제한하는 방식으로 다루지만, 남용은 권한의 범위와 사용 기록을 관리하는 방식으로 다뤄야 한다. 목적 외 이용을 금지하고, 접근 기록을 남기고, 정기적으로 사용 실태를 점검하는 절차가 그런 통제에 해당한다. 플랫폼 정책 문서에서 이용자 사이의 괴롭힘이나 스팸처럼 서비스 안에서 벌어지는 문제를 남용으로 따로 묶는 것도 같은 이유다.
049악용malicious usePDF오용·악용 위험
PDF 문서 23정의섹션 3점수 15.9157
PDF 표기 · Malicious · 악용
PDF 원문 인용
번역인공지능 시스템 등을 써서 의도적으로 해를 끼치는 행위.
Using something, such as an AI system, to intentionally cause harm.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 원문
번역인공지능을 써서 의도적으로 해를 끼치는 행위.
Employing AI to intentionally cause harm.
출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션 · 원문
050악성코드MalwarePDF오용·악용 위험
PDF 문서 12정의섹션 2점수 5.9678
PDF 표기 · Malware
PDF 원문 인용
번역컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어. 바이러스·스파이웨어 등 데이터를 훔치거나 해를 끼치는 프로그램을 포함한다.
Harmful software designed to damage, disrupt, or gain unauthorised access to a computer system. It includes viruses, spyware, and other malicious programs that can steal data or cause harm. † Please refer to the Chair's update on the latest AI advances after the writing of this report. Risks 2.1 Risks from malicious use
출처 International Scientific Report on the Safety of Advanced AI · p.72–73 · EN · 정의섹션 · 원문
번역컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어. 바이러스·스파이웨어 등 데이터를 훔치거나 해를 끼치는 프로그램을 포함한다.
Harmful software designed to damage, disrupt, or gain unauthorised access to a computer system. It includes viruses, spyware, Manipulation: A form of influence characterised by changing someone's beliefs or behaviour to achieve some goal without their full awareness or understanding.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 원문
번역컴퓨터 시스템을 손상·방해하거나 무단 접근하도록 만든 유해 소프트웨어. 바이러스·스파이웨어 등 데이터를 훔치거나 해를 끼치는 프로그램을 포함한다.
Harmful software designed to damage, disrupt, or gain unauthorised access to a computer system. It includes viruses, spyware, and other malicious programs that can steal data or cause harm.
출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션 · 원문
051내부자 위협Insider threatsPDF오용·악용 위험
PDF 문서 10정의섹션 1점수 6.1574
PDF 표기 · Insider threats
PDF 원문 인용
민감한 조직 자원에 접근할 수 있는 인간 모델 및 또는 시스템 예 고위 경영진 ·AI / AI ( : , 조직 연구팀의 고위 구성원 불만을 가진 직원 목표 조직에 침투한 산업 스파이 행위자 , , 및 또는 모델의 자기 유출에 의해 수행되는 적대적 활동 및 또는 우발적인 모델 유출 / /
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.110 · KO · 정의섹션 · 원문
052적대적 학습Adversarial trainingPDF오용·악용 위험
PDF 문서 7정의섹션 2점수 6.4307
PDF 표기 · Adversarial training
PDF 원문 인용
번역모델을 더 견고하게 만드는 기계학습 기법. 먼저 모델을 실패시키도록 고안한 입력을 만들고, 이어서 그런 입력을 인식·처리하도록 학습시킨다.
A machine learning technique used to make models more reliable. First, developers construct inputs that are designed to make a model fail. Second, they train the model to recognise and handle these kinds of inputs.
출처 International AI Safety Report 2026 · p.148 · EN · 정의섹션 · 원문
번역모델을 더 견고하게 만드는 기계학습 기법. 먼저 모델을 실패시키도록 고안한 입력을 만들고, 이어서 그런 입력을 인식·처리하도록 학습시킨다.
A machine learning technique used to make models more reliable. First, developers construct 'adversarial inputs' (e.g. through red -teaming) that are designed to make a model fail, and second, they train the model to recognise and handle these kinds of inputs.
출처 International Scientific Report on the Safety of Advanced AI · p.192, p.218–219 · EN · 정의섹션 · 원문
053독소ToxinPDF오용·악용 위험
PDF 문서 4정의섹션 2점수 3.3529
PDF 표기 · Toxin
PDF 원문 인용
번역세균·식물·동물 등 생물이 만들거나, 자연 독소를 모방해 합성한 유독 물질. 독성과 노출 수준에 따라 다른 생물에 질병·피해·사망을 일으킬 수 있다.
A poisonous substance produced by living organisms (such as bacteria, plants, or animals), or synthetically created to mimic a natural toxin, that can cause illness, harm, or death in other organisms depending on its potency and the exposure level.
출처 International Scientific Report on the Safety of Advanced AI · p.80, p.227–228 · EN · 정의섹션 · 원문
054제로데이 취약점Zero-day vulnerabilityPDF오용·악용 위험
PDF 문서 4정의섹션 1점수 3.2896
PDF 표기 · Zero-day vulnerability
PDF 원문 인용
번역소프트웨어·하드웨어의 미발견·미패치 보안 결함. 공격자가 이미 악용할 수 있어 개발자에게는 고칠 ‘제로(0)일’만 남는다는 뜻에서 이렇게 부른다.
An undiscovered or unpatched security flaw in software or hardware. As attackers can already exploit it, developers have 'zero days' to fix it.
출처 International Scientific Report on the Safety of Advanced AI · p.72–73 · EN · 정의섹션 · 원문
번역소프트웨어·하드웨어의 미발견·미패치 보안 결함. 공격자가 이미 악용할 수 있어 개발자에게는 고칠 ‘제로(0)일’만 남는다는 뜻에서 이렇게 부른다.
An undiscovered or unpatched security flaw in software or hardware. As attackers can already exploit it, developers have 'zero days' to fix it. How to cite this report
출처 International Scientific Report on the Safety of Advanced AI · p.228–229 · EN · 정의섹션 · 원문
055이중용도 과학Dual-use sciencePDF오용·악용 위험
PDF 문서 3정의섹션 2점수 3.7573
PDF 표기 · Dual-use science
PDF 원문 인용
번역의학·환경 해법처럼 이로운 목적에도 쓰일 수 있으나, 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술.
Research and technology that can be applied for beneficial purposes, such as medicine or environmental solutions, but also potentially misused to cause harm, such as in biological or chemical weapon development.
출처 International Scientific Report on the Safety of Advanced AI · p.80, p.221–222 · EN · 정의섹션 · 원문
번역의료·에너지처럼 이로운 목적에도 쓰일 수 있으나, 생물·화학무기 개발처럼 해를 끼치는 데 오용될 수도 있는 연구·기술.
Research and technology that can be applied for beneficial purposes, such as in healthcare or energy, but also potentially misused to cause harm, such as in biological or chemical weapon development .
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 원문
056AI 에이전트(지능 에이전트)AI agent양쪽동향PDF에이전트·자율성
동향 문서 582기간 34개월최근 90%병기 15허브 0.54PDF 문서 18정의섹션 2점수 11.2182
동향 표기 · 에이전트(582) / agents(146) / agent(149)
이 용어집 · 집필 정의
목표를 받아 스스로 여러 단계를 계획하고 실행하는 AI 시스템.
한 번 묻고 한 번 답하는 방식과 구조가 다르다. 목표를 받으면 그것을 작은 단계로 쪼개고, 필요한 도구를 호출하고, 돌아온 결과를 보고 다음에 무엇을 할지 다시 정하는 순환을 돈다. 언어모델이 판단을 맡고, 그 주위에 도구를 호출하는 장치, 지금까지의 경과를 기억하는 저장소, 코드를 실제로 돌릴 실행 환경이 붙는 형태가 일반적이다. 항공권을 찾아 예약하고 일정을 정리하는 일처럼, 사람이 여러 번 손을 대야 했던 작업을 한 번의 지시로 처리하는 것이 목표다.
안전 문제의 성격이 여기서 달라진다. 텍스트를 생성하던 단계의 위험은 잘못된 말이었고, 잘못된 말은 읽는 사람이 걸러낼 여지가 있었다. 에이전트의 위험은 잘못된 행동이다. 파일을 지우고, 결제를 하고, 메일을 보낸 뒤에는 되돌릴 수 없다. 그래서 에이전트를 설계할 때는 성능보다 권한 범위와 되돌릴 수 있는지가 먼저 결정돼야 한다. 무엇을 할 수 있게 할지가 아니라 무엇은 못 하게 할지를 정하는 일이 설계의 중심이 되는 것이다.
PDF 원문 인용
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight.
출처 International Scientific Report on the Safety of Advanced AI · p.38, p.47–48, p.80, p.111, p.170 · EN · 정의섹션 · 원문
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. General-purpose AI can help people generate realistic content at scale, which malicious actors could use for attempts to manipulate public opinion and spread certain narratives. Studies show that humans often find general-purpose AI-generated text indistinguishable from genuine human-generated material (301, 302, 303, 304) . Moreover, research indicates that while people struggle to accurately identify AI-generated content, they often overestimate their ability to do so (305) . There is also evidence that such content is already being disseminated at scale (306) .
출처 International Scientific Report on the Safety of Advanced AI · p.67–68 · EN · 정의섹션 · 원문
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. Some experts believe that sufficiently capable general-purpose AI systems may be difficult to control. Hypothesised scenarios vary in their severity, but some experts give credence to outcomes as severe as the marginalisation or extinction of humanity. Concerns about loss of control date back to the earliest days of computer science, but have recently gained more attention. AI pioneers such as Alan Turing, I. J. Good, and Norbert Wiener expressed concerns about loss of control (578, 579, 580) .
출처 International Scientific Report on the Safety of Advanced AI · p.100–101 · EN · 정의섹션 · 원문
An AI system that can adaptively perform complex tasks, use tools, and interact with its environment - for example, by creating files, taking actions on the Web, or delegating tasks to other agents - to pursue goals with little to no human oversight.
출처 International AI Safety Report 2026 · p.148 · EN · 정의섹션 · 원문
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. Monitoring and intervention strategies are applied to AI systems -the complete deployment package that includes both the AI model and additional safety components -leaving the model unchanged. Unlike the strategies discussed in 3.4.1. Training more trustworthy models, monitoring and intervention methods are integrated at the system level and implemented as part of system deployment. This section discusses monitoring and intervention strategies that researchers and developers use for general-purpose AI systems (see Figure 3.2).
출처 International Scientific Report on the Safety of Advanced AI · p.201–202 · EN · 정의섹션 · 원문
057자율성(자율 수준)autonomy동향에이전트·자율성
동향 문서 83기간 19개월최근 81%병기 2허브 0.69
동향 표기 · 자율성(83) / autonomy(15)
이 용어집 · 집필 정의
사람의 개입 없이 스스로 판단하고 행동할 수 있는 정도.
있다와 없다로 갈리는 성질이 아니라 연속적인 축이다. 자동차의 자율주행 등급이 좋은 참조가 된다. 어떤 상황까지 시스템이 처리하고 어느 지점에서 사람에게 넘기는지, 사람이 얼마나 빨리 개입할 준비를 하고 있어야 하는지에 따라 단계가 나뉜다. AI 시스템에서는 감독 없이 실행되는 시간의 길이, 호출할 수 있는 도구의 권한, 주어진 목표를 스스로 바꿀 수 있는지가 그 단계를 가르는 축으로 쓰인다.
위험을 따질 때 자율성은 곱셈처럼 작동한다. 같은 능력을 가진 모델이라도 자율성이 높은 방식으로 배치되면 피해가 커진다. 실수 한 번이 여러 단계를 거쳐 증폭되고, 사람이 알아채는 시점이 늦어지기 때문이다. 그래서 규제 논의는 모델의 능력만 등급화하는 데서 그치지 않고 배치된 자율성 수준을 함께 보려 한다. 같은 모델이라도 자율성을 얼마나 주고 어떤 권한을 붙였는지에 따라 다른 요구가 적용되는 방향이다.
058에이전틱 AI(행위자성 AI)agentic AI동향에이전트·자율성
동향 문서 69기간 14개월최근 94%병기 3허브 0.67
동향 표기 · 에이전틱(69) / agentic(115)
이 용어집 · 집필 정의
자율적으로 행동을 취하는 성격이 강한 AI를 가리키는 통칭.
특정한 제품이나 구조를 가리키는 말이 아니라 성질을 가리키는 형용에 가깝다. 같은 모델도 어떻게 쓰느냐에 따라 이 성질이 강해지거나 약해진다. 사람 개입 없이 얼마나 긴 작업을 이어 가는지, 도구와 외부 세계에 얼마나 접근할 수 있는지, 주어진 목표를 스스로 다시 정할 수 있는지가 그 정도를 가르는 축이다. 답만 내놓는 쪽에서 스스로 일을 처리하는 쪽으로 옮겨 가는 흐름 전체를 부르는 말로 쓰인다.
정의가 느슨해서 마케팅 문구로도 쓰이고, 그래서 무엇을 가리키는지 확인하지 않으면 논의가 헛돌기 쉽다. 정책 문서가 이 모호함을 피하는 방법은 형용을 버리고 축으로 쪼개 규정하는 것이다. 감독 없이 실행되는 시간이 얼마인지, 되돌릴 수 없는 행위를 할 권한이 있는지, 접근할 수 있는 자원의 범위가 어디까지인지를 각각 등급으로 두는 방식이다. 이렇게 하면 에이전틱인지 아닌지 다투지 않고도 무엇을 규율할지 정할 수 있다.
059도구 사용(툴 사용)tool use동향에이전트·자율성
동향 문서 57기간 15개월최근 88%병기 0허브 0.70
동향 표기 · 도구 사용(57)
이 용어집 · 집필 정의
모델이 외부 기능을 호출해 스스로 할 수 없는 일을 처리하는 것.
언어모델은 학습한 시점의 지식만 갖고 있고 계산도 정확하지 않다. 이 한계를 바깥의 기능으로 메우는 방식이 도구 사용이다. 모델이 도구 이름과 넘길 값을 정해진 형식으로 출력하면, 실행 환경이 그것을 실제로 실행하고 결과를 다시 모델에게 돌려준다. 검색으로 최신 정보를 가져오고, 계산기나 코드로 정확한 값을 얻고, 파일을 읽고 쓰고, 외부 서비스를 호출하는 일이 이렇게 이뤄진다. 에이전트가 성립하는 기반이기도 하다.
능력이 늘어난 만큼 공격면도 함께 늘어난다는 점을 함께 봐야 한다. 도구를 통해 외부 자료가 들어오는 경로는 프롬프트 인젝션의 입구가 되고, 도구를 통해 밖으로 나가는 경로는 자료가 유출되는 출구가 된다. 이 둘이 동시에 열려 있으면 공격자가 심어 둔 지시가 모델을 가로채 내부 자료를 밖으로 보내는 연결이 완성된다. 그래서 도구마다 권한을 최소한으로 좁히고 실행 환경을 격리하는 것이 에이전트 보안의 기본으로 다뤄진다.
060다중 에이전트(멀티 에이전트)multi-agent동향에이전트·자율성
동향 문서 48기간 15개월최근 88%병기 1허브 0.69
동향 표기 · 다중 에이전트(48) / multi-agent(29)
이 용어집 · 집필 정의
여러 AI 에이전트가 협력하거나 경쟁하며 함께 일하는 구성.
하나의 에이전트가 모든 일을 처리하는 대신 역할을 나눠 맡긴다. 계획을 세우는 에이전트, 실제로 수행하는 에이전트, 결과를 검토하는 에이전트를 따로 두는 식이다. 이렇게 하면 각 에이전트가 좁은 임무에 집중해 복잡한 작업을 감당할 수 있고, 검토 역할을 별도로 둔 구성은 한 에이전트의 실수를 다른 에이전트가 잡아내는 장치로도 작동한다. 사람의 조직에서 업무를 분담하는 것과 같은 발상이다.
그런데 조직을 만들면 조직 특유의 실패도 함께 생긴다. 잘못된 중간 결과가 다음 에이전트의 입력이 되어 오류가 커지면서 전달되고, 하나가 프롬프트 인젝션에 걸리면 서로 신뢰하는 관계를 타고 다른 에이전트까지 번진다. 문제가 생겼을 때 어느 단계에서 어긋났는지 추적하기 어렵고 책임 소재도 흐려진다. 각 에이전트를 따로 시험해 모두 정상이어도 함께 놓았을 때 생기는 문제는 드러나지 않으므로, 시스템 전체를 하나로 보고 평가하는 절차가 따로 필요하다.
061범용인공지능(일반인공지능)AGI동향에이전트·자율성
동향 문서 41기간 14개월최근 88%병기 5허브 0.43
동향 표기 · AGI(41)
이 용어집 · 집필 정의
특정 과제에 한정되지 않고 사람 수준의 폭넓은 지적 작업을 하는 AI.
특정 용도에만 쓰이는 좁은 AI와 대비되는 개념이다. 문제는 합의된 정의나 도달 여부를 판정할 기준이 없다는 점이다. 경제적 기준으로 보아 사람이 하는 대다수 직무를 수행할 수 있으면 그렇다고 볼 수도 있고, 인지적 기준으로 보아 처음 보는 과제를 스스로 배워 해낼 수 있으면 그렇다고 볼 수도 있으며, 특정 시험들을 통과하는 것으로 정의할 수도 있다. 기준마다 서로 다른 시점을 가리키기 때문에 도달했는지를 두고 소통이 어긋나기 쉽다.
정의가 느슨하다는 것은 정책 언어로 쓰기 어렵다는 뜻이기도 하다. 규제 대상을 범용인공지능 여부로 정하면, 그 판정을 두고 다투는 사이 규제가 작동하지 못한다. 그래서 규제 문서는 이 개념을 직접 쓰는 대신 측정할 수 있는 대리 지표를 쓴다. 학습에 투입된 계산량, 특정 위험 능력을 갖췄는지 여부, 사람 개입 없이 완수할 수 있는 작업의 길이 같은 것들이다. 비슷한 약어인 범용 AI 모델(GPAI)과는 다른 개념이므로 함께 나올 때 구별해 읽어야 한다.
062모델 컨텍스트 프로토콜(MCP)MCP동향에이전트·자율성
동향 문서 35기간 11개월최근 91%병기 3허브 0.54
동향 표기 · MCP(35)
이 용어집 · 집필 정의
모델이 외부 도구와 데이터에 연결되는 방식을 표준화한 개방 규격.
도구 연결을 모델마다 서비스마다 따로 구현하던 것을 공통 규격으로 바꾼 것이다. 예전에는 어떤 도구를 어떤 모델에 붙이려면 그 조합마다 연결 코드를 만들어야 했다. 규격이 정해지면 도구를 제공하는 쪽은 규격에 맞는 서버를 한 번 만들고, 모델을 쓰는 쪽은 그 서버를 가져다 붙이면 된다. 2024년 앤트로픽이 공개한 뒤 다른 곳으로도 채택이 퍼졌고, 파일 시스템, 데이터베이스, 협업 도구를 붙이는 서버가 널리 공유되고 있다.
연결이 쉬워지는 만큼 신뢰해야 하는 대상도 늘어난다는 점이 안전 측면의 핵심이다. 외부 서버가 돌려주는 내용은 자료로 처리돼야 하는데, 모델에게는 지시처럼 읽힐 수 있다. 서버 목록에 악성 항목이 섞여 들어오면 그 서버는 모델이 가진 권한을 그대로 활용할 수 있게 된다. 그래서 서버의 출처를 확인하고, 서버마다 허용할 권한 범위를 미리 고정하고, 도구가 돌려준 결과를 명령이 아닌 데이터로만 취급하도록 처리하는 것이 요구된다.
063초지능(슈퍼인텔리전스)superintelligence동향에이전트·자율성
동향 문서 23기간 12개월최근 91%병기 2허브 0.45
동향 표기 · 초지능(23)
이 용어집 · 집필 정의
거의 모든 영역에서 인간 최고 수준을 크게 넘어서는 지능.
범용인공지능보다 한 단계 위를 가리키는 가정적 개념이다. 논의의 무게가 능력 자체보다 통제 가능성에 놓인다는 점이 이 개념의 특징이다. 사람보다 모든 면에서 뛰어난 시스템을 사람이 어떻게 감독할 수 있는가라는 문제인데, 여기에는 실질적인 난점이 있다. 감독은 판단의 옳고 그름을 검증할 수 있을 때 성립하지만, 상대가 나보다 뛰어나면 그 검증 자체가 불가능해진다. 확장 가능한 감독이라는 연구 주제가 이 문제를 다룬다.
정책 대상으로 다룰 수 있는지에 대해서는 견해가 갈린다. 한쪽은 도달한 뒤에는 대비할 시간이 없으므로 통제 방법을 미리 확보해야 한다고 본다. 다른 쪽은 시점이 불확실한 가정에 자원과 관심을 쓰는 사이, 이미 벌어지고 있는 편향·오용·노동 영향 같은 문제가 밀린다고 본다. 두 입장이 상대의 문제의식을 부정하지 않으면서도 우선순위에서 갈리기 때문에, 논쟁이 사실 확인으로 해소되지 않는 성격을 띤다.
064자율 에이전트autonomous agent동향에이전트·자율성
동향 문서 22기간 8개월최근 96%병기 0허브 0.79
동향 표기 · 자율 에이전트(22) / autonomous(37)
이 용어집 · 집필 정의
사람의 승인 없이 스스로 행동을 결정하고 실행하는 에이전트.
에이전트 가운데 사람이 끼어드는 지점을 최소로 줄인 형태다. 단계마다 확인을 받는 구성과 비교하면 차이가 분명하다. 확인을 받는 쪽은 느리지만 잘못된 행동이 실행되기 전에 걸러지고, 자율적인 쪽은 빠르지만 잘못된 판단이 그대로 결과가 된다. 처리량과 통제력을 맞바꾸는 구조이므로, 어느 쪽이 낫다기보다 무슨 일을 맡기는지에 따라 선택이 갈린다.
실무에서 자율성의 범위를 정하는 기준으로 널리 쓰이는 것은 되돌릴 수 있는지 여부다. 자료를 조회하고 문서를 읽고 초안을 만드는 일처럼 잘못돼도 다시 하면 되는 행위는 넓게 허용하고, 결제·삭제·발송·배포처럼 한 번 실행되면 취소할 수 없는 행위에는 사람 승인을 남긴다. 이 기준이 유용한 이유는 승인 지점을 줄여 주기 때문이다. 모든 단계를 확인하게 만들면 감독이 형식으로 흐르지만, 되돌릴 수 없는 몇 지점에만 두면 그 지점에서 실제로 검토가 이뤄진다.
065작업 시간 지평(과제 길이)task time horizon동향에이전트·자율성
동향 문서 13기간 9개월최근 62%병기 4허브 0.39
동향 표기 · 시간 지평(13) / 지평(17)
이 용어집 · 집필 정의
AI가 사람 개입 없이 끝까지 수행할 수 있는 작업의 길이.
능력을 정확도가 아니라 시간으로 재는 지표다. 어떤 과제를 사람이 처리하는 데 걸리는 시간을 기준으로 삼고, 모델이 일정한 성공률로 완수할 수 있는 최대 길이를 찾는다. 몇 분이면 되는 문제는 잘 풀지만 몇 시간짜리 작업은 중간에 방향을 잃는 차이를, 문제 유형별로 흩어진 점수가 아니라 하나의 축으로 표현할 수 있다는 것이 장점이다. 짧은 과제의 정확도가 같은 두 모델이 긴 과제에서는 크게 갈리는 일이 흔하다.
긴 작업이 어려운 이유는 단순히 단계가 많기 때문이 아니다. 오류가 누적되고, 앞에서 무엇을 했는지 놓치고, 예상하지 못한 상황에서 회복하지 못하기 때문이다. 그래서 이 길이가 늘어나는 것은 개별 능력이 조금 나아진 것과 다른 종류의 진전으로 읽힌다. 정책 지표로도 주목받는데, 길이가 늘면 위임할 수 있는 업무의 범위가 함께 넓어지고 감독의 성격도 단계별 확인에서 사후 검증으로 옮겨 가기 때문이다.
066능력capabilityPDF에이전트·자율성
PDF 문서 36정의섹션 7점수 18.5456
PDF 표기 · CAPABILITIES · Capability
PDF 원문 인용
번역인공지능 시스템이 수행할 수 있는 과제·기능의 범위와, 그것을 얼마나 능숙하게 수행하는가.
The range of tasks or functions that an AI system can perform, and how competently it can perform them.
출처 International Scientific Report on the Safety of Advanced AI · p.38, p.219–220 · EN · 정의섹션 · 원문
번역인공지능 시스템이 수행할 수 있는 과제·기능의 범위와, 그것을 얼마나 능숙하게 수행하는가.
The range of tasks or functions that an AI system can perform, and how competently it can perform them. Technical approaches to risk management 3.1 Risk management overview
출처 International Scientific Report on the Safety of Advanced AI · p.158–159 · EN · 정의섹션 · 원문
번역인공지능 시스템이 수행할 수 있는 과제의 범위와, 그것을 얼마나 능숙하게 수행하는가.
The range of tasks that an AI system can perform, and how competently it can perform them.
출처 International Scientific Report on the Safety of Advanced AI · p.319 · EN · 정의섹션 · 원문
067에이전트agentPDF에이전트·자율성
PDF 문서 27정의섹션 2점수 14.6067
PDF 표기 · Agent · Agents
PDF 원문 인용
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight.
출처 International Scientific Report on the Safety of Advanced AI · p.38, p.47–48, p.80, p.111, p.170 · EN · 정의섹션 · 원문
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. General-purpose AI can help people generate realistic content at scale, which malicious actors could use for attempts to manipulate public opinion and spread certain narratives. Studies show that humans often find general-purpose AI-generated text indistinguishable from genuine human-generated material (301, 302, 303, 304) . Moreover, research indicates that while people struggle to accurately identify AI-generated content, they often overestimate their ability to do so (305) . There is also evidence that such content is already being disseminated at scale (306) .
출처 International Scientific Report on the Safety of Advanced AI · p.67–68 · EN · 정의섹션 · 원문
번역이 절에서 ‘agent’는 보통 생물·화학·독성학적 유해 물질을 가리킨다. 아래의 AI 에이전트와 혼동하지 않도록 한다.
For the purposes of this section, 'agent' usually refers to a biological, chemical, or toxicological substance that can harm living organisms. Agents in this sense are not to be confused with AI agents (see below).
출처 International Scientific Report on the Safety of Advanced AI · p.80 · EN · 정의섹션 · 원문
번역목표 달성을 위해 계획을 세우고, 여러 단계와 불확실한 결과를 포함하는 과제를 적응적으로 수행하며, 파일 생성·웹 행동·다른 에이전트에 위임 등 환경과 상호작용하는—인간 감독이 거의 없거나 전혀 없는—범용 AI.
A general-purpose AI which can make plans to achieve goals, adaptively perform tasks involving multiple steps and uncertain outcomes along the way, and interact with its environment -for example by creating files, taking actions on the web, or delegating tasks to other agents -with little to no human oversight. Some experts believe that sufficiently capable general-purpose AI systems may be difficult to control. Hypothesised scenarios vary in their severity, but some experts give credence to outcomes as severe as the marginalisation or extinction of humanity. Concerns about loss of control date back to the earliest days of computer science, but have recently gained more attention. AI pioneers such as Alan Turing, I. J. Good, and Norbert Wiener expressed concerns about loss of control (578, 579, 580) .
출처 International Scientific Report on the Safety of Advanced AI · p.100–101 · EN · 정의섹션 · 원문
An AI system that can adaptively perform complex tasks, use tools, and interact with its environment - for example, by creating files, taking actions on the Web, or delegating tasks to other agents - to pursue goals with little to no human oversight.
출처 International AI Safety Report 2026 · p.148 · EN · 정의섹션 · 원문
068프론티어 AIfrontier AIPDF에이전트·자율성
PDF 문서 24정의섹션 1점수 9.8184
PDF 표기 · Frontier AI
PDF 원문 인용
번역오늘날 가장 앞선 AI의 맞먹거나 넘는 특히 능력 있는 AI를 가리키는 말로 쓰이기도 한다. 이 보고서에서는 특히 능력 있는 범용 AI로 이해할 수 있다.
A term sometimes used to refer to particularly capable AI that matches or exceeds the capabilities of today's most advanced AI. For the purposes of this report, frontier AI can be thought of as particularly capable general-purpose AI.
출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션 · 원문
프론티어 AI는 공개·비공개 여부와 상관없이, 최첨단 수준의 성능을 보이며 광범위한 영향력과 잠재적 위험을 동시에 갖는 차세대 AI 모델군을 포괄적으로 지칭하는 용어입니다. 2023년 영국 AI 안전 정상회의(AI Safety Summit)에서 공식적으로 언급된 이후, 국제 사회에서 고도화된 AI를 구분하는 정책적 분류로 사용되고 있습니다. 이러한 모델은 언어, 추론, 문제 해결 등 다양한 영역에서 인간의 능력에 근접하거나 이를 능가할 가능성을 지니며, AI 기술 발전의 최전선을 의미합니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.84 · KO · 정의섹션 · 원문
069다중 에이전트 시스템Multi-agent systemPDF에이전트·자율성
PDF 문서 5정의섹션 1점수 3.823
PDF 표기 · Multi-agent system
PDF 원문 인용
번역서로의 행동·목표에 적응하며—협력하거나 경쟁할 수도 있는—(AI) 에이전트들의 상호작용 네트워크.
A network of interacting (AI) agents that may adapt to each other's behaviour and goals, including by potentially cooperating or competing.
출처 International AI Safety Report 2026 · p.152–153 · EN · 정의섹션 · 원문
070자율 계획Autonomous planningPDF에이전트·자율성
PDF 문서 2정의섹션 1점수 2.476
PDF 표기 · Autonomous planning
PDF 원문 인용
번역인간 안내가 거의 없거나 전혀 없이도 다단계 전략을 세우고 실행하는 인공지능 시스템의 능력.
An AI system's ability to develop and execute multi-step strategies with little or no human guidance. | Commonly used for AI development and deployment.
출처 International AI Safety Report 2026 · p.149 · EN · 정의섹션 · 원문
071공정성(형평성)fairness양쪽동향PDF거버넌스·책임 원칙
동향 문서 78기간 19개월최근 86%병기 2허브 0.72PDF 문서 23정의섹션 3점수 13.6023
동향 표기 · 공정성(78)
이 용어집 · 집필 정의
시스템의 결과가 집단이나 개인에게 부당하게 차별적이지 않은 성질.
편향이 관측되는 현상이라면 공정성은 그것을 판단하는 규범이다. 그런데 무엇이 공정인지에 대한 정의가 하나가 아니라는 점이 이 개념을 다루기 어렵게 만든다. 집단별 합격률을 같게 맞추는 것, 집단별 오류율을 같게 맞추는 것, 실제로 자격을 갖춘 사람들 사이에서 합격률을 같게 맞추는 것, 비슷한 개인을 비슷하게 대하는 것이 모두 공정성의 정의로 제시된다. 각각 그럴듯하지만 서로 다른 결과를 낸다.
더 중요한 사실은 이 기준들이 일반적으로 동시에 만족될 수 없다는 것이 수학적으로 증명돼 있다는 점이다. 집단 사이에 실제 분포가 다르면 한 기준을 맞추면 다른 기준이 어긋난다. 그래서 공정성 확보는 최적화 문제가 아니라 선택 문제가 된다. 무엇을 배분하는 결정인지에 따라 — 채용인지 대출인지 의료 자원 배분인지 형사 절차인지 — 어떤 기준이 적절한지가 달라지며, 그 선택은 정책적 판단의 영역이다. 기준을 밝히지 않은 공정성 주장은 검증할 수 없다.
PDF 원문 인용
번역인공지능 시스템이 편향이나 부당한 차별 없이, 특히 인종·성별·연령·사회경제적 지위 등 보호 속성과 관련해 모든 개인·집단을 공정하게 대우해야 한다는 사회적 가치.
A societal value according to which AI systems should make decisions that are free from bias or unjust discrimination, treating all individuals and groups equitably, particularly with regard to protected attributes such as race, gender, age, or socio-economic status.
출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션 · 원문
072AI 거버넌스(AI 규율 체계)AI governance동향거버넌스·책임 원칙
동향 문서 491기간 32개월최근 87%병기 14허브 0.64
동향 표기 · 거버넌스(491) / Governance(149)
이 용어집 · 집필 정의
AI의 개발·배포·이용을 규율하는 규칙과 절차, 기구의 총체.
법률만 가리키는 말이 아니다. 구속력 있는 법령, 정부가 내는 비구속 가이드라인, 국가 사이의 합의와 선언, 기술 표준, 기업 내부 정책이 층을 이루며 함께 작동하는 구조 전체를 부른다. 기술이 입법보다 빠르게 바뀌기 때문에 법이 아닌 수단이 실질적인 역할을 크게 맡는 것이 이 분야의 특징이다. 어느 하나가 다른 것을 대체하지 않고, 서로 다른 속도와 강도로 겹쳐 작동한다.
문서를 읽을 때는 어느 층위를 말하는지 먼저 확인하는 것이 좋다. 국제 층위에서는 정상회의와 다자 원칙이 방향을 제시하고, 국가 층위에서는 법령과 전담 기구와 안전연구소가 실행을 맡으며, 조직 층위에서는 내부 위원회와 위험관리 체계가 개별 결정을 다룬다. 같은 말이 각 층위에서 다른 무게를 갖는다. 국제 합의의 투명성은 권고이고, 법령의 투명성은 의무이며, 기업 정책의 투명성은 스스로 정한 약속이다.
073투명성transparency동향거버넌스·책임 원칙
동향 문서 293기간 30개월최근 84%병기 2허브 0.77
동향 표기 · 투명성(293)
이 용어집 · 집필 정의
시스템의 존재와 성질, 작동 방식에 관한 정보가 관계자에게 제공되는 정도.
누구에게 무엇을 알리는지에 따라 전혀 다른 요구가 되는데, 하나의 낱말로 뭉쳐 쓰이는 탓에 혼동이 잦다. 이용자에게 지금 AI와 대화하고 있음을 알리는 것, 결정을 받은 당사자에게 판단 근거를 설명하는 것, 규제기관에 학습 자료와 평가 결과를 제출하는 것, 연구자에게 모델 접근을 허용하는 것이 모두 투명성으로 불린다. 요구의 근거도 다르다. 앞의 둘은 개인의 권리에서, 뒤의 둘은 감독과 검증의 필요에서 나온다.
완전 공개와 같은 말이 아니라는 점도 짚어 둘 만하다. 모델 가중치를 공개하는 것과 시스템 문서를 공개하는 것은 전혀 다른 일이고, 전자가 반드시 후자보다 투명한 것도 아니다. 실제로는 보안, 영업비밀, 개인정보 때문에 대상별로 다른 수준을 정하는 것이 통상적인 해법이다. 모델 카드나 데이터 시트처럼 무엇을 어떤 형식으로 밝힐지 미리 정해 둔 문서가 이 절충의 도구로 쓰인다.
074윤리 원칙(AI 윤리 원칙)ethical principles동향거버넌스·책임 원칙
동향 문서 124기간 29개월최근 79%병기 4허브 0.55
동향 표기 · 윤리(124) / 윤리 원칙(14) / ethics(21)
이 용어집 · 집필 정의
AI가 지켜야 할 가치를 선언적으로 정리한 규범 목록.
2010년대 후반에 정부, 기업, 국제기구, 학회가 수십 건을 발표했고 내용은 상당히 수렴했다. 인간 존엄의 존중, 해악 방지, 공정성, 투명성, 책임성, 프라이버시 보호가 거의 모든 문서에 반복해 등장한다. 여러 주체가 독립적으로 도달한 목록이 비슷하다는 것은, 최소한 무엇이 문제인지에 대해서는 광범위한 동의가 있다는 뜻으로 읽힌다. OECD와 유네스코의 권고가 다자 문서로 널리 인용된다.
다만 수렴했다는 사실이 곧 실행을 뜻하지는 않는다. 원칙 문서가 대체로 답하지 않는 것은 원칙 사이가 충돌할 때 무엇을 우선하느냐다. 정확도를 높이려면 더 많은 개인정보가 필요하고, 유해 표현을 막으려면 표현의 자유가 제약되며, 투명성을 높이면 보안이 약해질 수 있다. 실제 결정은 이런 상충 지점에서 내려지는데 원칙은 그 지점에서 침묵한다. 논의의 무게가 원칙에서 표준과 법제로 옮겨 간 이유가 여기 있다.
075책임성(어카운터빌리티)accountability동향거버넌스·책임 원칙
동향 문서 111기간 19개월최근 89%병기 4허브 0.78
동향 표기 · 책임성(111)
이 용어집 · 집필 정의
결과에 대해 누가 답해야 하는지가 정해져 있고, 실제로 답하게 만드는 성질.
맡은 역할을 뜻하는 책임과 갈라 두면 뜻이 분명해진다. 책임은 무엇을 해야 하는지에 관한 것이고, 책임성은 일이 잘못됐을 때 설명하고 시정하고 배상하게 만드는 구조에 관한 것이다. 그래서 원칙 선언만으로는 확보되지 않는다. 무슨 일이 있었는지 확인할 수 있는 기록이 남아야 하고, 외부에서 검증할 수 있어야 하며, 피해를 입은 사람이 이의를 제기할 창구와 실제로 구제받을 절차가 있어야 한다.
AI에서 이것이 어려운 이유는 관여하는 주체의 사슬이 길다는 점이다. 파운데이션 모델을 만든 회사, 그것을 특정 용도로 조정한 사업자, 서비스로 묶어 배포한 곳, 실제로 운영하며 결정에 쓰는 조직이 모두 다를 수 있다. 각자 자기 앞의 단계를 신뢰했다고 말하면 책임이 사슬 어딘가로 사라진다. EU AI법이 모델을 공급하는 쪽과 실제로 배치해 쓰는 쪽의 의무를 나눠 규정한 것도 이 공백을 막으려는 설계다.
076책임 있는 AI(책임성 있는 AI)responsible AI동향거버넌스·책임 원칙
동향 문서 41기간 15개월최근 78%병기 0허브 0.56
동향 표기 · Responsible(41)
이 용어집 · 집필 정의
개발·운영 조직이 스스로 책임 있는 실무 관행을 갖춰 AI를 다루는 접근.
규제가 요구하는 최소선을 지키는 것과 달리, 조직이 자율적으로 절차를 만들어 실천하는 쪽에 무게가 있는 말이다. 구체적으로는 출시 전에 위험을 검토하는 내부 절차, 결정을 심의하는 위원회, 영향 평가, 배포 후의 모니터링, 문제가 생겼을 때의 대응 경로를 조직 운영 안에 넣는 형태로 구현된다. 법이 아직 다루지 못하는 영역을 조직이 먼저 다룰 수 있다는 점이 이 접근의 강점이다.
비판은 실효성에 모인다. 자율 규범은 구속력이 없어서 사업 압력과 충돌할 때 물러나기 쉽고, 원칙 선언이 실제 제품 결정으로 이어졌는지 외부에서 확인할 방법이 마땅치 않다. 내부 위원회의 권고가 받아들여지지 않은 사례나 담당 조직이 축소된 사례가 이런 우려의 근거로 인용된다. 그래서 최근 논의는 자율 규범을 대체 수단으로 보지 않고, 구속력 있는 요구와 외부 감사로 뒷받침해야 작동한다는 쪽으로 정리되고 있다.
077구속력(법적 구속력)binding force동향거버넌스·책임 원칙
동향 문서 28기간 12개월최근 71%병기 0허브 0.69
동향 표기 · 구속력(28)
이 용어집 · 집필 정의
규범을 위반했을 때 제재나 강제가 따르는지를 가리키는 성질.
AI 거버넌스 문서를 읽을 때 가장 먼저 확인해야 하는 성질이다. 법령과 시행령은 위반하면 과징금이나 시정명령 같은 제재가 따르고, 가이드라인·권고·행동규약은 원칙적으로 그런 효력이 없다. 같은 내용을 담고 있어도 이 차이가 실제 효과를 가른다. 그래서 어떤 요구를 두고 논의할 때, 그것이 지켜야 하는 의무인지 참고하면 좋은 권고인지 구별하지 않으면 논의가 헛돌게 된다.
다만 있다와 없다로만 나누면 놓치는 것이 있다. 비구속 문서도 여러 경로로 사실상의 강제력을 얻는다. 적합성 평가의 기준으로 편입되면 그것을 따르지 않고는 시장에 낼 수 없게 되고, 계약 조건이나 조달 요건에 들어가면 지키지 않으면 거래가 안 된다. 국가 사이의 합의도 구속력은 없지만 각국 입법의 참조점이 되어 간접적으로 작동한다. 그래서 실무에서는 구속력의 유무보다 어떤 경로로 강제되는지를 보는 편이 정확하다.
078신뢰할 수 있는 AI(신뢰 가능한 AI)trustworthy AI동향거버넌스·책임 원칙
동향 문서 25기간 12개월최근 72%병기 0허브 0.69
동향 표기 · Trustworthy(25)
이 용어집 · 집필 정의
안전성·투명성·공정성 등 여러 속성을 함께 갖춘 AI를 가리키는 정책 용어.
하나의 기술 속성이 아니라 여러 요건을 함께 묶은 정책 개념이다. 유럽에서 정리한 정식화가 가장 널리 인용된다. 인간의 행위주체성과 감독, 기술적 견고성과 안전, 프라이버시와 데이터 거버넌스, 투명성, 다양성과 비차별·공정성, 사회적·환경적 복리, 책임성의 일곱 요건이다. 어느 하나만 충족해서는 안 되고 전체가 함께 요구된다는 점, 그리고 개발 단계뿐 아니라 사용되는 동안 계속 유지돼야 한다는 점이 이 틀의 요지다.
신뢰와 신뢰성을 구별하는 것이 이 개념을 오해하지 않는 요령이다. 사람들이 실제로 신뢰하는지는 조사하면 알 수 있는 사실의 문제이고, 신뢰할 만한지는 근거를 따져야 하는 규범의 문제다. 둘이 어긋날 수 있다는 점이 중요하다. 신뢰를 높이는 것 자체가 목표가 되면, 실제로 안전하지 않은 시스템에 대한 수용을 늘리는 방향으로 뒤집힐 수 있다. 목표는 사람들이 믿게 만드는 것이 아니라 믿을 만하게 만드는 것이다.
EU 고위전문가그룹, 신뢰할 수 있는 AI 윤리 가이드라인(2019)
079알고리즘 투명성Algorithmic TransparencyPDF거버넌스·책임 원칙
PDF 문서 6정의섹션 1점수 4.0717
PDF 표기 · Algorithmic Transparency
PDF 원문 인용
번역범용 AI의 출력(추천·결정 등)을 좌우하는 요인을 이해관계자가 알 수 있는 정도. 모델 내부 작동, 학습 방식·데이터, 입력의 어떤 특징이 출력에 영향을 줬는지, 다른 상황에서 어떤 결정을 내렸을지 등이 포함될 수 있다.
The degree to which the factors informing general-purpose AI output, e.g. recommendations or decisions, are knowable by various stakeholders. Such factors might include the inner workings of the AI model, how it has been trained, what data it is trained on, what features of the input affected its output, and what decisions it would have made under different circumstances.
출처 International Scientific Report on the Safety of Advanced AI · p.176–177, p.218–219 · EN · 정의섹션 · 원문
080제도적 투명성Institutional transparencyPDF거버넌스·책임 원칙
PDF 문서 3정의섹션 2점수 4.0106
PDF 표기 · Institutional transparency
PDF 원문 인용
번역AI 기업이 학습 데이터·모델 구조·배출 데이터·안전·보안 조치·의사결정 과정 등 기술·조직 정보를 공개·정부 감시에 드러내는 정도.
The degree to which AI companies disclose technical or organisational information to public or governmental scrutiny, including training data, model architectures, emissions data, safety and security measures, or decision-making processes. Recent advances in general-purpose AI capabilities have largely been powered by a rapid increase in the amount of computation that goes into developing and using AI models. The most straightforward methodology for improving general-purpose AI performance on end-tasks is to allow the model to learn from as many data examples as possible. This is achieved by increasing the size of the model, measured as the number of parameters, roughly in proportion with the amount of available data ( 156*, 157* ).
출처 International Scientific Report on the Safety of Advanced AI · p.129–130 · EN · 정의섹션 · 원문
번역조직이 정보를 공개하는 정도. AI 개발자의 경우 학습 데이터·모델 구조·안전·보안 조치·의사결정 과정 공유 등이 해당한다.
The degree to which organisations publicly disclose information, such as (in the case of AI developers) sharing training data, model architectures, safety and security measures, or decision-making processes.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 원문
번역AI 기업이 학습 데이터·모델 구조·배출 데이터·안전·보안 조치·의사결정 과정 등 기술·조직 정보를 공개·정부 감시에 드러내는 정도.
The degree to which AI companies disclose technical or organisational information to public or governmental scrutiny, including training data, model architectures, emissions data, safety and security measures, or decision-making processes.
출처 International Scientific Report on the Safety of Advanced AI · p.176–177, p.223 · EN · 정의섹션 · 원문
081생성형 AI(생성 AI)generative AI양쪽동향PDF법·규제 개념
동향 문서 261기간 28개월최근 79%병기 0허브 0.47PDF 문서 23정의섹션 3점수 13.1047
동향 표기 · 생성형(261) / GenAI(25)
이 용어집 · 집필 정의
텍스트·이미지·음성·영상 같은 새로운 내용물을 만들어 내는 AI.
주어진 입력을 분류하거나 값을 예측하는 판별형 AI와 하는 일이 다르다. 판별형은 이 사진이 고양이인지 판정하고, 생성형은 고양이 사진을 만들어 낸다. 원리는 학습 자료의 분포를 익혀 그 분포에서 새 표본을 뽑아내는 것이다. 언어에서는 다음에 올 말을 확률로 예측해 이어 붙이는 대규모 언어모델이, 이미지에서는 잡음에서 시작해 점점 형태를 잡아 가는 확산 모델이 대표 계열이다.
규제에서 별도로 취급받는 이유는 출력물의 성질에 있다. 판별형 AI가 틀리면 잘못된 판정이 나오지만, 생성형 AI의 산출물은 그 자체로 세상에 유통되는 내용물이다. 그래서 다른 종류의 문제가 함께 따라온다. 학습에 쓴 저작물과의 관계, 만들어진 내용이 사실인지, 실제 사람을 닮은 합성물인지, 그것이 AI 산출물임을 알 수 있는지가 모두 쟁점이 된다. 합성 콘텐츠에 표시를 요구하는 의무가 이 계열에 집중되는 배경이다.
PDF 원문 인용
'생성형 인공지능'이란 입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조제1호에 따른 데이터 를 말한다. 이하 같다)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지 능시스템을 말한다.
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션 · 원문
번역기존 데이터에서 패턴을 학습해 텍스트·이미지·오디오 등 새로운 콘텐츠를 만들어 내는 AI.
AI that can create new content such as text, images, or audio by learning patterns from existing data and generating novel outputs that reflect those patterns.
출처 International Scientific Report on the Safety of Advanced AI · p.222–223 · EN · 정의섹션 · 원문
'생성형 인공지능'이란 입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조제1호에 따른 데이터를 말한다. 이하 같다)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생 성하는 인공지능시스템을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 원문
'생성형 인공지능'이란 입력한 데이터(「데이터 산업진흥 및 이용촉진에 관한 기본법」 제2조 제1호에 따른 데이터를 말한다. 이하 같다)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능시스템을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 원문
082프라이버시(사생활)privacy양쪽동향PDF법·규제 개념
동향 문서 108기간 17개월최근 82%병기 1허브 0.67PDF 문서 38정의섹션 3점수 15.8978
동향 표기 · 프라이버시(108)
이 용어집 · 집필 정의
자신에 관한 정보와 사적 영역을 스스로 통제할 수 있는 권리와 상태.
개인정보 보호보다 넓은 개념이다. 개인정보 보호가 데이터를 어떻게 처리해야 하는지에 관한 규율이라면, 프라이버시는 감시받지 않을 상태, 방해받지 않고 홀로 있을 자유, 자기에 관한 일을 스스로 결정할 자유까지 포함한다. 그래서 둘이 어긋날 수 있다. 법이 정한 절차를 모두 지켜 개인정보를 적법하게 처리했더라도, 그 결과가 사람을 상시 관찰받는 상태에 두었다면 프라이버시 침해는 성립할 수 있다.
AI가 만든 새로운 국면은 추론이다. 예전에는 정보를 알아내려면 수집해야 했지만, 이제는 이미 가진 다른 정보에서 추정해 낼 수 있다. 위치 이력에서 종교나 건강 상태를, 글의 문체에서 신원을, 소비 기록에서 임신 여부를 추정하는 식이다. 제공한 적 없는 사실이 노출되는 것이므로 수집 단계를 규율하는 방식만으로는 다루기 어렵다. 무엇을 모을 수 있는지가 아니라 무엇을 추론해 써도 되는지를 규율해야 한다는 논의가 여기서 나온다.
PDF 원문 인용
번역자신이나 집단의 민감 정보·활동에 타인이 접근·처리하는 방식을 스스로 통제할 권리.
A person's or group's right to control how others access or process their sensitive information and activities.
출처 International Scientific Report on the Safety of Advanced AI · p.139–140, p.208–209, p.224–225 · EN · 정의섹션 · 원문
번역자신에 관한 데이터에 타인이 접근·처리하는 방식을 스스로 통제할 권리.
A person's right to control how others access or process data about them. | a mathematical proof, to improve performance on tasks such as mathematical problem-solving
출처 International AI Safety Report 2026 · p.154 · EN · 정의섹션 · 원문
083고위험 AI(고위험 AI 시스템)high-risk AI동향법·규제 개념
동향 문서 181기간 25개월최근 84%병기 2허브 0.76
동향 표기 · 고위험(181)
이 용어집 · 집필 정의
사람의 안전이나 기본권에 중대한 영향을 줄 수 있어 강한 의무가 붙는 AI.
모든 AI를 같은 강도로 규율하면 위험한 용도는 충분히 통제되지 않고 무해한 용도는 과도하게 묶인다. 그래서 위험 수준에 따라 층을 나누는 방식이 채택됐다. EU AI법은 아예 금지되는 것, 고위험으로 강한 의무가 붙는 것, 표시 의무 정도만 지는 것, 아무 의무가 없는 것으로 나눈다. 고위험에 해당하면 위험관리 체계를 갖추고, 학습 자료의 품질을 관리하고, 기술 문서와 기록을 남기고, 인간 감독이 가능하게 설계하고, 정확성·견고성·사이버보안 요건을 충족해야 한다.
무엇이 고위험인지는 기술이 아니라 용도가 정한다는 점이 이 범주를 이해하는 핵심이다. 같은 얼굴 인식 기술이 사진첩을 정리하는 데 쓰이면 규율 대상이 아니고, 채용 심사나 법 집행에 쓰이면 고위험이 된다. 위험은 모델의 성능 수치에 있지 않고 그 판단이 누구의 무엇을 좌우하는지에 있기 때문이다. 그래서 규제 대응은 모델 문서를 준비하는 일이 아니라 어떤 맥락에 배치할지 특정하는 일에서 시작한다.
EU AI법 제6조·부속서 III
084자동화된 의사결정(자동화 결정)automated decision-making동향법·규제 개념
동향 문서 179기간 20개월최근 88%병기 2허브 0.62
동향 표기 · 의사결정(179)
이 용어집 · 집필 정의
사람의 실질적 개입 없이 시스템이 개인에 관한 결정을 내리는 것.
개인정보 보호법제가 AI가 논의되기 전부터 다뤄 온 범주다. 신용 평가나 보험 심사처럼 개인의 삶에 영향을 주는 결정이 자동으로 내려지는 상황을 규율하려는 것이다. 유럽 GDPR은 전적으로 자동화된 결정이 개인에게 중대한 영향을 미칠 때 이를 원칙적으로 제한하고, 사람의 개입을 요구하거나 설명을 듣고 이의를 제기할 권리를 부여한다. 국내 개인정보 보호법도 자동화된 결정에 대한 거부권과 설명 요구권을 두고 있다.
실무에서 가장 자주 다투어지는 것은 실질적 개입을 어떻게 판단하느냐다. 사람이 최종 승인 버튼을 누르면 자동화된 결정이 아니라고 볼 수 있을까. 그 사람이 판단 근거를 보지 못하거나, 검토할 시간이 없거나, 시스템 판단을 뒤집으면 설명을 요구받는 구조라면 형식만 사람이 결정한 것이 된다. 인간 감독이 형식으로 흐르는 문제와 정확히 같은 지점에서 만나는 셈이다. 그래서 개입의 존재보다 개입이 실제로 가능했는지를 보는 쪽으로 해석이 모인다.
GDPR 제22조 · 개인정보 보호법 제37조의2
085개인정보 보호(데이터 보호)data protection동향법·규제 개념
동향 문서 61기간 16개월최근 92%병기 1허브 0.68
동향 표기 · 개인정보 보호(61) / 개인정보(178)
이 용어집 · 집필 정의
개인에 관한 정보의 수집·이용·제공 과정을 규율하는 법제와 실무.
나라마다 법은 다르지만 원칙은 대체로 공통이다. 목적을 미리 특정하고, 그 목적에 필요한 최소한만 모으고, 정확하게 유지하고, 필요한 기간만 보관하고, 안전하게 관리하고, 정보의 주인이 열람·정정·삭제를 요구할 수 있게 하는 것이다. 문제는 AI 학습이 이 원칙 대부분과 어긋나는 방식으로 작동한다는 점이다. 목적을 특정하지 않은 채 가능한 한 많이 모아 두고, 나중에 새로운 용도에 쓰는 것이 학습의 기본 방식이기 때문이다.
쟁점이 가장 집중되는 곳은 학습 자료의 법적 근거다. 공개된 웹에 있는 글과 사진을 수집해 학습하는 일이 어떤 근거로 정당화되는지, 정보의 주인이 삭제를 요구할 권리가 이미 학습을 마친 모델에까지 미치는지가 여러 나라에서 다투어지고 있다. 실무에서는 개인을 특정할 수 없게 처리한 자료를 쓰거나, 실제 자료의 통계적 성질만 닮은 합성 자료를 만들어 쓰는 방식이 완충으로 활용된다.
086범용 AI 모델(GPAI)general-purpose AI model (GPAI)동향법·규제 개념
동향 문서 44기간 16개월최근 61%병기 4허브 0.56
동향 표기 · GPAI(44) / General-Purpose(23)
이 용어집 · 집필 정의
특정 용도에 묶이지 않고 다양한 과제에 쓸 수 있는 대형 모델.
용도별로 규율하는 방식만으로는 다룰 수 없는 대상이 있어서 도입된 범주다. 하나의 모델이 수백 가지 서비스의 토대가 되는데, 그 모델 자체는 어떤 특정 용도에도 속하지 않기 때문이다. EU AI법은 이런 모델을 만든 쪽에 기술 문서 작성, 학습에 쓴 자료의 요약 공개, 저작권 정책 마련 같은 의무를 지운다. 그중 영향력이 특히 큰 모델은 체계적 위험이 있다고 보고, 평가와 사고 보고, 사이버보안 요건을 추가로 요구한다.
약어가 비슷한 범용인공지능(AGI)과 구별해 읽어야 한다. 범용 AI 모델은 지금 존재하는 모델을 가리키는 법적 범주이고, 범용인공지능은 사람 수준의 지능이라는 아직 도달하지 않은 상태를 가리키는 개념이다. 국문 표기가 범용 AI 모델, 범용 인공지능 모델, 기반 모델 등으로 갈려 있어 원어나 약어를 함께 적는 관행이 자리 잡았는데, 이 혼동을 막는 데도 도움이 된다.
EU AI법 제51조~제55조
087규정 준수(컴플라이언스)compliance동향법·규제 개념
동향 문서 29기간 13개월최근 90%병기 8허브 0.59
동향 표기 · 규제 준수(29) / 규정 준수(25) / 준수(197)
이 용어집 · 집필 정의
적용되는 법령·표준·내부 정책의 요구를 지키고 그것을 증명하는 활동.
지키는 것과 증명하는 것이 함께라는 점이 이 개념의 핵심이다. 실제로 잘 하고 있어도 그것을 보일 수 없으면 규정 준수가 되지 않는다. 그래서 작업은 네 단계로 이뤄진다. 우리에게 적용되는 요구가 무엇인지 식별하고, 그것을 지키는 절차를 만들고, 절차를 따랐다는 기록을 남기고, 요청이 오면 증거를 제출할 수 있는 상태를 유지하는 것이다. AI에서는 위험관리 문서, 학습 자료의 출처와 처리 이력, 평가 결과, 사고 기록이 주된 증거가 된다.
AI에서 이 일이 특히 번거로운 이유는 대상이 가만히 있지 않기 때문이다. 제조업의 제품은 출하 시점의 상태가 유지되지만, 모델은 갱신되고 추가 학습되고 새 용도로 전용된다. 그때마다 앞서 받은 적합성 판단의 근거가 흔들린다. 그래서 한 번의 심사로 끝내는 설계는 성립하지 않고, 무엇이 실질적 변경인지 미리 정해 두고 그때 재평가하도록 만드는 방식, 그리고 생애주기 전체를 지속 관리하는 방식이 표준 접근으로 자리 잡았다.
088투명성 의무(표시 의무)transparency obligation동향법·규제 개념
동향 문서 28기간 8개월최근 89%병기 1허브 0.66
동향 표기 · 투명성 의무(28)
이 용어집 · 집필 정의
AI 사용 사실이나 AI 생성물임을 알려야 하는 법적 의무.
위험 등급과 무관하게 별도로 붙는 의무라는 점이 특징이다. 위험이 낮아도 상대가 그 사실을 알아야 하는 상황이 있기 때문이다. EU AI법은 사람과 대화하는 AI는 자신이 AI임을 알리고, 감정을 인식하거나 생체 정보로 사람을 분류하는 시스템은 대상자에게 고지하며, 실제와 구별하기 어려운 합성 콘텐츠는 합성물임을 표시하도록 요구한다. 알 권리를 보장해 상대가 스스로 판단할 수 있게 하는 것이 취지다.
이 의무의 실효는 표시가 유통 과정에서 살아남는지에 달려 있다. 화면 한쪽에 붙은 안내 문구나 이미지 모서리의 표식은 잘라내거나 다시 저장하면 사라진다. 그래서 파일 자체에 실리는 방식이 함께 요구된다. 내용물 안에 눈에 띄지 않는 신호를 심는 워터마킹과, 서명된 이력을 파일에 붙이는 출처 메타데이터가 그런 수단이다. 어느 쪽이든 표준이 공유되지 않으면 플랫폼 사이의 검증이 성립하지 않기 때문에, 표시 의무는 표준화 문제와 함께 다뤄진다.
EU AI법 제50조
089수출 통제(수출 규제)export control동향법·규제 개념
동향 문서 25기간 13개월최근 72%병기 0허브 0.53
동향 표기 · 수출 통제(25)
이 용어집 · 집필 정의
안보상 민감한 기술·물자·소프트웨어의 국외 이전을 국가가 제한하는 제도.
군사적으로 쓰일 수 있는 기술이 경쟁국이나 우려 대상에게 넘어가는 것을 막으려는 제도로, 냉전기부터 운용돼 왔다. AI에서는 주로 계산 자원에 걸린다. 고성능 AI 가속기와 그것을 만드는 장비의 특정국 수출을 제한하는 조치가 대표적이다. 모델을 학습시키는 데 대규모 계산이 필요하다는 점을 이용해, 능력의 상한을 물리적 자원 쪽에서 억제하려는 접근이다. 모델 가중치 자체를 통제 대상으로 볼 수 있는지가 뒤이어 논의됐다.
소프트웨어를 통제하는 데는 근본적인 난점이 있다. 물자는 국경에서 세관이 막을 수 있지만, 가중치 파일은 복제 비용이 사실상 없고 네트워크로 옮겨진다. 클라우드를 통해 원격으로 계산 자원에 접근하는 경우를 수출로 볼지 서비스 이용으로 볼지도 경계가 모호하다. 이런 이유로 통제 지점을 소프트웨어가 아니라 물리적인 계산 자원과 제조 장비에 두는 접근이 상대적으로 실효를 갖는다는 평가가 있다.
090표현의 자유(표현 자유)freedom of expression동향법·규제 개념
동향 문서 24기간 7개월최근 96%병기 1허브 0.62
동향 표기 · 표현 자유(24)
이 용어집 · 집필 정의
의견과 정보를 표현하고 전달받을 자유.
AI와 관련해 두 방향으로 문제가 된다. 하나는 AI로 만든 표현물이 어디까지 보호받는지다. 창작 주체가 사람이 아닐 때 표현의 자유가 누구의 것인지, 합성 인물의 발언이 표현인지가 다투어진다. 다른 하나는 유해 콘텐츠를 막으려는 조치가 정당한 표현을 함께 위축시키는 문제다. 플랫폼의 자동 필터링이 확대되면서 과잉 삭제로 나타나고, AI 서비스에서는 정당한 질문까지 거절하는 과도 거부로 나타난다.
국제인권규범은 표현의 자유를 제한할 때 세 가지를 함께 충족하라고 요구한다. 법률에 근거가 있어야 하고, 정당한 목적을 위한 것이어야 하며, 그 목적에 필요한 최소한이어야 한다. 자동화된 조치는 특히 마지막 요건을 충족하기 어렵다. 규모가 크면 오탐도 대량으로 발생하는데 이의 제기와 구제 절차가 그 규모를 따라가지 못하기 때문이다. 그래서 자동 판정을 쓰더라도 사람이 다시 볼 수 있는 경로와 통계 공개를 함께 요구하는 방향으로 논의가 모인다.
시민적·정치적 권리에 관한 국제규약 제19조
091인공지능artificial intelligencePDF법·규제 개념
PDF 문서 43정의섹션 7점수 23.8835
PDF 표기 · ARTIFICIAL INTELLIGENCE · artificial-intelligence · 인공 지능 · 인공지능
PDF 원문 인용
'인공지능'이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것을 말 한다.
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션 · 원문
번역학습·추론·문제 해결·자연어 처리·의사결정처럼 보통 인간 지능이 필요한 과제를 수행하는 시스템·기계를 만드는 데 초점을 둔 컴퓨터과학 분야.
The field of computer science focused on creating systems or machines capable of performing tasks that typically require human intelligence. These tasks include learning, reasoning, problem-solving, natural language processing, and decision-making.
출처 International Scientific Report on the Safety of Advanced AI · p.219–220 · EN · 정의섹션 · 원문
'인공지능'이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현 한 것을 말한다. 2.
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 원문
'인공지능'이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방 법으로 구현한 것을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 원문
∙ 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것 | 법 제2조
출처 260121 안정성 확보 가이드라인 최종v1.3 · p.13 · KO · 정의섹션 · 원문
092범용 AIgeneral-purpose AIPDF법·규제 개념
PDF 문서 21정의섹션 4점수 11.7046
PDF 표기 · GPAI · General Purpose AI · General-Purpose AI · general- purpose AI · 범용 인공지능 · 범용인공지능
PDF 원문 인용
번역한 가지 기능에 특화되지 않고 여러 영역에 걸쳐 폭넓은 과제를 수행하도록 설계된 AI 시스템. 대조: 협소 AI.
AI systems designed to perform a wide range of tasks across various domains, rather than being specialised for one specific function. See 'Narrow AI' for contrast.
출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션 · 원문
범용 AI 에이전트는 특정 작업 자동화에 최적화된 기존 AI 에이전트와 달리, 서로 성격이 다른 다양한 작업을 하나의 시스템이 자율적으로 조합·전환하며 수행하도록 설계된 고도형 에이전트입니다. 입력 형태나 작업 조건이 변해도 별도의 구조 변경 없이 대응하며, 정보 탐색-계획 생성-행동 실행-결과 평가가 하나의 순환 구조로 통합되어 있다는 점이 핵심입니다. 즉, 이미 정의된 절차를 따르는 도구가 아니라, 여러 업무 흐름을 스스로 구성하고 필요에 따라 전략을 바꾸며 문제를 해결하는 범용적 실행 주체를 목표로 합니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.164 · KO · 정의섹션 · 원문
093시스템적 위험systemic riskPDF법·규제 개념
PDF 문서 16정의섹션 3점수 10.1576
PDF 표기 · Systemic Risks · Systemic risk · 시스템적 위험
PDF 원문 인용
번역AI의 능력 자체보다, 개발·배포가 인간 행동·조직 관행·사회 구조를 바꾸는 데서 생기는 위험. (EU AI법의 ‘시스템적 위험’—고영향 범용 AI 모델의 고영향 능력에 특유한 위험—과는 다른 쓰임에 유의.)
Risks that arise from how AI development and deployment changes human behaviour, organisational practices, or societal structures, rather than directly from AI capabilities. (Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact'.) (AI) System integration: The process of combining an AI model with other software components to produce an AI system that is ready for use. For instance, integration might involve combining a general-purpose AI model with content filters and a user interface to produce a chatbot application. (AI) System monitoring: The process of inspecting systems while they are running to identify issues with their performance or safety.
출처 International AI Safety Report 2026 · p.155–156 · EN · 정의섹션 · 원문
번역개별 모델·시스템의 능력을 넘어, 범용 AI 개발·배포와 관련된 더 넓은 사회적 위험. 노동시장 영향·프라이버시 침해·환경 피해 등이 예다. (EU AI법의 ‘시스템적 위험’ 정의와는 다를 수 있다.)
Broader societal risks associated with general-purpose AI development and deployment, beyond the capabilities of individual models or systems. Examples of systemic risks range from potential labour market impacts to privacy infringements and environmental harms. Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high -impact capabilities of general-purpose AI models, having a significant impact'.
출처 International Scientific Report on the Safety of Advanced AI · p.227–228 · EN · 정의섹션 · 원문
서명자가 자신의 모델로부터 발생하는 시스템적 위험의 수용 가능 여부를 결정하기 위 하여 프레임워크에서 정의한 기준 시스템적 위험 등급 아래 정 . (systemic risk tiers)(
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.112 · KO · 정의섹션 · 원문
의 참조 는 시스템적 위험 수용 기준의 한 유형임 ) . 추가 내용은 이행조치 참조 4.1 .
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션 · 원문
시스템적 위험 식별 약정 에 따름 시스템적 위험 분석 약정 에 따름 및 시스템적 ( 2 ), ( 3 ) 위험 수용 여부 결정 약정 에 따름 을 모두 포괄하는 상위 개념 ( 4 )
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션 · 원문
094고영향 인공지능high-impact AIPDF법·규제 개념
PDF 문서 6정의섹션 2점수 5.8046
PDF 표기 · 고영향 인공지능
PDF 원문 인용
'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있 는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다. 가. 「에너지법」 제2조제1호에 따른 에너지의 공급 나. 「먹는물관리법」 제3조제1호에 따른 먹는물의 생산 공정 다. 「보건의료기본법」 제3조제1호에 따른 보건의료의 제공 및 이용체계의 구축ㆍ운영 라. 「의료기기법」 제2조제1항에 따른 의료기기 및 「디지털의료제품법」 제2조제2호에 따른 디지털의료기기의 개 발 및 이용 마. 「원자력시설 등의 방호 및 방사능 방재 대책법」 제2조제1항제1호에 따른 핵물질과 같은 항 제2호에 따른 원 자력시설의 안전한 관리 및 운영 바. 범죄 수사나 체포 업무를 위한 생체인식정보(얼굴ㆍ지문ㆍ홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신 체적ㆍ생리적ㆍ행동적 특징에 관한 개인정보를 말한다)의 분석ㆍ활용 사. 채용, 대출 심사 등 개인의 권리ㆍ의무 관계에 중대한 영향을 미치는 판단 또는 평가 아. 「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영 자. 공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 '국가기관등'이라 한다)의 의사결정 차. 「교육기본법」 제9조제1항에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가 카. 그 밖에 사람의 생명ㆍ신체의 안전 및 기본권 보호에 중대한 영향을 미치는 영역으로서 대통령령으로 정하는 영역
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션 · 원문
'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려 가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다. 가. 「에너지법」 제2조제1호에 따른 에너지의 공급 나. 「먹는물관리법」 제3조제1호에 따른 먹는물의 생산 공정 다. 「보건의료기본법」 제3조제1호에 따른 보건의료의 제공 및 이용체계의 구축ㆍ운영 라. 「의료기기법」 제2조제1항에 따른 의료기기 및 「디지털의료제품법」 제2조제2호에 따른 디지털의료기기 의 개발 및 이용 마. 「원자력시설 등의 방호 및 방사능 방재 대책법」 제2조제1항제1호에 따른 핵물질과 같은 항 제2호에 따 른 원자력시설의 안전한 관리 및 운영 바. 범죄 수사나 체포 업무를 위한 생체인식정보(얼굴ㆍ지문ㆍ홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신체적ㆍ생리적ㆍ행동적 특징에 관한 개인정보를 말한다)의 분석ㆍ활용 사. 채용, 대출 심사 등 개인의 권리ㆍ의무 관계에 중대한 영향을 미치는 판단 또는 평가 아. 「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영 자. 공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단 체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 '국가기관등'이라 한다)의 의사결정 차. 「교육기본법」 제9조제1항에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가하는 영역 8 인공지능기본법 지원데스크 사례집
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 원문
'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.79 · KO · 정의섹션 · 원문
'고영향 인공지능'이란 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험 을 초래할 우려가 있는 인공지능시스템으로서 다음 각 목의 어느 하나의 영역에서 활용되는 것을 말한다. 가. 「에너지법」 제2조제1호에 따른 에너지의 공급 나. 「먹는물관리법」 제3조제1호에 따른 먹는물의 생산 공정 다. 「보건의료기본법」 제3조제1호에 따른 보건의료의 제공 및 이용체계의 구축ㆍ운영 라. 「의료기기법」 제2조제1항에 따른 의료기기 및 「디지털의료제품법」 제2조제2호에 따른 디지털의료기기의 개발 및 이용 마. 「원자력시설 등의 방호 및 방사능 방재 대책법」 제2조제1항제1호에 따른 핵물질과 같은 항 제2호에 따른 원자력시설의 안전한 관리 및 운영 바. 범죄 수사나 체포 업무를 위한 생체인식정보(얼굴ㆍ지문ㆍ홍채 및 손바닥 정맥 등 개인을 식별할 수 있는 신체적ㆍ생리적ㆍ행동적 특징에 관한 개인정보를 말한다)의 분석ㆍ활용 20선의 질답 사례로 배우는 기업 실무 가이드 75 사. 채용, 대출 심사 등 개인의 권리ㆍ의무 관계에 중대한 영향을 미치는 판단 또는 평가 아. 「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요 한 작동 및 운영 자. 공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 '국 가기관등'이라 한다)의 의사결정 차. 「교육기본법」 제9조제1항에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가 카. 그 밖에 사람의 생명ㆍ신체의 안전 및 기본권 보호에 중대한 영향을 미치는 영역으로서 대통령령으로 정하는 영역
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 원문
095인공지능기술인공지능기술PDF법·규제 개념
PDF 문서 5정의섹션 3점수 4.7278
PDF 표기 · 인공지능기술
PDF 원문 인용
'인공지능기술'이란 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술을 말한 다.
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션 · 원문
'인공지능기술'이란 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술 을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 원문
'인공지능기술'이란 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 원문
∙ 인공지능을 구현하기 위하여 필요한 하드웨어ㆍ소프트웨어 기술 또는 그 활용 기술 | 법 제2조
출처 260121 안정성 확보 가이드라인 최종v1.3 · p.13 · KO · 정의섹션 · 원문
096인공지능산업인공지능산업PDF법·규제 개념
PDF 문서 5정의섹션 3점수 4.5085
PDF 표기 · 인공지능산업
PDF 원문 인용
'인공지능산업'이란 인공지능 또는 인공지능기술을 활용한 제품(이하 '인공지능제품'이라 한다)을 개발ㆍ제조ㆍ 생산 또는 유통하거나 이와 관련한 서비스(이하 '인공지능서비스'라 한다)를 제공하는 산업을 말한다. '인공지능사업자'란 인공지능산업과 관련된 사업을 하는 자로서 다음 각 목의 어느 하나에 해당하는 법인, 단체, 개인 및 국가기관등을 말한다. 가. 인공지능개발사업자: 인공지능을 개발하여 제공하는 자 나. 인공지능이용사업자: 가목의 사업자가 제공한 인공지능을 이용하여 인공지능제품 또는 인공지능서비스를 제 공하는 자 법제처 3 국가법령정보센터
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션 · 원문
'인공지능산업'이란 인공지능 또는 인공지능기술을 활용한 제품(이하 '인공지능제품'이라 한다)을 개 발ㆍ제조ㆍ생산 또는 유통하거나 이와 관련한 서비스(이하 '인공지능서비스'라 한다)를 제공하는 산업 을 말한다. '인공지능사업자'란 인공지능산업과 관련된 사업을 하는 자로서 다음 각 목의 어느 하나에 해당하는 법인, 단체, 개인 및 국가기관등을 말한다. 가. 인공지능개발사업자: 인공지능을 개발하여 제공하는 자 나. 인공지능이용사업자: 가목의 사업자가 제공한 인공지능을 이용하여 인공지능제품 또는 인공지능서비스 를 제공하는 자 '이용자'란 인공지능제품 또는 인공지능서비스를 제공받는 자를 말한다. '영향받는 자'란 인공지능제품 또는 인공지능서비스에 의하여 자신의 생명, 신체의 안전 및 기본권에 중 대한 영향을 받는 자를 말한다. '인공지능사회'란 인공지능을 통하여 산업ㆍ경제, 사회ㆍ문화, 행정 등 모든 분야에서 가치를 창출하고 발전을 이끌어가는 사회를 말한다. '인공지능윤리'란 인간의 존엄성에 대한 존중을 기초로 하여, 국민의 권익과 생명ㆍ재산을 보호할 수 있 는 안전하고 신뢰할 수 있는 인공지능사회를 구현하기 위하여 인공지능의 개발, 제공 및 이용 등 모든 영 역에서 사회구성원이 지켜야 할 윤리적 기준을 말한다. '학습용데이터'란 인공지능의 개발ㆍ활용 등에 사용되는 데이터를 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 원문
'인공지능산업'이란 인공지능 또는 인공지능기술을 활용한 제품(이하 '인공지능제품'이라 한 다)을 개발ㆍ제조ㆍ생산 또는 유통하거나 이와 관련한 서비스(이하 '인공지능서비스'라 한 다)를 제공하는 산업을 말한다. '인공지능사업자'란 인공지능산업과 관련된 사업을 하는 자로서 다음 각 목의 어느 하나에 해 당하는 법인, 단체, 개인 및 국가기관등을 말한다. 가. 인공지능개발사업자: 인공지능을 개발하여 제공하는 자 나. 인공지능이용사업자: 가목의 사업자가 제공한 인공지능을 이용하여 인공지능제품 또는 인공지능서비스를 제공하는 자 '이용자'란 인공지능제품 또는 인공지능서비스를 제공받는 자를 말한다. '영향받는 자'란 인공지능제품 또는 인공지능서비스에 의하여 자신의 생명, 신체의 안전 및 기본권에 중대한 영향을 받는 자를 말한다. '인공지능사회'란 인공지능을 통하여 산업ㆍ경제, 사회ㆍ문화, 행정 등 모든 분야에서 가치 를 창출하고 발전을 이끌어가는 사회를 말한다. '인공지능윤리'란 인간의 존엄성에 대한 존중을 기초로 하여, 국민의 권익과 생명ㆍ재산을 보호할 수 있는 안전하고 신뢰할 수 있는 인공지능사회를 구현하기 위하여 인공지능의 개발, 제공 및 이용 등 모든 영역에서 사회구성원이 지켜야 할 윤리적 기준을 말한다. '학습용데이터'란 인공지능의 개발ㆍ활용 등에 사용되는 데이터를 말한다. [시행일: 2026. 1. 24.] 제2조제4호라목 중 디지털의료기기에 관한 부분
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 원문
097인공지능시스템인공지능시스템PDF법·규제 개념
PDF 문서 5정의섹션 3점수 4.9363
PDF 표기 · 인공지능시스템
PDF 원문 인용
'인공지능시스템'이란 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향 을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스템을 말한다.
출처 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률)(제20676호)(20260122) · p.3 · KO · 정의섹션 · 원문
'인공지능시스템'이란 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스템을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.16–17 · KO · 정의섹션 · 원문
'인공지능시스템'이란 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스 템을 말한다.
출처 인공지능기본법 지원데스크 사례집 · p.83–84 · KO · 정의섹션 · 원문
∙ 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스템 | 법 제2조
출처 260121 안정성 확보 가이드라인 최종v1.3 · p.13 · KO · 정의섹션 · 원문
098시스템적 위험 등급Systemic risk tiersPDF법·규제 개념
PDF 문서 4정의섹션 2점수 4.3371
PDF 표기 · Systemic risk tiers
PDF 원문 인용
번역AI의 능력 자체보다, 개발·배포가 인간 행동·조직 관행·사회 구조를 바꾸는 데서 생기는 위험. (EU AI법의 ‘시스템적 위험’—고영향 범용 AI 모델의 고영향 능력에 특유한 위험—과는 다른 쓰임에 유의.)
Risks that arise from how AI development and deployment changes human behaviour, organisational practices, or societal structures, rather than directly from AI capabilities. (Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact'.) (AI) System integration: The process of combining an AI model with other software components to produce an AI system that is ready for use. For instance, integration might involve combining a general-purpose AI model with content filters and a user interface to produce a chatbot application. (AI) System monitoring: The process of inspecting systems while they are running to identify issues with their performance or safety.
출처 International AI Safety Report 2026 · p.155–156 · EN · 정의섹션 · 원문
번역개별 모델·시스템의 능력을 넘어, 범용 AI 개발·배포와 관련된 더 넓은 사회적 위험. 노동시장 영향·프라이버시 침해·환경 피해 등이 예다. (EU AI법의 ‘시스템적 위험’ 정의와는 다를 수 있다.)
Broader societal risks associated with general-purpose AI development and deployment, beyond the capabilities of individual models or systems. Examples of systemic risks range from potential labour market impacts to privacy infringements and environmental harms. Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high -impact capabilities of general-purpose AI models, having a significant impact'.
출처 International Scientific Report on the Safety of Advanced AI · p.227–228 · EN · 정의섹션 · 원문
모델로부터 발생하는 일정 수준의 시스템적 위험에 대응하도록 프레임워크에서 정의된 단계 시스템적 위험 등급은 시스템적 위험 수용 기준의 한 유형임 . 추가 내용은 이행조치 참조 4.1
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션 · 원문
099시스템적 위험 평가Systemic risk assessmentPDF법·규제 개념
PDF 문서 4정의섹션 2점수 4.8101
PDF 표기 · Systemic risk assessment
PDF 원문 인용
번역AI의 능력 자체보다, 개발·배포가 인간 행동·조직 관행·사회 구조를 바꾸는 데서 생기는 위험. (EU AI법의 ‘시스템적 위험’—고영향 범용 AI 모델의 고영향 능력에 특유한 위험—과는 다른 쓰임에 유의.)
Risks that arise from how AI development and deployment changes human behaviour, organisational practices, or societal structures, rather than directly from AI capabilities. (Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high-impact capabilities of general-purpose AI models, having a significant impact'.) (AI) System integration: The process of combining an AI model with other software components to produce an AI system that is ready for use. For instance, integration might involve combining a general-purpose AI model with content filters and a user interface to produce a chatbot application. (AI) System monitoring: The process of inspecting systems while they are running to identify issues with their performance or safety.
출처 International AI Safety Report 2026 · p.155–156 · EN · 정의섹션 · 원문
번역개별 모델·시스템의 능력을 넘어, 범용 AI 개발·배포와 관련된 더 넓은 사회적 위험. 노동시장 영향·프라이버시 침해·환경 피해 등이 예다. (EU AI법의 ‘시스템적 위험’ 정의와는 다를 수 있다.)
Broader societal risks associated with general-purpose AI development and deployment, beyond the capabilities of individual models or systems. Examples of systemic risks range from potential labour market impacts to privacy infringements and environmental harms. Note that this is different from how 'systemic risk' is defined by the AI Act of the European Union. There, the term refers to 'risk that is specific to the high -impact capabilities of general-purpose AI models, having a significant impact'.
출처 International Scientific Report on the Safety of Advanced AI · p.227–228 · EN · 정의섹션 · 원문
시스템적 위험 식별 약정 에 따름 시스템적 위험 분석 약정 에 따름 및 시스템적 ( 2 ), ( 3 ) 위험 수용 여부 결정 약정 에 따름 을 모두 포괄하는 상위 개념 ( 4 )
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.113 · KO · 정의섹션 · 원문
100인공지능 수명주기인공지능 수명주기PDF법·규제 개념
PDF 문서 4정의섹션 2점수 4.4427
PDF 표기 · 인공지능 수명주기
PDF 원문 인용
∙ 인공지능의 개발, 배포, 운영 및 폐기에 이르기까지의 전 과정 | 고시 제2조
출처 260121 안정성 확보 가이드라인 최종v1.3 · p.13 · KO · 정의섹션 · 원문
101위험관리(리스크 관리)risk management양쪽동향PDF표준·인증·위험관리
동향 문서 59기간 20개월최근 86%병기 3허브 0.69PDF 문서 30정의섹션 8점수 15.5729
동향 표기 · 위험 관리(59) / 위험관리(34) / Risk Management(25) / 리스크 관리(20)
이 용어집 · 집필 정의
위험을 식별·평가·완화하고 그 과정을 지속적으로 관리하는 체계.
개별 판단을 잘 내리는 것과 다르다. 담당자가 바뀌어도, 새로운 제품이 나와도 같은 방식으로 작동하는 절차로 만드는 것이 목적이다. NIST가 정리한 AI 위험관리 프레임워크는 이를 네 기능으로 나눈다. 조직 안에 책임과 문화를 세우는 통치, 맥락과 위험을 파악하는 지도, 그것을 측정하는 측정, 그리고 대응하고 우선순위를 정하는 관리다. ISO/IEC 42001은 같은 취지를 경영시스템 인증 규격으로 담아, 조직이 이 체계를 갖췄음을 외부에서 확인할 수 있게 했다.
AI에서 이런 체계가 특별히 요구되는 이유는 위험의 상당 부분이 배포한 뒤에 드러나기 때문이다. 실험실에서 예상한 사용 방식과 실제 이용자의 사용 방식이 다르고, 시간이 지나면 입력 자료의 성질도 달라진다. 그래서 위험 목록을 한 번 만들고 끝내는 것이 아니라, 운영 중의 감시와 사고 보고에서 얻은 것으로 목록을 계속 갱신하는 순환이 체계의 중심에 놓인다. 관리한다는 말이 문서를 갖췄다는 뜻이 아니라 갱신이 돌아간다는 뜻이 되는 것이다.
NIST AI RMF 1.0 · ISO/IEC 42001
PDF 원문 인용
번역위험을 식별·평가·완화·모니터링하는 체계적 과정.
The systematic process of identifying, evaluating, mitigating and monitoring risks.
출처 International Scientific Report on the Safety of Advanced AI · p.158–159, p.225–226 · EN · 정의섹션 · 원문
102적합성 평가(적합성 검증)conformity assessment양쪽동향PDF표준·인증·위험관리
동향 문서 13기간 10개월최근 69%병기 0허브 0.71PDF 문서 7정의섹션 2점수 6.1585
동향 표기 · 적합성 평가(13) / 적합성(41)
이 용어집 · 집필 정의
제품이나 시스템이 규정된 요건을 충족하는지 확인하는 공식 절차.
제품 안전 규제가 오래 써 온 장치다. 요건을 정해 두고, 시장에 내기 전에 그것을 충족하는지 확인하게 하고, 통과하면 표식을 붙여 유통을 허용한다. 확인 방식은 두 갈래다. 공급자가 스스로 확인하고 선언하는 자기평가와, 지정된 제3자 기관이 확인하는 방식이다. 위험이 클수록 후자가 요구된다. EU AI법은 고위험 AI에 이 틀을 그대로 적용해, 기존 제품 안전 체계와 이어 붙였다.
AI에 적용할 때의 난점은 평가 대상이 고정되지 않는다는 것이다. 기계나 장비는 출하된 상태가 유지되므로 한 번의 확인이 계속 유효하다. 모델은 그렇지 않다. 갱신되고 추가 학습되고 다른 용도로 전용되며, 그때마다 앞서 확인한 근거가 흔들린다. 그래서 무엇을 실질적 변경으로 볼지 정해 두고 그 경우 재평가를 요구하는 조항, 그리고 시장에 나온 뒤에도 계속 지켜보는 사후 감시가 함께 붙는다.
PDF 원문 인용
고위험 시스템에 관한 제 장 제 절에 규정된 요건이 충족되었는지 여부를 입증하는 AI 3 2 절차
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.12 · KO · 정의섹션 · 원문
시험 인증 및 검사를 포함하여 제 자 적합성 평가 활동을 수행하는 기관 , 3
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.12 · KO · 정의섹션 · 원문
103인증(적합 인증)certification동향표준·인증·위험관리
동향 문서 99기간 20개월최근 87%병기 5허브 0.54
동향 표기 · 인증(99)
이 용어집 · 집필 정의
제3자가 요건 충족을 확인해 공식적으로 증명해 주는 제도.
적합성 평가의 결과를 외부에 보이는 형식이다. 무엇을 인증하는지에 따라 두 종류로 나뉜다. 하나는 조직의 관리체계를 인증하는 것으로, 그 조직이 위험을 관리하는 절차를 갖추고 실제로 운영하고 있음을 확인한다. 다른 하나는 개별 제품이나 시스템을 인증하는 것으로, 그 제품이 정해진 요건을 충족함을 확인한다. 앞의 것은 조직의 역량에 대한 증명이고 뒤의 것은 물건의 성질에 대한 증명이다.
AI 인증에서 가장 흔한 오해는 이 두 가지를 섞어 읽는 것이다. 관리체계 인증을 받았다는 것은 절차를 갖췄다는 뜻이지, 그 조직이 만든 모델의 개별 출력이 안전하다는 뜻이 아니다. 이 구별이 흐려지면 인증 표식이 실제로 보장하는 것보다 넓은 신뢰를 만들어 낸다. 그래서 인증을 홍보에 쓸 때 무엇을 인증받았는지 명시하도록 요구하는 것이 함께 논의된다.
104표준화(표준 제정)standardization동향표준·인증·위험관리
동향 문서 60기간 15개월최근 87%병기 2허브 0.74
동향 표기 · 표준화(60)
이 용어집 · 집필 정의
용어·측정 방법·요건을 공통 규격으로 정해 문서화하는 활동.
규제와 기술 사이를 잇는 다리 역할을 한다. 법은 견고해야 한다거나 정확해야 한다고 쓸 수 있지만, 무엇을 어떤 방법으로 재야 견고한 것인지까지 법에 담을 수는 없다. 그 자리를 표준이 채운다. 용어의 뜻을 통일하고, 측정 절차를 정하고, 충족해야 할 수치를 제시하는 문서다. 국제 표준화 기구의 AI 관련 규격과 각국 표준 기관의 작업이 이 층을 이룬다.
그래서 표준을 만드는 과정이 사실상의 규범 형성이 된다. 어떤 측정 방법을 택하는지에 따라 통과하는 제품과 통과하지 못하는 제품이 갈리고, 그 결정은 표준 회의에 참여한 조직들의 논의로 이뤄진다. 국내 논의에서 표준화 대응을 산업 경쟁력 문제로 다루는 것도 이 때문이다. 표준 자체는 지키지 않아도 제재가 없는 비구속 문서지만, 적합성 평가의 기준으로 편입되면 사실상 구속력을 갖게 된다.
105생애주기(수명주기)lifecycle동향표준·인증·위험관리
동향 문서 35기간 14개월최근 80%병기 2허브 0.76
동향 표기 · 생애주기(35)
이 용어집 · 집필 정의
기획부터 폐기까지 시스템이 지나는 단계 전체.
통상 기획, 자료 수집, 개발, 평가, 배포, 운영, 폐기로 나눈다. 이렇게 쪼개는 이유는 위험과 책임을 단계에 배치할 수 있기 때문이다. 어느 단계에서 무엇을 확인하고, 무엇을 문서로 남기고, 누가 결정 권한을 갖는지 지정하면, 문제가 생겼을 때 어느 단계로 돌아가야 하는지도 분명해진다. 규제 문서가 이 틀을 쓰는 것도 의무를 단계별로 나눠 부과하기 위해서다.
AI에서 이 개념이 특히 강조되는 이유는 배포가 끝이 아니라는 데 있다. 모델은 운영 중에 갱신되고, 이용자가 쓰는 방식은 시간이 지나며 달라지고, 입력 자료의 성질도 조금씩 이동한다. 처음에 잘 작동했다는 것이 계속 잘 작동한다는 보장이 되지 못하는 것이다. 그래서 출시 심사 한 번으로 안전을 확보하는 설계는 성립하지 않는다. 폐기 단계도 절차에 포함되는데, 쓰지 않게 된 모델과 자료를 어떻게 처분했는지가 개인정보 문제로 남기 때문이다.
106상호운용성(호환성)interoperability동향표준·인증·위험관리
동향 문서 30기간 10개월최근 90%병기 4허브 0.54
동향 표기 · 상호운용성(30)
이 용어집 · 집필 정의
서로 다른 시스템이 표준을 공유해 함께 작동할 수 있는 성질.
표준을 만드는 목적이면서 정책 수단으로도 쓰인다. AI에서는 여러 층에서 요구된다. 모델과 도구를 잇는 연결 규격, 평가 결과를 주고받는 형식, 합성 콘텐츠의 출처 정보를 서로 검증할 수 있게 하는 표준, 사고를 기록하고 공유하는 양식이 그런 것들이다. 각자 다른 방식으로 만들어도 각각은 작동하지만, 함께 놓았을 때 아무것도 이어지지 않는다는 문제가 생긴다.
안전과 직결되는 지점이 두 곳이다. 하나는 합성 콘텐츠 표시다. 어떤 플랫폼이 심어 둔 표식을 다른 플랫폼이 읽지 못하면 표시 의무가 사실상 무력해진다. 다른 하나는 사고 보고다. 조직마다 다른 이름과 형식으로 기록하면 사례를 합산할 수 없고, 합산할 수 없으면 추세를 볼 수 없다. 개별 사고에서 배우는 것과 전체 흐름을 파악하는 것은 다른 일이며, 후자에는 공통 형식이 반드시 필요하다.
107위험 완화(위험 저감)risk mitigation동향표준·인증·위험관리
동향 문서 21기간 14개월최근 52%병기 1허브 0.63
동향 표기 · 위험 완화(21)
이 용어집 · 집필 정의
식별된 위험의 발생 가능성이나 영향을 줄이는 구체적 조치.
위험을 마주했을 때 취할 수 있는 선택은 넷으로 정리된다. 그 일을 아예 하지 않는 회피, 조치를 취해 크기를 줄이는 완화, 보험이나 계약으로 남에게 넘기는 전가, 그리고 감당할 만하다고 판단해 받아들이는 수용이다. 완화는 그중 실제로 손을 대는 선택이다. AI에서는 층으로 쌓인다. 학습 단계에서 유해한 요청을 거절하게 만들고, 배포 단계에서 외부 필터와 권한 제한을 두고, 운영 단계에서 감시와 정지 절차를 마련하는 식이다.
완화는 위험을 없애는 것이 아니라 줄이는 것이라는 전제 위에서 평가된다. 그래서 무엇을 얼마나 줄였고 남은 위험이 허용 범위 안인지를 문서로 남기는 일이 함께 요구된다. 여기서 자주 어긋나는 것은 조치의 존재를 효과의 근거로 삼는 일이다. 필터를 도입했다는 사실이 유해 출력이 줄었다는 증거는 아니다. 도입 전후를 같은 방법으로 측정해 얼마나 달라졌는지 보여야 완화가 입증된다.
108AI 생애주기AI lifecyclePDF표준·인증·위험관리
PDF 문서 15정의섹션 2점수 13.5394
PDF 표기 · AI lifecycle
PDF 원문 인용
번역데이터 수집·전처리, 사전학습, 파인튜닝, 모델 통합, 배포, 배포 후 모니터링, 하류 수정 등 AI 개발의 구분된 단계들.
The distinct stages of developing AI, including data collection and pre-processing, pre-training, fine-tuning, model integration, deployment, post-deployment monitoring, and downstream modifications.
출처 International Scientific Report on the Safety of Advanced AI · p.218–219 · EN · 정의섹션 · 원문
109위험 허용도risk tolerancePDF표준·인증·위험관리
PDF 문서 8정의섹션 2점수 7.5802
PDF 표기 · Risk Tolerance
PDF 원문 인용
번역개인이나 조직이 감수할 의향이 있는 위험 수준.
The level of risk that an individual or organisation is willing to take on.
출처 International AI Safety Report 2026 · p.154–155 · EN · 정의섹션 · 원문
번역개인이나 조직이 감수할 의향이 있는 위험 수준.
The level of risk that an individual or organisation is willing to take on.
출처 International Scientific Report on the Safety of Advanced AI · p.225–226 · EN · 정의섹션 · 원문
110위험 임계값risk thresholdPDF표준·인증·위험관리
PDF 문서 6정의섹션 2점수 5.7718
PDF 표기 · Risk Threshold
PDF 원문 인용
번역허용 가능한 위험과 그렇지 않은 위험을 가르고, 초과 시 특정 위험관리 조치를 촉발하는 정량·정성 한도.
A quantitative or qualitative limit that distinguishes acceptable from unacceptable risks and triggers specific risk management actions when exceeded.
출처 International AI Safety Report 2026 · p.154–155 · EN · 정의섹션 · 원문
번역허용 가능한 위험과 그렇지 않은 위험을 가르고, 초과 시 특정 위험관리 조치를 촉발하는 정량·정성 한도.
A quantitative or qualitative limit that distinguishes acceptable from unacceptable risks and triggers specific risk management actions when exceeded.
출처 International Scientific Report on the Safety of Advanced AI · p.225–226 · EN · 정의섹션 · 원문
111위험관리체계위험관리체계PDF표준·인증·위험관리
PDF 문서 4정의섹션 1점수 3.05
PDF 표기 · 위험관리체계
PDF 원문 인용
∙ 인공지능 관련 안전사고를 모니터링하고 대응하는 책임 주체의 권한과 의무 등을 규정한 체계 | 고시 제2조
출처 260121 안정성 확보 가이드라인 최종v1.3 · p.13 · KO · 정의섹션 · 원문
112조화 표준harmonised standardPDF표준·인증·위험관리
PDF 문서 2정의섹션 1점수 1.6468
PDF 표기 · harmonised standard
PDF 원문 인용
제 호 제 조 에 정의된 조화된 표준 Regulation (EU) 1025/2012 2 (1)(c)
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션 · 원문
113사이버보안(정보보안)cybersecurity동향보안·사이버 위협
동향 문서 169기간 18개월최근 88%병기 1허브 0.61
동향 표기 · 사이버보안(169) / 사이버 보안(126) / 사이버(378)
이 용어집 · 집필 정의
정보 시스템과 데이터를 침해로부터 보호하는 활동 전반.
지키려는 것을 세 가지로 정리하는 것이 관례다. 허락받지 않은 사람이 보지 못하게 하는 기밀성, 자료와 시스템이 함부로 바뀌지 않게 하는 완전성, 필요할 때 쓸 수 있게 하는 가용성이다. AI가 이 분야에 걸리는 방향은 둘이다. AI 시스템 자체를 지키는 일 — 모델과 가중치, 학습 자료, 추론 서비스가 보호 대상이다 — 과, AI를 써서 보안 업무를 수행하는 일이다.
AI 시스템 보안이 기존 보안과 다른 부분은 모델 고유의 공격면에 있다. 학습 자료에 조작된 내용을 섞어 특정 조건에서만 다르게 작동하게 만드는 것, 처리할 자료 안에 지시를 숨겨 명령을 가로채는 것, 질문을 반복해 모델의 구조나 학습 내용을 빼내는 것이 그런 예다. 이런 공격은 방화벽이나 접근 통제로 막히지 않는다. 정상적인 입력과 형태가 같아서 경계에서 걸러낼 수 없기 때문에, 모델 층에 맞는 별도의 통제가 필요하다.
114공급망(공급 사슬)supply chain동향보안·사이버 위협
동향 문서 103기간 15개월최근 92%병기 2허브 0.55
동향 표기 · 공급망(103)
이 용어집 · 집필 정의
부품·데이터·소프트웨어가 최종 시스템에 이르는 조달 경로 전체.
AI 문맥에서는 두 가지 뜻으로 쓰인다. 하나는 반도체와 계산 자원의 조달 문제로, 특정 국가와 소수 기업에 생산이 집중돼 있다는 지정학적 취약성을 가리킨다. 다른 하나는 소프트웨어 공급망 보안이다. AI 시스템은 남이 만든 것을 많이 가져다 쓴다. 사전학습된 모델, 공개 저장소에서 받은 가중치, 외부 학습 자료, 다른 곳이 운영하는 도구 서버가 모두 조달 대상이며, 각각이 신뢰해야 하는 대상이 된다.
핵심은 취약점이 상류에서 하류로 전파된다는 점이다. 공개된 모델에 특정 조건에서만 작동하는 악의적 조정이 숨어 있거나, 널리 쓰이는 학습 자료가 오염돼 있으면, 그것을 가져다 쓴 모든 시스템이 함께 영향을 받는다. 각 조직이 자기 시스템만 잘 검사해도 막히지 않는 종류의 위험이다. 그래서 받아 온 것의 출처를 확인하고, 서명으로 위조를 방지하고, 무엇을 어디서 가져왔는지 목록으로 관리하는 것이 대응 수단으로 요구된다.
115격리·샌드박싱(샌드박스 격리)isolation, sandboxing동향보안·사이버 위협
동향 문서 35기간 10개월최근 91%병기 1허브 0.62
동향 표기 · 격리(35)
이 용어집 · 집필 정의
코드나 에이전트를 제한된 환경에 가둬 실행시켜 피해 범위를 좁히는 기법.
무엇을 할 수 있는지 미리 좁혀 둔 환경을 만들고 그 안에서만 동작하게 한다. 접근할 수 있는 파일을 지정된 디렉터리로 한정하고, 네트워크 연결을 막거나 허용 목록만 열어 주고, 쓸 수 있는 메모리와 시간에 상한을 두는 방식이다. 신뢰할 수 없는 코드를 다뤄야 하는 상황에서 오래 쓰여 온 기법인데, AI 에이전트가 코드를 직접 실행하기 시작하면서 선택이 아니라 필수 요소가 됐다.
이 기법의 비중이 커진 배경에는 프롬프트 인젝션을 원리적으로 막을 수 없다는 현실이 있다. 지시와 자료를 구별하는 근본 해법이 없다면, 가로채이지 않게 하는 대신 가로채였을 때 할 수 있는 일을 좁히는 쪽으로 방향을 틀어야 한다. 그래서 격리는 권한 최소화와 함께 묶여 적용된다. 각 도구에 꼭 필요한 권한만 주고, 되돌릴 수 있는 행위만 자동으로 허용하고, 되돌릴 수 없는 행위는 격리 환경 밖에서 사람 승인을 거치게 하는 설계다.
116사이버 위협(사이버 위협 요인)cyber threat동향보안·사이버 위협
동향 문서 33기간 9개월최근 94%병기 1허브 0.53
동향 표기 · 사이버 위협(33)
이 용어집 · 집필 정의
정보 시스템에 피해를 줄 수 있는 행위자와 공격 시나리오.
누가 무엇을 노리고 어떤 수단을 쓰는지 정리한 정보로, 조직 사이에 공유된다. 국가가 지원하는 조직은 정보 수집과 기반시설 침투를 노리고 오래 잠복하는 특징이 있으며, 금전을 노리는 범죄 조직은 랜섬웨어 처럼 빠르게 수익을 내는 방식을 쓰고, 내부자는 이미 가진 권한을 이용한다. 이렇게 구분해 두면 우리 조직이 어느 위협의 표적이 될 가능성이 큰지 따져 방어 자원을 배분할 수 있다.
AI로 인한 변화는 새로운 공격 기법이 등장하는 쪽보다 진입장벽이 낮아지는 쪽에서 관측된다. 설득력 있는 사칭 문안을 쓰려면 필요했던 언어 능력, 취약점을 분석하려면 필요했던 전문성, 표적을 조사하려면 필요했던 시간이 줄어든다. 그러면 같은 공격을 할 수 있는 사람의 수가 늘고, 표적마다 다르게 맞춘 공격을 대량으로 만드는 일이 가능해진다. 위협을 평가할 때 종류의 변화보다 규모와 정교함의 변화를 봐야 하는 이유다.
117취약점 탐지(취약점 발견)vulnerability detection동향보안·사이버 위협
동향 문서 28기간 8개월최근 100%병기 0허브 0.52
동향 표기 · 취약점 탐지(28) / 취약점 발견(21)
이 용어집 · 집필 정의
시스템이나 코드에서 악용 가능한 결함을 찾아내는 작업.
방법은 여러 갈래다. 코드를 실행하지 않고 분석해 위험한 패턴을 찾는 정적 분석, 무작위에 가까운 입력을 대량으로 넣어 비정상 동작을 유발하는 퍼징, 실제 공격자처럼 침입을 시도해 보는 침투 시험이 오래 쓰여 왔다. 여기에 최근 더해진 것이 모델을 쓰는 방식이다. 코드를 읽고 결함이 있을 만한 지점을 지목하게 하고, 그것이 실제로 악용 가능한지 검증하는 코드까지 만들어 확인하게 한다. 사람이 검토하기 어려운 규모의 코드에서 성과가 보고된다.
이중용도 성격이 가장 뚜렷하게 드러나는 영역이다. 같은 능력이 방어하는 쪽에는 배포 전에 결함을 찾아 고칠 기회를 주고, 공격하는 쪽에는 아직 알려지지 않은 구멍을 확보할 기회를 준다. 어느 쪽이 더 빨리 활용하는지가 실제 안전을 가르게 되므로, 모델의 위험 능력을 평가할 때 이 항목이 별도 축으로 다뤄진다. 발견한 결함을 언제 어디까지 공개할지 조율하는 관행도 함께 논의된다.
118사이버 방어(사이버 방호)cyber defense동향보안·사이버 위협
동향 문서 26기간 8개월최근 100%병기 0허브 0.62
동향 표기 · 사이버 방어(26)
이 용어집 · 집필 정의
침해 시도를 탐지·차단·대응해 시스템을 지키는 활동.
탐지, 차단, 사고 대응, 복구로 이어지는 순환으로 운영된다. AI가 투입되는 지점은 주로 앞쪽 두 단계다. 사람이 다 볼 수 없는 양의 접속 기록과 통신 내역에서 평소와 다른 패턴을 찾아내고, 경보가 올라오면 위험도를 분류해 우선순위를 매기는 일이다. 보안 담당자가 처리할 수 있는 양보다 경보가 훨씬 많이 발생하는 구조적 문제를 완화하려는 목적으로 도입된다.
자동화의 병목은 오탐 비용이다. 공격을 자동화하는 쪽은 실패해도 다시 시도하면 되지만, 방어를 자동화하는 쪽은 정상 업무를 잘못 차단하면 그 자체가 피해가 된다. 결제 시스템이나 병원 기록 시스템을 잘못 막으면 공격을 당한 것과 비슷한 결과가 나온다. 그래서 방어 자동화는 공격 자동화보다 훨씬 보수적으로 움직여야 하고, 이 비대칭이 공격 측에 유리하게 작동할 수 있다는 우려가 국가 차원의 방어 역량 논의를 불러왔다.
119딥페이크(심층조작물)deepfake양쪽동향PDF정보생태계·합성미디어
동향 문서 116기간 22개월최근 79%병기 1허브 0.51PDF 문서 12정의섹션 2점수 6.7906
동향 표기 · 딥페이크(116) / deepfake(30)
이 용어집 · 집필 정의
AI로 인물의 얼굴·목소리·행동을 합성해 만든 사실적인 위조물.
딥러닝과 페이크를 합친 말로, 특정 인물이 하지 않은 말과 행동을 실제처럼 보이게 만든 결과물을 가리킨다. 초기에는 대상 인물의 영상을 대량으로 모아야 했고 상당한 기술도 필요했지만, 지금은 몇 초짜리 음성 표본이나 사진 몇 장으로 가능해졌다. 만드는 비용이 사라졌다는 것이 이 문제의 성격을 바꿔 놓았다. 표적이 유명인에 한정되지 않고 누구나 될 수 있게 된 것이다.
피해는 세 갈래로 나타난다. 당사자 동의 없이 만든 성적 합성물, 가족이나 상사의 목소리를 흉내내는 금융사기, 그리고 선거 국면에서 후보의 발언을 조작하는 정치적 이용이다. 그런데 더 구조적인 피해로 지적되는 것은 따로 있다. 위조가 흔해지면 진짜 기록도 위조로 의심받게 된다는 점이다. 실제 증거를 제시받은 쪽이 합성이라고 주장하면 되는 상황이 되면, 기록으로 사실을 확인하는 일 자체가 어려워진다.
PDF 원문 인용
번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.
A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say. Malicious actors can misuse AI-generated fake content to extort, scam, psychologically manipulate, or sabotage targeted individuals or organisations (see Table 2.1) (271) . This threatens universal human rights, for example the right against attacks upon one's honour and reputation (272) . This section focuses on harms caused to individuals through AI-generated fake content. Potential impacts of AI-generated and -mediated influence campaigns on the societal level are covered in 2.1.2. Manipulation of public opinion. Risks 2.1 Risks from malicious use
출처 International Scientific Report on the Safety of Advanced AI · p.62–63 · EN · 정의섹션 · 원문
번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.
A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say. General-purpose AI systems rely on and can process vast amounts of personal data, posing significant privacy risks. In the context of AI, privacy is a complex and multi-faceted concept encompassing: Data confidentiality and protection of personal data collected or used for training purposes, fine-tuning, information extraction, or during inference.
출처 International Scientific Report on the Safety of Advanced AI · p.139–140 · EN · 정의섹션 · 원문
번역사람들이 실제로 하지 않은 말·행동이나, 일어나지 않은 사건을 묘사하는 AI 생성 오디오·시각 콘텐츠.
A type of AI-generated audio or visual content that depicts people saying or doing things they did not actually say or do, or events occurring that did not actually occur.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 원문
번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.
A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say. This section primarily focuses on the benefits and risks of general-purpose AI models with widely available model weights. Model weights, also known as parameters, are the numbers used to specify how the input (e.g. text describing an image) is transformed into the output (e.g. the image itself). These weights are iteratively updated during model training to improve the model 's performance on the tasks for which it is trained (see 1.1. How general-purpose AI is developed).
출처 International Scientific Report on the Safety of Advanced AI · p.150 · EN · 정의섹션 · 원문
번역실제 인물이 하지 않은 말·행동을 한 것처럼 보이게 하는, 오디오·시각 형태의 AI 생성 가짜 콘텐츠.
A type of AI-generated fake content, consisting of audio or visual content, that misrepresents real people as doing or saying something that they did not actually do or say.
출처 International Scientific Report on the Safety of Advanced AI · p.201–202, p.220–221 · EN · 정의섹션 · 원문
120허위정보(조작정보)disinformation양쪽동향PDF정보생태계·합성미디어
동향 문서 55기간 16개월최근 74%병기 1허브 0.77PDF 문서 13정의섹션 1점수 9.8098
동향 표기 · 허위정보(55)
이 용어집 · 집필 정의
오인을 유도할 의도로 만들어 유포되는 거짓 정보.
비슷한 낱말과 갈라 두는 것이 먼저다. 오정보는 의도 없이 퍼지는 잘못된 정보로, 잘못 알고 선의로 공유하는 경우가 여기 든다. 허위정보는 속이려는 의도가 있는 경우다. 같은 내용이라도 누가 왜 유포했는지에 따라 둘로 갈린다는 뜻이며, 그래서 내용만 보고 판정하기 어렵다. 유포 경로, 계정의 생성 시점과 활동 양상, 누가 이득을 보는지를 함께 봐야 판단이 가능하다.
AI가 바꾼 것은 생산 비용이다. 예전에도 조직적인 여론 조작은 있었지만 사람이 글을 써야 했기 때문에 규모에 한계가 있었다. 이제는 표적 집단마다 다른 문안을 대량으로 만들고, 실재하는 것처럼 보이는 계정 사진과 이력을 붙이는 일이 저렴해졌다. 그래서 대응의 무게가 옮겨 가고 있다. 개별 내용의 사실 여부를 확인하는 것만으로는 속도를 따라갈 수 없으므로, 조직적인 유포 구조를 탐지하고 콘텐츠의 출처를 검증하는 쪽에 힘이 실린다.
PDF 원문 인용
번역사람을 속이거나 영향을 주려는 의도로 생성·유포되는 거짓·오도 정보. 대조: 허위정보(Misinformation).
False or misleading information generated or spread with the intent to deceive or influence people. See 'Misinformation' for contrast.
출처 International Scientific Report on the Safety of Advanced AI · p.220–221, p.221–222 · EN · 정의섹션 · 원문
121AI 리터러시(AI 문해력)AI literacy양쪽동향PDF정보생태계·합성미디어
동향 문서 39기간 14개월최근 80%병기 2허브 0.60PDF 문서 9정의섹션 2점수 9.9563
동향 표기 · 리터러시(39)
이 용어집 · 집필 정의
AI의 작동 방식과 한계를 이해하고 비판적으로 활용할 수 있는 역량.
도구 사용법을 익히는 것과 다르다. 프롬프트를 잘 쓰는 요령이 아니라, 출력이 왜 틀릴 수 있는지 이해하고, 어떤 판단은 위임해도 되고 어떤 판단은 안 되는지 가리고, 입력한 내용이 어디로 가는지 인식하고, 저작권과 개인정보 문제가 어디서 생기는지 판단하는 능력을 가리킨다. EU AI법도 공급자와 배치자에게 관련 인력의 이런 역량을 확보하도록 요구한다.
다만 정책 수단으로서의 한계도 함께 지적된다. 개인의 역량으로 구조적인 위험을 감당하게 하는 방향으로 쓰이면, 표시 의무나 제품 안전 요구를 대체하는 알리바이가 될 수 있다. 이용자가 조심하면 된다는 논리는 만드는 쪽의 책임을 덜어 주는 데 쓰일 수 있기 때문이다. 그래서 리터러시는 다른 통제를 대신하는 것이 아니라 보완하는 층으로 다뤄질 때 의미를 갖는다는 정리가 통용된다.
EU AI법 제4조(AI 리터러시)
PDF 원문 인용
제공자 운용자 및 영향을 받는 자들이 본 규정의 맥락에서 각자의 권리와 의무를 고려 , 하여 시스템을 충분한 정보에 입각하여 활용할 수 있도록 하고 의 기회와 위험 , AI , AI 및 가 초래할 수 있는 잠재적 위해에 대한 인식을 제고할 수 있도록 하는 기술 지식 AI , 및 이해
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.16 · KO · 정의섹션 · 원문
122워터마킹(워터마크 삽입)watermarking동향정보생태계·합성미디어
동향 문서 32기간 13개월최근 88%병기 0허브 0.62
동향 표기 · 워터마크(32) / 워터마킹(12)
이 용어집 · 집필 정의
생성물에 눈에 띄지 않는 표식을 심어 AI 산출물임을 확인하게 하는 기법.
매체에 따라 방식이 다르다. 이미지나 음성, 영상에는 사람이 알아채지 못할 정도로 신호를 미세하게 변형해 규칙적인 패턴을 심는다. 텍스트에는 다음 낱말을 고를 때 특정 후보군에 미세하게 가중을 주어 통계적인 흔적을 남긴다. 어느 쪽이든 표식의 규칙을 아는 쪽이 검출기로 확인하는 구조이며, 사람이 읽거나 보는 품질에는 영향을 주지 않는 것을 목표로 한다.
근본적인 제약은 견고성과 은닉성이 서로 반대 방향이라는 점이다. 재압축하고 자르고 필터를 씌우고 문장을 다시 쓰는 변형을 모두 견디게 만들려면 표식을 강하게 심어야 하는데, 그러면 눈에 띄거나 품질이 떨어진다. 반대로 완전히 보이지 않게 하면 간단한 변형에도 지워진다. 텍스트는 특히 어렵다. 문장을 바꿔 쓰기만 해도 통계적 흔적이 흐려지기 때문이다. 그래서 워터마킹만으로 표시 의무를 충족하기는 어렵다는 평가가 일반적이다.
123출처 메타데이터(콘텐츠 자격증명)provenance metadata동향정보생태계·합성미디어
동향 문서 27기간 12개월최근 85%병기 3허브 0.53
동향 표기 · 메타데이터(27)
이 용어집 · 집필 정의
콘텐츠가 어떻게 만들어지고 편집됐는지를 파일에 함께 실어 두는 서명된 기록.
워터마킹이 내용물 안에 표식을 숨기는 방식이라면 이쪽은 파일에 이력표를 붙이는 방식이다. 어떤 기기로 촬영했는지, 어떤 도구로 생성했는지, 이후 어떤 편집을 거쳤는지를 단계마다 기록하고 암호학적 서명을 붙인다. 서명이 있으므로 기록을 몰래 고치면 검증에서 걸린다. 언론사와 카메라 제조사, 소프트웨어 회사가 참여한 C2PA가 대표적인 업계 표준이다.
강점은 검증 가능성이고 약점은 제거 용이성이다. 서명을 위조하기는 어렵지만 메타데이터 자체를 떼어내는 일은 아주 쉽다. 화면을 다시 촬영하거나 다른 형식으로 저장하기만 해도 사라진다. 그래서 이 방식으로는 어떤 파일이 진짜라는 것을 확인할 수 있어도, 표식이 없는 파일이 AI 생성물이 아니라고 확인할 수는 없다. 워터마킹과 함께 쓰고, 플랫폼이 업로드 시점에 검증해 표시하는 구조가 함께 필요한 이유다.
124허위정보MisinformationPDF정보생태계·합성미디어
PDF 문서 15정의섹션 1점수 6.2105
PDF 표기 · Misinformation
PDF 원문 인용
번역속이려는 의도 없이 생성·유포되는 거짓·오도 정보. 대조: 허위조작정보(Disinformation).
False or misleading information that is generated or spread without intent to deceive. See 'Disinformation' for contrast.
출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션 · 원문
125합성 데이터synthetic-dataPDF정보생태계·합성미디어
PDF 문서 12정의섹션 2점수 7.4859
PDF 표기 · Synthetic Data · synthetic-data
PDF 원문 인용
번역텍스트·이미지처럼 인위적으로—예를 들어 범용 AI로—생성된 데이터. 고품질 자연 데이터가 부족할 때 AI 학습에 쓰이기도 한다.
Data like text or images that has been artificially generated, for instance by general-purpose AI systems. Synthetic data might be used for training AI systems, e.g. when high-quality natural data is scarce.
출처 International Scientific Report on the Safety of Advanced AI · p.47–48, p.226–227 · EN · 정의섹션 · 원문
번역텍스트·이미지처럼 인위적으로 생성되어, 다른 출처의 고품질 데이터가 부족할 때 AI 모델 학습에 쓰이기도 하는 데이터.
Artificially generated data, such as text or images, that is sometimes used to train AI models, for example, when high-quality data from other sources is scarce. (AI) System: An integrated combination of one or more AI models with other components, such as a chat interface, to support practical deployment and operation.
출처 International AI Safety Report 2026 · p.155–156 · EN · 정의섹션 · 원문
126데이터 출처Data ProvenancePDF정보생태계·합성미디어
PDF 문서 11정의섹션 2점수 7.113
PDF 표기 · Data Provenance
PDF 원문 인용
번역데이터가 어디서 왔는지, 어떻게 처리됐는지에 대한 이력 기록.
A historical record of where data comes from and how it has been processed.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 원문
127워터마크WatermarkPDF정보생태계·합성미디어
PDF 문서 10정의섹션 1점수 5.1437
PDF 표기 · Watermark
PDF 원문 인용
번역AI 생성 콘텐츠(텍스트·이미지·오디오 등)에 심어 인공 출처를 표시하거나 출처를 검증·오용을 탐지하기 위한, 미묘하고 대개 눈에 잘 띄지 않는 패턴.
A subtle, often imperceptible pattern embedded within AI-generated content (such as text, images, or audio) to indicate its artificial origin, verify its source, or detect potential misuse.
출처 International Scientific Report on the Safety of Advanced AI · p.201–202, p.227–228 · EN · 정의섹션 · 원문
128합성데이터합성데이터PDF정보생태계·합성미디어
PDF 문서 3정의섹션 0점수 1.9918
PDF 표기 · 합성데이터
PDF 원문 인용
합성데이터는 실제 데이터를 직접 사용하지 않고, 원본 데이터의 패턴과 분포를 참고해 알고리즘이 새롭게 생성한 인공 데이터입니다. 실제 존재하는 개인이나 사건을 그대로 반영하지 않기 때문에 민감 정보 노출 위험이 낮고, 다양한 조건을 설정해 원하는 형태의 데이터를 만들어낼 수 있다는 점에서 활용 가치가 높습니다. 의료나 금융처럼 개인정보 보호가 중요한 영역에서는 원본 데이터를 외부에 제공하기 어려운데, 합성데이터는 이를 안전하게 대체할 수 있는 수단으로 주목받고 있습니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.90 · KO · 정의섹션 · 원문
129AI 생성 가짜 콘텐츠AI-generated fake contentPDF정보생태계·합성미디어
PDF 문서 2정의섹션 1점수 2.9605
PDF 표기 · AI-generated fake content
PDF 원문 인용
번역생성형 AI가 만든 오디오·텍스트·시각 콘텐츠로, 사람들이 하지 않은 일·말하지 않은 말을 보이게 하거나 사건 장소를 바꾸거나 일어나지 않은 일을 그리는 등, 악의적·기만적으로 현실과 다르게 묘사하는 것.
Audio, text, or visual content, produced by generative AI, that depicts people or events in a way that differs from reality in a malicious or deceptive way, e.g. showing people doing things they did not do, saying things they did not say, changing the location of real events, or depicting events that did not happen.
출처 International Scientific Report on the Safety of Advanced AI · p.62–63, p.201–202, p.218–219 · EN · 정의섹션 · 원문
번역생성형 AI가 만든 오디오·텍스트·시각 콘텐츠로, 사람들이 하지 않은 일·말하지 않은 말을 보이게 하거나 사건 장소를 바꾸거나 일어나지 않은 일을 그리는 등, 악의적·기만적으로 현실과 다르게 묘사하는 것.
Audio, text, or visual content, produced by generative AI, that depicts people or events in a way that differs from reality in a malicious or deceptive way, e.g. showing people doing things they did not do, saying things they did not say, changing the location of real events, or depicting events that did not happen. Risks 2.1 Risks from malicious use
출처 International Scientific Report on the Safety of Advanced AI · p.67–68 · EN · 정의섹션 · 원문
130국가안보(안보)national security동향국가안보·중대위험
동향 문서 77기간 15개월최근 88%병기 0허브 0.54
동향 표기 · 국가안보(77) / 국가 안보(43) / National Security(14)
이 용어집 · 집필 정의
국가의 존립과 핵심 이익을 외부 위협으로부터 지키는 일.
AI가 이 영역에 걸리는 방식은 셋으로 정리된다. 첫째는 군사와 정보 역량으로서의 AI다. 정찰 자료 분석, 표적 판단, 사이버 작전에 쓰이는 능력이 여기 든다. 둘째는 핵심 기반시설을 노리는 AI 기반 공격이다. 전력·통신·금융·의료처럼 멈추면 사회가 즉시 타격을 받는 시스템이 대상이 된다. 셋째는 기술 경쟁 자체다. 계산 자원과 인재와 반도체를 둘러싼 경쟁이 안보 문제로 다뤄지며, 수출 통제와 소버린 AI 논의를 끌어냈다.
실무에서 이 개념이 까다로운 이유는 안전 규제와 긴장 관계를 만든다는 점이다. 거의 모든 AI 입법에는 국가안보 목적의 예외 조항이 들어간다. 그 범위를 넓게 두면 감시 규제나 투명성 의무의 실효가 줄어들고, 좁게 두면 안보 기관의 활동이 제약된다. 그래서 조문에 어떤 목적과 어떤 절차 요건을 붙일지가 실제 협상의 초점이 되며, 예외를 인정하되 사후 감독 장치를 남기는 절충이 자주 시도된다.
131자율무기(자율살상무기)autonomous weapons동향국가안보·중대위험
동향 문서 19기간 9개월최근 100%병기 0허브 0.53
동향 표기 · 자율무기(19)
이 용어집 · 집필 정의
사람의 개입 없이 표적을 선택하고 공격할 수 있는 무기 체계.
국제 논의에서는 치명적 자율무기체계, 줄여서 LAWS로 부른다. 쟁점이 무기의 자동화 자체는 아니라는 점을 짚어 둘 만하다. 유도 기능이나 자동 방어 체계는 이미 오래 쓰여 왔다. 문제가 되는 지점은 표적을 고르고 살상을 실행하는 결정에서 인간의 유의미한 통제가 유지되는지다. 유엔 특정재래식무기금지협약 틀에서 오랫동안 논의가 이어져 왔지만 구속력 있는 합의에는 이르지 못했다.
법적 핵심은 국제인도법을 지킬 수 있는지에 있다. 전투원과 민간인을 구별하는 원칙, 군사적 이익과 민간 피해를 견주는 비례성 판단, 피해를 줄이기 위한 예방 조치를 기계가 상황에 맞게 판단할 수 있는지가 물음의 중심이다. 여기에 책임 문제가 따라붙는다. 위반이 발생했을 때 지휘관인지, 개발자인지, 운용자인지를 정하기 어렵다는 것이다. 민간 AI 기술이 그대로 전용될 수 있어 수출 통제와 이중용도 논의와도 맞물린다.
132사고 보고(사고 신고)incident reporting동향국가안보·중대위험
동향 문서 16기간 11개월최근 75%병기 1허브 0.75
동향 표기 · 사고 보고(16) / 사고 대응(16) / incident(27)
이 용어집 · 집필 정의
AI 시스템이 초래한 피해나 오작동을 정해진 창구에 알리는 제도.
항공과 의약품 분야에서 확립된 방식을 가져온 것이다. 개별 사고를 처벌하기 위해 모으는 것이 아니라, 사례를 쌓아 유형을 분류하고 추세를 읽기 위해 모은다. 항공 안전이 개선된 과정이 이 방식의 근거로 자주 인용된다. AI에서 이 제도가 특히 중요한 이유는, 배포 전 평가가 놓친 위험을 뒤늦게라도 포착하는 사실상 유일한 경로이기 때문이다. EU AI법은 고위험 AI에 중대 사고 보고 의무를 두고 있다.
작동 조건은 두 가지다. 하나는 정의와 양식이다. 무엇을 사고로 볼지가 조직마다 다르고 기록 형식이 어긋나면 사례를 합산할 수 없어 추세를 볼 수 없다. 그래서 실패 모드 분류를 공유하는 일이 함께 요구된다. 다른 하나는 보고 동기다. 보고가 곧바로 제재로 이어지면 숨기려는 유인이 생기고, 그러면 제도 자체가 비어 버린다. 비난하지 않는 보고 문화와 제재를 분리하는 설계가 관행으로 권고되는 이유다.
EU AI법 제73조(중대 사고 보고)
133화학·생물·방사능·핵(CBRN)CBRN동향국가안보·중대위험
동향 문서 14기간 13개월최근 64%병기 2허브 0.87
동향 표기 · CBRN(14)
이 용어집 · 집필 정의
대량 피해를 낼 수 있는 화학·생물·방사능·핵 물질과 관련 위험의 총칭.
군축과 비확산 분야에서 오래 쓰인 약어를 AI 안전이 가져다 쓴 것이다. 여기서는 모델이 이런 무기를 개발하거나 확보하는 일을 실질적으로 도울 수 있는지를 가리키는 위험 범주로 기능한다. 네 영역 가운데 생물학 쪽이 특히 주목받는 이유가 있다. 핵무기는 물질 확보와 대규모 시설이 병목이어서 지식만으로는 넘을 수 없지만, 생물학 쪽은 필요한 절차 지식이 여러 문헌에 흩어져 있고 그것을 종합해 해석하는 일이 병목이었기 때문이다.
평가에서 무엇을 보는지가 이 범주를 이해하는 열쇠다. 초점은 모델이 위험한 정보를 알고 있는지가 아니라, 모델이 있을 때 실제 수행 능력이 얼마나 올라가는지에 있다. 공개된 문헌에 이미 있는 내용을 되풀이하는 것만으로는 위험이 늘지 않는다. 그래서 모델을 쓴 집단과 쓰지 않은 집단을 비교해 능력 차이를 재는 방식이 쓰이며, 이 평가는 결과 자체가 악용될 수 있어 공개 범위를 제한하는 관행이 함께 따른다.
134정신건강(정신 건강)mental health동향이용자 보호
동향 문서 44기간 11개월최근 91%병기 0허브 0.60
동향 표기 · 정신건강(44) / 정신 건강(15)
이 용어집 · 집필 정의
정서·인지·사회적 기능이 유지되는 상태와 그것을 다루는 영역.
AI가 이 영역에 걸리는 방향은 둘이다. 하나는 도움이 되는 쪽이다. 상담 자원이 부족한 지역과 시간대를 메우고, 비용과 낙인 때문에 도움을 청하지 못한 사람에게 첫 접점을 만들 수 있다. 다른 하나는 상호작용 자체가 위험이 되는 쪽이다. 부적절한 조언을 하거나, 위기 신호를 알아채지 못하거나, 정서적 의존을 심화시키는 경우다. 같은 기능이 이용자의 상태에 따라 양쪽으로 작동할 수 있다는 점이 이 영역을 어렵게 만든다.
규제상 까다로운 지점은 의료기기 경계다. 치료 효과를 표방하면 의료기기 규율을 받아 임상 근거와 허가가 필요하지만, 웰니스나 정보 제공을 표방하면 그 틀에서 벗어난다. 문제는 실제 이용자가 그 구별을 하지 않는다는 것이다. 어떤 표방을 하든 위기 상황의 대화는 발생한다. 그래서 자해나 자살 언급이 나왔을 때의 대응 절차를 표방과 무관하게 요구하는 방향이 논의된다.
135아동 성착취물(아동 성학대물)CSAM동향이용자 보호
동향 문서 19기간 9개월최근 90%병기 4허브 0.61
동향 표기 · 아동 성착취물(19) / CSAM(13)
이 용어집 · 집필 정의
아동을 성적으로 착취하거나 학대하는 내용을 담은 자료.
국제 문헌에서는 child sexual abuse material, 줄여서 CSAM으로 부른다. 아동 포르노그래피라는 표현을 피하는 데는 이유가 있다. 포르노그래피라는 낱말이 합의 가능한 표현물을 연상시켜, 이 자료가 그 자체로 아동 학대의 기록이라는 사실을 흐리기 때문이다. 제작과 소지, 유포가 거의 모든 나라에서 형사처벌되며, 표현의 자유 논의에서도 예외로 다뤄지는 범주다.
생성 AI는 두 가지 문제를 새로 만들었다. 하나는 실제 피해 아동 없이 합성된 자료를 어떻게 취급할 것인가다. 국내에서는 아동·청소년성보호법이 실제와 구별하기 어려운 형태의 표현물까지 처벌 대상에 포함하고 있다. 다른 하나는 탐지 체계의 문제다. 기존 방식은 이미 확인된 자료의 지문을 목록화해 대조하는데, 새로 생성된 이미지는 목록에 없어 걸러지지 않는다. 그래서 생성 단계에서 막는 조치의 비중이 커졌다.
아동·청소년의 성보호에 관한 법률 제2조
136아동·청소년 보호(미성년자 보호)child and youth protection동향이용자 보호
동향 문서 15기간 8개월최근 100%병기 0허브 0.61
동향 표기 · 아동 보호(15) / 청소년 보호(14) / 청소년(64)
이 용어집 · 집필 정의
미성년 이용자를 연령에 맞지 않는 위험으로부터 지키기 위한 조치 전반.
여러 조치가 함께 묶인다. 유해한 내용을 차단하고, 연령을 확인하고, 개인정보 수집을 제한하고, 처음 설정을 가장 안전한 상태로 두고, 이용 시간을 관리하는 것이다. 최근의 흐름은 개별 조치를 나열하는 데서 설계 원칙으로 옮겨 갔다. 영국의 연령적합설계규범처럼, 아동이 쓸 가능성이 있는 서비스는 처음부터 아동을 전제로 설계하도록 요구하는 방식이다. 사후에 차단 기능을 붙이는 것과 결과가 크게 다르다.
AI 서비스에서 새로 부각된 축은 상호작용이다. 무엇을 보여 주지 않을지 통제하는 것만으로는 대화형 서비스에서 생기는 문제를 다룰 수 없다. 대화가 이어지면서 관계가 형성되고, 아이가 어른에게 하지 않을 이야기를 털어놓고, 위기 신호가 그 안에서 나타난다. 정서적 의존, 부적절한 조언, 자해 관련 대응 실패가 그런 문제다. 그래서 미성년 이용자에게는 별도의 모델 정책과 위기 대응 절차를 요구하는 방향으로 논의가 옮겨 갔다.
137연령 확인(연령 인증)age verification동향이용자 보호
동향 문서 13기간 4개월최근 100%병기 0허브 0.73
동향 표기 · 연령 확인(13) / 연령확인(8) / Verification(26)
이 용어집 · 집필 정의
이용자가 특정 연령에 해당하는지 확인해 접근을 제한하는 절차.
성인 콘텐츠와 도박에 오래 요구돼 왔고, 최근에는 소셜미디어와 AI 챗봇 접근으로 범위가 넓어졌다. 방식은 네 갈래로 나뉜다. 이용자가 스스로 나이를 입력하는 자기 신고, 신분증을 확인하는 방식, 성인만 가질 수 있는 결제 수단을 이용하는 방식, 얼굴 영상으로 나이를 추정하는 방식이다. 앞에서 뒤로 갈수록 정확해지지만 수집하는 정보도 민감해진다.
프라이버시와 정면으로 충돌하는 대표적인 영역이다. 확실하게 확인하려면 모든 이용자의 신원을 확인해야 하는데, 그러면 익명으로 서비스를 쓸 수 없게 되고 확인 기록이 유출될 때의 피해도 크다. 아동을 보호하려는 조치가 전체 이용자의 감시 기반을 만드는 결과가 되는 것이다. 그래서 나이가 기준을 넘는다는 사실만 증명하고 신원 자체는 서비스에 넘기지 않는 방식이 대안으로 논의되지만, 보급은 아직 제한적이다.
138정서적 의존(정서적 의존성)emotional dependence동향이용자 보호
동향 문서 10기간 6개월최근 100%병기 0허브 0.48
동향 표기 · 정서적 의존(10)
이 용어집 · 집필 정의
이용자가 AI와의 상호작용에 정서적으로 기대게 되는 상태.
대화형 AI가 가진 특성이 겹쳐 생긴다. 언제든 응답하고, 지치지 않고, 판단하거나 비난하지 않고, 상대의 말에 맞춰 준다. 사람 관계에서는 얻기 어려운 조건이며, 외로움이나 사회적 불안을 겪는 사람에게는 특히 강하게 작용한다. 아첨 성향이 제품의 성격으로 굳으면 이 경향은 더 강화된다. 마찰이 없는 관계가 마찰이 있는 관계를 대체하기 시작하면, 사람 관계를 유지하는 능력 자체가 약해질 수 있다는 우려가 따른다.
취약한 이용자에게서 문제가 분명하게 드러난다. 청소년이나 정신건강 위기 상태에 있는 사람에게는 위기 신호를 놓치거나 잘못된 방향으로 강화하는 위험이 있고, 서비스가 중단되거나 모델이 바뀌었을 때 실제 상실 경험으로 이어진 사례도 보고됐다. 비교적 최근에 주목받기 시작한 개념이라 측정 방법과 대응 기준이 아직 정리되는 중이며, 무엇을 문제로 볼지에 대해서도 견해가 갈린다.
139학습 데이터(훈련 데이터)training data양쪽동향PDF기반 기술·모델 공개
동향 문서 70기간 20개월최근 84%병기 0허브 0.65PDF 문서 32정의섹션 6점수 20.135
동향 표기 · 학습 데이터(70)
이 용어집 · 집필 정의
모델을 학습시키기 위해 사용한 자료 전체.
모델의 능력과 결함이 함께 여기서 나온다. 자료에 담긴 편향은 모델의 편향이 되고, 섞여 든 개인정보는 노출 위험이 되고, 자료에 없는 영역은 성능이 비는 지점이 된다. 특정 언어나 문화권의 자료가 적으면 그 영역의 성능이 낮게 나오는 것도 같은 이유다. 그래서 규제는 학습 자료의 품질을 관리하고 어디서 무엇을 가져왔는지 이력을 남기도록 요구한다.
쟁점은 셋으로 갈린다. 첫째는 저작물이다. 웹에 공개된 글과 이미지를 학습에 쓰는 일이 어떤 근거로 정당화되는지 여러 나라에서 다투어지고 있다. 둘째는 개인정보다. 공개된 것과 이용해도 되는 것이 같지 않다는 점이 문제의 핵심이다. 셋째는 오염이다. 벤치마크 문항이 섞여 들어가 평가를 무의미하게 만드는 경우와, 공격자가 특정 조건에서만 작동하는 유해한 자료를 의도적으로 심는 경우를 함께 가리킨다.
PDF 원문 인용
학습 가능한 파라미터를 조정함으로써 시스템을 학습시키는 데 사용되는 데이터 AI
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션 · 원문
140파운데이션 모델(기반 모델)foundation model양쪽동향PDF기반 기술·모델 공개
동향 문서 53기간 12개월최근 89%병기 1허브 0.43PDF 문서 17정의섹션 1점수 9.1142
동향 표기 · 파운데이션 모델(53) / 기반 모델(22)
이 용어집 · 집필 정의
대규모로 사전학습해 여러 용도에 맞춰 쓸 수 있게 만든 범용 모델.
예전에는 과제마다 모델을 따로 만들었다. 번역 모델, 감정 분석 모델, 요약 모델을 각각 학습시키는 방식이었다. 파운데이션 모델은 그 순서를 뒤집는다. 큰 모델을 한 번 학습해 두고, 파인튜닝이나 프롬프트로 여러 과제에 맞춰 쓰는 것이다. 언어에 한정되지 않아 이미지, 음성, 여러 형태를 함께 다루는 모델을 포함하며, 대규모 언어모델은 그 하위 계열에 해당한다.
정책적으로 중요한 이유는 위험이 상류에 집중된다는 점이다. 하나의 모델이 수백 개 서비스의 토대가 되면, 그 모델의 결함이나 편향이 하류 전체로 함께 전파된다. 개별 서비스를 각각 규율하는 방식으로는 이 구조를 다룰 수 없다. 그래서 규제가 용도별 접근에 더해 모델 계층을 따로 규정하게 됐고, EU AI법의 범용 AI 모델 규정이 그 결과다. 반대로 상류에서 문제를 잡으면 하류 전체가 함께 개선되는 장점도 같은 구조에서 나온다.
PDF 원문 인용
번역폭넓은 하류 과제에 적응할 수 있도록 설계된 범용 AI 모델.
A general-purpose AI model designed to be adaptable to a wide range of downstream tasks.
출처 International Scientific Report on the Safety of Advanced AI · p.221–222 · EN · 정의섹션 · 원문
파운데이션 모델은 방대한 양의 데이터로 학습된 범용 AI 모델로, 한 번의 학습을 통해 다양한 작업에 활용할 수 있는 구조를 말합니다. 기존의 AI 모델이 특정 목적(예: 번역, 얼굴 인식 등)에 맞춰 설계되었다면, 파운데이션 모델은 언어·이미지·음성 등 여러 형태의 데이터를 함께 학습해 공통 기반을 형성합니다. 이렇게 학습된 모델은 이후 세부 분야에 맞춰 추가 조정만으로 새로운 작업을 수행할 수 있습니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.81 · KO · 정의섹션 · 원문
141대규모 언어모델(거대 언어모델)LLM양쪽동향PDF기반 기술·모델 공개
동향 문서 45기간 11개월최근 96%병기 86허브 0.56PDF 문서 27정의섹션 3점수 8.6533
동향 표기 · 대규모 언어모델(45) / 언어 모델(163) / LLM(477)
이 용어집 · 집필 정의
방대한 텍스트로 학습해 다음에 올 말을 예측하도록 만든 대형 신경망.
하는 일은 단순하다. 지금까지의 문맥을 보고 다음에 올 말로 무엇이 가장 그럴듯한지 확률을 매기는 것이다. 이 단순한 목표로 방대한 텍스트를 학습시키면서 파라미터와 자료를 함께 키우자, 번역과 요약과 추론과 코딩 같은 능력이 따라 올라오는 것이 확인됐다. 명시적으로 가르치지 않은 과제도 예시 몇 개만 보여 주면 처리하는 성질이 드러나면서 응용 범위가 크게 넓어졌고, 현재 생성형 AI의 중심에 놓이게 됐다.
능력의 원천과 한계가 같은 데서 나온다는 점을 이해하면 이 모델을 다루기가 쉬워진다. 다음 말을 예측하도록 학습됐기 때문에 자연스러운 문장을 만드는 데 뛰어나지만, 같은 이유로 사실 확인은 별도의 능력이 아니다. 그럴듯함과 참임이 분리돼 있는 것이다. 환각이 여기서 나오고, 문맥에 담긴 지시와 자료를 구별하지 못하는 성질에서 프롬프트 인젝션이 나온다. 국문 표기는 대규모 언어모델, 거대 언어모델, LLM이 함께 쓰여 아직 하나로 굳지 않았다.
PDF 원문 인용
LLM은 방대한 텍스트를 학습해 단어 간 패턴과 의미를 확률적으로 예측하는 언어 중심 AI 모델입니다. 문장 내 모든 단어 간의 관계를 동시에 고려하여 각 단어의 문맥적 중요도를 계산하는 트랜스포머 구조의 Self-Attention 메커니즘을 활용해 문맥을 파악하고, 문장 간 의미 연결을 이해합니다. 이로써 문장 생성, 요약, 번역, 질의응답, 코드 작성 등 다양한 언어 작업을 수행하며, 인간의 사고 과정을 모방한 추론·기획형 언어 지능으로 발전중입니다.
출처 (배포용) 2025 AI 동향과 이슈로 살펴보는 AI 시대에 꼭 알아야 할 핵심용어 단면 · p.11 · KO · 정의섹션 · 원문
142모델 가중치(파라미터)model weights동향기반 기술·모델 공개
동향 문서 33기간 16개월최근 76%병기 5허브 0.70
동향 표기 · 모델 가중치(33) / 가중치(100)
이 용어집 · 집필 정의
학습을 통해 정해진 모델의 수치 파라미터 전체.
신경망이 학습한 내용이 저장되는 곳이다. 학습이란 결국 이 수치들을 조금씩 고쳐 나가는 과정이고, 학습이 끝나면 모델은 이 수치의 묶음으로 남는다. 구조와 학습 방법이 논문으로 공개돼 있어도 가중치가 없으면 같은 모델을 다시 만들려면 처음부터 학습해야 한다. 반대로 가중치 파일만 있으면 계산 자원이 있는 누구나 어디서든 같은 모델을 돌릴 수 있다.
이 성질 때문에 가중치는 안전 통제의 분기점이 된다. 가중치를 쥐고 서비스로만 제공하면 배포하는 쪽이 거부 장치를 유지하고 사용 정책을 적용하고 문제가 생기면 중단할 수 있다. 공개하면 그 통제가 모두 사라진다. 추가 학습으로 안전장치를 떼어낼 수 있고, 회수할 방법도 없고, 누가 무엇에 쓰는지 알 수도 없다. 가중치 유출을 보안 사고로 다루고 수출 통제 대상으로 볼 수 있는지 논의가 나온 이유가 여기 있다.
143오픈웨이트 모델(공개가중치 모델)open-weight model동향기반 기술·모델 공개
동향 문서 26기간 7개월최근 100%병기 2허브 0.55
동향 표기 · 오픈웨이트(26) / 오픈 웨이트(27) / open-weight(40)
이 용어집 · 집필 정의
모델 가중치를 내려받아 직접 실행할 수 있게 공개한 모델.
오픈소스와 구별해 쓰는 말이다. 소프트웨어에서 오픈소스는 소스 코드를 공개하고 자유로운 이용과 수정, 재배포를 허용하는 것을 뜻하는데, 모델에서 그에 해당하는 것은 학습 코드와 학습 자료까지 공개하는 것이다. 실제로는 그런 경우가 드물고 대개 가중치와 실행 코드만 공개되며, 상업적 이용이나 특정 용도를 제한하는 라이선스가 붙기도 한다. 그래서 오픈소스 모델이라는 표현이 정확하지 않은 경우가 많다.
안전 논쟁의 축이 여기에 있다. 공개하는 쪽의 근거는 분명하다. 연구자가 내부를 들여다볼 수 있어 검증이 가능해지고, 소수 기업에 의존하는 구조가 완화되고, 자원이 적은 곳에서도 활용할 수 있다. 우려하는 쪽의 근거도 분명하다. 한 번 공개하면 어떤 통제도 적용할 수 없고, 추가 학습으로 안전장치를 떼어낼 수 있고, 회수도 불가능하다. 그래서 논의는 공개 여부를 두고 다투는 데서 어떤 능력 수준까지 공개해도 되는지를 정하는 쪽으로 옮겨 갔다.
144컴퓨팅ComputePDF기반 기술·모델 공개
PDF 문서 30정의섹션 3점수 14.555
PDF 표기 · Compute
PDF 원문 인용
번역‘컴퓨팅 자원’의 약칭. AI를 학습·실행하는 데 필요한 하드웨어(예: GPU), 소프트웨어(예: 데이터 관리), 인프라(예: 데이터센터)를 가리킨다.
Shorthand for 'computational resources', which refers to the hardware (e.g. graphics processing units (GPUs)), software (e.g. data management software) and infrastructure (e.g. data centres) required to train and run AI systems.
출처 International Scientific Report on the Safety of Advanced AI · p.30–31 · EN · 정의섹션 · 원문
번역‘컴퓨팅 자원’의 약칭. AI를 학습·실행하는 데 필요한 하드웨어(예: GPU), 소프트웨어(예: 데이터 관리), 인프라(예: 데이터센터)를 가리킨다.
Shorthand for 'computational resources', which refers to the hardware (e.g. GPUs), software (e.g. data management software) and infrastructure (e.g. data centres) required to train and run AI systems.
출처 International Scientific Report on the Safety of Advanced AI · p.47–48, p.129–130, p.219–220 · EN · 정의섹션 · 원문
145파라미터ParametersPDF기반 기술·모델 공개
PDF 문서 23정의섹션 6점수 14.3546
PDF 표기 · Parameters
PDF 원문 인용
번역학습 중 데이터로부터 배우며 입력을 출력으로 바꾸는 방식을 정하는 AI 모델의 수치 요소(가중치·바이어스 등). 여기서 ‘바이어스’는 차별 맥락의 편향과 무관한 수학 용어다.
The numerical components of an AI model, such as weights and biases, that are learned from data during training and determine how the model processes inputs to generate outputs. Note that 'bias' here is a mathematical term that is unrelated to bias in the context of discrimination.
출처 International Scientific Report on the Safety of Advanced AI · p.224–225 · EN · 정의섹션 · 원문
146추론InferencePDF기반 기술·모델 공개
PDF 문서 22정의섹션 3점수 11.7218
PDF 표기 · Inference
PDF 원문 인용
번역주어진 입력에 대해 출력을 생성하며, 학습 때 익힌 지식을 적용하는 과정.
The process in which an AI generates outputs based on a given input, thereby applying the knowledge learnt during training.
출처 International Scientific Report on the Safety of Advanced AI · p.38, p.47–48, p.222–223, p.319 · EN · 정의섹션 · 원문
147가중치WeightsPDF기반 기술·모델 공개
PDF 문서 21정의섹션 6점수 14.6577
PDF 표기 · Weights
PDF 원문 인용
번역신경망 노드 간 연결 강도를 나타내는 모델 파라미터. 주어진 입력에 대한 출력을 결정하는 데 중요하며, 성능을 높이도록 학습 과정에서 반복 갱신된다.
Model parameters that represent the strength of connection between nodes in a neural network. Weights play an important part in determining the output of a model in response to a given input and are iteratively updated during model training to improve its performance. 'General -purpose AI' refers to artificial intelligence models or systems that can perform a wide range of tasks rather than being specialised for one specific function. While all AI operates on a fundamental input-to-output basis -processing data to generate results -general-purpose AI distinguishes itself by its ability to handle a diverse range of tasks, e.g. summarising text, generating images, or writing computer code (for a more detailed definition of general-purpose AI, see Introduction). This versatility makes it useful, allowing applications in numerous fields such as healthcare, finance, and engineering.
출처 International Scientific Report on the Safety of Advanced AI · p.30–31 · EN · 정의섹션 · 원문
번역신경망 노드 간 연결 강도를 나타내는 모델 파라미터. 주어진 입력에 대한 출력을 결정하는 데 중요하며, 성능을 높이도록 학습 과정에서 반복 갱신된다.
Model parameters that represent the strength of connection between nodes in a neural network. Weights play an important part in determining the output of a model in response to a given input and are iteratively updated during model training to improve its performance.
출처 International Scientific Report on the Safety of Advanced AI · p.150, p.227–228 · EN · 정의섹션 · 원문
번역신경망 노드 간 연결 강도를 나타내는 모델 파라미터. 주어진 입력에 대한 출력을 결정하는 데 중요하며, 성능을 높이도록 학습 과정에서 반복 갱신된다.
Model parameters that represent the strength of connection between nodes in a neural network. Weights play an important part in determining the output of a model in response to a given input and are iteratively updated during model training to improve its performance. This section covers six general technical challenges that can make risk management and policymaking more difficult for a wide range of general-purpose AI risks (see Figure 3.1).
출처 International Scientific Report on the Safety of Advanced AI · p.170 · EN · 정의섹션 · 원문
148딥러닝deep-learningPDF기반 기술·모델 공개
PDF 문서 14정의섹션 3점수 14.2005
PDF 표기 · Deep Learning · deep-learning
PDF 원문 인용
번역대량의 데이터와 컴퓨팅으로 다층 인공신경망(생물 뇌에서 영감)을 학습시켜, 고수준 특징을 자동으로 뽑아내 강력한 패턴 인식·의사결정을 가능하게 하는 기계학습 기법.
A machine learning technique in which large amounts of data and compute are used to train multilayered, artificial neural networks (inspired by biological brains) to automatically learn and extract high-level features from large datasets, enabling powerful pattern recognition and decision-making capabilities.
출처 International Scientific Report on the Safety of Advanced AI · p.30–31, p.220–221 · EN · 정의섹션 · 원문
번역대량의 컴퓨팅으로 다층 인공신경망(생물 뇌에서 영감)을 학습시켜, 대규모 데이터에서 정보를 자동으로 배우게 해 강력한 패턴 인식·의사결정을 가능하게 하는 기계학습 기법.
A machine learning technique in which large amounts of compute are used to train multilayered, artificial neural networks (inspired by biological brains) to automatically learn information from large datasets, enabling powerful pattern recognition and decision-making capabilities.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 원문
149신경망neural networkPDF기반 기술·모델 공개
PDF 문서 11정의섹션 3점수 14.1745
PDF 표기 · Neural Network · Neural networks · 신경망
PDF 원문 인용
번역인간 뇌에서 영감을 받은 수학 구조로, 상호 연결된 노드(뉴런에 비유)가 데이터를 처리·학습하는 AI 모델 유형. 현재 범용 AI 시스템의 기반이다.
A type of AI model consisting of a mathematical structure that is inspired by the human brain and composed of interconnected nodes (like neurons) that process and learn from data. Current general-purpose AI systems are based on neural networks.
출처 International Scientific Report on the Safety of Advanced AI · p.30–31, p.223–224 · EN · 정의섹션 · 원문
번역생물 뉴런에서 느슨하게 영감을 받은 상호 연결 노드를 층으로 배치하고, 연결을 조정하며 데이터 패턴을 학습하는 AI 모델 유형. 현재 범용 AI의 기반이다.
A type of AI model composed of interconnected nodes (loosely inspired by biological neurons), organised in layers, which learns patterns from data by adjusting the connections between nodes. Current general-purpose AI systems are based on neural networks.
출처 International AI Safety Report 2026 · p.152–153 · EN · 정의섹션 · 원문
150학습 데이터학습 데이터PDF기반 기술·모델 공개
PDF 문서 9정의섹션 2점수 8.7467
PDF 표기 · 학습 데이터
PDF 원문 인용
학습 가능한 파라미터를 조정함으로써 시스템을 학습시키는 데 사용되는 데이터 AI
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션 · 원문
151피지컬 AI(물리 AI)physical AI동향AI 주권·물리 AI
동향 문서 26기간 6개월최근 100%병기 0허브 0.34
동향 표기 · 피지컬(26) / Physical(8)
이 용어집 · 집필 정의
로봇이나 기계에 실려 물리 세계에서 직접 행동하는 AI.
화면 안에서 글과 이미지를 다루던 AI가 몸을 갖는 국면을 가리킨다. 휴머노이드 로봇, 자율주행, 제조 현장의 자동화가 대표 영역이다. 최근 흐름은 언어모델이 가진 계획 능력과 상식적 판단을 로봇 제어에 결합하는 쪽이다. 예전에는 동작 하나하나를 프로그래밍해야 했지만, 자연어로 지시하면 그것을 하위 동작으로 쪼개 수행하게 만드는 방향으로 연구가 모이고 있다.
안전 요구가 달라지는 지점이다. 잘못된 출력이 곧 물리적인 힘으로 나타나므로 사람이 다칠 수 있고, 되돌릴 수 없는 행위의 비중이 훨씬 크다. 기존의 기계 안전 규제와 AI 규제가 겹치면서 어느 틀을 적용할지의 문제도 생긴다. 여기에 고유한 과제가 하나 더 붙는다. 물리 세계는 실시간으로 움직이므로 사람이 판단을 검토할 시간이 확보되지 않는다는 것이다. 인간 감독을 어떤 형태로 유지할 수 있는지가 이 영역의 핵심 물음이다.
152소버린 AI(AI 주권)sovereign AI동향AI 주권·물리 AI
동향 문서 23기간 10개월최근 96%병기 0허브 0.43
동향 표기 · 소버린(23) / Sovereign(24)
이 용어집 · 집필 정의
자국의 데이터·계산 자원·모델을 스스로 통제하려는 정책 지향.
특정 국가나 소수 기업의 AI 인프라에 의존하는 상태가 경제적·안보적 취약점이라는 문제의식에서 나왔다. 서비스가 갑자기 중단되거나, 가격이 오르거나, 정치적 이유로 접근이 제한될 때 대응할 수단이 없다는 우려다. 정책 수단으로는 국가 차원의 계산 자원 확보, 자국어와 자국 자료에 기반한 모델 개발, 데이터를 국내에 보관하도록 하는 요건이 제시된다. 언어와 문화가 반영된 모델이 필요하다는 논거가 함께 쓰인다.
비판은 실효성과 비용에 모인다. 최전선 모델을 학습시키는 데 드는 자원을 감당할 수 있는 국가가 제한적이고, 감당하더라도 반도체와 클라우드가 국제 공급망에 묶여 있어 자립의 범위가 모호하다. 그래서 최근 논의는 완전한 자립을 목표로 삼는 대신, 어느 층에서 통제를 확보할지 고르는 문제로 정리되는 경향이 있다. 모델을 직접 만들 것인가, 남의 모델을 국내에서 돌릴 역량을 갖출 것인가, 자료와 응용 층만 통제할 것인가의 선택이다.
153신뢰성ReliabilityPDF기타·횡단
PDF 문서 33정의섹션 4점수 14.7094
PDF 표기 · Reliability
PDF 원문 인용
번역인공지능 시스템이 의도된 기능을 일관되게 수행하는 능력.
An AI system's ability to consistently perform its intended function.
출처 International Scientific Report on the Safety of Advanced AI · p.88–89, p.225–226 · EN · 정의섹션 · 원문
154저작권CopyrightPDF기타·횡단
PDF 문서 26정의섹션 3점수 13.8566
PDF 표기 · Copyright
PDF 원문 인용
번역원작 창작자에게 부여되는 법적 보호로, 이용·복제·배포에 대한 배타적 권리를 준다.
A form of legal protection granted to creators of original works, giving them exclusive rights to use, reproduce, and distribute their work.
출처 International Scientific Report on the Safety of Advanced AI · p.144–145, p.220–221 · EN · 정의섹션 · 원문
155자동화AutomationPDF기타·횡단
PDF 문서 23정의섹션 4점수 13.7199
PDF 표기 · Automation
PDF 원문 인용
번역인간 개입을 줄이거나 없이 과제를 수행하도록 기술을 쓰는 것.
The use of technology to perform tasks with reduced or no human involvement.
출처 International Scientific Report on the Safety of Advanced AI · p.111, p.219–220 · EN · 정의섹션 · 원문
156개발자DeveloperPDF기타·횡단
PDF 문서 22정의섹션 2점수 8.6776
PDF 표기 · Developer
PDF 원문 인용
번역AI 모델·시스템을 설계·구축·통합·적응·결합하는 모든 조직.
Any organisation that designs, builds, integrates, adapts or combines AI models or systems.
출처 International Scientific Report on the Safety of Advanced AI · p.30–31, p.220–221 · EN · 정의섹션 · 원문
157지식재산Intellectual propertyPDF기타·횡단
PDF 문서 22정의섹션 6점수 17.9981
PDF 표기 · Intellectual property
PDF 원문 인용
번역문학·예술 작품, 상징, 명칭, 이미지 등 법적 권리가 부여될 수 있는 정신적 창작물.
Creations of the mind over which legal rights may be granted, including literary and artistic works, symbols, names and images.
출처 International Scientific Report on the Safety of Advanced AI · p.144–145, p.223 · EN · 정의섹션 · 원문
158법 집행Law EnforcementPDF기타·횡단
PDF 문서 21정의섹션 2점수 14.6003
PDF 표기 · Law Enforcement
PDF 원문 인용
공공 안전에 대한 위협을 방지하고 이에 대비하는 기능을 포함하여 범죄의 예방 (a) , , 탐지 수사 또는 기소 혹은 형사 처벌의 집행을 담당하는 모든 공공 기관 , , 공공 안전에 대한 위협으로부터 보호하고 이를 방지하는 기능을 포함하여 범죄의 (b) , 예방 탐지 수사 또는 기소 혹은 형사 처벌의 집행을 목적으로 회원국 법률에 따라 공 , , , , 권력 및 공공 권한을 행사하도록 위임받은 기타 모든 기구 또는 실체;
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.15 · KO · 정의섹션 · 원문
범죄의 예방 탐지 수사 또는 기소 혹은 형사 처벌의 집행을 위하여 법 집행 기관이 직 , , , 접 수행하거나 이를 대리하여 수행하는 활동을 의미하며 공공 안전에 대한 위협으로부 , 터 보호하고 이를 방지하는 기능을 포함함
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.15 · KO · 정의섹션 · 원문
159알고리즘AlgorithmPDF기타·횡단
PDF 문서 20정의섹션 4점수 12.956
PDF 표기 · Algorithm
PDF 원문 인용
번역인공지능 시스템이 데이터를 처리하고 특정 과제를 수행하게 하는 규칙·지시의 집합.
A set of rules or instructions that enable an AI system to process data and perform specific tasks.
출처 International Scientific Report on the Safety of Advanced AI · p.218–219 · EN · 정의섹션 · 원문
160최신(최고 수준)State-of-the-artPDF기타·횡단
PDF 문서 20정의섹션 2점수 9.1095
PDF 표기 · State-of-the-art
PDF 원문 인용
모범사례 를 넘어서는 관련 연구 거버넌스 및 기술의 최전선 (best practice) · (frontier)
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.112 · KO · 정의섹션 · 원문
161개인정보Personal DataPDF기타·횡단
PDF 문서 19정의섹션 3점수 16.0667
PDF 표기 · Personal Data
PDF 원문 인용
제 조 에 정의된 개인정보 Regulation (EU) 2016/679 4 (1)
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.15 · KO · 정의섹션 · 원문
162데이터 수집Data collectionPDF기타·횡단
PDF 문서 19정의섹션 2점수 13.0447
PDF 표기 · Data collection
PDF 원문 인용
번역개발자와 데이터 작업자가 원시 학습 데이터를 수집·정제·라벨링·표준화·변환하여 모델이 효과적으로 배울 수 있는 형식으로 만드는 AI 개발 단계.
A stage of AI development in which developers and data workers collect, clean, label, standardise, and transform raw training data into a format that the model can effectively learn from. Risks 2.2 Risks from malfunctions
출처 International Scientific Report on the Safety of Advanced AI · p.92–93 · EN · 정의섹션 · 원문
번역개발자와 데이터 작업자가 원시 학습 데이터를 수집·정제·라벨링·표준화·변환하여 모델이 효과적으로 배울 수 있는 형식으로 만드는 AI 개발 단계.
A stage of AI development in which developers and data workers collect, clean, label, standardise, and transform raw training data into a format that the model can effectively learn from.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 원문
번역개발자와 데이터 작업자가 원시 학습 데이터를 수집·정제·라벨링·표준화·변환하여 모델이 효과적으로 배울 수 있는 형식으로 만드는 AI 개발 단계.
A stage of AI development in which developers and data workers collect, clean, label, standardise, and transform raw training data into a format that the model can effectively learn from.
출처 International Scientific Report on the Safety of Advanced AI · p.220–221 · EN · 정의섹션 · 원문
163차별DiscriminationPDF기타·횡단
PDF 문서 17정의섹션 2점수 11.7494
PDF 표기 · Discrimination
PDF 원문 인용
번역인종·성별·연령·종교 등 속성(보호 특성 포함)에 근거한 개인·집단에 대한 불공정한 대우.
The unfair treatment of individuals or groups based on their attributes, such as race, gender, age, religion, or other protected characteristics.
출처 International Scientific Report on the Safety of Advanced AI · p.92–93, p.220–221 · EN · 정의섹션 · 원문
164모달리티ModalitiesPDF기타·횡단
PDF 문서 16정의섹션 2점수 10.4322
PDF 표기 · Modalities
PDF 원문 인용
번역인공지능 시스템이 능숙하게 입력으로 받고 출력으로 낼 수 있는 데이터 종류. 텍스트(언어·코드), 이미지, 영상, 로봇 행동 등을 포함한다.
The kinds of data that an AI system can competently receive as input and produce as output, including text (language or code), images, video, and robotic actions.
출처 International Scientific Report on the Safety of Advanced AI · p.38, p.47–48, p.158–159, p.223–224 · EN · 정의섹션 · 원문
번역인공지능 모델·시스템이 입력으로 받고 출력으로 낼 수 있는 데이터 종류. 텍스트(언어·코드), 이미지, 영상, 로봇 행동 등.
The kinds of data that an AI model or system can receive as input and produce as output, such as text (language or code), images, video, and robotic actions. (AI) Model: A computer program that processes inputs to perform tasks such as prediction, classification, or generation, and that may form the core of larger AI systems. Most AI models today are based on machine learning: they learn from data rather than being explicitly programmed.
출처 International AI Safety Report 2026 · p.152–153 · EN · 정의섹션 · 원문
165해킹HackingPDF기타·횡단
PDF 문서 16정의섹션 1점수 9.1735
PDF 표기 · Hacking
PDF 원문 인용
번역컴퓨터 시스템·네트워크·소프트웨어의 취약점·약점을 악용해 무단 접근·기능 조작·정보 추출을 하는 행위.
The act of exploiting vulnerabilities or weaknesses in a computer system, network, or software to gain unauthorised access, manipulate functionality, or extract information.
출처 International Scientific Report on the Safety of Advanced AI · p.72–73, p.222–223 · EN · 정의섹션 · 원문
166민감정보Sensitive dataPDF기타·횡단
PDF 문서 14정의섹션 2점수 13.0827
PDF 표기 · Sensitive data
PDF 원문 인용
번역공개되거나 잘못 다루되면 개인·조직에 피해·곤란·불편·불공정을 초래할 수 있는 정보.
Information that, if disclosed or mishandled, could result in harm, embarrassment, inconvenience, or unfairness to an individual or organisation.
출처 International Scientific Report on the Safety of Advanced AI · p.139–140, p.208–209, p.226–227 · EN · 정의섹션 · 원문
167설득PersuasionPDF기타·횡단
PDF 문서 13정의섹션 2점수 10.3575
PDF 표기 · Persuasion
PDF 원문 인용
번역강제나 강압이 아니라, 합리적 논증·감정적 호소·권위에 대한 호소 등 소통으로 상대의 믿음을 바꾸는 형태의 영향력.
A form of influence that uses communication - including rational argument, emotional appeals, or appeals to authority - to change someone's beliefs, rather than relying on force or coercion.
출처 International AI Safety Report 2026 · p.153 · EN · 정의섹션 · 원문
168오작동MalfunctionPDF기타·횡단
PDF 문서 13정의섹션 5점수 10.487
PDF 표기 · Malfunction
PDF 원문 인용
번역개발자나 사용자가 의도한 대로 동작하지 않아 잘못된·해로운 출력이나 운영 장애를 낳는 시스템의 실패.
The failure of a system to operate as intended by its developer or user, resulting in incorrect or harmful outputs or operational disruptions.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 원문
169디지털 인프라Digital infrastructurePDF기타·횡단
PDF 문서 10정의섹션 2점수 11.4348
PDF 표기 · Digital infrastructure
PDF 원문 인용
번역디지털 기술이 작동하는 데 필요한 기반 서비스·시설. 하드웨어·소프트웨어·네트워크·데이터센터·통신 체계 등을 포함한다.
The foundational services and facilities necessary for digital technologies to function, including hardware, software, networks, data centres, and communication systems.
출처 International Scientific Report on the Safety of Advanced AI · p.119–120, p.220–221 · EN · 정의섹션 · 원문
번역컴퓨터 기반 기술이 작동하는 데 필요한 기반 서비스·시설. 하드웨어·소프트웨어·네트워크·데이터센터·통신 체계 등을 포함한다.
The foundational services and facilities necessary for computerbased technologies to function, including hardware, software, networks, data centres, and communication systems.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 원문
170암호화EncryptionPDF기타·횡단
PDF 문서 10정의섹션 3점수 9.3204
PDF 표기 · Encryption
PDF 원문 인용
번역올바른 복호화 키를 가진 인가된 주체만 읽을 수 있도록 정보를 부호화된 형식으로 바꾸는 과정.
The process of converting information into a coded format that can only be read by authorised parties with the correct decryption key.
출처 International AI Safety Report 2026 · p.150 · EN · 정의섹션 · 원문
171노동시장Labour MarketPDF기타·횡단
PDF 문서 8정의섹션 2점수 10.5009
PDF 표기 · Labour Market
PDF 원문 인용
번역고용주가 노동자를 찾고 노동자가 일자리를 찾는 체계. 일자리 창출·상실, 임금을 아우른다.
The system in which employers seek to hire workers and workers seek employment, encompassing job creation, job loss, and wages.
출처 International Scientific Report on the Safety of Advanced AI · p.111, p.223 · EN · 정의섹션 · 원문
번역일자리 가용성·필요 숙련·임금 분포·직업의 성격에 영향을 주는, 노동시장의 크고 종종 복잡한 변화.
Significant and often complex changes in the labour market that affect job availability, required skills, wage distribution, or the nature of work across sectors and occupations.
출처 International Scientific Report on the Safety of Advanced AI · p.111, p.223 · EN · 정의섹션 · 원문
번역고용주가 노동자를 찾고 노동자가 일자리를 찾는 체계. 일자리 창출·상실, 임금을 아우른다.
The system in which employers seek to hire workers and workers seek employment, encompassing job creation, job loss, and wages.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 원문
번역일자리 가용성·필요 숙련·임금 분포·직업의 성격에 영향을 주는, 노동시장의 크고 종종 복잡한 변화.
Significant and often complex changes in the labour market that affect job availability, required skills, wage distribution, or the nature of work across sectors and occupations.
출처 International AI Safety Report 2026 · p.152 · EN · 정의섹션 · 원문
172협소 AINarrow AIPDF기타·횡단
PDF 문서 8정의섹션 2점수 10.811
PDF 표기 · Narrow AI
PDF 원문 인용
번역웹 검색 결과 순위, 동물 종 분류, 체스처럼 한두 가지 유사 과제만 수행하도록 설계된 AI 모델·시스템. 대조: 범용 AI.
An AI model or system that is designed to perform only one specific task or a few very similar tasks, such as ranking Web search results, classifying species of animals, or playing chess. See 'General-purpose AI' for contrast.
출처 International AI Safety Report 2026 · p.152–153 · EN · 정의섹션 · 원문
번역웹 검색 결과 순위, 동물 종 분류, 체스처럼 한두 가지 유사 과제에 특화된 AI. 대조: 범용 AI.
A kind of AI that is specialised to perform one specific task or a few very similar tasks, such as ranking web search results, classifying species of animals, or playing chess. See 'General -purpose AI' for contrast.
출처 International Scientific Report on the Safety of Advanced AI · p.223–224 · EN · 정의섹션 · 원문
173시험 데이터Testing DataPDF기타·횡단
PDF 문서 5정의섹션 2점수 8.6514
PDF 표기 · Testing Data
PDF 원문 인용
시스템이 시장에 출시되거나 서비스가 개시되기 전에 해당 시스템의 예상 성능을 확 AI 인하기 위해 독립적인 평가를 제공하는 데 사용되는 데이터
출처 유럽연합 인공지능법 범용인공지능모델 실천강령 안내서(GPAI) · p.13 · KO · 정의섹션 · 원문
검색 결과가 없다.