AI 안전 다이제스트

2026-05-23 · 8건

Emmi AI, Mistral에 합류해 산업의 AI 전환 가속화 (2026.5.23)

기업 · Mistral AI

Mistral AI는 산업 분야의 AI 전환 역량을 강화하기 위해 Physics AI 기업 Emmi AI를 인수하는 최종 계약을 체결했다고 밝혔다. Emmi AI의 물리학 기반 대형 엔지니어링 모델은 실시간 시뮬레이션, 디지털 트윈, 엔지니어링 워크플로 개선 등에 활용되며, 공동 창업자와 30명 이상의 연구자·엔지니어가 5월 중 Mistral AI의 Science 및 Applied AI 팀에 합류한다. 양사는 항공우주·자동차·반도체 등 고위험 산업의 연구개발과 제품 설계를 지원하는 통합 AI 플랫폼 구축을 추진한다.

인도, AI 정책 3대 축(2026.5.23)으로 디지털 전환·경제효과 추진

언론 · 안타라뉴스(ANTARA News) · 📜

인도 정부는 국가 AI 로드맵과 AI 윤리 관련 대통령령을 마무리 중이며, 데이터센터 전력용량을 2029년 2,000MW 이상으로 확대하는 목표를 제시했다.

인도 통신·디지털부는 AI 정책의 3대 축을 통해 국가 디지털 전환을 지원하고 디지털 경제 파급을 확대하겠다고 밝혔다. 첫째는 혁신과 보호의 균형을 위한 규제로, AI 플랫폼의 투명성·책임성·보안과 함께 인도네시아 문화 가치 정합성을 요구한다. 둘째는 세계 수준의 디지털 인프라로, 마이크로소프트(1.7B달러) 등 글로벌 기업의 클라우드 투자와 데이터센터 확충(2026년 185개·총 274MW, 2029년 2,000MW+ 목표)을 추진한다. 셋째는 포용적 디지털 인재 양성으로, 디지털 인재 부족(약 300만 명)을 시급한 과제로 제시했다.

저자 외 5명, arXiv, 2026.5.23

연구 · arXiv · 🔓

공개 가중치(open-weight) 모델에서 윤리적 사용 제약을 “자발적 메타데이터 공시”로 구현할 때, 파생·재사용이 반복되는 딥 모델 라인리지에서 추적가능성이 유지되는지 점검한다. Hugging Face Hub의 2,142,823개 모델 저장소를 감사해 제한 증거가 라인리지 깊이에 따라 어떻게 감소하는지(반감기 1.31 derivation steps, R^2=0.98)와 “거버넌스 판정”에 필요한 공적 증거가 어느 시점부터 부족해지는지(7세대 이후 자손 모델의 최소 80%가 충분한 증거 부재)를 정량화한다. 또한 라이선스 메타데이터 복구를 위한 플랫폼 개입을 비교한 결과, 상속(inheritance)만 허용하는 설계는 강제 수준이 거의 완전해야 horizon이 이동하지만, 필수 선언(mandatory-declaration) 설계는 중간 수준의 강제에서도 horizon을 더 앞당겨 이동시키며, 상속 불가능한 “orphan” 라인리지 구조가 어떤 강제율에서도 판정 불가능을 만든다고 보고한다.

임시 재감금(temporary jailbreaking)과 Buffer-and-Reinforce로 유해 파인튜닝 업데이트를 완충·복원 (저자 외 3명, arXiv, 2026.5.23)

연구 · arXiv · 🧪

대상은 FaaS 환경에서 유해 파인튜닝 공격이 안전 정렬을 약화시키는 문제이며, 임시 jailbreaking이 어떤 그라디언트 수준 메커니즘으로 방어하는지 분석한다. BufferLoRA로 사용자 파인튜닝 동안 유해 업데이트를 줄이기 위해 제거 가능한 임시 jailbreaking 어댑터를 적용하고, 이후 ReinforceLoRA로 임시 jailbroken 상태에서 거절(refusal) 행동을 복원하도록 학습한 뒤 QR 분해 기반 병합으로 안전을 강화하면서 사용자 과제 성능을 보존하는 프레임워크를 제안한다. 실험에서 사용자 파인튜닝 중 추가 안전 데이터 없이도 안전성과 유틸리티를 더 높이고, 계산 비용은 최소 수준으로 유지된다고 보고한다.

Activation Patching으로 LLM unlearning의 “지워진 깊이”를 0-1로 측정하는 Unlearning Depth Score(저자 외 2명, arXiv, 2026.5.23)

연구 · arXiv

LLM unlearning에서 목표 지식이 출력 수준이 아니라 내부 표현에서 실제로 얼마나 제거(비가역화)됐는지 감사하는 메트릭이 부족한 문제를 다룬다. retain 모델 기준으로 목표 지식을 인코딩하는 레이어를 찾고, unlearned 모델에서 activation patching으로 그 지식이 얼마나 지워졌는지를 0-1 스케일의 Unlearning Depth Score(UDS)로 계산하는 방식으로 평가한다. 20개 메트릭에 대한 메타 평가에서 150개 unlearned 모델(8개 방법) 대상으로 UDS가 faithfulness와 robustness에서 최고 성능을 보였다고 보고한다.

대규모 언어모델의 정서지능(EI)은 지각·인지·상호작용 축에서 분절됨 (저자 외 8명, arXiv, 2026.5.23)

연구 · arXiv · 🚀

LLM이 감정에 민감한 영역에 통합될 때 정서지능이 안전·정렬 관점에서 어떻게 구성되는지(지각 정확도 vs 상호작용 효율) 구분해 평가하려는 문제를 다룬다. 480개 문항으로 구성된 FACET(정서지능 4-분기 모델에 기반)을 제안하고, GPT-5·Claude-Sonnet-4를 포함한 9개 프론티어 모델을 대상으로 지각/촉진/이해/관리 차원의 성능을 측정했다. 결과로 정서지능이 단일 능력이 아니라 인지 우세·상호작용 우세·맥락 의존의 3가지 프로파일로 분절되며, 모든 아키텍처에서 “hidden emotion recognition”이 보편적 병목으로 나타났다.

AI 설명의 근본적 한계(저자 외 0명, arXiv, 2026.5.23)

연구 · arXiv · 🧪

대규모 AI의 거동을 “완전하게 충실한” 설명으로 제공할 수 있는지에 대한 이론적 가능성을 수학적으로 다룬다. 환경 복잡도, AI 성능의 우수성, 설명의 해석가능성, 설명의 완전한 충실성의 네 조건을 동시에 만족할 수 없음을 정리한 “근본적 쿼드릴레마(사분딜레마)”를 증명한다. 핵심 결과는 네 조건(1~4)을 동시에 만족하는 설명은 이론적으로 불가능하다는 것으로, 거버넌스 설계는 설명 충실성이 항상 불완전하다는 전제 위에서 이루어져야 한다고 결론낸다.

저자 외 0명, arXiv, 2026.5.23

연구 · arXiv

연구는 배포 중 LLM의 규정 준수를 이진·감사 시점 판정이 아니라 런타임에서 연속 신호로 산출하는 세팅을 다룬다. govllm 프레임워크에서 규정별 LLM 평가자(“regulatory judges”) 패널의 상호 불일치를 규제 불확실성 신호로 두고, 누적 compliance score로 모델 라우팅/선택을 수행하는 방법을 제시하며 49개 주석 prompt/response 쌍을 5개 규정 기준에 대해 온프레미스 SLM(1.7B–7B) 4종으로 평가한다. 합의율은 51.5%(mistral:7b)~69.1%(phi4-mini)였고, judge-specific position bias로 3개 질문 순서 조건에서 합의가 최대 25%p까지 저하되며, 소형 규제 평가자에서 3가지 구조적 실패 모드가 보고된다.