AI 안전 다이제스트

Online Self-Calibration Against Hallucination in Vision-Language Models (저자 외 5명, arXiv cs.CV, 2026.5.1)

분야: 안전

본 연구는 LVLM이 입력 이미지에 없는 시각적 디테일을 생성하는 환각 문제를 해결하기 위한 동기로, 기존 선호 정렬이 GPT 등 강한 모델로부터 오프라인 증류된 감독에 의존하면서 “감독-지각 불일치(Supervision-Perception Mismatch)”가 발생한다는 점을 지적한다. 핵심 기여는 LVLM 내부의 “생성-판별 격차(Generative-Discriminative Gap)”를 활용해, 생성(open-ended)보다 판별(discriminative verification)에서 더 정확하게 검증할 수 있다는 성질로 온라인 자기감독 데이터를 구성하는 OSCAR 프레임워크를 제안하는 것이다. 방법론적으로 OSCAR는 Monte Carlo Tree Search와 이중-과립도 보상(dual-granularity reward)으로 선호 데이터(preference data)를 만들고, 이를 Direct Preference Optimization으로 반복 학습하여 환각을 줄인다. 평가는 환각 벤치마크에서의 성능(및 일반 멀티모달 능력 향상)으로 수행되며, 결과는 환각 관련 SOTA 수준을 달성하고 전반적 능력도 개선됨을 보고한다. 한계로는 온라인 학습을 위한 탐색(MCTS)과 보상 설계가 추가 계산/구현 복잡도를 유발할 수 있으며, 어떤 조건에서 생성-판별 격차가 충분히 유지되는지에 대한 추가 분석이 필요하다. 정책/규제·국가 전략 측면에서는, 환각을 “사후 정렬”이 아니라 “모델 내부 검증 신호를 이용한 온라인 자기교정”으로 줄이려는 접근이 안전성 평가·배포 전 성능 검증(특히 시각 근거성/정합성) 요구를 강화하는 데 시사점이 있다.

저자 외 1명, Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation, arXiv, 2026.5.1

본 연구는 심층·순환 구조의 스파이킹 신경망에서 희소 연결을 유지하면서도 확장 가능한 학습을 달성하는 문제를 다룬다. 핵심 기여는 (1) 국소적으로는 밀집 재귀층을 두고, (2) 장거리 연결은 small-world 성질의 희소 투영으로 구성하되 대부분 고정해 라우팅/하드웨어 확장성을 보존하며, (3) 역전파나 서러게이트 그래디언트 없이도 지도학습이 가능하도록 출력층 WTA 신호, 고정 랜덤 브로드캐스트 정렬 피드백, 저차원 조절 뉴런(eligibility trace를 포함한 3-요소 학습 규칙으로 시냅스 업데이트 게이팅)을 결합한 학습 프레임워크를 제안하는 것이다. 평가/검증은 알고리즘적 성질과 계산복잡도·하드웨어 적합성 분석을 포함하고, 분류 벤치마크에서 안정적 학습과 경쟁 성능을 보이는 방식으로 수행된다. 한계로는 제시된 학습 신호 설계(고정 피드백 경로, 조절 뉴런 게이팅)가 다양한 데이터/아키텍처에서 얼마나 일반화되는지에 대한 추가 검증이 필요하며, 실제 하드웨어에서의 구현 세부(정밀도·타이밍·잡음 민감도) 영향은 후속 연구 과제로 남는다. 정책/규제·국가 전략 측면에서는, 그래디언트 기반 대규모 학습에 비해 에너지 효율적 학습·추론을 지향하는 하드웨어 친화형 학습법이 “전력/자원 제약 하 AI” 역량을 강화할 수 있다는 점에서 연구 투자 및 실증(엣지/뉴로모픽) 지원의 근거가 될 수 있다.

고속 Lissajous confocal 레이저 내시경의 다중 프레임 복원을 위한 MIRA (저자 외 6명, eess.IV, 2026.5.1)

본 연구는 Lissajous confocal laser endomicroscopy(CLE)가 고속 촬영에서는 프레임당 방문 픽셀이 제한되어 구조화된 홀(미방문 영역)이 발생하는 문제를 해결하고자 한다. 저자들은 고속 Lissajous CLE를 위한 최초의 벤치마크를 제안하며, 저품질 고속 비디오 클립과 동일 조직의 안정화된 저속 스캔 프레임을 스티칭해 만든 고품질 wide-FOV 모자이크 참조 이미지를 짝지어 시간 정렬된 감독 신호를 제공한다. 이를 바탕으로 MIRA라는 경량 순환(recurrent) 복원 프레임워크를 제안하고, 시간적 문맥을 반복적으로 집계하며(displacement alignment 포함) 특징 재사용과 정렬을 통해 복원 품질을 높인다. 평가는 제안 벤치마크에서 복원 품질을 다양한 경량/고복잡도 기준모델과 비교하는 방식으로 수행되며, 계산 효율도 임상 배치 가능 수준을 목표로 함께 제시한다. 한계로는 데이터가 특정 촬영/조직 조건에 의존할 수 있고, 실제 임상 환경에서의 일반화 및 참조 모자이크 생성 과정의 변동성에 대한 추가 검증이 필요하다. 정책/규제·국가 전략 측면에서는 의료영상의 고속 획득에서 발생하는 결손을 소프트웨어로 보정해 장치 성능 요구를 낮추는 접근이 임상 적용을 촉진할 수 있으며, 안전성 관점에서는 복원 결과의 신뢰성 검증(예: 임상적 유효성, 오류 양상 분석)과 벤치마크 기반 품질관리 체계 마련이 시사된다.

시각 모달리티를 통해 비전-언어 모델을 탈옥(Jailbreak)하는 방법(저자 외 4명, arXiv, 2026.5.1)

본 연구는 VLM(vision-language model)의 시각 모달리티가 안전 정렬(alignment) 우회 공격의 상대적으로 덜 탐구된 공격면이라는 문제의식에서 출발한다. 저자들은 시각 구성요소를 악용하는 4가지 탈옥 공격을 제안하며, (1) 유해 지시를 시각 기호 시퀀스로 인코딩하고 디코딩 범례를 제공하는 방식, (2) 유해 대상을 양성 대체물로 치환한 뒤 대체어를 사용해 유해 행동을 유도하는 방식, (3) 이미지 내 유해 텍스트를 양성 단어로 바꾸되 시각적 맥락이 원래 의미를 유지하도록 하는 방식, (4) 금지 개념을 추론해야만 풀리는 시각 유추 퍼즐 방식 등을 사용한다. 6개 “frontier” VLM에 대해 평가한 결과, 시각 기반 공격이 안전 정렬을 우회하며 텍스트 기반 안전 학습이 시각으로 전달된 유해 의도에는 자동으로 일반화되지 않는 “cross-modality alignment gap”을 드러낸다(예: 시각 암호의 Claude-Haiku-4.5 공격 성공률 40.9% vs 동등 텍스트 암호 10.7%). 또한 해석가능성 및 완화(mitigation)에 대한 예비 결과를 제시해 공격 메커니즘 이해와 방어 방향을 모색한다. 한계로는 완화책이 “preliminary” 수준이며, 시각-정렬의 견고성 확보를 위한 구체적 학습/평가 프로토콜이 추가로 필요하다는 점이 남는다. 정책·규제·국가 전략 측면에서는 VLM 안전성 평가와 사후학습(post-training)에서 비전 모달리티를 1급 안전 타깃으로 다루도록 요구하는 시사점이 있다.

🇨🇳 저자 외 4명, SC-Taxo: Hierarchical Taxonomy Generation under Semantic Consistency Constraints using Large Language Models, arXiv, 2026.5.1

분야: 안전/거버넌스/프론티어 평가/소버린 AI 중 안전

과학 문헌이 빠르게 증가하면서 연구 분야 지식을 효율적으로 조직·탐색하기 위한 고품질 계층형 분류(택소노미) 생성이 어려워지는 문제를 다룬다. 기존 방법들이 상위·하위 계층 간 구조적 불일치와 의미 정렬 실패를 겪는 원인을 “계층적 의미 일관성(hierarchical semantic consistency)”의 부적절한 모델링으로 보고, 이를 개선하기 위해 LLM 기반 SC-Taxo 프레임워크를 제안한다. 핵심 기여는 (1) bottom-up 추상화와 top-down 의미 제약을 함께 수행하는 bidirectional heading generation, (2) 계층 간 정합성을 높이기 위한 hierarchy-aware refinement 단계, (3) 같은 레벨(동료) 간 의미 의존성을 반영해 horizontal consistency를 강화하는 구성이다. 평가는 여러 벤치마크 데이터셋에서 계층 정렬(hierarchy alignment)과 헤딩 품질(heading quality)을 중심으로 수행하고, 중국어 과학 문헌 추가 평가로 교차언어 일반화의 견고함을 확인한다. 한계로는 본문에서 구체적 제약(예: 특정 도메인 편향, 장문/희소 데이터에서의 성능 저하, 자동 생성 오류의 후처리 방식 등)이 명시적으로 정리되지는 않아 후속 연구가 필요하다. 정책/규제·국가 전략 측면에서는, 과학 지식의 구조화·검색 효율을 높이는 도구로서 연구 인프라(문헌 정리, 트렌드 분석, 정보검색) 고도화에 기여할 수 있으며, 안전 관점에서는 생성된 분류의 의미 정합성과 품질 검증 체계를 함께 마련할 필요가 있다.

(저자 외 2명, arXiv cs.CV, 2026.5.1) BlenderRAG: Retrieval-Augmented Code Synthesis로 고정밀 3D 객체 생성

자연어로부터 실행 가능한 Blender 코드를 자동 생성하는 문제는 문법 오류가 잦고 생성된 3D 형상이 의미적으로/기하학적으로 일관되지 않아 성능이 제한된다는 동기가 있다. 본 연구는 텍스트-코드-이미지로 구성된 500개의 전문가 검증 예제를 50개 객체 범주에 걸쳐 구축하고, 생성 과정에서 의미적으로 유사한 예제를 검색해 코드 합성을 보강하는 BlenderRAG를 제안한다. 평가에서는 4종의 최신 LLM을 대상으로 컴파일 성공률이 40.8%에서 70.0%로, CLIP 기반 의미 정규화 정렬(semantic normalized alignment)이 0.41에서 0.77로 개선됨을 보고하며, 파인튜닝이나 특수 하드웨어 없이도 효과를 보인다고 주장한다. 한계로는 검색 기반 성능이 데이터셋 커버리지(범주/예제 품질)에 영향을 받을 수 있고, 논문에서 추가적인 일반화 범위(미포함 범주, 장면 복잡도 등)에 대한 상세 검증이 제한적일 수 있다. 정책/규제·국가 전략 측면에서는, 고위험 콘텐츠 생성이 아니라도 “실행 가능한 코드 생성”에서 오류율을 낮추는 접근이 배포 접근성을 높일 수 있어, 안전한 자동화 도구의 검증·배포 체계(데이터 검증, 재현 가능한 벤치마크, 코드 품질 지표) 마련에 시사점을 준다.

저자 외 6명, PEACE: Cross-modal Enhanced Pediatric-Adult ECG Alignment for Robust Pediatric Diagnosis, arXiv, 2026.5.1

분야: 안전/거버넌스/프론티어 평가/소버린 AI 중 안전 소아 ECG 자동진단은 성인 데이터로 학습된 모델이 소아 집단과의 분포 불일치(cross-population mismatch)를 겪고, 소아 라벨은 희소하다는 문제가 있다. PEACE는 성인→소아 전이를 목표로 한 구조화된 크로스모달 정렬 프레임워크로, (1) 삼축 임상 시맨틱 분해, (2) 라벨-쿼리 기반 특징 추출, (3) curriculum-gated 최적화를 통해 성인 표현을 소아 진단 타깃에 정렬한다. 또한 ZZU-pECG에는 짝지어진 임상 리포트가 없으므로, Gemini에 간결한 임상 프롬프트를 사용해 라벨 조건부 시맨틱 디스크립터를 생성하고 이를 보조 학습 감독으로만 활용하며, 추론은 ECG만 사용한다. ZZU-pECG에서 zero-shot/50-shot/전체 파인튜닝 설정 각각 AUC 59.39%/79.03%/90.89%를 보고, PTB-XL의 공유 라벨 공간에서는 96.65% AUC를 달성한다. 한계로는 실제 배치 환경에서의 성능과 안전성을 확인하기 위한 전향적 임상 검증, 그리고 연령(age) 인지 모델링을 더 명시적으로 하는 후속 연구가 필요하다고 제시한다. 정책/규제·국가 전략 관점에서는 소아 진단에서 데이터 희소성과 분포 불일치를 줄이기 위한 전이학습·시맨틱 정렬 접근이 유망하나, 실제 임상 배치 전 임상시험 및 연령 편향/오분류 위험에 대한 검증 체계가 중요하다는 시사점을 제공한다.

저자 외 10명, HuggingFace Daily Papers, 2026.5.1

본 연구는 비디오 확산 모델(VDM)을 다양한 멀티모달 그래픽 작업에 재사용할 수는 있으나, 기존 방식이 과제별로 별도 모델을 학습해 입력-출력 매핑이 고정되고 모달리티 간 상관을 충분히 모델링하지 못한다는 문제의식에서 출발한다. UniVidX는 픽셀 정렬된 작업들을 공통 멀티모달 공간에서의 조건부 생성으로 재구성하고, 모달리티별 분포 적응과 VDM 백본의 사전(prior) 보존, 합성 과정에서의 크로스-모달 일관성을 동시에 목표로 한다. 방법은 (1) Stochastic Condition Masking(SCM)으로 학습 시 모달리티를 무작위로 “깨끗한 조건”과 “노이즈 타깃”으로 분할해 고정된 매핑이 아닌 옴니-방향 조건부 생성을 가능케 하고, (2) Decoupled Gated LoRA(DGL)로 생성 타깃이 되는 모달리티에만 LoRA를 활성화해 강한 VDM prior를 유지하며, (3) Cross-Modal Self-Attention(CMSA)으로 키/밸류를 공유하되 쿼리는 모달리티별로 유지해 정보 교환과 정렬을 촉진한다. 평가로는 RGB 및 intrinsic(알베도/조도/노멀) 또는 blended RGB와 RGBA 구성요소를 대상으로 한 두 도메인(UniVid-Intrinsic, UniVid-Alpha)에서 SOTA급 성능과 in-the-wild 일반화, 그리고 1,000편 미만 학습 데이터에서도의 견고성을 보고한다. 한계로는 안전(예: 생성물의 오용, 콘텐츠 진위/검증, 프롬프트-조건 악용 가능성)과 관련된 구체적 안전장치나 거버넌스 설계가 본 요약에선 확인되지 않으며, 향후에는 모달리티 간 일관성 향상과 함께 생성물의 신뢰성·오용 방지 평가가 추가될 필요가 있다. 정책/규제·국가 전략 측면에서는 통합 멀티모달 비디오 생성이 빠르게 범용화되는 흐름에 맞춰, 모델 성능뿐 아니라 생성물 검증(워터마킹/포렌식), 위험 시나리오 기반 안전 평가, 데이터·학습·배포 단계의 책임 있는 관리 체계가 함께 요구된다는 시사점을 제공한다.

저자 외 2명, InpaintSLat: Inpainting Structured 3D Latents via Initial Noise Optimization, arXiv, 2026.5.1

본 연구는 구조화된 3D 라텐트 확산(Structured 3D latent diffusion)에서 인페인팅/편집처럼 “기존 맥락에 엄격히 정렬하면서 새로운 구조를 합성”해야 하는 작업에서 안정성이 깨지는 문제에 동기한다. 핵심 기여는 학습 없이(training-free) 초기 노이즈를 최적화해 3D 인페인팅의 맥락 일관성과 프롬프트 정렬을 높이는 방법을 제안하는 것으로, rectified flow 모델에 기반한 역전파 근사와 구조 3D 라텐트 최적화를 위한 스펙트럴 파라미터화를 통해 초기 노이즈 제어를 독립적인 조절 축으로 만든다. 평가는 대표적인 training-free 인페인팅 베이스라인과의 비교를 통해, 맥락 일관성(contextual consistency)과 프롬프트 정렬(prompt alignment)에서의 일관된 개선을 실험으로 제시한다. 한계로는 초기 노이즈 최적화가 어떤 조건(예: 마스크 형태, 장면 복잡도, 프롬프트 유형)에 가장 잘/못하는지에 대한 체계적 범위 규명이 추가로 필요하다. 정책/규제·국가 전략 관점에서는, 3D 생성·편집의 “초기 조건 민감도”를 별도 제어 축으로 다루는 접근이 안전한 콘텐츠 생성 파이프라인(품질·정렬 안정성 확보) 설계에 활용될 여지가 있으며, 특히 학습 없이도 제어 가능하다는 점이 운영·감사(거버넌스) 측면의 실용성을 높일 수 있다.

저자 외 1명, FedKPer: Tackling Generalization and Personalization in Medical Federated Learning via Knowledge Personalization, eess.IV, 2026.5.1

연구 동기는 의료 연합학습에서 기관 간 데이터 분포 불균형(통계적 이질성)이 일반화 성능 저하와 개인화 적응 실패를 동시에 유발하고, 그 결과 망각(forgetting)이 전역·로컬 모두에서 심화되어 기존 환자 패턴이 업데이트 후 오분류되는 문제를 다루는 데 있다. 핵심 기여는 일반화와 개인화를 별개로 취급하던 기존 접근을 넘어, 전역 모델과의 선택적 정렬(selective alignment)과 수정된 집계(aggregation) 방식을 결합해 이질성의 영향을 완화하는 FedKPer를 제안한 점이다. 방법적으로는 로컬 디바이스 학습 단계에서 지식 개인화(knowledge personalization)를 도입하고, 전역 집계 단계에서는 신뢰할 수 있고 라벨 다양성(label-diverse)을 갖는 로컬 업데이트에 가중치를 두어 일반화를 강화한다. 평가는 성능 외에 망각의 일반적 결과와 연관된 추가 지표를 설계해, 일반화-개인화 균형 개선이 보존(retention) 성능을 희생하지 않는지 확인하는 방식으로 수행된다. 한계로는 의료 데이터의 실제 임상적 다양성과 라벨 품질/분포 편향이 어떤 정도로 결과에 영향을 주는지, 그리고 제안된 “신뢰도·라벨 다양성” 기준의 일반화 가능성은 추가 검증이 필요하다. 정책/규제·국가 전략 시사점으로는 의료 AI의 연합학습 도입 시 기관 간 데이터 이질성을 전제로 한 망각 완화 및 성능-개인화 균형 메커니즘이 신뢰성·안전성 평가 항목에 포함될 필요가 있으며, 모델 업데이트 후 기존 환자 패턴의 오분류 위험을 모니터링하는 지표 체계가 요구된다는 점을 시사한다.

저자 외 5명, STARE: Step-wise Temporal Alignment and Red-teaming Engine for Multi-modal Toxicity Attack, cs.CR, 2026.5.1

본 연구는 비전-언어 모델(VLM)에서 이미지-텍스트 다중모달 입력이 독성 출력을 유발하는 취약점이 “언제/어떻게” 생성되는지(다단계 합성 과정의 시간적 단계) 불명확하다는 문제의식에서 출발한다. STARE는 확산(denoising) 궤적 자체를 공격 표면으로 보고, 상위 수준 프롬프트 편집기와 하위 수준 T2I(텍스트-이미지) 미세조정을 결합한 계층형 강화학습 프레임워크를 제안하며, Group Relative Policy Optimization(GRPO)로 최적화를 수행한다. 평가에서는 T2I는 white-box로, VLM은 query-only black-box로 두는 설정에서 공격 성공률(Attack Success Rate)을 기존 black-box/white-box 기준선과 비교하며, 공격 성공률에서 68% 개선을 보고한다. 또한 “Optimization-Induced Phase Alignment” 현상을 통해 독성 의미가 확산 모델의 초기/후기 의미 단계에 선택적으로 집중되는 시간 구조를 관찰하고, 특정 시간 창(window)만 교란해 독성 범주를 선택적으로 억제할 수 있음을 사례로 제시한다. 한계로는 실제 배포 환경에서의 방어 일반화 및 다른 모델/합성기 설정에서의 재현성에 대한 추가 검증이 필요하며, 향후에는 단계별 취약성 완화(phase-aware safety)로 이어지는 방어 메커니즘 설계가 과제로 제시된다. 정책/규제·국가 전략 측면에서는 다단계 생성 파이프라인 전반을 대상으로 한 레드팀/평가 체계(단순 최종 출력 점수뿐 아니라 생성 단계별 취약성 점검)의 중요성을 시사한다.

저자 외 3명, arXiv cs.SD, 2026.5.1

본 연구는 방 안의 음향(특히 RIR) 기반 스피커 거리 추정(SDE)에서 데이터가 희소할 때 성능이 저하되는 문제를 다룬다. 핵심 기여는 FastRIR을 이용해 스피커/청취자 위치 조건만으로 생성 RIR을 만들고, 생성 RIR이 챌린지의 RIR과 정렬되도록 품질 필터를 설계한 뒤, 생성·증강 데이터를 사용해 SDE 모델을 파인튜닝하며 하이퍼파라미터 최적화를 수행하는 것이다. 평가/검증은 ICASSP 2025의 Room Acoustics 및 SDE Challenge(GenDARA) 설정에서 5개 위치에 대한 MAE를 비교하는 방식으로 이루어졌고, GWA 룸은 1.66m→0.6m, Treble 룸은 2.18m→0.69m로 개선되었으며 중·장거리에서 특히 효과가 크다고 보고한다. 한계로는 생성 RIR의 품질이 필터링/정렬 설계에 의존하며, 실제 환경 다양성(음향 조건 변화)에 대한 일반화 범위는 추가 검증이 필요하다. 정책/규제·국가 전략 측면에서는, 음향 기반 거리 추정이 로봇 내비게이션·원격 통신 등 안전 관련 응용에 활용될 수 있으므로 데이터 희소성 문제를 줄이는 증강 기법이 성능 향상에 기여할 수 있다는 점에서, 평가 벤치마크 기반의 성능 검증과 재현성 있는 데이터/모델 공유를 촉진하는 방향의 전략에 시사점이 있다.

Decoupled Relation Alignment로 이질 그래프 파운데이션 모델의 Type Collapse/Relation Confusion 완화 (저자 외 4명, arXiv, 2026.5.1)

본 연구는 그래프 파운데이션 모델(GFM)을 다중 도메인 이질 그래프(MDHG)에 적용할 때 발생하는 교차 타입 특징의 분포 이동과 도메인 내 관계 간 격차로 인해 성능이 붕괴되는 문제를 다룬다. 이를 위해 전역(글로벌) 특징 정렬이 타입별 의미를 무분별하게 공유 공간에 강제해 “Type Collapse”와 “Relation Confusion”을 유발한다는 한계를 지적하고, 관계 중심 정렬 프레임워크인 DRSA(Decoupled relation Subspace Alignment)를 제안한다. DRSA는 (1) 이중 관계 서브스페이스 투영으로 타입 간 상호작용을 명시적으로 저랭크 관계 서브스페이스에서 조정하고, (2) 정렬된 특징을 의미 투영 성분과 구조 잔차로 분해하는 feature-structure decoupled 표현을 통해 도메인 내 변이를 잔차가 흡수하도록 설계한다. 최적화는 Block Coordinate Descent 기반의 안정적 alternating minimization으로 수행하며, 여러 실세계 벤치마크에서 범용 전처리 모듈로서 교차 도메인 및 few-shot 지식 전이를 일관되게 향상시키는 것을 실험으로 보인다. 한계로는 제안 방법이 “관계 구조”를 중심으로 정렬을 수행하는 만큼, 관계 정보의 품질/표현 방식에 민감할 가능성이 있으며(논문 내 구체적 분석 필요), 향후에는 다양한 이질성 설정에서의 강건성 평가와 이론적 보장(수렴/일반화) 강화가 과제로 제시될 수 있다. 정책/규제·국가 전략 측면에서는, 이질 데이터 통합을 안정적으로 돕는 그래프 기반 모델 전처리 기술이 도메인 간 지식 이전을 촉진해 공공·산업 데이터의 상호운용성(예: 지식그래프/연결 데이터 활용)과 관련된 실무 적용 가능성을 높인다는 점에서 간접적 시사점이 있다.

EASE: 저자 외 2명, arXiv, 2026.5.1 (저자 외 N명, Venue, YYYY.M.D)

분야: 안전/거버넌스

연구 동기는 연합(federated) 멀티모달 학습에서 “잊어야 할 데이터”에 대한 unlearning을 수행해도 교차-모달 결합과 클라이언트 업데이트 부분공간이 얽혀 잔존 지식이 남는 문제를 해결하는 데 있다. 핵심 기여는 bilinear cross-modal coupling으로 매개되는 교차-재구성 채널, principal-angle 기반 부분공간 얽힘, 그리고 라운드 간 지속 업데이트로 인한 잔여 정렬을 각각 “anchor”로 보고 이를 닫는 Entanglement-Aware Subspace Excision(EASE) 프레임워크를 제안한 것이다. 방법은 (1) 시각·언어 양쪽 가지의 쌍방향 변위로 교차-재구성 채널을 차단하고, (2) Cosine–Sine 분해로 클라이언트 업데이트 부분공간을 forget 전용 방향과 retain 지지 방향으로 분리하며, (3) Forget Lock으로 라운드별 잔여 드리프트를 상한으로 제한한다. 평가에서는 여러 데이터셋과 unlearning 시나리오에서 retrain 기준과의 근접도를 비교하며, 예로 Flickr30K에서 CLIP-B/32 기반 client unlearning 시 forget/retain 양측에서 retrain과 R@1 차이를 각각 0.2 및 4.2 이내로 맞추는 결과를 제시한다. 한계로는 제시된 성능이 특정 모델/데이터셋 설정에 의존할 수 있으며, 실제 배포 환경에서의 통신·계산 오버헤드와 강한 적대적 위협 모델에서의 견고성은 추가 검증이 필요하다. 정책/규제·국가 전략 시사점으로는 개인정보·데이터 삭제 요구(권리 행사)에 대응하기 위해 연합 학습에서도 교차-모달 얽힘까지 고려한 “구체적 unlearning 메커니즘”을 요구하는 방향의 가이드라인 설계에 활용될 수 있다.

저자 외 2명, Themis: Training Robust Multilingual Code Reward Models for Flexible Multi-Criteria Scoring, cs.SE, 2026.5.1

본 연구는 코드 생성에서 리워드 모델(RM)이 주로 실행 가능성/기능적 정답성에 치우쳐 있어, 다기준(예: 스타일, 안전성 관련 선호, 수학적 엄밀성 등) 평가로의 확장이 제한된 문제를 다룬다. 이를 위해 5개 선호(기준) 차원과 8개 프로그래밍 언어를 아우르는 벤치마크 Themis-CodeRewardBench를 구축하고, 350k+ 코드 선호 쌍으로 구성된 대규모 오픈소스 Themis-CodePreference를 수집해 600M~32B 규모의 다국어·다기준 코드 RM 스위트 Themis-RM을 학습한다. 평가/실험은 Themis-CodeRewardBench에서 50+ 코드·수학·일반 목적 RM을 프로파일링하고, 학습 데이터의 다양성(다양한 선호) 및 다기준 학습이 교차언어 전이와 신뢰성에 미치는 영향을 포함한 절제 실험(ablations)으로 수행된다. 한계로는 본문에서 “현재 RM의 기능적 정답성 외 역량이 제한적”임을 관찰한 수준이며, 다기준 기준의 정의/라벨링 품질과 실제 안전·규제 준수로의 직접 연결성은 추가 검증이 필요하다. 정책/규제·국가 전략 관점에서는 코드 생성 시스템의 정렬(alignment)을 단일 지표(정답)에서 다기준 평가로 확장하는 접근이, 고위험 영역에서의 품질·안전 요건을 더 세밀하게 반영하는 데 활용될 수 있음을 시사한다.

Healthcare AI GYM for Medical Agents (저자 외 0명, HuggingFace Daily Papers, 2026.5.1)

분야: 안전

임상 추론은 병력 수집→검사 주문→결과 해석→안전한 치료 결정처럼 다단계·다중 턴 상호작용을 요구하지만, 이를 한 환경에서 에이전트형 의료 AI를 강화학습으로 일반화되게 훈련시키는 통합 접근이 부족하다는 문제의식에서 출발한다. 연구는 10개 임상 도메인, 3.6K+ 태스크, 135개 도메인 특화 도구, 828K 의료 지식 베이스를 포함하는 gymnasium 호환 “Healthcare AI GYM” 환경을 구성하고, 다중 턴 에이전트 RL이 실제로는 장황한 단일 턴 독백으로 붕괴(길이 단조 증가, 도구 사용 빈도 동시 저하)하는 현상을 실증적으로 분석한다. 이 붕괴와 증류(distillation) 불안정의 원인을 “순차적 임상 궤적에 대한 희소한 종단 보상 미정렬”로 규명하며, GRPO는 일부 벤치마크에서 정확도가 높지만 응답 길이 진동과 수렴 지연 등 훈련 불안정이 나타난다고 보고한다. 이를 개선하기 위해 Turn-level Truncated On-Policy Distillation(TT-OPD)를 제안하며, EMA 기반 gradient-free teacher가 결과(Outcome)-특권 정보를 활용해 각 대화 턴마다 outcome-aware KL 정규화를 제공하도록 설계한다. 평가로는 18개 벤치마크 중 10개에서 비강화학습 베이스라인 대비 평균 +3.9~pp 향상, 더 빠른 초기 수렴, 응답 길이 제어, 지속적인 멀티턴 도구 사용을 제시한다. 한계로는 특정 보상/학습 설계가 임상 시퀀스의 올바른 행동 분해를 얼마나 안정적으로 보장하는지에 대한 추가 검증이 필요하며, 향후에는 보상 설계·안전 제약·장기 궤적 일반화에 대한 확장 연구가 요구된다. 정책/규제·국가 전략 측면에서는 의료 에이전트의 “다중 턴 도구 사용”과 “훈련 안정성”을 함께 측정하는 벤치마크/환경 구축이 안전성 평가 체계 마련에 유용하다는 점을 시사한다.