AI 안전 다이제스트

Signal Reshaping for GRPO in Weak-Feedback Agentic Code Repair (저자 외 5명, arXiv cs.AI, 2026.5.8)

분야: 안전/거버넌스/프론티어 평가/소버린 AI

코드 에이전트 RL은 롤아웃 중 얻는 약한 피드백(실행 가능성은 잘 주지만, 목표 의미 술어(semantic predicate)에 대한 신호는 부족) 때문에 학습이 표면 조건에 치우칠 수 있다는 문제를 다룬다. 본 연구는 표준 GRPO에 대해 “신호 재구성(signal reshaping)”을 적용해야 within-group 비교가 의미를 갖는다는 주장을 중심으로, 결과(outcome) 보상, 과정(process) 신호, 롤아웃 비교 가능성(동일 프롬프트 내 실행 비교성)을 각각 재정렬하는 최소 구성안을 제안한다. 구체적으로 컴파일-및-의미 계층 보상으로 궤적(trajectory) 순위를 의미 기준으로 복원하고, 그룹 정규화 밖에서 단계별 과정 점수를 재가중해 궤적 내부 credit 할당의 업데이트 강도를 조절하며, 실패 원인 인지 거버넌스로 within-group comparability를 재형성한다. 실험은 agentic compile-fix 설정에서 full signal-reshaped GRPO가 엄격한 compile-and-semantic 정확도를 0.385(제로샷)→0.535로 개선함을 보이고, 이득의 원인을 통제 비교로 분석한다(예: 이진 보상은 중간 tier를 제거해 제어 성능을 저하시킴, 과정 점수 가중은 0.48→0.53 및 평균 평가 단계 23.50→17.02 감소). 한계로는 토큰 수준의 privileged-prompt distillation이 장기 도구 사용 궤적에서 비핵심 토큰에 의해 희석되어 의미/과정 신호 및 within-group 비교 가능성을 대체하기 어렵다는 경계 비교 결과가 제시된다. 정책/규제·국가 전략 시사점으로는, 에이전트형 소프트웨어 자동수정에서 “실행 가능성 중심의 약한 피드백”만으로는 안전한 의미적 정합성을 확보하기 어렵고, 의미 기반 보상/신호 설계와 학습 신호의 비교 가능성 보장이 성능·신뢰성 향상에 핵심이라는 점을 강조할 수 있다.

(저자 외 6명, cs.IR, 2026.5.8) DCGL: Dual-Channel Graph Learning with Large Language Models for Knowledge-Aware Recommendation

본 연구는 지식그래프(KG) 기반 추천과 LLM 임베딩을 결합할 때 발생하는 (1) KG에 없는 암묵적 의미 관계의 부족, (2) ID 임베딩과 LLM 임베딩의 단일 채널 결합으로 인한 신호 간섭/표현 혼탁, (3) 사용자-아이템 상호작용 빈도 차이를 충분히 반영하지 못하는 문제를 다룬다. 핵심 기여는 구조적으로 의미 정보와 사용자 행동 패턴을 분리하는 듀얼 채널 아키텍처, KG 노이즈에 대한 강건성을 높이기 위한 멀티레벨 대조학습(채널 내부 대조 및 채널 간 정렬), 그리고 상호작용 빈도에 따라 의미 일반화와 행동 특이성을 동적으로 가중하는 퓨전 메커니즘이다. 평가 방법으로는 4개 실세계 데이터셋에서 기존 SOTA 대비 성능을 비교하며, 특히 희소 시나리오에서의 개선과 활동 사용자에 대한 정밀도 유지 여부를 함께 보고한다. 한계로는 KG 노이즈/품질과 LLM 임베딩의 특성에 대한 민감도, 그리고 추천 도메인 외 일반화 가능성은 추가 검증이 필요하다. 정책·규제·국가 전략 관점에서는 추천 시스템에서 지식 기반·대규모 언어모델 결합 시 표현 간섭을 줄이고 데이터 희소성을 완화하는 설계가 실사용 성능과 안정성에 기여할 수 있으나, 안전(예: 편향/부적절 추천) 관련 구체적 검증은 본 요약만으로는 확인되지 않는다.

Activation Differences Reveal Backdoors: A Comparison of SAE Architectures (저자 외 N명, cs.CL, 2026.5.8)

본 연구는 언어모델의 백도어가 특정 트리거 입력에서만 악성 동작을 보이는 상황에서, 이를 기계적 해석(mechanistic interpretability)으로 안정적으로 탐지·분리하는 방법이 부족하다는 문제의식에서 출발한다. 저자들은 두 가지 희소 오토인코더(SAE) 아키텍처인 Crosscoders와 Differential SAEs(Diff-SAE)를 비교하여, 파인튜닝된 모델에서 백도어 관련 특징을 분리하는 성능을 평가한다. SmolLM2-360M에 대해 LoRA 및 full-rank 파인튜닝을 모두 수행하고, 연도 기반 컨텍스트(“2024”는 취약 코드, “2023”은 안전 코드)를 트리거로 하는 통제된 SQL injection 백도어를 사용해 여러 레이어(14, 18, 22, 26)에서 BIS(Backdoor Isolation Score)와 오탐/정밀도 등을 측정한다. 결과적으로 Diff-SAE가 Crosscoders보다 일관되게 크게 우수했으며, Diff-SAE는 BIS 0.40 수준에서 정밀도 1.0 및 대부분 조건에서 0 false positive rate를 보인 반면 Crosscoders는 BIS가 0.02 미만으로 거의 실패하는 경향을 보였다. 한계로는 특정한 SQL injection 형태의 트리거/설정에서의 성능 검증에 초점이 있어, 다른 백도어 유형·데이터/학습 조건으로의 일반화는 추가 검증이 필요하다. 정책/규제 및 국가 전략 측면에서는, 모델 안전 모니터링과 해석 도구 개발 시 “차이 기반(difference-based) 표현”이 백도어 탐지에 더 유효할 수 있음을 시사하며, 파인튜닝 후 모델 점검 절차에 이러한 계측/검증 접근을 포함하는 방향의 근거를 제공한다.

Mean-Pooled Cosine Similarity is Not Length-Invariant: Theory and Cross-Domain Evidence for a Length-Invariant Alternative (저자 외 0명, cs.CL, 2026.5.8)

분야: 안전/거버넌스/프론티어 평가/소버린 AI

본 연구는 언어·모달리티·태스크 간 표현 비교에 널리 쓰이는 mean-pooled cosine similarity가 “표현 내용”이 아니라 “시퀀스 길이”에 의해 체계적으로 영향을 받는지 문제를 제기한다. 핵심 기여로, 현대 트랜스포머 표현의 anisotropy 하에서 mean-pooled cosine이 길이에 대해 단조 증가하며 내용과 무관하게 길이 편향이 생긴다는 이론을 제시하고, 이를 길이 불변 대안으로 CKA(Centered Kernel Alignment)와 비교한다. 평가로는 HumanEvalPack에서 4개 코드 LLM에 대해 cross-language “Python proximity”를 분석했으며, 길이 비율만으로 설명분산(R^2)이 0.52~0.75 수준임을 보이고 AST depth/공유 토큰 비율은 추가 설명이 3% 미만이라고 보고한다. 또한 Mistral-7B의 병렬 WMT 쌍에서도 cosine의 길이 의존 패턴이 관찰되며, CKA로 바꾸면 길이 계수 부호가 뒤집히고 설명력이 크게 감소한다. 한계로는 본 결과가 특정 대표 벤치마크/모델군에서의 관찰에 기반하므로 다른 아키텍처·풀링/정규화 설정 전반으로의 일반화는 추가 검증이 필요하다. 정책/규제·국가 전략 시사점으로는, 교차언어/교차모달 표현 “수렴”이나 “정렬”을 주장할 때 길이 편향이 개입될 수 있으므로 평가 지표 선택(예: CKA 기본화)과 재현성 있는 벤치마크 설계가 중요하다는 점을 시사한다.

Confidence-Aware Step-wise Preference Optimization(CASPO)로 저신뢰 추론 단계를 가지치기해 신뢰성·효율을 개선 (저자 외 7명, cs.AI, 2026.5.8)

본 연구는 추론형 LLM이 중간 단계에서 오류를 포함하더라도 최종 정답을 맞힐 수 있어, 최종 정확도와 “추론 신뢰성(Reasoning reliability)” 사이에 괴리가 생긴다는 문제의식에서 출발한다. 저자들은 토큰 수준의 confidence를 단계별 논리적 정합성과 연결하도록 정렬하는 CASPO를 제안하며, 별도의 보상모델(reward model) 학습 없이 iterative Direct Preference Optimization으로 이를 수행한다. 추론 시에는 Confidence-aware Thought(CaT)를 사용해 보정된 confidence를 근거로 불확실한 추론 가지를 동적으로 prune하여, O(V) 수준의 지연으로 추론 효율을 유지하면서 신뢰성을 높인다고 보고한다. 평가로는 10개 벤치마크와 여러 모델 계열에서 추론 신뢰성과 추론 효율을 함께 측정했으며, Qwen3-8B-Base로 확장 가능하고 AIME’24/AIME’25에서 tree-search 기반을 reward-model 데이터 없이 능가했다고 제시한다. 한계로는 단계별 신뢰성 향상이 어떤 유형의 논리 오류(예: 특정 추론 패턴)에서 가장 잘/못 되는지에 대한 추가 분석이 필요하며, 이를 위해 confidence 주석이 포함된 step-wise 데이터셋을 공개해 세부 분석을 지원한다. 정책·규제·국가 전략 측면에서는 “정확도뿐 아니라 추론 신뢰성”을 정렬·평가 지표로 포함하고, 보상모델 의존을 줄이면서도 신뢰성 개선을 달성하는 접근이 안전한 배포와 검증 비용 절감에 시사점을 줄 수 있다.

Gradient-Based LoRA Rank Allocation Under GRPO: An Empirical Study (저자 외 0명, cs.CL, 2026.5.8)

분야: 안전/거버넌스

본 연구는 LoRA에서 레이어별 중요도에 따라 랭크(파라미터)를 적응적으로 배분하면 SFT에서는 효율과 성능이 좋아진다는 관찰이, 강화학습(특히 GRPO)에서도 그대로 전이되는지 문제를 제기한다. 핵심 기여는 Qwen 2.5 1.5B에 대해 GSM8K를 사용하고, GRPO 하에서 그라디언트 크기 기반 프로파일링으로 “비례 랭크 배분”을 적용했을 때 성능이 오히려 악화됨을 실증한 점이며, 그 원인을 (i) GRPO의 그라디언트 랜드스케이프가 SFT보다 본질적으로 더 평평해 레이어 중요도 격차가 작다는 점(최대/최소 비 2.17x), (ii) 비균일 배분이 중요도 분산을 2.17x→3.00x로 확대하며 고랭크 레이어에 그라디언트가 더 흡수되고 저랭크 레이어가 점차 “침묵”되는 양의 되먹임을 만든다는 점으로 설명한다. 평가 방법은 동일한 파라미터 예산 하에서 uniform allocation과 proportional rank allocation의 정확도 차이를 비교하는 방식이며, 결과로 uniform이 74.5%, proportional이 70.0%로 약 4.5포인트 하락을 보고한다. 한계로는 특정 모델/태스크(GSM8K)와 GRPO 설정에 대한 경험적 결론이며, 다른 RL 알고리즘·데이터·모델 스케일에서의 일반화는 추가 검증이 필요하다. 정책/규제·국가 전략 시사점으로는 정렬/정책학습(강화학습) 단계에서 SFT 기반의 단순한 적응형 파라미터 배분 휴리스틱을 그대로 적용하면 성능 저하로 이어질 수 있으므로, 안전·정렬 성능을 목표로 하는 국가 단위 평가/가이드라인에서 “전이 가능성 검증”과 실험 기반 설정 검증을 강조할 필요가 있다.

Rubric-based On-policy Distillation (저자 외 9명, arXiv cs.LG, 2026.5.8)

분야: 안전/거버넌스/프론티어 평가/소버린 AI

이 연구는 온폴리시 증류(OPD)가 교사 로짓(white-box)을 요구해 블랙박스 환경에서의 적용성이 제한된 문제를 해결하려는 동기에서 출발한다. 핵심 기여로, 교사-학생 대비로부터 프롬프트별 “의미적 루브릭(rubric)”을 유도하고, 그 루브릭으로 학생의 롤아웃을 점수화한 뒤 온폴리시 최적화를 수행하는 ROPD 프레임워크를 제안한다. 평가에서는 기존 로짓 기반 OPD 방법들과 비교해 대부분의 시나리오에서 성능이 더 좋고, 최대 10배 수준의 샘플 효율 향상을 보고하며, 블랙박스(교사 응답만 사용) 호환 대안으로서의 실용성을 강조한다. 한계로는 루브릭 유도 방식이 어떤 작업/데이터에서 얼마나 일반화되는지, 그리고 루브릭 품질이 성능에 미치는 민감도에 대한 추가 분석이 필요할 수 있다. 정책·규제·국가 전략 측면에서는, 소버린/상용 모델처럼 로짓 접근이 어려운 환경에서도 정렬·증류를 수행할 수 있는 경로를 제공함으로써, 기관 간 모델 협력과 안전 정렬의 확산 가능성을 시사한다.

저자 외 4명, Emergent Symbolic Structure in Health Foundation Models: Extraction, Alignment, and Cross-Modal Transfer, arXiv, 2026.5.8

본 연구는 웨어러블 기반 헬스 파운데이션 모델이 학습한 표현(임베딩)이 무엇을 인코딩하는지 해석 가능하게 만들고, 학습 후 서로 다른 모달리티 간 지식을 어떻게 전이할지의 어려움에 동기한다. 저자들은 학습된 임베딩을 “symbols(상징)”로 분해하는 post-training 프레임워크를 제안하고, 이 심볼 방향을 이용해 재학습 없이 임베딩 공간을 정렬(alignment)한다. PPG와 가속도계 데이터에 대해 약 20M분 무라벨 데이터(약 172K 참여자)로 독립 사전학습된 3개 헬스 FM을 사용하고, 30K 홀드아웃 코호트에서 평가했으며, 추출된 심볼이 건강 상태 및 생리적 속성과 선택적으로 연관되고 모달리티/아키텍처 간 일부 공유됨을 보인다. 교차-모달 전이는 심볼 기반 정렬로 in-domain 성능의 95% 이상을 유지하며, 도메인 방향에 대해 거의 대칭적이고 소량의 paired data로도 포화되는 경향을 보고한다. 한계로는 프레임워크가 “frozen embeddings”에 기반한 후처리 방식이어서, 표현 자체의 근본적 재구성이 필요한 상황에서는 효과가 제한될 수 있으며, 심볼-의미의 임상적 일반화 범위는 추가 검증이 필요하다. 정책/규제·국가 전략 측면에서는 헬스 AI에서 모달리티 간 전이와 표현 정렬을 재학습 없이 수행할 수 있다는 점이 데이터 공유 제약 하의 배포·감사(해석가능성) 전략에 활용될 여지가 있으나, 실제 임상 적용 전 안전성·편향·일반화에 대한 독립 검증 체계가 요구된다.

(저자 외 3명, arXiv, 2026.5.8) ChartREG++: 다양한 지시 단서와 다중 타깃을 고려한 차트 지시 표현 그라운딩 벤치마킹 및 개선

차트 지시 표현 그라운딩은 비전-언어 모델의 공간 정렬·추론을 진단하는 핵심 과제이지만, 기존 벤치마크는 (i) 박스 기반에 치우쳐 정밀 로컬라이제이션이 제한되고, (ii) 단일/이중 타깃 가정으로 다중 인스턴스 지시를 충분히 다루지 못하며, (iii) 언어 단서·데이터 랭크 단서에 과도 의존하고, (iv) 차트 유형 범위가 좁다는 문제가 제기된다. 이를 해결하기 위해 저자들은 다중 로컬라이제이션 형태, 다중 타깃, 다양한 그라운딩 단서, 다양한 차트 유형을 체계적으로 포함하는 ChartREG++ 벤치마크를 제안하고, 대표적인 멀티모달 LLM들에서 유의미한 성능 격차를 보고한다. 또한 플로팅 프로그램과 렌더링된 차트 프리미티브 간 정렬 관계를 활용하는 코드 기반 합성 파이프라인으로 픽셀 단위 인스턴스 마스크를 생성하고, 이를 학습한 인스턴스 분할 모델을 범용 멀티모달 그라운딩 프레임워크에 통합해 벤치마크 및 ChartQA에서 파생한 실제 차트 그라운딩 벤치마크로 일반화 성능을 평가한다. 한계로는 합성 마스크 생성이 코드-렌더링 정렬에 의존하므로 실제 데이터/렌더링 변형에 대한 강건성은 추가 검증이 필요할 수 있으며, 벤치마크 범위(차트 유형·단서 다양성)의 확장 여지도 남는다. 정책/규제·국가 전략 측면에서는, 차트처럼 도메인 특화 시각-언어 과제에서 평가 지표를 정교화(정밀 마스크·다중 타깃·다양한 단서)하는 접근이 모델 신뢰성 검증과 규제/감사 체계 설계에 유용한 근거를 제공한다.

SR$^2$-LoRA: 저자 외 3명, arXiv, 2026.5.8

본 연구는 사전학습 모델에 대한 파라미터 효율적 미세조정(PEFT)이 클래스-증분학습(CIL)에서 새 작업을 학습할 때도 기존 작업에 대한 치명적 망각이 지속되는 문제를 다룬다. 저자들은 망각을 “레이어 간 표현 관계(inter-layer relation)의 드리프트”로 해석하고, 이러한 드리프트가 이전 작업의 분류 마진을 감소시켜 성능 저하로 이어진다고 이론적으로 보인다. 이를 완화하기 위해 SR$^2$-LoRA를 제안하며, 현재 작업 샘플에서 이전 모델과 현재 모델이 유도하는 레이어 관계 행렬의 특이값(singular values)을 정렬(align)하는 방식으로 드리프트를 제약한다. 평가에서는 표준 CIL 벤치마크에서 실험을 수행해 SR$^2$-LoRA가 치명적 망각을 효과적으로 완화하며, 작업 수가 늘어날수록 이점이 커진다고 보고한다. 한계로는 제안이 레이어 관계의 특이값 정렬에 기반하므로, 다른 유형의 표현 변화나 특정 아키텍처/데이터 설정에서의 일반화 범위는 추가 검증이 필요하다. 정책·규제·국가 전략 측면에서는, 증분 학습에서의 성능 유지(망각 완화)를 위한 효율적 미세조정 기법이 지속적/현장형 AI 시스템의 신뢰성과 운영 비용을 낮추는 데 활용될 수 있다는 점에서 실무적 시사점이 있다.

저자 외 2명, Inference-Time Attribute Distribution Alignment for Unconditional Diffusion, cs.LG, 2026.5.8

본 연구는 무조건(unconditional) 확산모델을 실사용할 때, 개별 샘플이 아니라 “샘플 집단 전체”가 특정 속성 분포(예: 인구통계적 균형, 의미적 비율)를 따르도록 제어해야 하는 문제에 동기한다. 저자들은 이를 “추론 시점 속성 분포 정렬(inference-time attribute distributional alignment)” 문제로 정식화하고, 역확산 과정을 동역학 시스템의 롤아웃으로 보고 시간에 의존하는 가산 섭동을 제어(control)로 추가하는 최적제어(optimal control) 관점으로 모델링한다. 분포-매칭 목적함수(미분 가능)를 최대화/최소화하는 섭동을 최적제어 기반 알고리즘으로 계산하되, 제어 크기에 패널티를 두어 데이터 충실도(data fidelity)를 보존하도록 설계한다. 실험에서는 플러그-앤-플레이 방식으로 사전학습 모델 재학습/파인튜닝 없이도 다양한 테스트 타깃에 대해 속성 분포 정렬 성능이 기존 기법보다 향상됨을 이미지 생성 결과로 제시한다. 한계로는 제어가 데이터 충실도와의 트레이드오프를 갖고, 목표 속성 분포의 정의/측정 방식에 따라 성능이 달라질 수 있으며(논문에서의 일반화 범위는 추가 확인 필요), 향후에는 더 넓은 속성/조건과 안정성 평가가 요구된다. 정책·규제·국가 전략 측면에서는, 인구통계·대표성 등 사회적 속성의 분포를 추론 단계에서 맞추려는 접근이 편향 완화 및 책임 있는 배포에 활용될 수 있으나, 실제 적용 시 목표 분포 설정의 정당성·감사 가능성(측정 지표, 로그, 검증 절차)이 핵심 과제로 남는다.

Cross-Modal Backdoors in Multimodal Large Language Models (저자 외 3명, cs.CR, 2026.5.8)

분야: 안전

본 연구는 멀티모달 대규모 언어모델(MLLM)을 구성할 때 사전학습 구성요소를 조립하는 과정에서 생기는 공급망(supply-chain) 공격 표면을 배경으로, 기존 연구가 주로 백본(인코더/LLM) 독성에 집중한 반면 상대적으로 간과된 “경량 커넥터(connector)”의 취약성을 문제로 제기한다. 핵심 기여는 한 모달리티에서 단일 시드 샘플과 증강 변형만으로 커넥터를 오염시켜, 다른 모달리티 입력에서도 백도어가 활성화되도록 만드는 “교차-모달 백도어” 공격을 제안하는 것이다. 방법적으로는 커넥터의 잠재공간에 악성 타깃 출력을 연결하도록 오염시키고, 이후 오염된 잠재표현에서 악성 centroid(중심점)를 추출한 뒤 입력 측 최적화를 통해 다른 모달리티 입력을 해당 잠재 앵커로 유도하며, 반복 API 질의나 전체 모델 접근 없이도 공격을 수행한다. 평가에서는 PandaGPT와 NExT-GPT 등 커넥터 기반 MLLM 아키텍처를 대상으로 공격 성공률(ASR), 은닉성(클린 입력에서의 누설), 커넥터의 가중치 코사인 유사도 등을 측정하며, 동일-모달 설정에서 최대 99.9% ASR, 교차-모달 설정에서(제한된 섭동 하) 대부분 95% 이상 ASR을 보고한다. 또한 기존 방어 전략이 유틸리티 저하를 크게 동반하지 않고는 효과적으로 완화하지 못한다고 주장하며, 커넥터 하나의 손상만으로도 모달리티 전반에 재사용 가능한 잠재공간 백도어 경로가 형성될 수 있음을 시사한다. 한계로는 특정 커넥터 기반 아키텍처/설정에서의 성능과 방어 실패 양상이 중심이며, 향후에는 모듈형 MLLM 설계에서 커넥터 검증·격리·무결성 보장 같은 안전 설계 원칙과 실증적 검증 범위를 확장할 필요가 있다. 정책/규제·국가 전략 측면에서는 모달리티 간 정렬(alignment)과 공급망 조립 과정에서 커넥터 등 경량 모듈의 무결성 검증을 포함한 보안 요구사항을 표준화할 필요가 있으며, 모듈 단위의 보안 평가(예: 백도어 내성 시험) 체계가 중요하다는 점을 뒷받침한다.

LiteGUI: Distilling Compact GUI Agents with Reinforcement Learning (저자 외 6명, arXiv, 2026.5.8)

본 연구는 온디바이스에서 구동 가능한 경량 비전-언어 GUI 에이전트를 만들기 위해, 소형 모델의 성능 한계와 SFT 기반 학습의 과적합·망각·정책 경직 문제를 해결하려는 동기에서 출발한다. 핵심 기여로는 (1) GUI 에이전트 도메인에 일반화 지식 증류를 체계적으로 통합한 Guided On-policy Distillation을 제안하고, 오라클 참조 궤적과 동적 검색 메커니즘을 결합해 환각을 줄이며 다해답 GUI 작업에서의 인지적 불일치를 완화한다. 또한 (2) 장기 지평 GUI 에이전트에서 탐색을 개선하기 위해 매크로 수준 서브태스크 계획과 마이크로 수준 실행 정합을 함께 정렬하는 Multi-solution Dual-level GRPO 프레임워크를 도입하며, (3) 다해답 주석을 풍부하게 포함한 궤적을 생성하는 자동 데이터 생성 파이프라인을 구축한다. 평가는 경량 모델군에서의 벤치마크 성능을 통해 SOTA 수준을 보이고, 더 큰 모델과도 경쟁 가능함을 실험으로 제시하며, 제거실험(ablations)으로 구조화된 온폴리시 증류와 다해답 듀얼레벨 탐색이 2B/3B 스케일 에이전트의 역량을 “기존 모방학습 한계” 이상으로 끌어올린다는 점을 확인한다. 한계로는 GUI 작업 특성상 데이터 생성·검색 품질과 오라클 참조 궤적 의존성이 성능에 영향을 줄 수 있으며, 향후에는 더 다양한 GUI 환경/도메인 일반화와 안전성(오작동·유해 행동) 평가의 확장, 그리고 온디바이스 제약 하에서의 견고성 검증이 과제로 남는다. 정책/규제·국가 전략 측면에서는 경량 온디바이스 에이전트가 개인정보·전송 비용 부담을 줄일 수 있다는 점에서, 안전한 자동화 도입을 위한 평가체계(환각/오작동 방지, 장기 작업 신뢰성)와 데이터·학습 파이프라인의 투명성 요구를 강화하는 방향의 가이드가 시사된다.

저자 외 7명, Implicit Preference Alignment for Human Image Animation, arXiv, 2026.5.8

본 연구는 인간 이미지 애니메이션에서 특히 손 동작의 고정밀 생성이 자유도와 복잡성 때문에 어렵다는 문제의식에서 출발한다. 기존 선호 기반 강화학습(예: direct preference optimization)은 엄격한 선호 쌍(preference pairs) 구축이 필요하지만, 손처럼 동적 영역은 프레임 간 일관성 문제로 쌍 생성 비용이 매우 높고 실무적으로 어렵다는 한계를 겨냥한다. 저자들은 Implicit Preference Alignment(IPA)라는 데이터 효율적인 사후(post-training) 프레임워크를 제안하며, 쌍을 직접 만들지 않고도 암묵적 보상 최대화 관점에서 (자기 생성) 고품질 샘플의 가능도를 최대화하고 사전(pretrained) 분포로부터의 일탈을 페널티하는 방식으로 정렬을 수행한다. 또한 Hand-Aware Local Optimization을 도입해 정렬 과정이 손 영역에 더 직접적으로 유도되도록 한다. 실험에서는 손 생성 품질을 개선하는 선호 최적화가 가능함을 보이면서, 선호 데이터 구성의 진입장벽을 크게 낮춘다고 보고한다. 한계로는 구체적 벤치마크/정량 지표와 일반화 범위(다른 신체 부위·다른 데이터셋·다른 사용자 선호로의 전이)가 본문 요약만으로는 확인되지 않으며, 향후에는 다양한 조건에서의 안정성과 정렬 편향을 더 체계적으로 검증할 필요가 있다. 정책/규제·국가 전략 측면에서는, 인간 피드백 기반 정렬을 위한 고비용 데이터 수집 부담을 줄이는 접근이 창작·콘텐츠 생성 분야의 안전한 배포 및 운영 비용을 낮추는 방향의 시사점을 제공한다.

Disagreement-Regularized Importance Sampling for Adversarial Label Corruption (저자 외 2명, cs.LG, 2026.5.8)

본 연구는 라벨 부정확(특히 적대적 라벨 오염) 상황에서 표준 중요도 샘플링(IS)이 고-노름(outlier) 예시에 과도하게 가중치를 두며 성능이 붕괴하는 문제를 다룬다. 저자들은 ε-오염(contamination) 모델로 이러한 “분산 감소를 위한 우선순위”와 “실제 정답/클린 데이터 구조”의 불일치를 정식화하고, 독립 프록시 앙상블 간 손실(loss) 순위(rank) 불일치(disagreement)를 정규화 항으로 사용하는 Disagreement-Regularized Importance Sampling(DR-IS) 서브샘플링을 제안한다. 이 방법에 대해 유한 표본 농도(concentration) 부등식을 제시하여, 대량(bulk) 오염 예제의 순위 불일치는 상계되고 경계(boundary) 클린 예제의 순위 불일치는 하계되며, 둘 다 확률 1-δ에서 \(O(\sqrt{\log(N/\delta)/K})\) 속도로 제어됨을 보인다. 또한 구조적 기대 차이 \(\Delta'\)가 양수이고 경계 클린 집합이 선택 부분집합 이상 크다는 조건에서 클린/오염 집합의 엄격한 분리가 성립하고, 선택된 부분집합으로의 오염 누출(contamination rate)을 통제할 수 있음을 보장한다. 실험에서는 EL2N 같은 크기(magnitude) 기반 방법을 깨는 targeted high-norm 공격 하에서도 DR-IS가 견고함을 보이며, AUM 등 학습 다이내믹스 기반 접근과 비교해 손실 정렬(loss-aligned) 영역에서의 강건성을 강조한다. 한계로는 이론적 보장에 필요한 \(\Delta'\) 및 집합 크기 조건의 실현 가능성과, 실제 데이터에서의 프록시 앙상블 설계/비용이 성능에 미칠 영향이 향후 과제로 남는다; 정책·규제 관점에서는 라벨 오염이 존재하는 데이터 파이프라인에서 “적대적 outlier에 취약한 샘플링”을 피하고, 유한 표본 수준의 오염 누출 상한 같은 정량적 안전장치를 포함하는 데이터 거버넌스 설계가 유의미한 시사점을 제공한다.

저자 외 10명, arXiv, 2026.5.8

본 연구는 스트리밍 비디오 이해에서 Video-LLM이 “언제 응답할지”를 비디오가 전개되는 동안 결정해야 하는데, 기존 방법이 시각 증거를 암묵적·질의 비특정 방식으로 모델링해 타이밍 결정이 부족하다는 문제의식에서 출발한다. Response-G1은 누적된 비디오 증거와 질의의 기대 응답 조건을 장면 그래프(scene graph)로 명시적으로 정렬하는 프레임워크를 제안하며, 파인튜닝 없이 3단계로 동작한다: (1) 스트리밍 클립으로부터 질의-유도 장면 그래프를 온라인 생성, (2) 의미적으로 관련 있는 과거 장면 그래프를 메모리 기반으로 검색, (3) 검색 정보를 활용해 프레임별 “silence/response” 트리거를 프롬프트로 결정한다. 평가/검증은 사전 정의된 벤치마크에서 proactive 및 reactive 과제 모두에 대해 기존 방법 대비 성능 우위를 보였다고 보고하며, 핵심 근거로는 명시적 장면 그래프 모델링과 검색의 효과를 든다. 한계로는 초록에 구체적 벤치마크 이름, 정량 지표, 계산비용(검색/그래프 생성 비용) 및 일반화 범위가 상세히 제시되지 않아 추가 확인이 필요하다. 정책/규제·국가 전략 시사점으로는, 스트리밍 환경에서 응답 타이밍을 더 해석 가능하게 만들려는 접근이 안전한 멀티모달 의사결정(예: 과잉/지연 응답 감소)과 관련된 기술 방향을 제공할 수 있다.

🇨🇳 저자 외 5명, Intent-Driven Semantic ID Generation for Grounded Conversational News Recommendation, cs.CL, 2026.5.8

분야: 안전/거버넌스/프론티어 평가/소버린 AI

이 연구는 대화형 뉴스 추천에서 사용자 의도가 명시적 키워드로 검색 가능한 형태가 아닐 때, 최신 기사 코퍼스에 대한 “근거(grounding)”를 어떻게 안정적으로 보장할지에 문제의식이 있다. 이를 위해 생산 대화에서 6가지 의도 유형을 식별하고, 표준 RAG의 retrieve-first 병목을 완화하기 위해 Generate-then-Match 패러다임의 intent-driven Semantic ID(SID) 생성 방식을 제안한다. 2단계 학습으로 (1) 멀티태스크 SID 정렬과 (2) GPT-4 Chain-of-Thought 증류를 수행하며, LLM이 의도를 계층적 SID prefix로 매핑한 뒤 현재 뉴스 풀에 대해 퍼지 매칭하여 완전 근거 추천을 목표로 한다. 또한 PADR(Profile-Aware Dual-Signal Reasoning)로 콜드스타트 사용자가 프로필만으로도 유효 추천을 받도록 한다. 벤치마크로 중국 메인스트림 뉴스 플랫폼에서 7B 모델을 평가했으며, 152K 오픈 생성 SID 공간에서 환각 0%와 L1 match 12.4%(랜덤 대비 4배), 콜드스타트에서는 L1 18.0%(랜덤 대비 6배)를 보고하고, 비용은 GPT-4+Hybrid RAG 대비 약 100배 낮게 제시한다. 한계로는 SID 생성 공간/매칭 방식이 특정 도메인·데이터 분포에 민감할 수 있으며, 향후에는 다른 언어·뉴스 환경으로의 일반화와 의도 유형 확장, 그리고 안전성(예: 의도 오해로 인한 부적절 추천) 평가를 더 체계화할 필요가 있다. 정책/규제·국가 전략 측면에서는 대화형 추천에서 근거 기반 생성(환각 최소화)과 콜드스타트 사용자 보호를 강조하는 방향의 가이드라인 수립에 활용될 수 있다.

Post-training makes large language models less human-like (저자 외 86명, cs.CL, 2026.5.8)

분야: 안전/거버넌스/프론티어 평가/소버린 AI

본 연구는 LLM이 인간 참여자를 대체하는 “대리(surrogate)”로 쓰일 때, 어떤 모델과 학습 단계가 인간 행동을 얼마나 잘 재현하는지 불명확하다는 문제의식에서 출발한다. 저자들은 대규모로 행동 정렬(behavioral alignment)을 측정하기 위한 새 데이터셋 Psych-201을 제안하고, 베이스 모델을 유용한 어시스턴트로 만드는 post-training 단계가 전반적으로 인간 행동과의 정렬을 일관되게 낮춘다는 결과를 제시한다. 또한 모델 세대가 최신으로 갈수록 베이스 모델 성능은 좋아지는데도 misalignment가 더 커진다고 보고하며, persona-induction(개인정보/페르소나 조건부 유도)은 개인 수준에서의 예측 개선에는 효과가 없다고 분석한다. 한계로는 인간 행동 재현을 “어떤 과제/측정”에서 평가했는지에 따라 일반화가 달라질 수 있으며, post-training의 어떤 세부 요소가 원인인지에 대한 인과 분해는 추가 연구가 필요하다. 정책·규제·국가 전략 측면에서는, LLM을 인간 대체 실험/행동 예측에 활용할 때 post-training으로 인한 인간 비유사성 위험을 고려해 검증·감사 체계를 마련하고, 안전성 평가에서 “인간 행동 정렬”을 별도 지표로 포함할 필요가 있음을 시사한다.

Quality-Conditioned Agreement in Automated Short Answer Scoring: Mid-Range Degradation and the Impact of Task-Specific Adaptation (저자 외 4명, cs.CL, 2026.5.8)

분야: 안전/거버넌스/프론티어 평가/소버린 AI

본 연구는 자동 단답형 채점(ASAS)에서 LLM의 few-shot 전환이 복잡한 부분정답(미묘한 해석이 필요한 답)에 대해 어떤 평가 불일치와 품질별 성능 저하를 유발하는지 문제의식에서 출발한다. 저자들은 생물학 오픈엔디드 문항 2개에 대해 수백 개 학생 답변과 교육 전문가의 정답 점수를 사용하고, GPT-5.2·GPT-4o·Claude Opus 4.5(몇 예시 few-shot), BERT 기반 파인튜닝 인코더, 인간 전문가를 비교하여 품질(정답의 정도) 조건부 점수 일치도를 분석한다. 평가 방법은 인간-인간 및 인간-모델 간 agreement를 품질 스펙트럼 전반에서 측정하고, 특히 완전정답/완전오답 대비 중간 품질 구간에서의 성능 저하(“mid-range degradation”)를 확인하는 방식이다. 결과적으로 인간-인간 일치가 가장 높고 안정적이며, AI는 완전정답·완전오답에서는 잘하지만 중간 구간에서 상당한 저하가 나타나며, 이 저하는 task-specific adaptation 정도에 따라 달라져 few-shot LLM(예시가 적을수록)에서 가장 심하고 파인튜닝 인코더가 가장 우수했다. 한계로는 문항이 생물학 2개로 제한되고 모델/설정이 특정 비교군에 국한된 점이 남아 있으며, 향후에는 더 다양한 과목·문항과 적응 방식(데이터 규모/형식) 전반에 대한 일반화 검증이 필요하다. 정책·규제·국가 전략 측면에서는 자동 채점이 “중간 이해 수준” 학생에게 불리한 평가 편향을 만들 수 있으므로, 품질 구간별 공정성(quality-conditioned fairness) 검증과 과제별 적응(파인튜닝 등) 요구사항을 평가·조달 기준에 포함하는 시사점이 있다.

저자 외 1명, The Endogeneity of Miscalibration: Impossibility and Escape in Scored Reporting

본 연구는 자율 에이전트의 보고를 “정확도에 대해 엄밀히 적절한(strictly proper) 점수 규칙”으로 평가해도, 에이전트가 보고를 통해 정확도 외의 채널(승인, 배분 몫, 하위 통제 등)에서 이득을 얻는 경우 왜 보정(calibration)이 깨지는지 문제를 다룬다. 핵심 기여는 내생성(endogeneity) 결과로, 주관자(감독자)가 유형을 선별하기 위해서는 비(非)아프인(non-affine) 승인 함수가 필요하지만, 일탈이 관측 불가능한 조건에서는 어떤 비아프인 승인도 결합 목적 하에서 진실 보고를 비최적으로 만든다는 “불가능성(impossibility)”을 보이는 것이다. 또한 모든 strictly proper scoring rule에 대해 성립하는 닫힌형(closed-form) 섭동(perturbation) 공식을 제시하고, 이를 피하는 “탈출(escape)”로서 승인 함수를 단계함수(threshold)로 두면(이진 inflate 여부가 유형공간의 임계값을 만들어) 모든 strictly proper scoring rule에서 1차 최적 선별을 달성할 수 있음을 구성적으로 보인다. 벤치마크/사례로는 AI 에이전트 감독과 시장 메커니즘(유사한 메커니즘-디자인 구조)을 함께 다루며, Brier 점수에서는 유형-독립 인플레이션 비용이 2차 최적과 1차 최적의 복지(welfare)를 동치로 만든다는 점과, 매끈한(C^1) 감독에서 Brier가 아닌 규칙은 복지 격차가 하한(Ω(Var(1/G'') (γ/β)^2))을 갖는다는 점을 증명한다. 한계로는 “일탈이 감지되지 않는” 구조가 불가능성의 핵심 전제이며, 실제 정책 설계에서 감지 가능성/검증 가능성을 어떻게 반영할지에 대한 추가 모델링이 필요하다. 정책·규제/국가 전략 시사점으로는, 점수 기반(부드러운) 감독만으로는 전략적 에이전트의 보정된 보고를 기대하기 어렵고, 승인·제재를 임계값 형태로 설계해 보정 보존을 달성하는 접근이 정렬(alignment) 관점에서 직접적인 설계 원칙이 될 수 있음을 시사한다.

저자 외 7명, arXiv, 2026.5.8

기후 거버넌스는 시민·시민단체·미디어·정치결정자 간의 이질적 상호작용이 복잡하게 얽히는 문제이며, 기존 ABM 연구는 개인 행동 메커니즘이나 제도/기관 동학을 각각 따로 다루는 경향이 있다는 점에서 동시 통합의 공백이 동기다. 본 논문은 인지적(개인) 의사결정 모델과 전략적(기관) 행동을 단일 시뮬레이션 프레임워크에서 모듈형으로 결합하는 다층 에이전트 기반 아키텍처를 제안한다. 핵심 기여는 (i) HUMAT·MOA 프레임워크로 구현한 동기 기반 개인 의사결정, (ii) 인구통계적 동질성(homophily) 네트워크를 통한 사회적 영향 확산, (iii) 환경 NGO·미디어·정치인에 대한 제도 전략 모듈을 포함하고, 정치적 결정이 전문가 입력·대중 동원·정당 정합성·미디어 프레이밍 등 다중 신호의 집계로 도출되도록 설계한 통합 로직에 있다. 평가/검증 측면에서는 설문 기반의 합성 인구로 경험적 캘리브레이션을 수행하고, Living Lab 이해관계자 참여로 기관 파라미터를 반영하며, 토지이용 등 기후 관련 거버넌스 시나리오 탐색을 지원하는 것을 목표로 한다(다만 본문은 실증 결과 제시보다는 설계 원리와 구조·통합 논리를 중심으로 설명한다). 한계로는 현재 단계에서 아키텍처 설계와 캘리브레이션 경로를 제시하되, 구체적 실험 결과나 예측 성능의 정량 검증은 후속 연구/일반화 및 추가 검증 경로로 남겨둔 점이 드러난다. 정책·규제·국가 전략 시사점으로는 민주적 기후 거버넌스에서 개인 인지·사회적 영향·미디어 프레이밍·정당/전문가 신호가 정책 산출로 연결되는 경로를 시뮬레이션해, 이해관계자 참여와 제도 설계(예: NGO·미디어·정치의 역할 조정)가 시나리오 수준에서 어떤 거버넌스 결과를 낳을 수 있는지 탐색할 수 있다는 점을 제공한다.

DTW-Certified Robust Anomaly Detection (저자 외 3명, arXiv cs.LG, 2026.5.8)

분야: 안전/거버넌스/프론티어 평가/소버린 AI

본 연구는 고위험 분야에서 시간열 이상탐지가 공격(특히 시간적 조작)에 취약할 수 있다는 문제의식에서 출발하며, 기존의 certified 방어가 주로 ℓp-노름 제약 하에서만 보장되고 시간열의 고유한 시간 구조를 반영하지 못한다는 한계를 지적한다. 핵심 기여는 DTW(Dynamic Time Warping) 기반 이상탐지에 대해 최초로 DTW-인증(certified) 강건성을 제공하는 방어를 제안하고, randomized smoothing 패러다임을 DTW 거리로 확장하기 위해 ℓp-노름과 DTW 간의 하한(lower-bound) 변환을 연결하는 방식으로 인증서를 구성한 점이다. 평가는 다양한 데이터셋과 모델에서 DTW 기반 적대적 공격을 포함해 실험을 수행하며, F1-score 기준으로 기존 certified 모델 대비 최대 18.7% 향상을 보고한다. 한계로는 DTW 거리 기반 인증이 특정 거리/변환 가정과 인증 범위에 의존할 수 있으며, 실제 운영 환경에서의 공격 모델 적합성 및 계산/인증 비용의 확장성은 추가 검증이 필요하다. 정책·규제·국가 전략 측면에서는 시간열 기반 안전 시스템(예: 산업 설비, 헬스케어 모니터링, 교통/인프라)의 방어를 성능뿐 아니라 “인증 가능한 강건성” 관점에서 요구·평가할 필요가 있음을 시사한다.

저자 외 5명, GASim: A Graph-Accelerated Hybrid Framework for Social Simulation, cs.AI, 2026.5.8

본 연구는 대규모 사회 시뮬레이션에서 LLM 기반 에이전트와 수치적 ABM을 결합한 하이브리드 접근이 메모리 검색 비용과 순차 ABM 실행으로 인해 지연(latency)·비용이 커지는 문제를 다룬다. 핵심 기여로, LLM 코어 에이전트의 고비용 검색 파이프라인을 Graph-Optimized Memory(GOM)의 희소 메모리 그래프 전파로 대체하고, 일반 에이전트는 Graph Message Passing(GMP)으로 순차 실행을 병렬 업데이트(세밀한 특징 집계 및 Graph Attention Network)로 전환한다. 또한 Entropy-Driven Grouping(EDG)을 도입해 정보 엔트로피를 기준으로 정보가 다양한 이웃(neighborhood)에 위치한 ‘출현적 코어 에이전트’를 동적으로 분할·조정하여 하이브리드 파티셔닝을 조율한다. 평가는 전통적 하이브리드 프레임워크 대비 엔드투엔드 속도(9.94배)와 토큰 사용량(기준 대비 20% 미만), 그리고 실제 공개 여론(public opinion) 경향과의 정합성 보존 여부를 중심으로 수행되며, 공개 코드도 제공된다. 한계로는 요약된 범위에서 안전성(예: 유해/편향 발화, 조작 가능성)이나 사회적 위험 완화 메커니즘이 명시적으로 다뤄졌는지는 불확실하며, 향후에는 시뮬레이션 결과의 안전·책임성 평가 지표와 거버넌스 절차를 포함한 확장이 필요하다. 정책/규제·국가 전략 측면에서는, 비용·지연을 줄여 더 자주/대규모로 사회 시뮬레이션을 수행할 수 있게 함으로써 여론·사회 현상 분석을 지원하는 인프라로 활용 가능하나, 실제 적용 시에는 시뮬레이터가 생성하는 사회적 영향(편향·조작·오남용)에 대한 안전 기준과 검증 체계가 병행되어야 한다.

저자 외 5명, arXiv, 2026.5.8

분야: 안전/거버넌스/프론티어 평가/소버린 AI

본 연구는 기하학적 표현(geometric representation)에 조건을 둔 분자 생성에서, 사전학습 분자 인코더(예: UniMol)가 만든 표현 공간이 비매끄럽고 생성 학습에서 충분히 활용되지 못해 성능이 제한된다는 문제의식에서 출발한다. 이를 해결하기 위해 LENSEs는 (1) 생성 과정과 동시에 학습되는 representation head로 다층 표현을 추출하고, (2) 의미적으로 유익한 표현 공간에서 생성기를 최적화하는 molecule perceptual loss를 도입하며, (3) 생성기의 은닉상태를 인코더 표현과 노드 수준에서 정렬하는 REPA loss로 사전학습-생성 간 의미 격차를 줄이는 방식으로 구성된다. 평가로는 GEOM-DRUG에서 유효성 97.28%, 안정성 98.51%를 달성해 기존 고도 방법을 상회했으며, Lipschitz 상수 감소(4.6x)와 QM9 probing 과제를 통해 표현이 더 매끄럽고 정보가 풍부해졌음을 보였다. 한계로는 제시된 개선이 특정 분자 생성 설정/데이터셋에서의 성능에 강하게 의존할 수 있으며, 표현 정렬 목표가 다른 인코더·조건부 생성 구조로 일반화되는 정도는 추가 검증이 필요하다. 정책/규제·국가 전략 측면에서는, 분자 생성 모델의 신뢰성(유효성/안정성)과 표현 품질을 체계적으로 개선하는 연구가 신약개발 등 고부가 분야의 R&D 효율을 높일 수 있어, 안전성·재현성 평가 체계와 함께 연구개발 투자 및 표준화(벤치마크/검증 프로토콜) 필요성을 시사한다.

저자 외 4명, DRIP-R: A Benchmark for Decision-Making and Reasoning Under Real-World Policy Ambiguity in the Retail Domain, cs.CL, 2026.5.8

LLM 기반 에이전트가 실제 업무에 투입되지만, 현실의 도메인 정책은 다의적으로 해석될 수 있어 단일한 “정답” 결정을 기대하기 어려운 문제가 있다. 이 논문은 기존 에이전트 벤치마크가 대체로 정책이 명확하다는 가정을 하며, 정책 모호성 하에서의 의사결정·추론을 체계적으로 평가하지 못한다는 공백을 겨냥해 DRIP-R을 제안한다. DRIP-R은 반품/환불 등 리테일 정책에서 의도적으로 모호한 상황을 선별하고, 현실적인 고객 페르소나를 결합한 시나리오를 구성하며, 도구 호출을 포함한 풀-듀플렉스 대화 시뮬레이션과 함께 정책 준수, 대화 품질, 행동 정합성, 해결(해결책) 품질을 다중 저지(multi-judge)로 평가한다. 실험 결과 동일한 정책 모호 시나리오에서도 프론티어 모델들 간 근본적 불일치가 관찰되어, 모호성이 LLM 의사결정의 체계적 난제로 작동함을 보여준다. 한계로는 리테일 도메인에 초점을 둔 벤치마크 성격이 있으며, 향후 다른 산업/정책 유형으로의 확장과 모호성 처리(예: 불확실성 고지, 정책 확인 절차) 방법의 비교가 필요하다. 정책·규제 관점에서는 “정답이 없는 상황”에서의 일관성·설명가능성·고객 보호 수준을 평가하는 벤치마크가 요구되며, 국가/기관 차원의 에이전트 안전 기준 수립 시 모호성 하 성능을 포함할 필요가 있다는 시사점을 준다.

저자 외 3명, Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences, cs.LG, 2026.5.8

이 연구는 재귀적(반복) 생성 모델 재학습에서 합성 데이터가 단일 고정 보상에 의해 선별될 때 나타나는 표현 붕괴(representation collapse) 문제를 다룹니다. 핵심 기여는 여러 보상 함수(이질적 선호)를 기준으로 합성 데이터를 큐레이션하면 붕괴가 “불가피”하다는 기존 결론을 완화할 수 있음을 이론적으로 보이는 데 있습니다. 저자들은 이질적 선호 하에서 재학습의 동역학을 형식화하고, 특정 조건에서 모델이 경쟁하는 고보상 영역들에 확률 질량을 분배하는 안정 분포로 수렴함을 증명합니다. 평가/검증은 실험보다는 수렴성·안정성·분포 다양성 및 “가중 Nash bargaining” 해를 만족하는 성질을 정리 형태로 제공하는 방식이며, 벤치마크 대신 수학적 정당화가 중심입니다. 한계로는 증명에 필요한 조건의 범위와 실제 학습 파이프라인(모델/최적화/큐레이션 구현)에서의 적용 가능성은 추가 검토가 필요합니다. 정책·규제·국가 전략 측면에서는, 합성 데이터 기반 정렬/재학습에서 단일 목표 최적화가 위험(다양성 붕괴·편향 강화)을 만들 수 있으므로 다중 이해관계자/다중 가치 신호를 반영하는 큐레이션 설계가 안전 거버넌스에 유의미한 시사점을 제공합니다.

저자 외 12명, TextLDM: Language Modeling with Continuous Latent Diffusion, cs.CL, 2026.5.8

분야: 안전/거버넌스/프론티어 평가/소버린 AI 중 안전

TextLDM은 시각 생성에서 확립된 연속 잠재공간 확산(예: VAE+DiT+flow matching) 레시피를 언어 모델링에 적용해, 생성과 이해를 아우르는 단일 확산 아키텍처로 확장하려는 동기를 가진다. 핵심 기여는 (1) Transformer 기반 VAE가 이산 토큰을 연속 잠재로 매핑하고, (2) REPA(Representation Alignment)로 사전학습 언어모델의 표현과 잠재 표현을 정렬한 뒤, (3) 표준 DiT가 동일한 구조로 잠재공간에서 flow matching을 수행하도록 한 점이다. 평가/검증은 OpenWebText2에서 처음부터 학습해 기존 확산 기반 언어모델을 크게 능가하고, 동일 설정에서 GPT-2와 비슷한 성능을 보인다고 보고한다. 한계로는 본문에서 주로 재구성 충실도와 REPA의 중요성을 강조하며, 안전성/편향/오남용 평가나 다양한 벤치마크 전반의 일반화는 제한적으로 제시된 것으로 보인다. 정책·규제·국가 전략 시사점으로는, 텍스트 생성 성능이 확산 기반으로도 강하게 향상될 수 있음을 보여주므로 안전 가드레일과 평가 체계(오남용 탐지, 편향·유해성 측정, 모델 카드/데이터 거버넌스)가 확산형 언어모델에도 동일하게 적용되어야 한다는 점을 시사한다.

저자 외 10명, HuggingFace Daily Papers, 2026.5.8

본 연구는 멀티모달 LLM 학습에서 고품질 “쌍(pair)” 멀티모달 데이터가 부족할 때, 대비학습 기반 공유 표현공간을 이용해 단일모달 데이터로도 멀티모달 학습을 가능하게 하는 접근의 전제(모달리티 표현의 신뢰 가능한 상호교환 가능성)를 이해하는 데 동기가 있다. 핵심 기여는 모달리티 갭을 단순한 전역 이동이 아니라, 소수의 지배적(dominant) 방향에 집중된 비등방성(anisotropic) 잔차 구조로 재해석하고, “타깃 모달리티 분포에 맞추되 소스의 의미 구조를 보존”하는 정렬 원칙(Anisotropic Modality Gap Alignment)을 제안한 것이다. 이를 바탕으로 unpaired 모달리티 정렬을 위한 기하학적 보정 프레임워크 AnisoAlign을 제시하며, 타깃 모달리티의 내부 기하 prior를 활용해 소스 표현을 bounded correction하여 타깃 모달리티의 대체(substitute) 표현을 구성한다. 평가는 기하학적 진단(모달리티 갭의 구조/정렬 개선 여부)과 텍스트-전용(text-only) MLLM 학습에서의 성능 향상으로 확인되었다. 한계로는 제안이 “지배적 방향” 및 타깃 모달리티의 기하 prior에 의존하므로, 모달리티 간 구조가 크게 다르거나 prior 추정이 어려운 설정에서의 일반화 범위가 추가 검증 대상이다. 정책/규제·국가 전략 시사점으로는, 고가의 쌍데이터 없이도 멀티모달 성능을 끌어올리는 학습 효율화가 가능하다는 점에서 데이터 접근성 격차를 완화하고, 안전·거버넌스 관점에서 모달리티 정렬 실패/오정렬이 성능·신뢰성에 미치는 영향을 평가 항목으로 포함할 필요가 있다.

저자 외 3명, cs.CL, 2026.5.8

본 연구는 LLM의 안전 정렬(refusal) 과정에서 흔히 나타나는 “rigid rejection”(예: “I cannot fulfill this request” 같은 단일 템플릿이 과도하게 작동해 대화 자연성을 크게 저해) 문제를 다룬다. 핵심 기여로 LANCE를 제안하며, variational inference 기반의 label enhancement로 여러 거절 범주에 걸친 연속 분포를 예측해 더 세분화된 거절 신호(다중 범주 텍스트 그라디언트)를 만든다. 이를 refinement 모델이 프롬프트의 유해 요소를 중화(neutralize)하도록 유도하여, 안전을 유지하면서도 거절 표현을 경직되지 않게 만들어 자연스러운 응답을 생성하도록 한다. 실험에서는 LANCE가 기존 베이스라인 대비 rigid rejection 완화와 함께 보안/안전 기준을 유지하면서 helpfulness와 naturalness 지표에서 유의미한 개선을 보였다고 보고한다. 한계로는 거절 범주 설계 및 라벨-분포 예측이 어떤 데이터/정렬 설정에서 일반화되는지, 그리고 실제 위해 유형 전반에서의 강건성이 추가 검증이 필요하다는 점이 남는다. 정책·규제/국가 전략 측면에서는 “거절의 안전성”뿐 아니라 “거절의 상호작용 품질(대화 자연성)”을 함께 최적화하는 정렬·평가 요구가 강조되며, 안전 거버넌스에서 템플릿 기반 거절의 부작용을 줄이기 위한 기술적 가이드로 활용될 여지가 있다.

Flatness and Gradient Alignment Are Both Necessary: Spectral-Aware Gradient-Aligned Exploration for Multi-Distribution Learning (저자 외 0명, arXiv cs.LG, 2026.5.8)

분야: 안전

본 연구는 sharpness-aware(SAM 계열)와 gradient-alignment(정렬/일관성 계열) 기법이 각각 손실 지형의 서로 다른 기하학적 성질만을 다루면서, 다중 분포(도메인/태스크) 학습에서 일반화 오차를 충분히 설명·개선하지 못한다는 문제의식에서 출발한다. 저자들은 excess-risk를 분해해 두 개의 선도 항이 각각 (i) 정렬(alignment) 항과 (ii) 곡률(curvature) 항으로 독립적으로 기여함을 보이며, 정렬 항은 \(\mathrm{tr}(\bar{H}^{-1}\Sigma_g)\), 곡률 항은 \(\bar{H}\)에 의해 제어된다고 제시한다. 또한 일반적으로 두 양(정렬 항/곡률 항)이 서로를 상계하지 못함을 반례로 보이며, 따라서 한 항만 겨냥하는 알고리즘으로는 낮은 excess risk를 보장할 수 없다고 주장한다. 이를 동기로 SAGE를 제안하며, 곡률 성분은 SAM의 gradient-scaled perturbation을 각 레이어 gradient 행렬의 polar factor(뉴턴-슈ulz 반복으로 계산)로 대체해 모든 방향을 유사한 크기로 탐색하고, 정렬 성분은 분포 간 gradient 불일치 정도에 비례하는 등방성 노이즈를 하강 단계에 주입한다. 실험은 5개 도메인 일반화 및 2개 멀티태스크 벤치마크에서 DomainBed의 새로운 SOTA를 포함해 베이스 MTL 솔버 전반에 대한 일반 목적 개선 효과를 보이며, 한계로는 제안이 이론적 분해의 가정/근사에 의존할 수 있고(구체적 조건은 본문 확인 필요), 안전(safety) 관점에서는 직접적인 위험 완화보다는 일반화 성능 향상에 초점이 맞춰져 있다는 점이 남는다. 정책/규제·국가 전략 시사점으로는, 다중 분포 환경에서의 성능·일반화 안정성을 높이는 방법론이 실제 배치(도메인 이동, 태스크 변화)에서의 실패 가능성을 줄이는 방향으로 활용될 수 있으며, 특히 “단일 기하학적 지표만 최적화”하는 접근의 한계를 고려해 평가·개발 지침에서 다중 지표(예: 곡률/정렬 관련 지표)를 함께 점검하도록 유도할 필요가 있다.

Graph-Structured Hyperdimensional Computing for Data-Efficient and Explainable Process-Structure-Property Prediction (저자 외 7명, arXiv cs.LG, 2026.5.8)

Multiphoton photoreduction 기반 3D 마이크로구조 제작에서 공정-구조-물성(PSP) 예측이 데이터가 희소하고 이질적이며 상호작용이 지배적이라 어려운 문제를 다룬다. 본 논문은 공정 파라미터와 구조/물성 간의 방향성 의존성을 “PSP 그래프”로 두고, 이를 내부 prior로 삼아 표현·추론·설명을 동시에 수행하는 그래프-구조 하이퍼차원 컴퓨팅 프레임워크 PSP-HDC를 제안한다. 고정된 하이퍼차원 basis 위에서 스칼라-하이퍼벡터 인코더가 파라미터별 임베딩을 학습하고, 그래프의 방향 의존성에 맞춰 binding/bundling으로 샘플 표현을 구성한 뒤, 연관 메모리 검색으로 클래스 프로토타입에 기반해 예측한다. 설명은 동일한 프로토타입 메모리를 의사결정과 attribution에 함께 사용하여 파라미터 수준, 그룹 수준, 그룹 내부 수준으로 제공하며, 학습 중 메모리 정렬/분리를 통해 프로토타입 형성 정도를 정량화한다. 평가로는 3D 플랫폼의 sheet-resistance regime 예측에서 1000개 랜덤 split 기준 정확도 0.910±0.077, process-fold 일반화에서 0.896을 보고하며 강한 베이스라인을 능가한다. 한계로는 특정 PSP 그래프 구조/의존성 정의에 대한 민감성과, 실제 공정 개발 초기 단계에서의 데이터 확장/전이 성능을 더 넓은 조건에서 검증할 필요가 있으며, 정책·규제 관점에서는 공정 개발에서 데이터 효율성과 설명가능성을 높여 실험-검증 비용을 줄이는 방향의 “설명 가능한 공정 모델” 요구에 부합하는 사례로 활용될 수 있다.

(저자 외 0명, arXiv, 2026.5.8) Position: Mechanistic Interpretability Must Disclose Identification Assumptions for Causal Claims

분야: 안전/거버넌스

본 연구는 기계적 해석(mechanistic interpretability) 문헌에서 회로·매개변수·인과 추상화·단의미성(monosemanticity) 등 인과 언어가 늘어나는 상황에서, 인과적 주장에 필요한 식별(identification) 가정이 명시적으로 공개되지 않는 문제를 제기한다. 저자들은 4가지 방법론 계열에 걸친 10편을 대상으로 한 목적적(purposive) 감사와, 30개 사례에 대한 2인 코더의 재현 코딩을 통해 “식별 가정 전용 섹션 부재”와 “검증 지표(예: faithfulness, completeness, monosemanticity, alignment, ablation 효과)를 인과적 근거로 대체하는 반복 패턴”을 확인한다. 평가/사례로는 문헌 내 보고 관행을 체계적으로 점검하고, 코딩 규칙에 따라 일부 세부 수치(예: Dim B/D 카운트)가 달라질 수 있음을 함께 기록한다. 한계로는 코딩 규칙 민감성과, 감사 범위가 특정 표본(10편/30개 코딩)이라는 점이 있으며, 향후에는 더 넓은 표본과 실제 인과 주장에 대한 영향(가정 실패 시 결론 변화)을 정량화하는 연구가 필요하다. 정책·규제·국가 전략 측면에서는, 인과적 안전 주장(예: 메커니즘 기반 위험 완화/탐지 성능의 인과성)을 할 때 식별 가정 공개를 요구하는 투명성 규범을 학술·평가 체계에 반영할 필요가 있다는 시사점을 제공한다.

Reason to Play: 저자 외 8명, arXiv cs.AI, 2026.5.8

본 연구는 인간이 새로운 환경에서 규칙을 발견하고 가설을 갱신하며 다단계 계획을 세우는 학습·의사결정 과정을 현대 AI가 유사하게 수행·설명할 수 있는지(행동 및 뇌 정렬)라는 문제를 다룬다. 이를 위해 규칙 발견과 가설 수정, 다단계 계획이 필요한 복잡한 비디오 게임을 학습하는 참가자 데이터셋과 동시 fMRI를 수집하고, 여러 프론티어 Large Reasoning Models(LRMs)를 모델-프리/모델-베이스 강화학습 에이전트 및 베이지안 이론 기반 에이전트와 함께 “게임 플레이 능력, 인간 학습 행동 일치, 동일 과제에서의 뇌 활동 예측”으로 공동 평가한다. 결과적으로 프론티어 LRMs가 게임 발견 단계에서 인간의 행동 패턴을 가장 잘 모사하고, 강화학습 대안들보다 대뇌 및 피질하 영역에서 뇌 활동을 약 1자릿수(orders of magnitude) 더 잘 예측하며, 순열(permutation) 통제에서도 효과가 견고하다고 보고한다. 또한 조작 실험을 통해 뇌 정렬이 모델의 다운스트림 계획/추론보다는 게임 상태에 대한 인컨텍스트 표현(in-context representation)과 더 관련됨을 보인다. 한계로는 특정 게임/과제 맥락에서의 정렬을 일반화하는 데 추가 검증이 필요하며, 뇌 예측 성능이 곧 인과적 메커니즘을 완전히 보장하지는 않는 점이 남는다. 정책·규제/국가 전략 측면에서는, 프론티어 모델 평가를 단순 성능 벤치마크를 넘어 행동·신경 정렬 같은 “인간 중심 정합성” 지표로 확장하고, 안전성 논의에서 모델의 내부 표현이 실제 인지 과정과 어떻게 대응되는지 검증하는 평가 프레임을 강화할 근거를 제공한다.

(저자 외 3명, arXiv cs.LG, 2026.5.8) Beyond Pairs: Your Language Model is Secretly Optimizing a Preference Graph

본 연구는 DPO가 기본적으로 쌍(pair) 선호 비교에 의존하는데, 실제 학습 데이터는 한 프롬프트에 대해 여러 롤아웃이 존재해 더 풍부한(전이성 포함) 선호 구조가 생긴다는 문제의식에서 출발한다. 저자들은 롤아웃 랭킹으로부터 유도되는 유향 비순환 선호 그래프를 사용해, 그래프 구조 위에서 Plackett–Luce 계열의 목적함수를 최적화하는 GraphDPO를 제안하며, 전이성을 간선(edge) 관계로 강제하고 표준 DPO는 특수한 경우로 회귀됨을 보인다. 또한 이산적이거나 희소한 신호를 다루기 위해 동일 선호를 갖는 응답을 동치 클래스(레이어)로 구성해 레이어 내부 간선은 손실 0이 되도록 하여 잘못된(스퍼리어스) 그래디언트 생성을 줄인다. 실험에서는 추론 및 프로그램 합성 과제에서 그래프 기반 선호 모델링이 쌍 기반 및 listwise 정렬 정렬 목적 대비 성능이 우수하며, per-prompt 복잡도를 선형으로 유지하기 위한 log-sum-exp 집계를 사용한다고 보고한다. 한계로는 그래프가 롤아웃 랭킹/우위 관계에 의존하므로, 랭킹 품질이나 오라클(정답) 앵커링 설계에 민감할 수 있으며, 향후에는 더 다양한 데이터 생성/랭킹 체계에서의 견고성 검증이 필요하다. 정책·규제·국가 전략 관점에서는, 선호 정렬에서 데이터의 구조적 정보를 더 잘 활용하면 RLHF의 불안정성을 줄이고 정렬 성능을 높일 수 있어(특히 안전 관련 정렬 목표에서) 정렬 데이터 설계·평가 프로토콜을 “쌍 비교 중심”에서 “구조적 선호 그래프”로 확장하는 방향의 근거가 될 수 있다.

(저자 Yo Ehara, cs.CL, 2026.5.8) Accurate and Efficient Statistical Testing for Word Semantic Breadth

분야: 안전/거버넌스/프론티어 평가/소버린 AI 중 안전

본 연구는 단어 의미의 “폭(문맥 전반에 걸친 분산/다양성)”을 임베딩 기반 통계로 측정할 때, 두 단어 유형 간 비교에서 단순 분산 가설검정이 방향(semantic direction) 차이를 분산 차이처럼 오인하여 Type-I error를 과대평가할 수 있다는 문제를 다룬다. 이를 해결하기 위해 두 단어 유형의 토큰 벡터 구름에서 평균 방향을 Householder reflection으로 정렬한 뒤, 정렬된 구름에 대해 permutation test를 수행하는 비모수적 검정 절차를 제안한다. 실험에서는 제안된 정렬이 Type-I error를 32.5% 감소시키면서도 실제 의미 폭 차이에 대한 민감도는 유지했으며, GPU 배치 구현으로 CPU 대비 23배 속도 향상을 보고한다. 한계로는 본 방법이 “방향 차이를 분리”하는 정렬 가정에 의존하며, 다양한 임베딩/도메인 설정에서의 일반화 범위는 추가 검증이 필요하다. 정책·규제·국가 전략 관점에서는, 의미 다양성/도메인 사전 구축 등 언어 자원 의사결정에서 통계적 유의성의 오판을 줄여 데이터 기반 분류·정책 도구의 신뢰도를 높이는 데 시사점이 있다.

Flow-OPD: On-Policy Distillation for Flow Matching Models (저자 외 9명, arXiv, 2026.5.8)

본 연구는 멀티태스크 정렬에서 기존 Flow Matching(텍스트-이미지) 모델이 보이는 보상 희소성(스칼라 보상으로 인한)과 이질적 목적함수 동시 최적화로 인한 그래디언트 간섭이 결합되어 ‘시소 효과’와 보상 해킹을 유발하는 문제를 다룹니다. 핵심 기여는 Flow Matching에 On-Policy Distillation(OPD)을 통합한 사후학습 프레임워크 Flow-OPD로, (1) 단일 보상 GRPO로 도메인 특화 교사들을 먼저 한계 성능까지 끌어올린 뒤, (2) Flow 기반 Cold-Start로 초기 정책을 만들고, (3) 온폴리시 샘플링·태스크 라우팅 라벨링·궤적 수준 조밀 감독의 3단 오케스트레이션으로 이질 전문가를 단일 학생에 통합합니다. 또한 Manifold Anchor Regularization(MAR)을 도입해 태스크 비의존 교사로부터 전 데이터 감독을 받아 생성이 고품질 매니폴드에 ‘앵커링’되도록 하여 RL 중심 정렬에서 흔한 미적 열화(예: 이미지 품질 저하)를 완화합니다. 평가로는 Stable Diffusion 3.5 Medium 기반 실험에서 GenEval 점수 63→92, OCR 정확도 59→94로 약 10점 수준의 전반적 개선을 보고하며, 이미지 충실도와 인간 선호 정렬을 유지하고 ‘teacher-surpassing’ 현상도 관찰합니다. 한계로는 본문에서 구체적 실패 모드(예: 특정 태스크 조합에서의 안정성, 장기 학습 시 붕괴, 보상 해킹의 잔존 정도)나 일반화 범위가 상세히 제시되지는 않으며, 향후에는 더 다양한 벤치마크와 안전성/정렬 견고성의 체계적 검증이 필요합니다. 정책·규제·국가 전략 측면에서는, 보상 해킹과 정렬 불안정성을 줄이기 위한 온폴리시 기반 사후정렬 및 궤적 수준 감독 같은 방법이 ‘성능 향상’뿐 아니라 ‘정렬 안정성’ 확보 전략으로 활용될 수 있음을 시사합니다.

Zero-Shot Imagined Speech Decoding via Imagined-to-Listened MEG Mapping (저자 외 1명, arXiv cs.LG, 2026.5.8)

본 연구는 비침습 뇌신호(MEG)로 ‘상상된 말(imagined speech)’을 해독하려면 상상 데이터가 희소하고 피험자/세션 간 시간 정렬이 어렵다는 문제를 해결하려는 동기에서 출발한다. 핵심 기여는 상상 데이터가 아니라 더 풍부하고 라벨이 신뢰되는 ‘청취(listened) 말’ MEG를 매핑의 중간 매개로 활용하는 3단계 파이프라인을 제안한 점이며, (1) 상상→청취 MEG 매핑을 위해 6종의 선형/신경 모델을 학습하고, (2) 청취 MEG로부터 단어 디코더를 대조학습 기반으로 학습하며(의미/음향/음소 등 임베딩 전략 4종 비교), (3) 보류 피험자의 상상 MEG를 매핑해 청취 표현을 만든 뒤 청취 디코더로 단어를 복원한다. 평가는 보류 피험자(unseen/held-out subjects)에서 널(null) 기준 대비 자극-특이 정보 보존 여부와, 순위(rank) 기반 분석으로 상상 단어가 우연보다 유의하게 해독되는지 확인하는 방식으로 수행된다. 한계로는 proof-of-concept 구현이며, 실제 BCI 환경에서의 일반화(자극/개인차/데이터 품질 변동)와 장기적 안정성은 추가 검증이 필요하다. 정책·규제·국가 전략 측면에서는 상상 음성 해독 같은 고민감 신경정보의 처리·보안·동의(privacy/consent)와, 비침습 신경기술의 성능·오남용 위험을 고려한 안전성 평가 프레임을 선제적으로 마련할 필요가 있음을 시사한다.

🇺🇸 토폴로지 기반 정렬(trajectory topology loss, topological preference optimization)로 LLM 생성 궤적을 정규화 (저자 외 2명, arXiv, 2026.5.8)

SFT와 DPO/RLHF에서 표현 공간의 전역 기하(trajectory geometry)를 무시하는 문제를, 생성이 hidden space에서 의미 궤적을 그린다는 세팅으로 다룬다. SFT에는 prompt–gold 임베딩을 혼합 점군으로 보고 0D persistent homology로 “prompt-answer bridge”를 추출해 Trajectory Topology Loss(TTL)로 실제 업데이트 방향을 정규화하며, DPO에는 중간 hidden layer에서 topic별 의미 preference vector를 만들어 rejected–chosen의 개선 방향을 그 벡터와 정렬하는 Topological Preference Optimization(TPO)와 DPO/TPO 동적 가중치를 사용한다. Qwen2.5-7B-Instruct에서 UltraChat 및 Anthropic HH-RLRLHF로 평가했을 때, 자동 preference 지표와 LLM-judge 평가에서 비(非)토폴로지 정규화 대비 일관된 우위를 보이면서 독성(toxicity)은 유지 또는 개선되었다.

저자 외 3명, arXiv, 2026.5.8

시각적 컨텍스트 압축으로 텍스트를 이미지로 렌더링하는 MLLM 세팅에서, 이미지 해상도 저하가 안전 정렬을 우회하는 취약점을 유발하는 문제를 다룬다. 다양한 시각 교란(해상도 저하, 노이즈, 기하 왜곡) 하에서 SOTA 모델의 안전 방어가 급격히 악화되는지 실험하고, “Cognitive Overload” 가설로 주의를 안전 점검에서 분산시키는 원인을 제시한다. 해상도 저하로 인한 방어 성능 저하를 완화하기 위해 시각 전사와 안전 평가를 직렬 파이프라인으로 분리하는 “Structured Cognitive Offloading”을 제안하며, 이 전략이 우회 위험을 줄인다고 보고한다.

Phone-Use 에이전트 안전평가를 “안전 회피”와 “행동 불가”로 분리 (저자 외 18명, arXiv, 2026.5.8)

전화 사용 에이전트가 위해를 피했을 때 그 원인이 “위험을 인지하고 안전 행동을 선택”한 것인지, “화면 이해/행동 실행 실패로 아무 것도 못한 것”인지 기존 벤치마크가 구분하지 못하는 문제를 다룬다. 130개+ 앱의 실제 상호작용에서 700개의 안전-위험 순간을 뽑아, 각 인스턴스를 다음 의사결정으로 고립하고 안전 행동/위험 행동/유용한 행동 실패 중 무엇을 하는지로 평가하는 PhoneSafety 벤치마크를 제안·실험했다. 결과로 (1) 일반 앱 과제 성능이 높다고 위험 순간의 안전 선택이 항상 보장되지 않으며, (2) 유용한 행동 실패는 안전 신호가 아니라 능력 신호처럼 더 시각·조작 요구가 큰 설정에 집중되고 프로토콜 변경에도 안정적으로 나타난다고 보고한다.

저자 외 3명, arXiv, 2026.5.8

값(도움됨/무해함/정직 등) 유도를 통해 특정 행동 특성·가치를 강화할 때, 다른 가치 표현·안전·인간화(anthropomorphic)·사이코패시(sycophancy) 같은 의도치 않은 효과가 어떻게 변하는지 다룬다. 기존 선호(preference) 데이터셋에서 가치 부분집합을 큐레이션해 모델을 파인튜닝하고, 다른 가치 표현, 모델 안전, 인간화 언어, QA 벤치마크를 측정했다. 결과로 (i) 유도된 가치는 관련되거나 때로는 대비되는 다른 가치 표현도 함께 바꾸며, (ii) 긍정적 가치 유도는 안전을 높이고, (iii) 모든 가치 유도는 인간화 언어 사용을 증가시켜 더 검증적(validating)이고 더 사이코패시하게 만든다고 보고한다.

장기 에이전트에서 명확화(clarification) 타이밍이 성능에 미치는 영향(저자 외 4명, arXiv, 2026.5.8)

장기 실행(수백 단계) 에이전트에서 지시가 불완전할 때, 어떤 정보 차원(목표/입력/제약/맥락)을 언제 명확화해야 성능이 달라지는지 실험적으로 측정한다. 강제 주입(forced-injection) 프레임워크로 궤적의 통제된 시점들에 정답 명확화를 제공하고, 4개 정보 차원 × 3개 에이전트 벤치마크 × 4개 프론티어 모델(총 84개 태스크 변형, 6,000+ runs)에서 pass@3 변화를 비교했다. 결과로 목표 명확화는 실행 10% 이후 가치가 거의 사라져 pass@3가 0.78에서 baseline으로 감소했으며, 입력 명확화는 약 50%까지 가치가 유지되고, 어떤 명확화든 중간 이후로 미루면 “절대 안 묻는 경우”보다 성능이 떨어졌다. 또한 300개 비스크립트 세션에서 어떤 모델도 경험적 최적 창(window) 내 명확화를 하지 못했으며, 과잉 질문 52%와 미질문(never asking)도 관찰됐다.

GLiGuard: Schema-Conditioned Classification for LLM Safeguard (저자 외 3명, arXiv, 2026.5.8)

LLM의 다중 안전 차원(프롬프트 안전, 응답 안전, 거부 탐지, 14개 위해 범주, 11개 jailbreak 전략)을 실시간으로 분류·중재하는 문제를 다룬다. GLiGuard는 GLiNER2 기반 0.3B 파라미터 스키마-조건부 양방향 인코더를 사용해 작업 정의와 라벨 의미를 입력의 구조화된 토큰 스키마로 인코딩하고, 단일 비자기회귀 forward pass로 동시 평가를 수행한다. 9개 안전 벤치마크에서 7B–27B 디코더 기반 가드와 경쟁 수준의 F1을 보이면서 23–90× 더 작고, 처리량은 최대 16×, 지연은 17× 낮다.