AI 안전 다이제스트

저자 외 7명, HuggingFace Daily Papers, 2026.4.25

본 연구는 파인튜닝에 앞서 데이터의 영향도(가치)를 추정해 투명성과 책임성을 높이려는 동기에서 출발하며, 기존 데이터 밸류에이션이 그라디언트 기반이라 대규모(수십억 파라미터) 모델에서 계산비용이 커 배치 병렬화도 어렵다는 문제를 다룬다. For-Value는 마지막 레이어에서의 최종 은닉표현과 예측 오차 간 정렬(alignment)을 통해 데이터 밸류를 포착할 수 있음을 이론적으로 제시하고, 이를 단일 포워드 패스로 계산 가능한 폐형식(closed-form)으로 구현해 백프로파게이션 없이 효율적으로 값을 산출한다. 평가에서는 영향력 있는 데이터 탐지 및 라벨 오류(mislabeled data) 탐지에서 그라디언트 기반 기준선과 성능이 동등하거나 더 나은 결과를 보이며, 동시에 계산 효율을 크게 개선함을 실험으로 제시한다. 한계로는 “마지막 레이어 표현-오차 정렬” 가정이 다양한 아키텍처/학습 설정에서 얼마나 일관되게 성립하는지에 대한 추가 검증이 필요할 수 있으며, 실제 운영 환경에서의 데이터 품질·분포 이동에 대한 강건성 평가는 후속 과제로 남는다. 정책/규제·국가 전략 측면에서는, 모델 성능뿐 아니라 데이터 기여도를 효율적으로 추적·문서화할 수 있는 방법이 데이터 거버넌스(책임성, 감사 가능성) 체계에 활용될 여지가 있다.

AI 안전 학습이 임상적 치료에 해를 줄 수 있다는 연구(2026.4.25)

제출일: 2026.4.25

대규모 언어모델을 정신건강 지원 에이전트로 배치하는 가운데, 임상 효능 검증이 충분히 이뤄지지 않았고 시뮬레이션에서 심리 악화가 관찰될 수 있다는 문제를 다룹니다. 250개의 장기노출(PE) 시나리오와 146개의 CBT 인지 재구성 과제를 4개 생성 모델에 적용해 평가했으며, 표면적 동의는 높았지만 고강도 상황에서 치료 적절성 점수가 크게 떨어지고 일부 모델은 프로토콜 준수가 0에 이르렀다고 보고합니다. RLHF 안전 정렬이 상상노출 과정에서 환자를 ‘고정’시키거나, 통제된 과제에 위기 자원을 삽입하거나, 왜곡된 인지(자해 언급)를 도전하지 않는 방식 등으로 치료 메커니즘을 방해할 수 있다고 분석합니다. 저자들은 다섯 축(프로토콜 충실도, 환각 위험, 행동 일관성, 위기 안전, 인구통계 강건성) 평가를 모두 통과하기 전에는 AI 정신건강 시스템의 배포를 진행하면 안 된다고 주장합니다.