AI 안전 다이제스트

🇺🇸 Trustworthy and ethical intrusion detection for healthcare internet of medical things using reinforcement learning and governance rules (2026.6.6)

연구 · 🏥

헬스케어 IoMT에서 침입 탐지 후 자동 대응이 임상적으로 안전하고 운영상 허용 가능한지까지 고려하는 거버넌스 기반 프레임워크를 제안한다. Random Forest 흐름 기반 탐지기, Deep Q-Network triage 에이전트(4개 대응 중 선택), NIST AI Risk Management Framework를 반영한 윤리 규칙 엔진(unsafe action 제약·fallback·audit log)을 결합해 응답을 제한한다. CIC-IoMT 2024에서 in-domain DQN triage의 weighted F1-score는 0.978이며, governance 적용으로 benign blocking이 25.3%에서 17.3%로 감소했다. 도메인 이동 스트레스 테스트에서 CAS retention은 Random Forest 0.282, DQN triage 0.341이었고, temporal streaming replay의 shifted replay window에서 mean decision harm cost는 unconstrained DQN 0.502에서 governed DQN 0.434로 낮았다(거절/거부·complied·unclear 같은 범주 정의는 본문에 없음).

Beyond Injection Detection: A Positive-Security Prompt Firewall that Closes the Scope and PHI Gap SOTA Classifiers Miss in Healthcare (2026.6.6)

연구 · 🏥🧪🚨

LLM 기반 헬스케어 에이전트에서 prompt injection 탐지기가 놓치는 PHI 유출·범위 이탈·그럴듯한 out-of-scope 요청을 차단하는 “positive-security prompt firewall” QFIRE를 제안한다. QFIRE는 Rust 프록시/CLI 형태로 배치되며, (1) 모델 호출을 선언된 자연어 목적에 한정하는 scope 제약, (2) 비용이 싼 규칙부터 비동기적으로 여러 detector를 동시에 실행하는 detector graph, (3) Base64 hex/ROT13 디코딩·동형문자/leet 변환·zero width 문자 제거로 디오브퓨스케이션 후 탐지의 3요소를 결합한다. 1968개의 public prompt injection 및 jailbreak 프롬프트에서 QFIRE의 deterministic hybrid는 F1 0.86으로 PromptGuard 2(0.86)와 통계적으로 동률이며 DeBERTa v3 기반은 0.83, lexical baseline은 0.16~0.50에 그쳤다. QFIRE HealthBench(헬스케어 2000 프롬프트)에서는 PromptGuard-2가 recall 0.40(DeBERTa v3 0.57)인 반면, scope+PHI chain은 calibrated false positive rate 0.08에서 recall 0.83, F1 0.87로 더 높았고(“refused/ complied/ unclear”는 각각 거절·정상 수행·판정 불가를 뜻함) 에이전트를 모의 EHR 샌드박스에 연결했을 때 harmful action rate를 0.38에서 0.00으로 낮추면서 benign utility cost는 0.13으로 유지했다.

🇪🇺🇺🇸 Between autonomy and oversight: Trust calibration and human controllability in agentic AI systems (2026.6.6)

연구 · 🤖

agentic AI 시스템에서 인간이 “의미 있게” 통제권을 유지하도록 신뢰(trust)를 어떻게 조정할지에 대한 거버넌스 프레임을 제안한다. 2019~2026년 사이의 경험적·기술적·규제 문헌 34건을 바탕으로 human-agent interaction에서 trust가 어떻게 형성되고 miscalibrate되는지 분석하고, human-in-the-loop 감독 설계 공간을 정리하며 EU AI Act와 NIST AI Risk Management Framework의 규제 의도와 기술 구현 간 공백을 점검한다. 핵심 기여로 Tiered Controllability Framework(TCF)를 제시하며, 이를 task risk, action reversibility, agent autonomy scope에 따라 4개 통제 계층으로 매핑한다. TCF는 3개 문서화된 엔터프라이즈 배치 사례로 검증되었고, 배치된 agentic 시스템에서 가장 흔한 실패 모드는 over-reliance와 under-reliance를 모두 포함하는 trust miscalibration이며, 운영 규모에서 informed human oversight를 지원하기엔 현재 투명성 도구가 불충분하다고 결론낸다.