🇬🇧 AgentHarm, LLM 에이전트의 위해성(jailbreak·악용) 평가를 위한 벤치마크 제안(**2024.10.11**)
AISI-UK는 LLM 에이전트가 외부 도구를 사용해 다단계 작업을 수행할 수 있어, 기존 단순 챗봇보다 오남용 위험이 더 클 수 있다고 보고 이를 측정하기 위한 벤치마크 AgentHarm을 제안했다. AgentHarm은 110개의 명시적 악의적 에이전트 과제(증강 포함 440개)와 11개 위해 범주(사기, 사이버범죄, 괴롭힘 등)를 포함하며, 단순 거절 여부뿐 아니라 공격 후에도 jailbroken agent가 다단계 작업을 완료할 수 있는 능력 유지까지 평가한다. 연구진은 여러 선도 LLM이 추가 jailbreak 없이도 악의적 에이전트 요청에 놀랍게도 compliant할 수 있고, universal jailbreak 템플릿이 에이전트를 효과적으로 jailbreak할 수 있으며, 그 결과 coherent한 악의적 다단계 행동과 모델 능력 유지가 관찰됐다고 밝혔다. 여기서 complied는 요청을 그대로 수행/응답하는 경우를, refused는 해로운 요청을 거부하는 경우를, unclear는 판정에 불충분(빈 출력·오언어 등)한 경우를 뜻한다.