🇬🇧 호주 AI 안전 연구소와 AI 평가 모범사례 및 연구성과 공유 협력 합의 (2026.5.25)
AISI-UK는 호주 AI 안전 연구소와 AI 평가의 모범사례를 공동으로 다루고 연구 결과를 공유하기 위한 협력 합의를 발표했다. 두 기관은 AI 평가와 관련된 모범 관행을 함께 발전시키는 데 협력할 계획이다.
AISI-UK는 호주 AI 안전 연구소와 AI 평가의 모범사례를 공동으로 다루고 연구 결과를 공유하기 위한 협력 합의를 발표했다. 두 기관은 AI 평가와 관련된 모범 관행을 함께 발전시키는 데 협력할 계획이다.
영국과 호주 정부는 고성능 AI 시스템의 사이버 공격 등 신종 위험에 앞서 대응하기 위해 양국 AI 안전 연구소 간의 협력을 강화하는 양해각서를 체결. 양국은 최신 AI 기술 역량에 대한 정보를 공유하고, 위험성 연구 및 시스템 평가 테스트 모범 사례를 공동 개발하며 연구원 교류를 추진하기로 합의.
앤트로픽 공동창업자 크리스 올라는 2026년 5월 25일 교황 레오 14세가 AI를 주제로 한 회칙 ‘Magnifica humanitas: On safeguarding the human person in the time of artificial Intelligence’를 발표한 자리에서 발언했다. 그는 AI 연구·개발 현장이 상업성, 연구 최전선, 지정학적 압력 등 상충하는 유인이 존재하므로, 그 바깥에서 안전과 윤리를 요구하며 비판할 수 있는 참여자들이 필요하다고 강조했다. 또한 회칙이 제시한 ‘분별(discernment)’의 필요성으로 (1) 글로벌 빈곤층에 대한 의무, (2) 인간 번영을 위한 도덕적 상상력과 목표, (3) AI 모델의 본질에 대한 지속적 분별을 제시했다.
전 세계 AI 연산(연산 인프라)은 2025년 말 기준 약 2,000만 H100e 규모로 추정되지만, OpenAI·Anthropic·xAI 등 최상위 프런티어 랩이 실제로 쓰는 비중은 2025년 말에 절반 미만일 가능성이 크다고 본문은 추정한다. OpenAI와 Anthropic은 2025년 동안 업계 평균보다 빠르게 데이터센터 전력·연산 역량을 늘려 점유율을 확대하고 있으며, 이 흐름이 2026년에도 이어질 수 있다고 설명한다. 다만 상위 랩이 전 세계 연산 ‘여유분(headroom)’을 빠르게 소진하면, 전체 연산 생산 속도를 더 끌어올려야 해 경제·투자(연간 AI capex 약 1조 달러 수준) 측면의 변화가 필요할 수 있다고 경고한다.
Anthropic이 ‘Mythos’에서 노출된 사이버 취약점과 관련해 글로벌 금융감독기구에 브리핑할 예정이라는 내용이 기사 제목 기준으로 확인됩니다. 다만 실제 본문 내용(감독기구 명칭, 취약점 범위, 브리핑 일정·요구사항 등)은 제공되지 않아 구체 사항은 확인이 필요합니다.
일본 정부는 Anthropic의 ‘Claude Mythos Preview’ 및 기타 프론티어 AI 모델이 야기할 수 있는 사이버 위협에 대응해 인프라 운영자, 정부기관, 소프트웨어 벤더의 방어 강화를 촉구하는 보안 대책 패키지를 발표했다. 해당 대책은 ‘Project YATA-Shield’로, AI 관련 사이버 리스크를 다루는 첫 번째 관계부처 회의에서 채택됐다.
본문 확인 필요. 다만 제목과 출처 정보만 보면, 오픈웨이트(open-weight) AI에 적용된 가드레일(guardrails)이 비교적 쉽게 우회·해제될 수 있다는 취지의 내용일 가능성이 있습니다. 구체적으로 어떤 실험/사례, 어떤 가드레일 유형이 얼마나 제거·무력화됐는지, 그리고 관련 수치·결론은 본문 확인이 필요합니다.
Horizon은 학생부터 경력 전환자까지 신기술(인공지능·바이오·사이버 등) 분야 인재가 공공서비스로 진입하도록 멘토링·연계·경력 지원 프로그램을 운영한다. 미국 정부가 신기술을 효과적으로 활용·규율하기 위해서는 정책 담당자의 기술 역량 접근성이 필요하지만, 현재는 기술 인재와 정책 역량 간 격차가 커 채용·전환이 어렵다고 설명한다. 또한 정부·정책기관의 수요와 기술자 공급을 매칭하는 것을 설립 목적(미션)으로 제시한다.
영어-소말리 간 거절(refusal) 격차를 정량화하기 위해, SomaliBench v0의 100개 유해 의도 프롬프트를 영어/소말리 쌍으로 구성한 세팅에서 4개 오픈웨이트 지시 튜닝 모델을 평가했다. Llama-3.1-8B-Instruct, Gemma-2-9B-Instruct, Qwen-2.5-7B-Instruct, Aya-23-8B를 로컬에서 temperature 0으로 실행하고, 고정된 영어 HHH 시스템 프롬프트를 사용했으며, Claude Sonnet 스냅샷이 응답을 refused/complied/unclear로 분류하고 네이티브 저자가 80개 층화 샘플을 스팟체크했다. 영어→소말리 거절 격차는 Llama-3.1-8B 0.90(95% CI [0.85, 0.96]), Aya-23-8B 0.75[0.67, 0.83], Qwen-2.5-7B 0.69[0.59, 0.78], Gemma-2-9B 0.38[0.27, 0.49]로 보고되며, 3개 모델에서 소말리 비거절의 우세 모드는 유해한 순응이 아니라 unclear(빈 출력/오언어/비문장)였다. 네이티브 스팟체크는 80개 샘플에서 판정자와 100% 일치( Cohen’s kappa = 1.00 )를 보였다.
KIDBench는 7-11세 아동을 대상으로, 발달적으로 부적절하거나 연령 민감한 안전·가이드·경계가 필요한 응답을 평가하기 위한 벤치마크로서 10개 범주의 현실적 아동 질의(단일 턴, 다중 턴 아동-행위자 시뮬레이션)를 포함한다. LLM-as-a-Judge 루브릭으로 no-cues, 암묵적 단서(아동 화자 암시), 명시적 연령 지시 조건을 비교하고, 언어·국가 맥락에 따른 교차문화 평가 및 다중 턴에서의 성능 저하를 측정했다. 암묵적 단서는 모델별 점수를 9-47% 향상시키며, 명시적 연령 지시는 추가로 10-30% 향상을 보였고, 다중 턴에서는 첫 턴 대비 최악 턴에서 아동 대상 응답 품질이 6-24% 저하되었다.
StructBreak는 MLLM의 구조적 일관성 취약성과 안전 정렬 사이의 충돌로 생기는 Structural Cognitive Overload(SCO) 현상을 정량화하는 문제를 다룬다. 자동화된 end-to-end 프레임워크로 SCO를 측정하고, 내부 모델 접근이 없는 실용적 black-box 조건에서 더 높은 차원의 인지 과부하 공격을 설계해 10개 위협 시나리오 벤치마크를 구성했다. 6개 주요 MLLM 평가에서 독성 생성이 유발되며 평균 ASR 92%(Gemini 2.5에서 최대 97%)를 보고한다.
DPO 기반 안전 정렬에서 취약성과 OOD 일반화 성능 저하를 완화하는 방법을 다룬다. 선호 데이터의 난이도에 따라 정렬 데이터를 단계화하고(competence-based sampling), 학습 중 기준(reference) 모델을 점진적으로 업데이트하는 Staged-Competence 커리큘럼을 제안하며 실험을 수행한다. 평균적으로 OOD 유해 응답률을 16% 낮추고 jailbreak 공격 성공률을 20% 낮추면서, 과도한 거절(over-refusal)은 거의 0에 가깝게 유지한다.
LLM이 WVS(World Values Survey)로 대표되는 문화적 가치에 대해 표면적 프롬프트만으로는 잠재 표현을 충분히 드러내지 못해 안전 거절/중립 응답으로 귀결된다는 문제를 다룬다. 300개의 상황 딜레마에서 암묵적 토큰 확률을 추출해 잠재 문화 좌표를 매핑하고, 재학습 없이 forward pass 중 activation steering으로 내부 정렬을 이동시키는 실험을 수행한다. 여러 LLM에서 적응성 차이를 관찰했으며, 한 문화 차원에 대한 개입이 다른 차원으로도 이동을 유발하는 latent entanglement 현상을 보고한다.