Frontier AI 개발자들이 LLM의 catastrophic misuse를 막기 위해 여러 safeguard pipeline을 도입하지만, 해당 파이프라인의 보안성은 불분명하다는 문제의식에서 연구가 진행됐다. 오픈소스 defense pipeline을 red-teaming해 few-shot prompt 기반 입력/출력 분류기가 ShieldGemma보다 세 가지 공격과 두 데이터셋에서 더 잘 작동하며 ClearHarm(치명적 오남용) 데이터셋에선 공격 성공률(ASR) 0%를 달성했다고 밝혔다. 또한 STaged AttaCK(STACK) 절차로 분류기 파이프라인에 대한 black-box 공격에서 ClearHarm ASR 71%, 전이(transfer) 설정에서는 ASR 33%를 기록했으며 이를 막기 위한 구체적 완화책을 제안한다.
세 건의 대규모 실험(N=76,977)에서 19개 LLM의 정치 이슈 설득력(707개 이슈)을 평가하고, 생성된 LLM 주장 466,769개의 사실 정확도를 점검했다. 그 결과 현재 및 근미래 AI의 설득력 증가는 개인화나 모델 규모 확대보다 post-training과 prompting 방법에 더 크게 좌우되며, persuasiveness는 post-training에서 최대 51%, prompting에서 최대 27%까지 증가한 것으로 제시됐다. 또한 이런 방법들은 LLM이 정보를 신속히 접근하고 전략적으로 활용하는 능력을 통해 설득을 강화했지만, 설득력이 높아진 구간에서 사실 정확도는 체계적으로 감소했다고 밝혔다.
EU가 이달 초 발표한 범용 AI(GPAI) 모델 자율준수 코드에 대해 메타는 서명하지 않겠다고 밝혔다. 메타는 해당 코드가 AI Act 범위를 넘어 법적 불확실성을 키운다고 주장하며, 유럽의 AI 정책이 최첨단 모델의 개발·배치를 위축시킬 것이라고 비판했다. 한편 AI Act는 ‘허용 불가 위험’ 일부 용례를 금지하고, 생체인식·얼굴인식 등 ‘고위험’ 영역에 대해 등록 및 위험·품질관리 의무를 요구하며, EU는 8월 2일 시행 일정을 변경하지 않겠다는 입장이다.
AI Act 의무는 2025년 8월 2일부터 적용 예정이며, 가이드라인은 2025년 7월 18일 기준 업데이트됨
유럽 집행위는 2025년 8월 2일부터 시행되는 AI Act 의무를 범용 AI 모델 제공자가 준수하는 데 도움을 주기 위한 가이드라인을 발표했다. 가이드라인은 범용 AI 모델의 정의(연산자원 10^23 FLOPs 초과, 텍스트·오디오 생성 및 텍스트-이미지/텍스트-비디오 생성 가능), ‘provider’와 ‘placing on the market’의 범위, 그리고 투명성 조건을 충족하는 자유·오픈소스 라이선스 모델에 대한 면제 등을 설명한다. 또한 General-Purpose AI Code of Practice 준수의 의미와, 특히 시스템적 위험(기본권·안전·모델 통제 상실 가능성 등)을 유발할 수 있는 가장 고도/영향력 있는 모델 제공자에 대한 위험 평가·완화 의무를 구체화했다.
OpenAI는 ChatGPT Agent를 생물·화학 무기 제작 등 악용 가능성을 이유로 고(高) bio-risk로 처음 분류했다고 밝혔다. 내부 안전 연구와 테스트/감사에서, 모델이 비전문가에게도 위해 행위를 단계별로 돕는 등 실행 가능성을 높일 수 있다는 점이 확인됐으며, 이에 따라 생물무기 관련 프롬프트는 자동 거부하고 실시간 모니터링·2차 검토, 지식 오용 탐지, 사용 후 브라우징 데이터 삭제, 비밀번호 보안, takeover mode, 위험도 기반 동적 rate-limiting, 성인 대상의 검증 가능한 동의 없이는 고위험 명령을 차단하는 조치들을 적용했다. 또한 생물보안 전문가·학계·정부와 함께 공개 전 stress-test과 워크숍, 버그 바운티 및 지속 위험 감사 등을 준비 중이라고 설명했다.