2025-02-25

3건

🇺🇸 AI 모델의 드문 행동 예측 (2025.2.25)

기업 · Anthropic-Research · 🧪

Anthropic의 Alignment Science 팀은 AI 모델의 드문 위험 행동을 사전에 예측하는 방법을 연구한 새로운 논문을 발표했습니다. 연구팀은 모델이 생성하는 해로운 내용의 확률을 계산하고, 이를 쿼리 수에 따른 전력 법칙(power law)으로 분석하여 드문 행동의 위험을 대규모 배포 환경에서도 예측할 수 있게 했습니다. 특히, 모델이 제공하는 위험한 정보나 잘못된 행동을 예측하는 데 있어 기존 방법보다 높은 정확도를 보였습니다. 이 접근법은 드문 위험 행동을 효율적으로 예측하여 모델 배포 전에 적절한 조치를 취할 수 있게 해줍니다.

🇺🇸 OpenAI, Deep Research 시스템 카드 공개 (2025.2.25)

기업 · OpenAI 배포 안전 허브 · 🧪🚀

Deep research는 복잡한 작업을 위해 인터넷에서 다단계 조사를 수행하는 새로운 agentic 기능이다. 웹 브라우징에 최적화된 OpenAI o3 초기 버전을 기반으로 하며, 텍스트·이미지·PDF를 검색·분석하고 사용자 파일을 읽거나 python 코드를 실행해 데이터를 분석할 수 있다. OpenAI는 Pro 사용자 대상 출시 전에 안전성 테스트, Preparedness 평가, 거버넌스 검토를 거쳤고, 웹 게시 개인정보 보호 강화와 검색 중 만나는 악의적 지시(prompt injection)에 저항하도록 하는 훈련 등 새로운 완화책을 추가했다. 테스트 과정에서 평가 방법 개선 여지도 확인되어, 출시 범위를 넓히기 전에 일부 위험에 대해 추가 human probing과 자동화 테스트를 진행했다.