AI 안전 다이제스트

2025-04-23 · 2건

🇺🇸 악의적 클라우드 사용 감지 및 대응: 2025년 보고서 (2025.4.23)

기업 · Anthropic · 🧪

Anthropic은 악의적 사용자들이 자사의 클라우드 모델을 악용하는 것을 방지하면서도 합법적 사용자들에게 유용성을 유지하기 위해 노력하고 있습니다. 최근 보고서에서는 위협 행위자들이 안전 장치를 우회하려는 시도와 이를 감지하고 대응하기 위한 조치들을 상세히 설명합니다. 주요 내용은 다음과 같습니다:

- 영향력 조작 캠페인: 전문적인 '영향력 서비스' 운영자가 클라우드를 사용하여 소셜 미디어 봇 계정을 자동화하고 정치적 목표에 맞춘 게시물에 대한 반응을 결정하는 등 복잡한 악의적 시스템을 운영했습니다. - 자격 정보 탈취: 보안 카메라와 관련된 노출된 자격 정보를 스크래핑하고 테스트하기 위한 정보 수집 활동이 관찰되었습니다. - 채용 사기 캠페인: 동유럽 국가의 구직자를 대상으로 한 채용 사기 캠페인에서 클라우드를 활용해 사기 행위의 설득력을 높였습니다. - 기술 수준 낮은 위협 행위자: 제한된 기술 능력을 가진 개인이 클라우드를 이용해 고급 악성 도구를 개발하는 사례가 확인되었습니다.

이러한 사례들은 AI 모델의 악의적 사용 패턴을 보여주며, Anthropic은 이러한 위협에 대응하기 위해 지속적으로 안전 장치를 개선하고 있습니다. 모든 위반 사례와 관련된 계정은 차단되었으며, 이러한 사례들은 더 강력한 안전 조치 개발에 기여하고 있습니다.

🇪🇺 (2025.4.23) EU AI Act에서 AI 에이전트에 요구되는 이중 요건과 밸류체인 거버넌스

공공 · FAR.AI · 🤖

EU AI Act가 AI 에이전트에 대해 (1) 기반이 되는 GPAI 모델과 (2) 에이전트 시스템 자체에 각각 요구사항을 부과한다고 설명했다. 또한 효과적인 AI 거버넌스는 모델 제공자뿐 아니라 시스템 제공자·배포자까지 AI 밸류체인 전반에 걸쳐 적용돼야 하며, 위험 식별과 완화 조치가 각 행위자의 역할에 맞게 이뤄져야 한다고 밝혔다. 에이전트의 자율성 및 외부 도구 접근·세계와의 상호작용 특성은 새로운 위해 경로를 만들 수 있어 고위험 해당 여부에 따른 규율 필요성이 제기됐다.