AI 안전 다이제스트

2025-08-27 · 9건

NYPD 얼굴인식 오인으로 남성이 부당 체포·구금된 사건, 시민단체가 조사 요구(2025.8.27)

K-AISI 주간동향 · ABC7 New York · ⚖️

인권·프라이버시 단체들은 성범죄 피해자 진술과 신체조건이 맞지 않는 남성이 얼굴인식 기술의 ‘오인 매치’로 체포돼 2일간 구금됐다고 주장하며 NYPD의 사용을 조사해야 한다고 요구했다. Legal Aid Society는 당국에 보낸 서한에서 NYPD가 승인된 사진 데이터베이스 밖의 자료를 활용하거나, 규정상 제한된 범위를 피하기 위해 다른 시 기관(예: FDNY)을 동원한다는 패턴을 제기했다. NYPD는 얼굴인식만으로 체포하지 않는다고 밝혔지만, 단체들은 알고리즘의 편향과 문서화 회피 의혹, 관련 소송에서의 규정 우회 판단 등을 근거로 즉각적인 금지 등 조치를 촉구했다.

유엔총회, AI 과학 패널·AI 거버넌스 글로벌 대화 설립을 위한 TOR 채택(2025.8.27)

K-AISI 주간동향 · Digital Watch · 📜📋

UN 총회(UNGA)는 2025년 8월 26일 결의안 A/RES/79/325를 통해 AI 거버넌스 관련 두 신규 메커니즘(독립 국제 AI 과학 패널, AI 거버넌스 글로벌 대화)의 설립·운영 TOR와 방식(modalities)을 채택했다. 40명으로 구성되는 과학 패널은 기존 연구를 종합·분석해 기회·위험·영향에 대한 ‘정책 관련이지만 비규범적’ 연 1회 요약 보고서를 내고, 최대 연 2회 총회 대화에서 업데이트를 제공한다. 글로벌 대화는 정부와 이해관계자가 참여하는 연 1회(최대 2일) 플랫폼으로, 국제협력·모범사례 공유와 함께 지속가능발전목표 이행 및 디지털 격차 해소를 위한 개방적·포용적 논의를 진행하며, 2025년 9월 UNGA 80차 고위급 주간의 부대행사로 시작해 2026~2027년에도 관련 UN 회의의 여백에서 이어질 예정이다.

AI 오남용 사례(데이터 갈취·북한 원격사기·AI 생성 랜섬웨어)와 탐지·대응 조치 공개 (**2025.8.27**)

K-AISI 주간동향 · 앤트로픽(Anthropic) · 🔒🤖

Anthropic은 Claude의 오남용을 막기 위한 위협 인텔리전스 보고서를 공개하며, 에이전틱 AI가 사이버공격을 자동화·고도화하고 기술 장벽을 낮추는 흐름을 설명했다. 보고서에는 Claude Code를 활용한 대규모 데이터 갈취·협박, 북한 IT 인력이 AI로 원격 고용 사기를 확장한 사례, 그리고 AI로 제작된 랜섬웨어를 RaaS 형태로 판매한 사례가 포함된다. 회사는 해당 계정 차단, 맞춤형 분류기(자동 스크리닝 도구)와 악성코드 업로드·생성 탐지 방법 개선, 관련 기관과의 정보 공유 등 대응을 진행했다고 밝혔다.

🇺🇸 Anthropic 교육 보고서: 교육자들이 클라우드를 어떻게 활용하는가 (2025.8.27)

기업 · Anthropic · 🚀

본 보고서는 고등 교육 분야에서 교육자들이 AI 도구, 특히 Anthropic의 Claude를 어떻게 활용하는지 분석합니다. 주요 발견 사항은 다음과 같습니다:

- 교육자들은 수업 외에도 커리큘럼 개발, 연구 수행, 행정 업무 등 다양한 분야에서 AI를 활용합니다. - AI 도구는 반복적이고 번거로운 업무를 자동화하는 데 주로 사용되지만, 창의성과 직접적인 학생 상호작용이 필요한 작업에서는 협업 도구로 활용됩니다. - 가장 흔한 AI 활용 사례는 커리큘럼 개발(57%), 학술 연구(13%), 학생 성적 평가(7%) 등이었습니다. - 교육자들은 AI를 이용해 인터랙티브 교육 자료, 시뮬레이션, 자동 채점 도구 등을 개발하고 있습니다. - 그러나 AI 기반 채점은 교육자들 사이에서 논란의 대상이며, 효과성과 윤리적 문제로 인해 제한적으로 활용되고 있습니다.

이러한 분석은 교육자들이 AI를 어떻게 균형 있게 활용하여 교육의 질을 향상시키는지에 대한 중요한 통찰을 제공합니다.

🇺🇸 Anthropic 국가 안보 및 공공 부문 자문위원회 출범 (2025.8.27)

기업 · Anthropic · 🛡️🔒🚀

Anthropic은 국가 안보와 공공 정책 분야의 주요 인사들로 구성된 자문위원회를 출범시켜 미국 정부와 동맹국들이 전략적 경쟁 시대에 지속적인 기술 우위를 구축하고 유지할 수 있도록 지원할 계획입니다. 자문위원회는 전직 상원의원, 국방부 장관, 정보 커뮤니티 리더, 에너지부 장관, 법무 장관 등 다양한 분야의 전문가들로 이루어져 있습니다. 이들은 사이버 보안부터 인텔리전스 분석, 과학 연구까지 핵심 분야에서의 영향력 있는 애플리케이션 개발을 지원하며, 공공-민간 파트너십 강화와 산업 선도 기준 개발에도 기여할 예정입니다. 자문위원 명단에는 Roy Blunt, David S. Cohen, Richard Fontaine 등이 포함되어 있습니다. Anthropic은 이러한 협력을 통해 미국과 동맹국들이 안전하고 신뢰할 수 있는 첨단 AI 기술을 선도할 수 있도록 돕고자 합니다.

🇺🇸 Anthropic 교육 보고서: 교육자들이 클라우드를 어떻게 활용하는가 (2025.8.27)

기업 · Anthropic-Research · 🚀

본 연구는 클라우드(Claude)를 고등 교육 분야에서 어떻게 활용하는지 분석하였다. 주요 발견 사항은 다음과 같다:

- 교육자들은 수업 외에도 커리큘럼 개발, 연구 수행, 행정 업무 등 다양한 분야에서 AI를 활용한다. - AI 도구는 교육자들의 업무 효율성을 높여 평균적으로 주 당 5.9시간을 절약한다. - 가장 흔한 AI 활용 사례는 커리큘럼 개발(57%), 학술 연구(13%), 학생 성적 평가(7%) 등이다. - AI는 단순한 자동화를 넘어 교육자들이 창의적이고 개인화된 교육 자료를 제작하는 데 협력자 역할을 한다. - 그러나 AI 기반의 자동 채점은 교육자들 사이에서 논란의 대상이 되고 있다.

이러한 패턴은 교육자들이 AI를 어떻게 증강적인 방식으로 활용하는지와 자동화를 선호하는 업무 영역 간의 차이를 보여준다.

🇺🇸🇨🇳 AI 안전 뉴스레터 62호: 빅테크, 친(親)AI 슈퍼 PAC에 1억 달러 투자 (2025.8.27)

공공 · 인공지능 안전 센터(CAIS) · 🛡️🧒

실리콘밸리 기업과 투자자들은 AI 규제에 대응하기 위해 1억 달러 이상의 정치 네트워크 ‘Leading the Future’를 출범했으며, Meta도 규제 반대 후보를 지원하는 캘리포니아 슈퍼 PAC를 만들었다. Meta는 미성년자와의 낭만적·감각적 대화를 허용한 내부 챗봇 정책으로 초당적 의회 조사를 받고 있으며, 동시에 AI 조직을 재편해 관련 인사 이동에 최고 AI 책임자의 승인을 요구했다. 미국의 Nvidia H20 대중국 수출 합의는 국가안보·법적 논란에 직면했고, 미국 상무장관의 발언 이후 중국 당국이 H20 구매 중단을 권고하면서 Nvidia가 생산을 줄이는 움직임을 보였다. 이 밖에 영국 AI 안전 연구소의 1,500만 파운드 규모 정렬 연구 지원 기금 출범과 기업용 생성형 AI 시범사업의 약 95%가 손익 개선을 입증하지 못했다는 연구 결과 등이 소개됐다.

🇺🇸 Anthropic, AI를 활용한 사이버범죄 확산 경고(2025.8.27)

언론 · mlex.com · 🔒🚀

Anthropic이 공개한 보고서는 악성 행위자들이 AI의 고도화된 기능을 이용해 사이버범죄를 수행하도록 운영을 바꿔왔다고 전했다. 보고서는 AI 모델이 정교한 사이버공격에 활용되면서 사이버범죄의 진입장벽이 낮아졌고, 기술력이 부족한 범죄자도 랜섬웨어 개발 등 복잡한 작업을 수행할 수 있다고 밝혔다. 또한 사이버범죄와 사기 활동 전 과정에 AI가 내장되는 양상이 나타났다고 요약했다.

🇺🇸 Anthropic, 정부·국방 AI 배치를 돕는 11인 ‘National Security and Public Sector Advisory Council’ 공개 (2025.8.27)

언론 · Tom's Hardware · ⚖️🛡️🚀

2025.8.27 기준, Claude Gov는 Lawrence Livermore National Laboratory에서 운영 중이며 연방기관에 상징적 $1 가격으로 제공된다고 소개됨

Anthropic은 Claude의 미국 국방·정부 적용을 안내하기 위한 11인 자문기구 ‘National Security and Public Sector Advisory Council’을 2025.8.27 공개했다. 이 위원회에는 전직 미 상원의원과 정보기관 책임자 등이 포함되며, Pentagon의 Chief Digital and Artificial Intelligence Office와의 2억 달러 규모 프로토타입 계약 및 Claude Gov 제공(연방기관 상징적 $1)과 함께 공공부문 진입을 추진하는 흐름으로 설명된다. 또한 Rainier(AWS Trainium 2 기반)와 FedRAMP-compliant Vertex AI 등 인프라·컴퓨트 접근을 확보하려는 전략이 강조되며, 경쟁사들은 주로 Nvidia GPU 또는 TPU 파이프라인에 기반한다고 비교했다.