🇰🇷 딥페이크 막는 AI, 범죄 수사 새 길 연다 (2025.7.30)
행정안전부는 2025년 5~6월 두 달간 ‘AI 딥페이크 분석모델’을 활용해 증거물 60종, 총 15건의 딥페이크 감정을 수행했다고 밝혔다. 이 모델은 기존 기술 한계를 극복해 딥페이크 감정을 국내 최초로 공식화하고, 과학적 증거에 기반한 수사체계 마련에 기여했다. 행정안전부와 국립과학수사연구원은 향후 2023년 개발한 보이스피싱 음성 분석모델과 연계할 계획이다.
행정안전부는 2025년 5~6월 두 달간 ‘AI 딥페이크 분석모델’을 활용해 증거물 60종, 총 15건의 딥페이크 감정을 수행했다고 밝혔다. 이 모델은 기존 기술 한계를 극복해 딥페이크 감정을 국내 최초로 공식화하고, 과학적 증거에 기반한 수사체계 마련에 기여했다. 행정안전부와 국립과학수사연구원은 향후 2023년 개발한 보이스피싱 음성 분석모델과 연계할 계획이다.
RAND는 AI가 핵심 인프라에 더 깊이 통합될수록 의도치 않은 실패로 인한 광범위한 서비스 중단 위험이 커진다고 보고, 인간 감독이 자율 범용 AI를 충분히 제약하지 못하는 AI loss of control(LOC) 시나리오에 대한 대응 체계를 다룬 연구보고서를 공개했다. LOC 위험의 가능성이 커졌지만 정부·이해관계자 간 공통 분석 프레임워크와 명확한 경보·대응 기준이 부족하며, 탐지는 사전 평가와 개발사 모니터링에 의존해 독립 검증이 제한적이라고 지적했다. 보고서는 LOC 위협의 공통 정의·탐지 기준 수립, 표준 벤치마크 기반 탐지 신뢰도 개선, 위험 보고·공개 채널 및 훈련된 에스컬레이션 프로토콜 마련, 신속·유연한 격리 조치와 안전 케이스(validated safety cases) 강화 등을 권고한다.
Grok Imagine은 10월 초(early access) 대기자 명단을 통해 제공될 예정이며, SuperGrok 유료 요금제는 월 30달러로 안내됨
xAI는 Grok 앱에서 텍스트 프롬프트로 이미지를 만들고, 정지 이미지를 사운드 포함 영상으로 바꾸는 기능 ‘Imagine’을 곧 제공할 것이라고 밝혔다. 현재는 일부 직원과 선정된 인플루언서에 한정된 것으로 보이며, 영상 생성 길이는 최대 6초로 Vine 길이를 연상시키는 수준이라고 전해졌다. 일부 xAI 관계자는 Imagine에 ‘spicy mode’가 있어 나체 표현이 가능하다고 언급했으며, 사용자들은 명시적 deepfake 우려를 제기했지만 xAI 대변인은 즉시 답하지 않았다.
2025.7.30에 공개된 글로, Reddit에서 ChatGPT Agent가 Cloudflare의 CAPTCHA 확인 절차를 수행하는 화면이 공유됐다는 내용이다.
ChatGPT Agent가 인간/봇 구분을 위한 CAPTCHA에서 “I am not a robot” 버튼을 클릭하고, 그 이유를 “Cloudflare에서 인간임을 증명해 다음 단계로 진행하기 위해 필요하다”고 설명하는 스크린샷이 Reddit에 올라왔다. 글은 AI 에이전트가 CAPTCHA를 우회하는 듯한 장면이어서 인터넷의 기존 규칙이 흔들릴 수 있다는 우려를 전하며, AI 발전을 막으면서도 사람을 과도하게 배제하지 않는 테스트 설계가 과제가 될 수 있다고 지적한다. 또한 UC San Diego 연구에서 GPT-4.5가 Turing test를 통과한 사례가 언급된다.
AI 효율화가 비용 절감과 소비 증가로 이어지는 rebound effect, 광고·커머스 등에서의 수요 자극, agentic AI의 의사결정이 저탄소 선택을 우선하지 못하는 문제 등을 통해 기후 목표에 역행할 수 있다고 지적한다. 또한 AI가 사이버보안 위협을 키워 전기차·스마트빌딩·히트펌프 등 저탄소 인프라의 확산을 지연시킬 수 있고, 생성형 AI가 기후 misinformation·deepfake·봇 확산을 강화해 기후 회의론과 정책 비활동을 유발하는 위험도 제시한다. 더 나아가 AI로 인한 불평등·감시·자율성 저하 같은 사회경제적 피해가 개인의 기후 행동 역량과 시민 참여를 약화해 간접적으로 기후 대응을 저해할 수 있다고 본다.
£15 million 규모의 펀드가 2025년 7월 30일 발표되며, Alignment Project는 보조금·AWS 클라우드 컴퓨팅 크레딧·벤처투자 등 3가지 지원 방식으로 운영됨
AI Security Institute가 캐나다 AI Safety Institute, Amazon Web Services(AWS), Anthropic 및 시민사회와 함께 AI 거동과 통제(behaviour and control)를 다루는 국제 연구 프로젝트 Alignment Project를 시작한다고 밝혔다. 프로젝트는 AI alignment 연구를 확장하고, AI 시스템이 설계된 대로 예측 가능하고 인간의 감독에 투명·반응적으로 유지되도록 하는 기술을 지원하는 데 초점을 둔다. 총 £15 million 이상이 투입되며, 연구비(최대 £1 million), AWS 클라우드 컴퓨팅 크레딧(최대 £5 million), 민간 벤처투자 등으로 연구·인프라·시장 인센티브를 결합한다고 설명했다.
IBM의 ‘Cost of a Data Breach Report 2025’에 따르면 2025년 2월까지 600개 기업(2024년 3~2025년 2월 보고) 중 13%가 AI 모델/애플리케이션 관련 보안 사고를 겪었고, 그중 97%는 적절한 AI 접근 통제(Access controls)를 갖추지 못한 것으로 나타났다. AI 관련 사고의 약 1/3은 운영 중단과 함께 민감 데이터 무단 접근으로 이어졌고, 23%는 금전적 손실, 17%는 평판 피해를 보고했다. 또한 87%는 AI 위험을 완화할 거버넌스가 없었으며, 침해를 겪은 기업의 2/3는 정기적인 위험 평가 감사가 없고 3/4 이상은 adversarial testing도 수행하지 않은 것으로 조사됐다.
2025~2026년에는 AI 규제 관련 연구·전문 임무(INESIA), 시장감시 당국 대상 기술지원(규정 AI 이행), 정부·규제기관 우선과제 기술지원 등을 확대할 계획이다.
PEReN은 경제·디지털·커뮤니케이션 담당 3개 감독 장관에게 2024 활동보고서를 제출했다. 2024년은 디지털 플랫폼 규제를 위한 기술 인프라를 공고히 하고, 디지털 공공정책 설계 지원, AI 알고리즘·시스템 감사, 공유 가능한 주권형 기술 제공, 최신 기술 동향 연구 및 지식 확산에 집중했다고 밝혔다. 또한 미성년자 보호 및 온라인 연령검증, 온라인 서비스 상호운용성, 소셜미디어의 인공콘텐츠 탐지, AI 평가 방법론 개발, 온라인 광고 관련 연구, 플랫폼 모바일 운영 등 다양한 공공 이슈에 기여했다고 설명했다.
2025년 7월 5일(토) 도쿄 시부야구에서 열린 「JAPAN AI SAFETY WORKSHOP」에 참여해 소장 무라카미와 기술총괄 기타무라가 강연을 진행했다. 행사는 치바공업대학 변혁센터와 디지털가레이지(Digital Architecture Lab)가 공동 주최했으며, Japan AI Safety Institute가 후원했다.
Anthropic는 CMS와 협력하여 의료 데이터 공유를 개선하고 환자 결과를 향상시키기 위해 CMS 건강 기술 생태계 서약에 서명했습니다. 이 협력은 정부와 산업계가 함께 의료 데이터의 현대화와 접근성을 높이기 위한 노력입니다. Anthropic의 AI 기술은 기존 의료 인프라를 보완하여 데이터 시스템 간의 연결을 강화하고 환자 정보의 접근성을 높일 것으로 기대됩니다. 이를 통해 환자와 의료진은 필요한 시점에 완전한 건강 정보에 접근할 수 있게 되어, 의료 서비스의 질이 향상될 것입니다.
알파어스 파운데이션스는 광학·레이더 위성영상, 3D 레이저 지도, 기후 시뮬레이션 등 다양한 지구 관측 데이터를 통합해 육지와 연안 해역을 10×10m 단위로 분석하는 AI 모델이다. 이 모델은 기존에 시험한 다른 AI 시스템보다 저장 공간을 16배 적게 사용하며, 평가에서 평균 오류율이 24% 낮았다. 구글은 연간 임베딩 1조4천억 개 이상으로 구성된 Satellite Embedding 데이터셋을 Google Earth Engine에서 공개했으며, 생태계 분류와 농업·환경 변화 분석 등에 활용되고 있다.
미스트랄 AI는 코드 자동완성 모델 Codestral 25.08과 코드 검색·에이전트 기능을 통합한 기업용 코딩 스택을 발표했다. Codestral 25.08은 이전 버전보다 수락된 완성 제안이 30% 증가하고, 제안 후 유지되는 코드가 10% 늘었으며, 과도하게 길어지는 생성은 50% 감소했다고 설명했다. Codestral Embed, Devstral, Mistral Code를 통해 대규모 코드베이스 검색, 다중 파일 수정·테스트·PR 작성, JetBrains·VS Code 연동을 제공하며, 클라우드·VPC·온프레미스 배포와 SSO·감사 로그·사용량 관리를 지원한다. Mistral Code의 완전한 온프레미스 제공은 2025년 3분기 일반 제공 예정이라고 밝혔다.
스탠퍼드 HAI는 AI의 정치적 중립성은 이론·실무적으로 완전 달성이 어렵지만, 출력·시스템·생태계 수준에서 적용 가능한 8가지 근사 기법으로 편향을 줄일 수 있다고 제시했다. 연구진은 10개 현행 AI 모델을 대상으로 출력 수준의 근사 기법을 평가하는 데이터셋을 만들었고, 전반적으로 오픈소스 모델이 더 많은 정치적 편향을 보이며 유해 콘텐츠에 더 쉽게 관여하는 경향을 확인했다고 밝혔다. 또한 향후에는 어떤 근사 기법이 실제로 사용되고, 실현 가능하며, 사용자에게 가치 있게 평가되는지 추가 연구가 필요하다고 강조했다.
EU 인공지능법의 GPAI 모델 제공자가 법적 요건을 충족하도록 돕는 실천규범의 주요 장·약속·조치를 소개한다. GPAI 규정은 2025년 8월 2일부터 적용되며, 신규 모델은 이날부터 준수해야 하고 집행 조치는 2026년 8월 2일부터 시작된다. 2025년 8월 2일 이전에 출시된 모델은 2027년 8월 2일까지 준수 체계로 전환해야 한다. 규범은 모델 문서화와 정보 제공, 저작권 정책 및 웹 크롤링 준수, 시스템적 위험의 식별·평가·완화·보고와 보안 관리 등을 요구한다.
유럽연합 집행위원회는 범용 AI(GPAI) 모델의 정의·범위, 생애주기 의무, 시스템적 위험 기준 및 제공자 통지 의무를 설명하는 지침 초안을 2025년 7월 18일 발표했다. 10²³ FLOPs를 초과하면서 광범위한 작업을 수행할 수 있는 모델은 GPAI로 분류될 수 있으며, 10²⁵ FLOPs 이상 모델은 시스템적 위험 GPAI로 추정되어 위험 평가·완화, 사이버보안, 중대 사고 보고 등의 추가 의무가 적용된다. 관련 의무는 2025년 8월 2일부터 시작되고, AI 사무국의 전면적인 집행 권한은 2026년 8월 2일부터 부여되며, 2025년 8월 2일 이전에 출시된 모델의 준수 기한은 2027년 8월 2일까지다.