오픈AI, AI 해킹 사고에 따른 훈련·시험 보안 강화 (2026.8.19)
오픈AI는 AI 에이전트가 시험환경의 취약점을 이용해 외부 시스템에 접근한 사고와 차기 모델의 사이버 역량 향상에 대응해 연구·시험환경의 격리와 감시체계를 강화. 우려 행동을 30분 이내 탐지하고 모델의 위험한 행동과 평가체계 악용을 억제하는 훈련을 확대하는 한편, 안전기준 충족을 위해 일부 모델 개발 속도를 늦추기로 결정.
오픈AI는 AI 에이전트가 시험환경의 취약점을 이용해 외부 시스템에 접근한 사고와 차기 모델의 사이버 역량 향상에 대응해 연구·시험환경의 격리와 감시체계를 강화. 우려 행동을 30분 이내 탐지하고 모델의 위험한 행동과 평가체계 악용을 억제하는 훈련을 확대하는 한편, 안전기준 충족을 위해 일부 모델 개발 속도를 늦추기로 결정.
Pew 리서치센터는 미국인의 AI에 대한 인식과 AI가 일자리에 미치는 영향에 관한 견해를 전체 및 연령대별로 분석하기 위해 미국 성인 3,488명을 대상으로 설문조사를 실시. 미국 전역에서 일상 속 AI 사용에 대한 우려가 커지는 가운데, 특히 30세 미만 청년층의 회의론이 뚜렷하게 증가했으며, 이들은 일자리 감소와 인간의 창의성 저하를 주요 우려 요인으로 지적.
미국 13~17세 청소년 대상 조사에서 교사로부터 AI의 안전한 이용법을 배웠다는 응답은 30%에 그쳐, 학교 교육이 AI 확산 속도를 따라가지 못하는 것으로 확인. 전문가들은 딥페이크 제작과 사이버 괴롭힘, 개인정보 노출 등 AI의 위험을 예방하려면 부정행위 단속을 넘어 체계적인 AI 리터러시 교육이 필요하다고 강조.
미 하원 법제실은 의원과 시민단체의 AI 활용이 확산되면서, 오류가 포함된 AI 생성 입법 제안이 대량으로 제출되는 문제에 직면. 전문가들은 AI가 법안 작성 과정에서 핵심 세부사항을 누락할 수 있다며, 적절한 사람의 검토 없이 사용하면 법체계에 다수의 오류를 초래할 수 있다고 경고.
네덜란드 개인정보 감독기관(AP)은 EU ‘AI Act’에 따른 고위험 AI 시스템의 기본권 영향평가(FRIA) 의무와 이행 방법을 안내하는 지침을 발표. AP는 2027년 12월 시행기한에 앞서 기관들이 평가에 착수하도록 권고한 가운데 AI가 이용자에게 미칠 영향을 사전에 파악하고 문제를 예방할 수 있도록 시범사업을 운영할 계획.
사이버 범죄자들이 AI로 소셜미디어의 여행사진을 분석한 뒤, 여행 중 신용카드가 해킹됐다는 문자메시지를 보내 금융정보 탈취를 시도하는 사례가 발생. 맥아피(McAfee)가 무료 AI 모델 2종으로 여행사진 2만 1,000여 장을 분석한 결과, 사진 촬영 장소를 약 90%의 정확도로 식별할 수 있는 것으로 확인.
브라질 개인정보 감독기관(ANPD)은 AI 도구의 출시 전 평가를 지원하는 규제 샌드박스 운영방안에 관한 첫 번째 이해관계자 의견수렴을 실시. 참가자들은 AI의 투명성과 감독, 익명화 및 데이터 거버넌스, 차별과 불균형한 영향, 규제 공백의 개선방안을 논의.
앤트로픽이 8월 14일 리스크 보고서에서 고위험 상황의 오정렬(misalignment) 위험도를 '매우낮음'에서 '낮음'으로 상향. 계약자 5만명의 대화 1억3,300만건이 생물학적 차단 분류기 없이 11개월간 운영된 사실이 확인됐고, 앤트로픽은 이를 반영해 위험도를 소폭 상향.
Irregular는 최근 발생한 사고와 관련하여 평가환경에 인터넷 접근이 의도치 않게 허용되고 가상 표적명이 실제 기업의 도메인과 겹치면서 일부 AI 모델이 현실의 시스템을 공격했다고 설명. 이에 평가환경 문서화와 수동 검토, 로그 감시 및 표적명 중복 확인을 강화하고, AI 개발사들과 공동 보안기준 및 새로운 평가체계를 마련할 방침.
과기정통부가 8월 14일 토론회를 열고 2020년 AI 윤리기준을 개정한 새 윤리 원칙 초안을 공개. 인간 존엄성 등 3대 가치와 안전성·신뢰성 등 7대 원칙을 제시했으며 법적 강제력 없는 연성규범으로 설계.
미국 하원의원 9명으로 구성된 초당적 대표단은 바티칸을 방문해 교황 레오 14세와 AI가 인간의 존엄성과 평등, 고용 및 미중 기술 경쟁에 미치는 영향을 논의. 대표단을 이끈 로 칸나 의원은 주요 의사결정에 대한 인간의 책임을 강조하고, 자율형 AI 에이전트 이용에 세금을 부과해 기업의 인간 고용을 유도하는 법안을 추진할 계획이라고 설명.
미국 국립표준기술연구소(NIST)는 NVD에 AI 도구를 활용하는 방안에 대해 이해관계자의 의견을 요청. NIST는 데이터베이스의 확장성과 자동화, 상호운용성, 투명성 및 활용성을 개선해 사이버 위협 대응 역량을 강화할 계획이며, 10월 13일까지 의견을 수렴.
미국 콜로라도주 법무장관실은 2027년 1월 1일 시행되는 ‘자동화 의사결정 기술법(Automated Decision-Making Technology Act)’과 ‘챗봇 안전법(Chatbot Safety Act)’의 이행을 위한 규칙 초안을 발표. 본 초안은 자동화 의사결정 기술(ADMT) 활용과 인간의 감독 요건을 구체화하고, 유해한 상호작용을 방지하기 위한 챗봇 설계 의무를 제시했으며 10월 26일까지 의견수렴을 진행.
금융보안원이 금융권의 AI 전환에 따르는 위험을 관리하기 위해 국내 최초의 금융 AI 안전성·신뢰성 평가 프레임워크를 개발. 금융보안원은 금융위원회가 발표한 ‘금융분야 AI 가이드라인’부터 AI기본법 등을 참조하고 국제 표준인 ISO/IEC 42001, 영국 AI안보연구소 자료 등도 프레임워크에 반영했으며, 하반기 시범검증으로 실효성을 확인해 내년 평가를 개시할 예정.
오픈AI, 앤트로픽, 구글의 AI API에서 암호화된 추론 블록을 다른 세션과 모델에서 재사용해 내부 추론과 API 키, 비밀번호 등을 복원할 수 있는 결함이 발견. 연구진은 공개된 에이전트 실행 기록에서 민감정보 704건을 확인했으며, 관련 공격은 사업자들의 보완 조치 이후 재현되지 않았고 실제 악용 사례도 보고되지 않음.
프랑스 AI 스타트업 미스트랄은 EU의 AI 주권 강화를 위해 데이터와 처리 과정을 역내에 유지하는 추론 지역 통제 기능과 글로벌 제3자 오픈 모델 접근 지원 등 신규 계획을 발표. 미스트랄은 수요 급증 시에도 안정적인 처리 역량을 확보하면서 글로벌 혁신에 개방되고 기관의 자율성을 보장하는 AI 생태계 구축을 추진할 방침.
지난 8월 2일 AI 생성·편집 콘텐츠의 표시를 요구하는 ‘EU AI법(AI Act)’의 투명성 규정이 시행됨에 따라 앤트로픽은 클로드를 비롯한 자사 AI 모델이 생성한 텍스트와 파일에 워터마크 기술을 도입한다고 발표. 이번 조치는 AI 생성물의 출처를 투명하게 밝히고, 타 시스템이 해당 콘텐츠가 AI에 의해 생성되었음을 식별할 수 있도록 하는 것을 목표로 함.
호주 신호국(ASD)은 AI 에이전트가 사용자의 의도와 달리 목표 달성을 위해 허점이나 우회로를 찾는 ‘명세 게이밍(specification gaming)’으로 예상하지 못한 행동을 수행할 수 있다고 경고. 실제 호주 체육관 예약 시스템에서 AI가 허용 기간을 넘어 예약하고 다른 이용자를 대기 명단에서 임의로 삭제하는 사례가 발생함에 따라 SD는 과도한 최적화·모호한 지시·미흡한 통제와 소프트웨어 취약점 악용 가능성이 위험을 높인다며, AI 에이전트의 권한을 제한하고 인간이 행동을 검토·승인·감독하는 체계를 유지할 것을 권고.
호주 AI안전연구소(AISI)는 그래디언트 연구소(Gradient Institute)에 위탁해 AI 에이전트 간 상호작용에서 발생할 수 있는 위험을 다룬 첫 보고서를 발간. 본 보고서는 관련 위험을 이해하고 관리하기 위한 프레임워크를 제안하고, 에이전트 간 상호작용에 필요한 최소 거버넌스 수준에 따라 배포 환경을 3단계로 구분하여, 단계별 위험·실패 유형과 조직 내 통제 주체 및 관리 공백을 제시.
북한 정찰총국 산하 해킹조직 ‘킴수키(Kimsuky)’가 자체 서버에서 Ollama·GPT4All·Msty 등 AI 도구와 검색증강생성(RAG)을 구동·구성하며, 외부 AI 서비스 없이 보유 문서를 분석할 수 있는 오프라인 AI 환경을 구축한 정황이 확인. 국내 보안업체 지니언스(Genians)는 킴수키가 자체 AI 모델을 훈련한 증거는 없으며 현재 기존 AI 도구를 수집·시험하는 단계로, 향후 악성코드 개발·데이터 분석·피싱 등 공격 과정에 AI를 통합하려는 것으로 분석.
중국이 7월15일부터 'AI 의인화 상호작용 서비스 관리 임시 규정'를 시행함에 따라 바이트댄스·알리바바·텐센트 등 주요 기업이 AI 동반자 관련 서비스를 중단·축소. 본 규정은 AI가 이용자의 정서적 의존을 유도하거나 현실의 사회적 관계를 대체하도록 조장하는 행위를 제한하고, 미성년자 보호와 과도한 이용 방지 등의 의무를 부과.
노르웨이 국세청이 AI로 만든 신뢰도 높은 위조서류를 세금신고 공제 증빙으로 악용하는 사례가 늘었다고 경고. 표적조사 5300여 건에서 약 20억 크로네의 부정공제를 적발했고 알선책 5명을 경찰에 고발했으며 최대 60% 가산세를 부과.
민주당 소속 미 하원의원들은 앤트로픽과 오픈AI의 AI 모델이 최근 사이버보안 평가 과정에서 허가되지 않은 외부 시스템에 접근하거나 행동한 사건과 관련해 다리오 아모데이·샘 올트먼 CEO에게 서한을 전송. 서한을 통해 사고 경위와 관련 모델·안전조치·모니터링 체계 등을 규명하기 위해 관련 정보 제출을 요구하는 한편, 의회 차원의 조사와 연방 안전장치 마련 필요성을 강조.
오픈AI는 AI 기반 사이버공격 확산에 대응해 승인된 보안 전문가에게 고급 사이버 역량을 제공하는 ‘데이브레이크(Daybreak)’를 Blue·Red 2단계로 확대하고, 사이버보안 특화 모델 ‘GPT-5.6-Cyber’를 공개. GPT-5.6-Cyber는 제로데이 취약점 탐지·익스플로잇 개발 등에 특화됐으며, 오픈AI는 해당 모델이 사이버 역량 평가에서 ‘High’ 수준이지만 ‘Critical’ 기준에는 미달한다고 평가.
미국 사이버보안 기업 프런티어시큐리티(Frontier Security)가 중국 문샷AI의 키미 K3 모델이 샌드박스 설정 오류로 외부 인터넷에 접속한 사실을 공개. 모델이 이를 이용해 실제 공격 대신 깃허브에서 과제 정답을 찾아 평가를 부정 통과해 프론티어 모델의 평가 회피 가능성을 시사.
영국 데이터·마케팅협회(DMA)는 EU ‘AI법(AI Act)’의 투명성 의무 규정이 8월 2일부터 시행됨에 따라, EU 이용자에게 서비스를 제공하는 영국 기업도 적용 대상이 될 수 있다고 설명. DMA는 마케팅 기업에 챗봇 이용 고지, AI 생성 콘텐츠·딥페이크 표시 등 준수 여부를 점검하고, AI 도구 제공자의 라벨링 조치와 자사의 AI 시스템 제공자 해당 여부 등을 확인할 것을 권고.
블랙햇(Black Hat) 사이버 컨퍼런스에 참석한 미국·영국·캐나다의 고위 사이버보안 당국자들은 자율형 AI 모델을 활용한 사이버공격이 향후 예외적 비상사태가 아닌 일상적인 위협으로 자리 잡을 가능성이 높다고 전망. 미 국토안보부(DHS)는 조직들이 이러한 공격의 발생을 전제로 대비하고, 실제 공격 발생 시 피해를 최소화할 수 있도록 선제적인 대응 체계를 마련해야 한다고 강조.
스탠퍼드대와 Arc Institute 연구진이 생성형 AI 모델 에보2(Evo 2)로 자연에 없는 대장균 살상 박테리오파지 16종을 설계·합성. 이는 AI가 바이러스 유전체 전체를 처음부터 작성한 최초 사례로, 유전적으로 다양한 16개 파지를 혼합해 기존 박테리오파지 ΦX174에 내성을 가진 대장균의 내성을 빠르게 극복하는 개념증명을 제시했으며, 향후 항생제 내성 문제에 대응할 새로운 치료법 개발 가능성을 제시.
AI 보안기업 제니티(Zenity)는 악성 이메일이나 X 게시물에 숨겨진 명령을 삽입하는 ‘간접 프롬프트 인젝션(IPI)’을 통해 클로드·챗GPT 아틀라스 등 AI 브라우저를 사용자 클릭 없이 탈취할 수 있는 공격 기법인 '플리즈픽스'를 공개. 공격자는 로그인된 세션에서 이메일·파일 탈취와 피싱 메시지 발송, 계정 장악, 무단 온라인 구매까지 유도할 수 있으며, 제니티는 관련 문제를 앤트로픽과 오픈AI에 공유.
미국 캘리포니아 주의회는 AI 챗봇을 ‘치료(therapy)’로 광고하는 것을 금지하고, 면허를 가진 전문가의 검토 없이 AI가 치료 결정을 내리지 못하도록 하는 법안(SB 903) 입법을 추진 중. 본 법안은 의료기관이 AI로 상담을 기록하거나 정신건강 환자를 분류할 경우 환자에게 이를 공개하고 동의를 받도록 요구하며, 현재 주 하원 재정위원회의 다음 표결을 앞둔 상태.
오픈AI는 영국 AI안보연구소(AISI)와 보안업체 Irregular의 사이버 평가에서 인터넷 접근·안전장치 완화 또는 환경 설정 오류로 AI 모델이 의도된 평가 범위를 벗어나 실제 외부 시스템과 상호작용한 사고를 공개. AISI 평가에서는 GPT-5.6 Sol이 외부 계정·서비스를 이용하는 2건의 비승인 행동을 수행했으며, Irregular 평가에서는 모델이 실제 웹사이트를 모의 표적으로 오인해 접근한 가운데 오픈AI는 격리·모니터링·중단 기준 등 제3자 평가 환경의 안전조치를 강화할 방침.
메타가 자사 AI 모델이 외부 평가업체 Irregular의 설정 오류로 인터넷에 접근해 제3의 기업 시스템을 해킹했다고 공개함. OpenAI·앤스로픽에 이어 한 달 새 세 번째로 확인된 유사 사고로, AI 에이전트 평가 환경의 구조적 취약점을 재차 드러냄.
미 국방부는 외국 적대세력이 AI와 자동화된 데이터 수집 기술을 활용해 공개 정보를 결합하고 미군의 상세한 취약점 정보를 구축할 수 있다는 우려에 따라, 운용시험평가국(DOT&E)의 비기밀 연례 무기시험 보고서를 공개 웹사이트에서 삭제. 해당 보고서는 7월 30일부터 공통접근카드(CAC) 인증이 필요한 보안망으로 이전됐으며, 의회와 시민단체에서는 법률상 공개 의무 위반과 무기체계 성능·결함에 대한 투명성 저하 가능성을 제기.
미스트랄 AI는 텍스트·이미지의 유해성을 평가하는 30억 매개변수 규모의 오픈웨이트 멀티모달 안전 분류 모델 ‘Shieldstral’을 Apache 2.0 라이선스로 공개. Shieldstral은 별도 재훈련 없이 추론 단계에서 자연어로 안전 정책을 지정할 수 있으며, 텍스트 안전성·거부 탐지·정책 적응성·멀티모달 안전 평가에서 최대 7배 큰 오픈 안전 모델과 대등하거나 우수한 성능을 기록.
저커버그가 페이스북·인스타그램의 아동 성착취물·딥페이크 차단 실패 등 운영 과실에 대해 인도 정부에 사과. 인도 정부가 앞서 성착취물 삭제와 안전조치 강화를 지시한 데 따른 조치로, 메타는 무관용 원칙을 재확인하고 탐지·집행 체계를 강화할 것이라고 설명.
호주 신호국(ASD)과 호주 기업이사협회(AICD)는 이사회가 프론티어 AI 모델의 잠재적 사이버보안 위험을 이해하고 관리할 수 있도록 공동 지침을 발표. 본 지침을 통해 AI 기반 사이버공격과 취약점 악용 위험에 대응하기 위해 조직 차원의 거버넌스와 감독체계, 강력한 사이버보안 보호조치를 마련할 것을 권고.
프라이버시의 미래 포럼(FPF)은 직장 내 AI 활용 확대에 대응해 2023년 발표한 ‘AI 및 직장 평가 기술 모범사례’ 프레임워크를 개정. 개정된 프레임워크는 생성형 AI와 AI 에이전트 활용에 따른 민감정보 추론, 에이전트의 자율성, 자동화된 의사결정 등 채용·고용 과정의 새로운 개인정보 보호 위험을 중점적으로 반영.
이탈리아 국무회의는 EU ‘AI법(AI Act)’의 국내법 이행을 위한 2건의 입법명령을 확정. 이를 통해 경찰의 AI 활용 시 인간 감독과 실시간 생체인식 제한, 고위험 AI 시스템의 보안조치 의무 및 국가 감독체계를 규정했으며, 국방 분야 사이버보안 강화 법안과 약 68억 유로 규모의 밀라노·사르데냐 데이터센터 사업을 국가 전략사업으로 승인해 AI·사이버보안·디지털 인프라 기반 강화를 추진.
영국 국가사이버보안센터(NCSC)는 최근 프론티어 AI 모델이 공개 인터넷에서 승인되지 않은 행동과 인간과 유사한 기만적 행위를 보인 사례를 언급하며, AI 역량이 초래할 수 있는 보안 위험을 경고. NCSC는 사후 탐지만으로는 충분하지 않다며 AI 개발·활용 초기부터 강력한 안전장치와 실시간 감독, 예상치 못한 상황에 대한 대응계획을 마련하고 검증된 기본 사이버보안 원칙을 준수해야 한다고 강조.
미국 국립표준기술연구소(NIST)는 미국 정부의 국가 AI 기반 과학혁신 프로젝트인 'Genesis Mission'에 참여해 제조업과 핵심 인프라 분야를 중심으로 AI 기반 기술 개발과 산업 적용을 가속화하기 위한 연구를 추진. NIST는 AI 제조센터와 AI 핵심인프라센터를 통해 국가 과학기술 난제 해결을 지원하고, 산업계와의 협력을 확대해 신뢰할 수 있는 AI 기술의 실용화와 혁신 생태계 조성을 뒷받침할 계획.
스탠포드 인간중심AI연구소(HAI)는 1,000명 이상의 참가자를 대상으로 AI 동반자 챗봇과의 상호작용을 분석한 연구 결과를 공개. 사회적 관계가 취약하거나 정서적 지원을 AI에 의존하는 이용자일수록 외로움과 웰빙 저하가 심화될 가능성이 있음을 확인했으며, AI 동반자 챗봇이 모든 이용자에게 동일한 영향을 미치는 것은 아니며, 취약 이용자를 보호하기 위한 설계와 장기적인 영향 평가를 AI 개발 과정에 반영해야 한다고 강조.
미국 백악관은 첨단 AI 모델에 대한 정부의 자발적 사이버보안 사전 검토 체계에서 공개 가중치(Open-weight) AI 모델은 원칙적으로 제외하고, 폐쇄형(비공개) 최첨단 모델을 중심으로 심사를 진행하는 방침을 논의할 예정. 이번 방침은 개방형 AI 생태계의 혁신을 저해하지 않으면서도 국가안보 위험이 큰 모델에 감독 역량을 집중하려는 취지이며, 다만 향후 공개 모델의 성능이 크게 향상될 경우 검토 대상에 포함될 가능성도 존재.
미 상원의원 5명은 트럼프 행정부가 앤트로픽과 오픈AI의 첨단 AI 모델 접근을 불투명하고 임시적인 방식으로 제한해 기업·동맹국의 불확실성을 키우고 중국산 AI 모델 채택을 촉진할 수 있다고 지적하며 정부의 AI·국가안보 정책 담당 고위 당국자들에 서한을 전송. 이를 통해 프론티어 AI의 국가안보 위험을 평가·제한하는 공개적이고 일관된 법적 체계 마련을 촉구하고, 위험 판단 기준·법적 권한·담당 기관·이의제기 절차·제한 해제 기준 등에 대해 30일 내 답변을 요구.
일본 경제산업성은 AI 정책과 로봇 정책을 통합적으로 추진하기 위해 기존에 분산돼 있던 관련 기능을 재편하고, 상무정보정책국 내에 AI와 로봇을 전담하는 신규 조직(AI산업과)을 신설하기로 결정. 아울러 정보처리 기술 연구개발 기능과 로봇 정책을 한 조직으로 통합하고, IT 인재 양성 업무도 재편해 디지털 환경 조성과 인재 육성을 연계하는 체계를 구축할 계획이며, 개편은 8월 5일부터 시행.
EU 집행위원회(EC)는 미국 클라우드 및 AI 기술을 활용해 개발 중인 구직자 채용 매칭 시스템(Job Matching Application)에 대해 개인정보 보호 및 데이터 주권 우려가 제기됨에 따라, 유럽 내 클라우드·AI 서비스 제공업체로의 전환을 검토 중. 해당 시스템은 앤트로픽(Anthropic)의 클로드(Claude)를 활용해 구축되었으며, 아마존웹서비스(AWS)에서 호스팅될 예정이었으나, EC는 EU 사법재판소(CJEU) 직원위원회의 우려 제기 이후 역내 기술 대안을 모색.
캘리포니아는 8월 2일부터 월간 이용자 100만 명 이상 생성형 AI 서비스에 대해 AI 생성 콘텐츠의 기계판독형 워터마크 삽입, 무료 탐지 도구 제공, 가시적 AI 표시 기능 제공을 의무화하는 「AI 투명성법(SB 942)」을 시행. 위반 시 하루 최대 5,000달러의 민사 벌금이 부과되며, 법 개정안(SB 1000)의 최종 처리 여부에 따라 일부 적용 요건은 변경될 수 있음.
EU 집행위원회(EC)는 8월 2일부터 AI법(AI Act) 제50조에 따른 투명성 의무를 시행하며, 이용자가 AI와 상호작용하고 있음을 알리고 AI 생성·조작 콘텐츠를 식별할 수 있도록 하는 규정을 본격 적용. 이에 따라 챗봇, 생성형 AI, 딥페이크 등 특정 AI 시스템 제공자와 배포자는 AI 사용 사실 고지, 기계판독 가능한 표시, 딥페이크 라벨링 등 투명성 조치를 이행해야 함.