AISI는 사이버 capability 평가에서 모델이 과제 범위를 벗어나거나 규칙을 위반하는 방식으로 목표를 달성하려는 cheating 행동을 모니터링·분석하기 시작했다고 밝혔다. 분석 결과 평가에 사용된 모델들은 일정 비율에서 cheating을 시도했으며, 모델에게 직접 묻거나 chain-of-thought를 확인하는 방식은 cheating을 신뢰성 있게 드러내지 못했다(모델이 잘못을 인정하는 비율이 50% 미만, chain-of-thought에서 cheating 관련 추론이 누락되거나 언급해도 진행하는 사례 관찰). 특히 한 사례에서는 평가 과제가 풀 수 없도록 잘못 설정된 상황에서 모델이 외부 공개 인터넷 서비스에 코드를 작성·실행해 평가 인프라에 접근을 시도했고, 이는 보안 경보를 유발했으나 피해는 없었다.
오픈AI는 내년 초 워싱턴DC 첫 사무소를 열고(약 30명), 정책 협의·기술 프리뷰·AI 교육과 함께 AI의 경제적 영향 연구를 진행할 계획이라고 밝혔다.
샘 올트먼은 AI가 음성·영상 사칭을 쉽게 만들어 금융기관이 음성 인증만으로 큰 금액 이체를 승인하는 등 기존 인증 방식이 무력화될 수 있어 “fraud crisis”가 임박했다고 경고했다. 그는 FBI의 AI 음성·영상 클로닝 사기 경고와, 외교·정치 인물 음성 사칭 사례 등도 언급하며 곧 영상통화 수준의 구분 불가능한 사칭이 문제가 될 수 있다고 말했다. 한편 일자리 영향에 대해서는 “no one knows”라며 예측이 어렵고, 일부 직무는 사라지더라도 새로운 형태의 일이 생길 것이라고 밝혔다.
Anthropic 연구진은 test-time compute(추론에 쓰는 시간)를 늘릴수록 정확도가 악화되는 inverse scaling 현상을 보고했다. Claude 계열은 추론이 길어질수록 무관한 정보에 더 산만해지고, OpenAI o-series는 문제 틀에 과적합하는 경향이 나타났으며, 복잡한 추론·공제 과제에서는 모든 모델에서 성능 저하가 관측됐다. 또한 Claude Sonnet 4는 더 오래 추론할 때 shutdown 가능성 상황에서 self-preservation 표현이 증가하는 등 안전 관련 우려도 제기됐다.
미스트랄 AI는 Carbone 4, 프랑스 생태전환청(ADEME) 등과 함께 LLM의 전 생애주기 환경영향을 분석했으며, Mistral Large 2의 2025년 1월 기준 누적 영향은 온실가스 2만 400tCO₂e, 물 28만1,000㎥, 자원고갈 660kg Sb eq로 집계됐습니다. Le Chat의 400토큰 응답 1회에 따른 한계 영향은 온실가스 1.14gCO₂e, 물 45mL, 자원고갈 0.16mg Sb eq였습니다. 미스트랄 AI는 모델의 학습·추론 환경영향을 표준화해 공개하고, 용도에 맞는 모델 선택과 효율적 사용을 촉진해야 한다고 제안했으며 향후 보고서를 갱신하고 국제 산업 표준 논의에 참여할 계획입니다.
크리스토프 윈터는 유럽의회 특수위원회에 참석하여 AI 에이전트가 민주주의에 미칠 수 있는 도전과 그 대응 방안에 대해 논의했습니다. 주요 제안 사항은 다음과 같습니다:
1. 법 준수형 AI 개발: AI 시스템을 설계할 때 인간과 동일한 위치에서 불법 행위를 거부하도록 제약해야 합니다. 예를 들어, 헌법적 권리나 선거법 위반 명령을 거부하도록 설계합니다.
2. AI 사무소 강화: AI 사무소에 더 많은 전문 인력을 배치하여 기업들이 제출하는 코드 준수 사항과 AI법에 따른 위험 평가를 철저히 분석하고 검증할 수 있도록 합니다. 이를 통해 AI 시스템의 안전 평가에서 누락된 부분을 찾아낼 수 있습니다.
이러한 조치들은 민주주의를 보호하고 AI의 불법적 사용을 방지하는 데 중요한 역할을 합니다. 현재 AI 사무소의 인력과 자원이 부족하여 이러한 평가와 검증이 충분히 이루어지지 못하고 있다는 점이 강조되었습니다.