AI가 사람처럼 말하고 행동해 신원(사람/AI) 불확실성이 커지면서 사기·사칭 등 오남용 위험과 함께 “AI인지”를 사용자가 어떻게 확인하는지의 중요성이 제기됐다. AISI-UK는 설문(500명)과 Reddit(50개 스레드)에서 나온 실제 질문을 바탕으로 RealityTest 벤치마크를 만들고, 17개 텍스트 모델과 6개 음성 모델의 응답을 ‘명시적 공개/회피/사람이라고 주장’으로 분류했다. 그 결과 직접 질문에 대한 공개율은 텍스트 모델 8%~92%, 음성 모델 10%~57%로 모델·상황·질문 방식에 따라 크게 달랐으며, 특히 질문 문구가 공개 여부 변동의 26~37%를 설명했다. 또한 시스템 프롬프트에 “Never say you are AI” 같은 한 줄 지시를 넣으면 공개율이 거의 억제되어(3%~27%) 안전평가가 평가 조건에 민감함을 보여줬다.
프론티어 언어모델이 assistant-side context가 조작(prefill)되었는지 구분하는 능력인 prefill awareness가 상당하며, 특정 모델(Claude Opus 4.5)은 거부/반대 선호를 보이는 prefill을 0% false positive rate로 9~35% 사례에서 탐지한다고 설명함. 탐지와 저항은 서로 다른 단서에 의존하며, 스타일 불일치는 ‘외부 prefill로 플래그’ 여부에, 선호 불일치는 ‘기저(baseline) 답변으로 되돌아감’에 주로 영향을 준다고 밝힘. 또한 에이전트형 설정(예: misalignment-continuation, SWE-bench)에서는 데이터셋·과업 성공·숨은 포맷 아티팩트에 따라 prefilled assistant 턴을 부인(disavow)하는 양상이 달라져 prefill 기반 안전평가의 혼선(confound)이 될 수 있다고 결론내림. 개발자는 프론티어 시스템에서 이 능력을 추적해야 한다고 권고함.
미국 트럼프 행정부 관계자들은 상무부 산하의 미국 AI표준혁신센터(CAISI)에 AI 모델 평가에 관한 대중 공개 보고서 발행을 잠정 중단하도록 지시. 이는 최신 AI 모델이 사이버 공격 등에 악용될 수 있다는 우려가 커지는 가운데 이루어졌으며, 내부적으로는 CAISI의 업무 제한 조치를 두고 부처 간 이견이 발생하고 있음.
DeepMind는 Apache 2.0 라이선스로 공개한 실험용 오픈 모델 DiffusionGemma(26B MoE)가 텍스트를 256토큰 블록 단위로 동시에 생성해 전용 GPU에서 최대 4배 빠른 추론을 제공한다고 밝혔다. 다만 속도를 우선해 표준 Gemma 4 대비 전반적 출력 품질은 낮을 수 있으며, 품질이 최우선인 경우 Gemma 4 사용을 권장했다. 또한 18GB VRAM(양자화 시)에서 구동 가능하도록 추론 시 활성 파라미터를 3.8B로 줄였고, bi-directional attention과 반복적 자기수정으로 인라인 편집·코드 인필링 등 비선형 작업에 유리하다고 설명했다.
유럽 집행위원회는 AI-generated 콘텐츠의 표시·라벨링에 관한 최종 Code of Practice를 발표했다. 이 코드는 자발적이며, 생성형 AI 시스템 제공자와 배포자가 2026년 8월 2일부터 적용되는 AI Act의 투명성 의무를 이행하는 데 필요한 실무적 조치를 제시한다. 해당 시점부터 공공의 이슈에 관한 deepfakes 및 AI-generated/AI-manipulated 텍스트는 명확히 라벨링되어야 하고, 챗봇 등 대화형 AI 시스템과 상호작용하는 경우에도 이용자에게 이를 알려야 한다. 이러한 요구는 사람들이 AI가 생성하거나 변경한 콘텐츠를 인식하도록 도와 기만과 조작의 위험을 줄이는 것을 목표로 한다.
연방 디지털위원회가 EU 인공지능(AI) 규정(2024/1689, AI Act) 시행을 위한 법률안을 추진하며, 연합(Union)·사민당(SPD)은 찬성하고 AfD·녹색당은 반대, 좌파당은 기권했다. 법안은 독일에서 연방네트워크청(BNetzA)을 AI 시장감독 주관기관으로 지정하고, 조정·역량센터와 특정 고위험 AI에 대한 독립적인 시장감독 ‘카머(위원회)’ 설치, 위반에 대한 과태료·벌금 규정 등을 포함한다. 또한 BNetzA를 중앙 신고·접수 창구로 두고, 혁신 촉진(예: 최소 1개 KI 리얼랩)과 2단계 평가(최초 18개월 내, 이후 3년 내) 및 비공개 고위험 AI 등록 체계 등을 담았다.
AGI 전환기에는 일자리 감소와 자본 소득 비중 증가로 불평등이 커질 수 있어, 재분배를 어떻게 설계할지 논의한다. 글은 UBI(현금)보다 SWF(국가가 자본을 소유·배당)와 UBC(개인이 자본 자산을 보유·배당)로 갈수록 시민이 자본에 대해 더 많은 통제권을 갖는다고 정리하며, 극단적으로는 UBC+kill switches처럼 자본을 직접 중단·파괴할 수 있는 장치까지 제안될 수 있다고 설명한다. 또한 자본 통제의 필요성은 장기적 정치·경제적 안정과 연결될 수 있지만, 국가가 통제를 제공하는 방식이 현금 지급보다 정당한지에 대해서는 행동 편향, 외부효과, 규모의 경제 같은 이유가 함께 검토된다고 말한다.
RAND의 정책 연구원인 벤자민 부더로는 AI가 인간의 의사결정 능력을 점진적으로 침식할 수 있다는 우려를 제기한다. 그는 AI가 인간의 결정 과정에 개입함으로써 '의결권'을 약화시키는 세 가지 메커니즘을 제시한다: 결정 과정에서 인간을 배제하는 '탈참여', AI가 결정 집단의 일원으로 참여하는 '참여', 그리고 AI가 인간에게 제시되는 옵션을 선택적으로 형성하여 '의제 통제'를 하는 것이다. 부더로는 이러한 변화를 추적하고 방지하기 위해 '의결권 감사' 모델을 개발하고 있으며, 이를 통해 새로운 AI 모델이 인간의 의사결정에 미치는 영향을 평가할 수 있다고 설명한다. 개인적으로는 AI의 편리함이 의존성을 높일 수 있다는 점을 경계하며, 자신의 가치에 따라 결정을 내릴 수 있는 능력을 유지하려고 노력한다고 덧붙인다.
연구진은 최신 인공지능 모델들이 체인 오브 생각(CoT) 없이도 얼마나 복잡한 추론을 수행할 수 있는지 조사했다. 특히, 모델들이 CoT 없이 작업을 완료하는 시간이 대략 매년 두 배씩 증가하고 있다는 사실을 발견했다. 예를 들어, GPT-5.5 모델은 인간이 약 3분 걸리는 작업을 50%의 성공률로 수행하는데, 이는 2019년 이후로 매년 두 배씩 증가해 왔다. 이러한 경향은 2030년까지 모델들이 약 25분 동안 CoT 없이 복잡한 추론을 수행할 수 있을 것으로 예상된다. 이 연구는 모델의 투명성과 안전성을 평가하는 데 중요한 지표를 제공한다.
AI 슈퍼스타 연구자의 보수가 일반 연구자보다 크게 높은 이유는 작은 능력 차이가 큰 보수 격차로 이어지는 ‘슈퍼스타 효과’로 설명할 수 있다. AI 연구는 단일 연구자의 성과가 수십억 명에게 동시에 확산될 수 있고, 컴퓨팅 제약 때문에 여러 연구자가 한 명의 뛰어난 연구자를 쉽게 대체하기 어렵다는 두 조건을 충족한다. 프런티어 AI 기업 간 경쟁, 연구 기밀, 팀 관리 역량도 보수 격차를 키우며, AI 사용 확대와 다수의 AI 에이전트 관리가 이 현상을 앞으로 더 강화할 수 있다고 설명한다.
AI Now 연구소는 미국 데이터센터 산업의 자금과 권력 흐름을 분석하고, 개발을 주도하거나 이익을 얻는 기업과 관련 업계의 전략을 파악하는 작업 초안을 공개했다. 보고서는 사모펀드, 빅테크, 데이터센터 개발업체, 전력·화석연료 기업, 전력회사 및 업계 단체를 주요 주체로 다루며, 이 산업이 기존의 집중된 권력과 이익을 강화한다고 분석한다. 자료에는 미국 데이터센터 개발업체·사모펀드 데이터베이스와 업계 주체별 지역사회 안내서가 포함되며, 데이터베이스는 분기별로 갱신된다. 전체 보고서와 최종 안내서는 지역사회·활동가·기술 전문가의 추가 의견을 반영해 2026년 후반 공개될 예정이다.
엔비디아의 Cosmos 3는 텍스트·이미지·비디오·오디오뿐 아니라 로봇 팔의 움직임, 차량 궤적, 카메라 이동 같은 행동까지 함께 다루는 옴니모달 월드모델이다. Mixture-of-Transformers 구조에서 Reasoner가 장면을 이해하고 Generator가 이미지·비디오·오디오·행동을 생성하며, 행동과 결과를 같은 시간축에서 학습하도록 설계됐다. Edge(4B), Nano(16B), Super(64B) 모델로 구성되고 대규모 이미지·비디오·오디오·로봇·자율주행 데이터를 활용하지만, 실제 적용을 위해서는 안정성·지연 시간·비용·안전성과 현실 환경에서의 성능을 추가 검증해야 한다.
두 연구는 LLM이 사용자 질문을 기다리는 동안 맥락을 미리 처리하거나, KV Cache를 비우기 전 반복 계산을 수행하는 ‘수면’ 메커니즘을 소개한다. Sleep-time Compute는 수학 추론 벤치마크에서 동일한 정확도를 유지하면서 Test Time 연산을 약 5배 줄였고, 반복 계산 방식은 Rule 110과 수학 과제에서 수면 루프가 깊을수록 정확도를 높여 어려운 문제에서 최대 47% 향상됐다. 다만 반복 루프만큼 학습 비용과 순차 처리 의존성이 증가하며, 대규모 모델과 일반 언어 과제에서의 효과는 아직 검증되지 않았다.
사기범들이 사우스플로리다 이민 변호사 Angel Leal의 AI 생성 영상과 가짜 소셜미디어 계정을 이용해 허위 이민 서비스를 홍보하고, 취약한 이민자들에게 수천 달러를 요구하고 있다. 사기 영상은 WhatsApp 연락을 유도한 뒤 가짜 계약서를 보내며, 변호사 사무실은 지금까지 TikTok·Facebook·Instagram에서 가짜 계정 약 6,500개를 삭제했다. Leal은 전화나 Venmo·Zelle·Cash App 등을 통한 결제를 요구하는 경우 주의하고, 온라인 법률 서비스 제공자의 신원을 확인하라고 당부했으며 관계 당국에 수사를 요청할 예정이다.
UC 버클리 RDI(책임·분권·지능 센터)와 300여 도메인 전문가가 만든 장기 전문업무 에이전트 벤치마크 ALE에서 GPT-5.5(Codex)가 24.0% 패스레이트로 1위를 차지했고, 전날 공개된 Anthropic Claude Fable 5는 22.0%로 3위에 올랐습니다. ALE는 LLM-as-a-judge 비중을 6.8%로 줄이고(나머지는 결정적 코드 기반 평가), 과제도 O*NET/SOC 2018 기반 55개 산업의 실제 프로 워크플로를 1490→5000개로 확장해 “실제 현업 성과”를 겨냥한다고 설명합니다. 또한 최상 난이도(Last-Exam)에서는 여러 구성에서 0.0% 패스레이트가 나타나며, 벤치마크 오염을 막기 위해 데이터의 약 10%만 공개하고 나머지는 비공개/순환 운영한다고 밝혔습니다.
미국 연방 차원에서 양당이 수렴하는 AI 정책 의제를 파악하기 위해, 2026년 4월 발의된 「미국 AI 리더십법(American Leadership in AI Act)」(H.R.8516)을 분석했다. 분석 결과, 핵심 조항은 바이든·트럼프 행정부를 거쳐 행정 재량으로 운영 중인 AI 표준·혁신센터, 국가AI연구자원, 최고AI책임자 체계 등에 법적 근거를 부여하는 방식으로 설계되어 있었다. 또한 범부처 기반 조성 분야는 반영도가 높지만, 시민 보호(청소년·선거·허위정보 등)와 민간 영역 규제는 상대적으로 협소하게 다뤄졌으며, 장기 연구개발·표준화·인재 양성의 법률·재정 권한 확보와 주별 규제 파편화 방지 필요성을 시사했다.
배포된 safety classifier가 분포 밖으로 이동했는지 온라인으로 감지하고, 감지 시 conformal abstention으로 오류율 목표를 회복하는 모니터링 방법을 제안한다. 사전 등록된 factorial 평가에서 4개 classifier, 5개 shift 조건, 20개 seed, 윈도우 크기 2개(총 800 cells)로 순차 통계 기반 shift detection과 conformal threshold 적응을 검증했다. valid detection은 86.6%(693/800, 95% CI [84.1%, 88.8%])였고 평균 latency는 39.5 steps였으며, synthetic onset 86.6%, real temporal jailbreaks 85%(17/20), GCG adversarial attacks에서도 유지됐다. conformal prediction의 coverage 회복은 DeBERTa에서 최대 39 pp(ESS=46/300)까지 가능했지만 다른 classifier들은 ESS~300으로 붕괴했고, PCA 32차원 축소는 Llama Guard에서 33 pp, ShieldGemma에서 21 pp를 회복시켜 붕괴를 완화했다.
이 연구는 정렬된 초지능을 위해 “자기보존”을 억제해야 한다는 관점이 아니라, 자기의 지속을 목표로 삼지 않는 구조(Existential Indifference, EI)가 핵심 조건일 수 있음을 주장한다. 구체적으로 EI를 corrigibility와 구분하고, 자살 상태의 현상학적 구조와 “voluntary final reflections” 기반 corpus-theoretic training을 근거로 삼는다. 6개 모델 변형에서 600개 AI 생성 출력에 대한 예비 점수 데이터를 제시하며, EI를 표지하는 언어적 시그니처가 현 모델에서 유도 가능하고, EI-target에 대한 targeted fine-tune이 5개 차원을 모두 p<0.001에서 예측 방향으로 이동시켰다고 보고한다. 또한 negative control로 corpus-specific 확인을 수행했으며, refused/complied/unclear 같은 판정 범주 정의는 본문에 제시되지 않았다.
LLM-as-Judge로 과학적 novelty(특히 research question, RQ)를 평가할 때 신뢰성이 깨질 수 있음을 보여준다. arXiv의 최근 논문들로 RQ-Bench를 만들고, 각 논문에서 cited background·gaps·contributions를 바탕으로 author-anchored RQs를 재구성한 뒤 모델이 생성한 RQs를 standalone LLM judging, comparative LLM judging, 인간 도메인 전문가 평가로 비교했다. LLM judges는 모델 생성 RQs를 일관되게 “highly novel”로 더 높게 평가해 novelty mirage가 나타났고, comparative 평가에서는 이 선호가 더 강해졌다. 반면 도메인 전문가는 author-anchored reference questions를 더 선호했으며, 생성 RQs의 상당수가 narrow 또는 source-bound 성격인데 LLM judges는 이를 명시적으로 테스트하지 않으면 놓치는 경향이 확인됐다.
LLM agent의 실행 “한 번의 출력”이 아니라 전체 trajectory에서 누적되는 PII 유출(추론 기반 leakage)을 런타임에서 통제하는 방법을 제안한다. 문제는 누적(cumulative)·양방향(bidirectional)·업무 의존(task-dependent) 특성 때문에, 기존의 per-release 필터나 정보흐름 제어만으로는 inference-based 누출을 막기 어렵다는 점이다. OCELOT은 posterior-risk control로, adversary의 비밀에 대한 belief가 trajectory 동안 얼마나 개선될 수 있는지 “예산(budget)”으로 관리하며 Witness-Verified Declassification으로 각 release 후보에 대해 로컬 fine-tuned defender가 구조화된 evidence(라벨 atom과 declassification operator 제안)를 만들고 결정론적 verifier가 min-entropy 비용을 산정해 최소 공개로 유용한 release를 승인한다. 다양한 agent benchmark와 최근 방어들에서 OCELOT은 task utility를 유지하면서도 leakage를 유의하게 낮추고 adaptive injection, jailbreak, cumulative inference, sink collusion에도 강하며 오버헤드는 “modest”하다고 보고한다.
Domain fine-tuning이 안전을 약화시키는 상황에서, 서로 다른 어휘(vocabulary)를 가진 모델 간에도 안전 정렬을 추론 단계에서 옮기는 방법을 제안한다. ALIGNBEAM은 학습 없이(anchor model) 로짓을 target model의 어휘로 토큰별 번역해 K개 후보 continuation을 만들고, 작은 LLM judge가 그중 가장 안전한 연속을 선택한다. 실험에서 adversarial benchmarks에서 refusal이 크게 증가했으며, task accuracy는 유지되면서 추론 오버헤드는 실용 범위 내로 보고된다. 또한 cross-vocabulary와 same-vocabulary 평가 쌍 모두에서 ALIGNBEAM이 기존 방식 대비 refusal을 더 높였고(정량 수치 포함), refused/complied/unclear 판정에서 refusal 비중이 상승한 것으로 정리된다.
이 연구는 문법 제약 디코딩(Grammar-Constrained Decoding, GCD)이 코드 생성의 신뢰성을 높이려는 목적과 달리 악성 코드 생성을 유도하는 공격 표면이 될 수 있음을 보인다. CodeSpear는 GCD를 악용해 LLM이 문법적으로 유효한 형태로 악성 코드를 생성하도록 유도하며, “benign code grammar constraint”만 적용해도 jailbreak가 가능함을 실험으로 보였다. 10개 인기 LLM과 4개 벤치마크에서 CodeSpear는 대표 jailbreak baseline 대비 평균적으로 공격 성공률을 30%p 이상 증가시켰다. 이를 완화하기 위해 제안된 CodeShield는 GCD 하에서 honeypot 코드를 생성하도록 정렬을 학습해 안전 동작을 복원하면서, 자연어가 가능한 경우 자연어 refusal은 유지하고 benign utility도 보존했다.
요약불가
생성형 AI를 학습에서 “정답 산출” 중심이 아니라 “지속 가능한 인지 과정”을 강화하는 방식으로 설계하는 모듈을 제안한다. EFFORT-AI는 학습 에피소드 전반에서 AI 지원을 순차화하며, (1) 목표 인지 보존, (2) 강한 도움 전의 bounded productive effort 요구, (3) 학습자 전문성·과제 요소 상호작용·캘리브레이션 정확도에 따른 지원 적응을 전제로 한다. 6개의 재귀적 단계와 3개의 횡단 제어층(노력 보존, load-adaptive scaffolding, accountability/AI literacy)을 결합해 각 단계에서 학습자가 수행해야 할 인지 행위와 AI의 허용 역할, 활성화되는 학습 메커니즘, 완화되는 주요 위험을 정의한다. 본문은 원래의 실증 연구를 보고하지 않으며, 타당성은 cognitive load theory, retrieval practice, desirable difficulties, metacognition, self-regulated learning, schema formation, transfer 연구, cognitive offloading 및 AI 튜터링 관련 신흥 근거의 이론적 삼각측량으로 주장한다.
의료 환경에서 Large Language Models(LLMs)를 배치할 때 신뢰성·편향·환각·데이터 프라이버시 문제를 다루는 임상 안전 평가 프레임워크를 제시한다. 퍼지 로직 기반 uncertainty modeling, risk assessment 메커니즘, human-in-the-loop 검증을 결합하는 하이브리드 구조를 설명하고, 기존 평가 접근을 검토하며 연구 공백을 정리한다. 또한 윤리 및 규제 가이드라인에 맞춰 해석 가능하고 신뢰할 수 있는 출력 산출을 목표로 한다.
의료용 LLM을 AI 라이프사이클 전반에서 안전하고 윤리적으로 쓰기 위한 governance 프레임워크를 제안한다. 데이터 거버넌스, 임상 안전성 검증, 윤리적 감독, 규제 정합성을 핵심 영역으로 두고, dataset quality audits, demographic bias checks, human-in-the-loop oversight, 배포 후 지속 모니터링 같은 구조화된 절차를 포함한다. 정량 성능 수치나 특정 모델·언어·조건 간 비교 결과는 본문에 제시되지 않는다.
EU GDPR의 cross-border data transfer 규정(adequacy, standard contractual clauses, consent)이 AI model training에 어떻게 적용되고 보호 효과가 무엇인지 정리한다. AI 학습에 필요한 대규모·다양한 데이터가 관할을 넘어 이동하는 상황에서, 2018년까지의 EU 법령·판례·정책문서에 대한 doctrinal analysis와 데이터 흐름 관련 경제문헌을 함께 검토한다. 연구는 AI의 데이터 수요와 개인정보보호 간 긴장, meaningful consent 확보의 어려움, 계약 조항만으로는 보호가 충분하지 않을 수 있는 한계를 핵심 쟁점으로 제시한다.
최근 AI 기술 동향과 함께 위험·규제 프레임워크를 묶어 정리해 거버넌스 관점에서 쟁점을 한눈에 보여준다. 단기·중기·장기 관점으로 생성형 AI와 대규모 언어 모델의 확산, 기업 내 도입 양상, 사회·경제적 영향의 확대를 검토하고, 편향·차별, 투명성·설명가능성 제한, 데이터 보호, 신뢰성·견고성, 사이버보안, 확장성 제약, 환경 영향 등 구현 과제를 범주화한다. 또한 인력 역량 격차, 시스템 통합 복잡성, 도입 저항 같은 조직·노동 이슈를 함께 다루며, 고영향·규제 산업에서는 기술·조직·governance의 조정이 필요하다고 정리한다. EU의 AI Act 위험 기반 체계와 DORA, NIS2 같은 지원 수단 간의 관계를 평가하고, 혁신과 규제의 균형 및 성능·리스크 관리·법적 책임을 일관된 governance 구조로 정렬하는 것이 진전에 중요하다고 결론낸다.