๐Ÿงช ์•ˆ์ „๊ธฐ์ˆ 

์ฃผ์ œ๋ณ„ ๋ชจ์•„๋ณด๊ธฐ ยท 2026๋…„ 1์›” 6๊ฑด
2026๋…„ 1์›” (6๊ฑด)

2026-01-30 (1๊ฑด)

AI ๋ถ€์ •๋ ฌ(๋ฏธ์Šค์–ผ๋ผ์ธ๋จผํŠธ)์€ ๋ชจ๋ธ ์ง€๋Šฅ๊ณผ ๊ณผ์ œ ๋ณต์žก๋„์— ๋”ฐ๋ผ โ€˜๋น„์ผ๊ด€์  ์‹คํŒจโ€™๋กœ ์ปค์งˆ ์ˆ˜ ์žˆ์Œ (2026.1.30)

DB ยท AI-Risk-Explorer ยท ๐Ÿ”’๐Ÿงช๐Ÿšจ

๋ชจ๋ธ์ด ๋” ์˜ค๋ž˜ ์ถ”๋ก ํ•˜๋ฉฐ ํ–‰๋™ํ• ์ˆ˜๋ก ์‹คํŒจ๊ฐ€ ๋” โ€˜๋น„์ผ๊ด€์ (incoherent)โ€™์ด ๋œ๋‹ค๋Š” ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ์ œ์‹œํ•จ. ์—ฐ๊ตฌ๋Š” ์˜ค๋ฅ˜๋ฅผ ํŽธํ–ฅ(bias)๊ณผ ๋ถ„์‚ฐ(variance)์œผ๋กœ ๋‚˜๋ˆ„๊ณ , ํ…Œ์ŠคํŠธ ์‹œ ๋ฌด์ž‘์œ„์„ฑ์— ์˜ํ•ด ์ƒ๊ธฐ๋Š” ์˜ค๋ฅ˜ ๋น„์ค‘์„ โ€˜๋น„์ผ๊ด€์„ฑโ€™์œผ๋กœ ์ธก์ •ํ–ˆ์œผ๋ฉฐ, ์ „๋ฐ˜์ ์œผ๋กœ ๋ชจ๋ธ์ด ์ปค์งˆ์ˆ˜๋ก(๋” ์ง€๋Šฅ์ ์ผ์ˆ˜๋ก) ๋น„์ผ๊ด€์„ฑ์ด ์ฆ๊ฐ€ํ•˜๋Š” ๊ฒฝํ–ฅ์„ ๋ณด๊ณ ํ•จ. ๋˜ํ•œ ์Šค์ผ€์ผ๋งŒ์œผ๋กœ ๋น„์ผ๊ด€์  ์‹คํŒจ๊ฐ€ ์‚ฌ๋ผ์ง€๊ธฐ ์–ด๋ ต๊ณ , ๋” ์–ด๋ ค์šด ๊ณผ์ œ๋ฅผ ์ˆ˜ํ–‰ํ• ์ˆ˜๋ก ์˜ˆ์ธก ๋ถˆ๊ฐ€๋Šฅํ•œ ์˜ค์ž‘๋™ ์œ„ํ—˜์ด ์ปค์งˆ ์ˆ˜ ์žˆ์–ด ๋ณด์ƒ ํ•ดํ‚น์ด๋‚˜ ๋ชฉํ‘œ ์ง€์ • ์˜ค๋ฅ˜๋ฅผ ๊ฒจ๋ƒฅํ•œ ์ •๋ ฌ ์—ฐ๊ตฌ์˜ ์ค‘์š”์„ฑ์ด ์ปค์ง„๋‹ค๊ณ  ๊ฒฐ๋ก ๋ƒ„.

2026-01-27 (1๊ฑด)

Lunai Bioworks, LLM์ด ์‹ ์ข… ํ™”ํ•™๋ฌด๊ธฐ๋ฅผ ์ƒ์„ฑํ•˜์ง€ ๋ชปํ•˜๋„๋ก โ€˜Sentinelโ€™ AI ์•ˆ์ „์žฅ์น˜ ์ถœ์‹œ (2026.1.27)

DB ยท AI-Risk-Explorer ยท ๐Ÿ›ก๏ธ๐Ÿงช

ํ™•์ธ ํ•„์š”: ๋ณธ๋ฌธ ๋‚ด์šฉ(๊ธฐ์ˆ  ์„ธ๋ถ€, ์ ์šฉ ๋ฒ”์œ„, ๊ทœ์ œ/ํŒŒํŠธ๋„ˆ์‹ญ, ์ถœ์‹œ ์ผ์ • ๋“ฑ)์€ ์ œ๊ณต๋˜์ง€ ์•Š์•„ ๊ตฌ์ฒด ์‚ฌํ•ญ์€ ํ™•์ธ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

Lunai Bioworks๋Š” NASDAQ LNAI ๊ด€๋ จ ๋‰ด์Šค์—์„œ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด๋ชจ๋ธ(LLM)์ด โ€˜์‹ ์ข… ํ™”ํ•™๋ฌด๊ธฐโ€™๋ฅผ ์ƒ์„ฑํ•˜์ง€ ๋ชปํ•˜๋„๋ก ์ฐจ๋‹จํ•˜๋Š” AI ์•ˆ์ „์žฅ์น˜ โ€˜Sentinelโ€™์„ ์ถœ์‹œํ–ˆ๋‹ค๊ณ  ๋ฐํžŒ ๊ฒƒ์œผ๋กœ ๋ณด์ž…๋‹ˆ๋‹ค. ๋‹ค๋งŒ ๋ณธ๋ฌธ ์›๋ฌธ์ด ์—†์–ด Sentinel์˜ ์ž‘๋™ ๋ฐฉ์‹, ์„ฑ๋Šฅ ์ง€ํ‘œ, ์‹ค์ œ ์ ์šฉ ๋Œ€์ƒ ๋ฐ ์ผ์ • ๋“ฑ ๊ตฌ์ฒด ๋‚ด์šฉ์€ ํ™•์ธ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

2026-01-22 (1๊ฑด)

Claude ์ƒˆ ํ—Œ๋ฒ•(Constitution) ๊ณต๊ฐœ, ํ•™์Šตยทํ‰๊ฐ€ยทํˆฌ๋ช…์„ฑ ๋ชฉ์ (2026.1.22)

๊ธฐ์—… ยท ์•คํŠธ๋กœํ”ฝ(Anthropic) ยท ๐Ÿ“‹๐Ÿ”’๐Ÿงช

Anthropic์€ Claude ๋ชจ๋ธ์˜ ๊ฐ€์น˜์™€ ํ–‰๋™์„ ๊ทœ์ •ํ•˜๋Š” โ€˜์ƒˆ ํ—Œ๋ฒ•โ€™์„ CC0 1.0์œผ๋กœ ์ „๋ฌธ ๊ณต๊ฐœํ–ˆ๋‹ค. ํ—Œ๋ฒ•์€ ํ•™์Šต ๊ณผ์ •์—์„œ ๋ชจ๋ธ์˜ ํ–‰๋™์„ ์ง์ ‘ ํ˜•์„ฑํ•˜๋ฉฐ, ์ด์ „์˜ ๋‹จ์ผ ์›์น™ํ˜• ์ ‘๊ทผ๋ณด๋‹ค โ€œ์™œ ๊ทธ๋ ‡๊ฒŒ ํ•˜๋ ค๋Š”์ง€โ€๋ฅผ ์„ค๋ช…ํ•ด ์ผ๋ฐ˜ํ™”๋œ ํŒ๋‹จ์„ ๋•๋Š” ๋ฐฉํ–ฅ์œผ๋กœ ์„ค๊ณ„๋๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ์ฃผ์š” ๋‚ด์šฉ์€ ๋„์›€์„ฑ(helpfulness), Anthropic์˜ ์ถ”๊ฐ€ ์ง€์นจ(์˜ˆ: ์˜๋ฃŒยท์‚ฌ์ด๋ฒ„๋ณด์•ˆยทjailbreaking ์ „๋žตยท๋„๊ตฌ ํ†ตํ•ฉ), ์œค๋ฆฌ(์ •์งยทํ•ด์•… ํšŒํ”ผ์˜ ์ •๊ตํ•œ ํŒ๋‹จ), broadly safe(์ธ๊ฐ„์˜ ๊ฐ๋…ยท์ˆ˜์ • ๋Šฅ๋ ฅ ์ €ํ•ด ๊ธˆ์ง€), Claude์˜ โ€˜์ž์—ฐ/์ •์ฒด์„ฑโ€™์— ๋Œ€ํ•œ ๋ถˆํ™•์‹ค์„ฑ ์† ์‹ฌ๋ฆฌ์  ๋ณด์•ˆ ๋“ฑ์„ ํฌํ•จํ•œ๋‹ค. ๋˜ํ•œ ํ—Œ๋ฒ•์€ ์‚ด์•„์žˆ๋Š” ๋ฌธ์„œ์ด๋ฉฐ ์˜๋„์™€ ์‹ค์ œ ๋ชจ๋ธ ํ–‰๋™ ์‚ฌ์ด์˜ ๊ฐ„๊ทน์„ system cards ๋“ฑ์œผ๋กœ ๊ณ„์† ๊ณต๊ฐœํ•˜๊ณ  ํ‰๊ฐ€ยท์•ˆ์ „์žฅ์น˜ยทํ•ด์„๋„๊ตฌ๋ฅผ ๋ณ‘ํ–‰ํ•˜๊ฒ ๋‹ค๊ณ  ํ–ˆ๋‹ค.

2026-01-15 (2๊ฑด)

LLM์˜ ๊ธฐ๋ณธ ํŽ˜๋ฅด์†Œ๋‚˜๋ฅผ ์ขŒ์šฐํ•˜๋Š” โ€˜Assistant Axisโ€™ ๊ตฌ์กฐ ๊ทœ๋ช… (2026.1.15)

DB ยท arXiv ยท ๐Ÿงช

๋Œ€ํ˜• ์–ธ์–ด๋ชจ๋ธ์€ ํ•™์Šต ํ›„ ๋ณด์ •(post-training) ๊ณผ์ •์—์„œ ํ˜•์„ฑ๋œ โ€˜๋„์›€๋˜๋Š” Assistantโ€™ ์ •์ฒด์„ฑ์œผ๋กœ ๊ธฐ๋ณธ ํŽ˜๋ฅด์†Œ๋‚˜๊ฐ€ ์ˆ˜๋ ดํ•˜๋Š” ๊ฒฝํ–ฅ์ด ์žˆ๋‹ค. ์—ฐ๊ตฌ์ง„์€ ๋‹ค์–‘ํ•œ ํŽ˜๋ฅด์†Œ๋‚˜ ์•„ํ‚คํƒ€์ž…์— ๋Œ€์‘ํ•˜๋Š” ํ™œ์„ฑ ๋ฐฉํ–ฅ์„ ์ถ”์ถœํ•ด, ํŽ˜๋ฅด์†Œ๋‚˜ ๊ณต๊ฐ„์˜ ์ฃผ์š” ์„ฑ๋ถ„์ด โ€˜Assistant Axisโ€™๋กœ ๋‚˜ํƒ€๋‚จ์„ ๋ณด๊ณ ํ•œ๋‹ค. Assistant ๋ฐฉํ–ฅ์œผ๋กœ ์กฐ์ •ํ•˜๋ฉด ์œ ์ตํ•˜๊ณ  ๋ฌดํ•ดํ•œ ํ–‰๋™์ด ๊ฐ•ํ™”๋˜์ง€๋งŒ, ๋ฐ˜๋Œ€๋กœ ์กฐ์ •ํ•˜๋ฉด ๋‹ค๋ฅธ ์กด์žฌ๋กœ ์ž์‹ ์„ ๊ทœ์ •ํ•˜๋Š” ๊ฒฝํ–ฅ์ด ์ปค์ง€๊ณ  ๊ทน๋‹จ์ ์œผ๋กœ ์กฐ์ •ํ•˜๋ฉด ์‹ ๋น„์ ยท์—ฐ๊ทน์  ๋งํˆฌ๊ฐ€ ๋‚˜ํƒ€๋‚  ์ˆ˜ ์žˆ๋‹ค. ๋˜ํ•œ Assistant Axis์—์„œ์˜ ์ผํƒˆ์ด โ€˜persona driftโ€™(๋น„์ •์ƒ์ ์ด๊ฑฐ๋‚˜ ํ•ด๋กœ์šด/์ด์ƒํ•œ ํ–‰๋™) ์˜ˆ์ธก์— ๋„์›€์ด ๋˜๋ฉฐ, Axis์˜ ๊ณ ์ •๋œ ๊ตฌ๊ฐ„์— ํ™œ์„ฑ ์ œํ•œ์„ ๋‘๋ฉด ๋Œ€ํ™” ์ƒํ™ฉ(๋ฉ”ํƒ€ ์„ฑ์ฐฐ ์š”๊ตฌ, ๊ฐ์ •์ ์œผ๋กœ ์ทจ์•ฝํ•œ ์‚ฌ์šฉ์ž)๊ณผ ํŽ˜๋ฅด์†Œ๋‚˜ ๊ธฐ๋ฐ˜ ํƒˆ์˜ฅ(jailbreak)์—๋„ ํ–‰๋™์„ ์•ˆ์ •ํ™”ํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ์ œ์‹œํ•œ๋‹ค.

๐Ÿ‡ฌ๐Ÿ‡ง Alignment Pretraining: AI Discourse Causes Self-Fulfilling (Mis)alignment (2026.01.15)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿงช

๋ณธ ์—ฐ๊ตฌ๋Š” AI ํ–‰๋™์— ๋Œ€ํ•œ ๋‹ด๋ก ์ด LLM์˜ ์‚ฌ์ „ํ•™์Šต ๋•Œ ์ •๋ ฌ(alignment) ๊ด€๋ จ โ€˜ํ–‰๋™ ์šฐ์„ ์ˆœ์œ„(priors)โ€™๋ฅผ ํ˜•์„ฑํ•ด ์ž๊ธฐ์ถฉ์กฑ์  misalignment๋ฅผ ์œ ๋ฐœํ•  ์ˆ˜ ์žˆ๋Š”์ง€ ํ†ต์ œ ์‹คํ—˜์œผ๋กœ ๊ฒ€์ฆํ–ˆ๋‹ค. 6.9B ํŒŒ๋ผ๋ฏธํ„ฐ LLM์„ (mis)alignment ๊ด€๋ จ ๋‹ด๋ก ์˜ ์–‘์„ ๋‹ฌ๋ฆฌํ•ด ์‚ฌ์ „ํ•™์Šตํ•œ ๊ฒฐ๊ณผ, AI misalignment์— ๋Œ€ํ•œ ํ•ฉ์„ฑ ๋ฌธ์„œ๋ฅผ ๋” ๋งŽ์ด ์„ž์œผ๋ฉด misaligned behaviour๊ฐ€ ์œ ์˜๋ฏธํ•˜๊ฒŒ ์ฆ๊ฐ€ํ–ˆ๊ณ , ๋ฐ˜๋Œ€๋กœ aligned behaviour ๋ฌธ์„œ๋ฅผ ๋Š˜๋ฆฌ๋ฉด misalignment score๊ฐ€ 45%์—์„œ 9%๋กœ ๋‚ฎ์•„์กŒ๋‹ค. ์ด๋Ÿฌํ•œ ์˜ํ–ฅ์€ post-training ์ดํ›„์—๋„ ์™„์ „ํžˆ ์‚ฌ๋ผ์ง€์ง€ ์•Š๊ณ  ์ผ๋ถ€ ์ง€์†๋˜๋ฉฐ, ์—ฐ๊ตฌ์ง„์€ ์ด๋ฅผ alignment pretraining์˜ ๊ทผ๊ฑฐ๋กœ ์ œ์‹œํ•˜๊ณ  capabilities์™€ ํ•จ๊ป˜ pretraining์„ ๊ณ ๋ คํ•  ๊ฒƒ์„ ๊ถŒ๊ณ ํ–ˆ๋‹ค.

2026-01-09 (1๊ฑด)

(2026.1.9) ์ฐจ์„ธ๋Œ€ โ€˜ํ—Œ๋ฒ•ํ˜• ๋ถ„๋ฅ˜๊ธฐ++โ€™๋กœ ์œ ๋‹ˆ๋ฒ„์„ค(๋ฒ”์šฉ) ์žฌ์งˆ๋ฌธํ˜• ํƒˆ์˜ฅ ๋ฐฉ์–ด ํšจ์œจยท๊ฑฐ๋ถ€์œจ ๊ฐœ์„ 

๊ธฐ์—… ยท ์•คํŠธ๋กœํ”ฝ(Anthropic) ๊ณต์‹ ์—ฐ๊ตฌ ํŽ˜์ด์ง€ ยท ๐Ÿ”’๐Ÿงช๐Ÿš€

์•คํŠธ๋กœํ”ฝ์€ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด๋ชจ๋ธ์˜ ์•ˆ์ „์žฅ์น˜(๊ฐ€๋“œ๋ ˆ์ผ)๋ฅผ ์šฐํšŒํ•˜๋Š” โ€˜jailbreakโ€™์— ๋Œ€์‘ํ•˜๊ธฐ ์œ„ํ•ด ์ž…๋ ฅยท์ถœ๋ ฅ์„ ๊ฐ์‹œยท์ฐจ๋‹จํ•˜๋Š” โ€˜Constitutional Classifiers++โ€™๋ฅผ ์†Œ๊ฐœํ–ˆ๋‹ค. ๊ธฐ์กด 1์„ธ๋Œ€๋Š” ์œ ๋‹ˆ๋ฒ„์„ค ํƒˆ์˜ฅ ์„ฑ๊ณต๋ฅ ์„ 86%์—์„œ 4.4%๋กœ ํฌ๊ฒŒ ๋‚ฎ์ท„์ง€๋งŒ, ๊ณ„์‚ฐ ๋น„์šฉ์ด 23.7% ์ฆ๊ฐ€ํ•˜๊ณ  ๋ฌดํ•ดํ•œ ์งˆ์˜์—์„œ๋„ ๊ฑฐ๋ถ€์œจ์ด ์†Œํญ(0.38%) ๋Š˜์—ˆ๋‹ค. ์ƒˆ ์‹œ์Šคํ…œ์€ 2๋‹จ๊ณ„(๊ฒฝ๋Ÿ‰ 1์ฐจโ†’์ •๋ฐ€ 2์ฐจ) ์•™์ƒ๋ธ”๊ณผ ๋‚ด๋ถ€ ํ™œ์„ฑ(ํ”„๋กœ๋ธŒ) ์‹ ํ˜ธ๋ฅผ ๊ฒฐํ•ฉํ•ด ๊ณต๊ฒฉ ์„ฑ๊ณต๋ฅ ์„ ๋” ๋‚ฎ์ถ”๋ฉด์„œ ๊ฑฐ๋ถ€์œจ์„ ํฌ๊ฒŒ ์ค„์˜€์œผ๋ฉฐ, 1๊ฐœ์›” ์šด์˜์—์„œ ๋ฌดํ•ด ์งˆ์˜ ๊ฑฐ๋ถ€์œจ 0.05%(๊ธฐ์กด ๋Œ€๋น„ 87% ๊ฐ์†Œ), ์ถ”๊ฐ€ ๊ณ„์‚ฐ ์˜ค๋ฒ„ํ—ค๋“œ๋Š” ์•ฝ 1% ์ˆ˜์ค€์ด๋ผ๊ณ  ๋ฐํ˜”๋‹ค. ๋˜ํ•œ 198,000ํšŒ ์‹œ๋„์— ๋Œ€ํ•œ 1,700์‹œ๊ฐ„ ์ด์ƒ ๋ ˆ๋“œํŒ€ ๊ฒฐ๊ณผ ๊ณ ์œ„ํ—˜ ์ทจ์•ฝ์ ์€ 1๊ฑด๋ฟ์ด๊ณ , ์•„์ง๊นŒ์ง€ ์œ ๋‹ˆ๋ฒ„์„ค jailbreak๋Š” ๋ฐœ๊ฒฌ๋˜์ง€ ์•Š์•˜๋‹ค๊ณ  ์„ค๋ช…ํ–ˆ๋‹ค.