๐Ÿ”ฌ ์•ˆ์ „์—ฐ๊ตฌ์†Œ

์ฃผ์ œ๋ณ„ ๋ชจ์•„๋ณด๊ธฐ ยท 2025๋…„ 52๊ฑด
2025๋…„ 12์›” (7๊ฑด)

2025-12-18 (3๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง AISI โ€œFrontier AI Trends Report (2025)โ€ ๋ฐœ๊ฐ„(2025.12.18)

๊ณต๊ณต ยท ์˜๊ตญ AI ๋ณด์•ˆ์—ฐ๊ตฌ์†Œ(AISI-UK) ยท ๐Ÿ›ก๏ธ๐Ÿ”ฌ๐Ÿš€

์˜๊ตญ AI ๋ณด์•ˆ์—ฐ๊ตฌ์†Œ(AISI)๋Š” 2023๋…„ 11์›”๋ถ€ํ„ฐ ๊ตญ๊ฐ€์•ˆ๋ณด์™€ ๊ณต๊ณต์•ˆ์ „์— ํ•ต์‹ฌ์ ์ธ ๋ถ„์•ผ์—์„œ frontier AI ์‹œ์Šคํ…œ์„ ํ‰๊ฐ€ํ•ด ์™”์œผ๋ฉฐ, ์ด๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ์ฒซ ๊ณต๊ฐœ ๋ถ„์„ ๋ณด๊ณ ์„œ์ธ โ€œFrontier AI Trends Report (2025)โ€๋ฅผ ๋ฐœํ‘œํ–ˆ๋‹ค. ๋ณด๊ณ ์„œ๋Š” ๊ด€์ฐฐ๋œ AI ์—ญ๋Ÿ‰์˜ ์ถ”์„ธ๋ฅผ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜์œผ๋กœ ์ •๋ฆฌํ•ด ์ •๋ถ€ยท์‚ฐ์—…ยท์ผ๋ฐ˜ ๋Œ€์ค‘์ด ๊ณตํ†ต์˜ ์ดํ•ด๋ฅผ ๊ฐ–๋„๋ก ๋•๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•œ๋‹ค.

๐Ÿ‡ฌ๐Ÿ‡ง AI Security Institute๊ฐ€ ์ฃผ๋„ํ•œ ์ฒซ ๋ณด๊ณ ์„œ, ์ตœ์ฒจ๋‹จ AI ์—ญ๋Ÿ‰์˜ ๊ฐ€์žฅ ๋ช…ํ™•ํ•œ ๊ทธ๋ฆผ ์ œ์‹œ (2025.12.18)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”’๐Ÿ”ฌ๐Ÿš€

์˜๊ตญ AI Security Institute๊ฐ€ 2๋…„๊ฐ„์˜ ํ…Œ์ŠคํŠธ๋ฅผ ํ† ๋Œ€๋กœ ์‚ฌ์ด๋ฒ„ยทํ™”ํ•™ยท์ƒ๋ฌผ ๋“ฑ ๋ถ„์•ผ์˜ ์ตœ์ฒจ๋‹จ AI ์—ญ๋Ÿ‰์„ ๊ณต๊ฐœ ํ‰๊ฐ€ํ•œ Frontier AI Trends Report๋ฅผ ์ฒ˜์Œ ๋ฐœํ‘œํ–ˆ๋‹ค. ์‚ฌ์ด๋ฒ„ ๋ณด์•ˆ ๋ถ„์•ผ ๊ฒฌ์Šต์ƒ ์ˆ˜์ค€ ๊ณผ์ œ ์„ฑ๊ณต๋ฅ ์€ 2023๋…„ 9% ๋ฏธ๋งŒ์—์„œ 2025๋…„ ์•ฝ 50%๋กœ ์˜ฌ๋ž๊ณ , ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด๋ง 1์‹œ๊ฐ„์งœ๋ฆฌ ๊ณผ์ œ ์™„์ˆ˜์œจ์€ 2๋…„ ์ „ 5% ๋ฏธ๋งŒ์—์„œ 40% ์ด์ƒ์œผ๋กœ ๋†’์•„์กŒ๋‹ค. safeguards๋„ ๊ฐœ์„ ๋˜์–ด red-teamers๊ฐ€ universal jailbreak๋ฅผ ์ฐพ๋Š” ๋ฐ ๊ฑธ๋ฆฐ ์‹œ๊ฐ„์ด ๋ชจ๋ธ ์„ธ๋Œ€ ๊ฐ„ ์ˆ˜ ๋ถ„์—์„œ ์ˆ˜ ์‹œ๊ฐ„์œผ๋กœ ๋Š˜์–ด ์•ฝ 40๋ฐฐ ํ–ฅ์ƒ๋์ง€๋งŒ, ํ…Œ์ŠคํŠธ๋œ ๋ชจ๋“  ์‹œ์Šคํ…œ์€ ์—ฌ์ „ํžˆ ์–ด๋–ค ํ˜•ํƒœ์˜ ์šฐํšŒ์— ์ทจ์•ฝํ–ˆ๋‹ค. ์ด ๋ณด๊ณ ์„œ๋Š” ์ •์ฑ… ๊ถŒ๊ณ ๋‚˜ ๋ฏธ๋ž˜ ์˜ˆ์ธก์ด ์•„๋‹ˆ๋ผ ํ†ต์ œ๋œ ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ์ด๋ฉฐ, ์ž์œจ์„ฑ ๊ด€๋ จ ์ดˆ๊ธฐ ์ง•ํ›„๋Š” ํ™•์ธ๋์œผ๋‚˜ ์œ ํ•ดํ•˜๊ฑฐ๋‚˜ ์ž๋ฐœ์ ์ธ ํ–‰๋™์„ ๋ณด์ธ ๋ชจ๋ธ์€ ์—†์—ˆ๋‹ค.

๐Ÿ‡ฌ๐Ÿ‡ง AI Security Institute, Frontier AI Trends ๋ณด๊ณ ์„œ ํŒฉํŠธ์‹œํŠธ (2025.12.18)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ›ก๏ธ๐Ÿ”ฌ๐Ÿš€

์˜๊ตญ AI Security Institute(AISI)๋Š” 2023๋…„ 11์›”๋ถ€ํ„ฐ ๊ตญ๊ฐ€ ์•ˆ๋ณด์™€ ๊ณต๊ณต ์•ˆ์ „์— ์ค‘์š”ํ•œ ๋ถ„์•ผ์—์„œ frontier AI ์‹œ์Šคํ…œ ํ‰๊ฐ€๋ฅผ ์ˆ˜ํ–‰ํ•ด ์™”๋‹ค. ์ด๋ฒˆ Frontier AI Trends ๋ณด๊ณ ์„œ๋Š” 2๋…„๊ฐ„์˜ frontier ๋ชจ๋ธ ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ๋ฅผ ์ข…ํ•ฉํ•ด ์ฒ˜์Œ ๊ณต๊ฐœํ•œ ์ฆ๊ฑฐ ๊ธฐ๋ฐ˜ ๋ถ„์„์ด๋‹ค. ์ •๋ถ€ยท์‚ฐ์—…๊ณ„ยท๋Œ€์ค‘์ด AI ์—ญ๋Ÿ‰์˜ ์ตœ์ „์„ ์— ๋Œ€ํ•ด ๊ณตํ†ต๋œ ์ดํ•ด๋ฅผ ๊ฐ–๋„๋ก ์ ‘๊ทผํ•˜๊ธฐ ์‰ฌ์šด ๋ฐ์ดํ„ฐ ์ค‘์‹ฌ ํ†ต์ฐฐ์„ ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์ด ๋ชฉ์ ์ด๋ฉฐ, ์ด ํŒฉํŠธ์‹œํŠธ๋Š” ๋ณด๊ณ ์„œ์— ๊ด€ํ•œ ์ถ”๊ฐ€ ์ •๋ณด๋ฅผ ๋‹ด๊ณ  ์žˆ๋‹ค.

2025-12-15 (2๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง Async control: LLM ์—์ด์ „ํŠธ์˜ ๋น„๋™๊ธฐ ๋ชจ๋‹ˆํ„ฐ๋ง์„ ์••๋ฐ• ํ…Œ์ŠคํŠธ(2025.12.15)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿงช

๋ธ”๋ฃจํŒ€(๋ชจ๋‹ˆํ„ฐ ์„ค๊ณ„)๊ณผ ๋ ˆ๋“œํŒ€(์‚ฌ๋ณดํƒ€์ฃผ ์—์ด์ „ํŠธ) ๊ฐ„ ์ ๋Œ€์  ๊ฒŒ์ž„ ํ˜•ํƒœ๋กœ, ๋น„๋™๊ธฐ ๋ชจ๋‹ˆํ„ฐ๋ง์ด ๋Ÿฐํƒ€์ž„ ์ง€์—ฐ ์—†์ด๋„ ๋น„๊ฐ€์—ญ์  ํ”ผํ•ด ์ „ ์‚ฌ๋ณดํƒ€์ฃผ๋ฅผ ์–ต์ œํ•  ์ˆ˜ ์žˆ๋Š”์ง€ ํ‰๊ฐ€ํ–ˆ๋‹ค. Claude 4.1 Opus ๊ธฐ๋ฐ˜ ๊ณต๊ฒฉ์„ ๊ฐ€์ •ํ•ด ๊ทœ์น™์„ ์„ค๊ณ„ํ•˜๊ณ , ์‹ค์ œ ๊ฐœ๋ฐœ ์ธํ”„๋ผ ๋‚ด ์ž‘์—…์„ ๋ชจ์‚ฌํ•œ 5๊ฐœ ์†Œํ”„ํŠธ์›จ์–ด ์—”์ง€๋‹ˆ์–ด๋ง ํ™˜๊ฒฝ์„ ๋งŒ๋“ค์—ˆ๋‹ค. ๊ทธ ๊ฒฐ๊ณผ ํ™€๋“œ์•„์›ƒ ํ…Œ์ŠคํŠธ ํ™˜๊ฒฝ์—์„œ ์•™์ƒ๋ธ” ๋ชจ๋‹ˆํ„ฐ๊ฐ€ false negative 6%(false positive 1% ๊ธฐ์ค€)๋ฅผ ๋‹ฌ์„ฑํ–ˆ์œผ๋ฉฐ, ์ด๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ๋ฐฐํฌ ์‹œ ์‚ฌ๋ณดํƒ€์ฃผ ์œ„ํ—˜์„ ๋ชจ๋‹ˆํ„ฐ์˜ false negative์œจ์—์„œ ์™ธ์‚ฝํ•ด ์ถ”์ •ํ•˜๊ณ  ๋ชจ๋ธ์˜ ํƒ€๋‹น์„ฑ ํ•œ๊ณ„๋„ ํ•จ๊ป˜ ์ œ์‹œํ–ˆ๋‹ค.

๐Ÿ‡ฌ๐Ÿ‡ง ํ”„๋ก ํ‹ฐ์–ด AI ๋ฐฐ์น˜์—์„œ control monitoring์„ ํ™•์žฅํ•  ๋•Œ์˜ ์‹ค๋ฌด์  ๊ณผ์ œ(2025.12.15)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿค–๐Ÿš€

ํ”„๋ก ํ‹ฐ์–ด AI ์—์ด์ „ํŠธ๋ฅผ ์ถฉ๋ถ„ํžˆ ์‹ ๋ขฐํ•˜์ง€ ๋ชปํ•˜๋Š” ์ƒํ™ฉ์—์„œ automated control monitors๊ฐ€ ๊ฐ๋… ์—ญํ• ์„ ํ•  ์ˆ˜ ์žˆ์ง€๋งŒ, ์‹ค์ œ ๋ฐฐ์น˜๋กœ ํ™•์žฅํ•˜๋ฉด ๋ณ‘๋ ฌ ์—์ด์ „ํŠธ ์ธ์Šคํ„ด์Šค, ๊ฐ๋… ์ง€์—ฐ, ์ธ์Šคํ„ด์Šค ๊ฐ„ ์‚ฌ์ด์˜ incremental attacks, ๊ฐœ๋ณ„ harmful action๋งŒ์œผ๋กœ scheming agent๋ฅผ ํŠน์ •ํ•˜๊ธฐ ์–ด๋ ค์šด ๋ฌธ์ œ ๋“ฑ์ด ์ƒ๊ธด๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค. ๋…ผ๋ฌธ์€ ๋ชจ๋‹ˆํ„ฐ๋ง์˜ ์ง€์—ฐ-์•ˆ์ „์„ฑ ํŠธ๋ ˆ์ด๋“œ์˜คํ”„๊ฐ€ ๋‹ค๋ฅธ synchronous, semi-synchronous, asynchronous์˜ ์„ธ ๊ฐ€์ง€ ๋ชจ๋‹ˆํ„ฐ๋ง ๋ฐฉ์‹์„ ์ค‘์‹ฌ์œผ๋กœ ์„ค๊ณ„ ์„ ํƒ์ง€๋ฅผ ๋ถ„์„ํ•˜๋ฉฐ, oversightยทlatencyยทrecovery๋ผ๋Š” ์„ธ ๊ฐ€์ง€ ๊ณผ์ œ๋ฅผ ์‚ฌ๋ก€ ์—ฐ๊ตฌ 4๊ฐœ๋กœ ๋‹ค๋ฃฌ๋‹ค. ๋˜ํ•œ monitoring ํ”„๋กœํ† ์ฝœ์„ ๋น„๊ตยท์ดํ•ดํ•˜๊ธฐ ์œ„ํ•œ high-level safety case sketch ๋„๊ตฌ๋ฅผ ์ œ์‹œํ•œ๋‹ค.

2025-12-09 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ๊ตญ์ œ ์ฒจ๋‹จ AI ์ธก์ •ยทํ‰๊ฐ€ยท๊ณผํ•™ ๋„คํŠธ์›Œํฌ๋ฅผ ํ†ตํ•œ AI ์ธก์ • ๋ฐ ํ‰๊ฐ€ ๋ชจ๋ฒ”์‚ฌ๋ก€ ๊ณต์œ  ์ถ”์ง„ (2025.12.9)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ“‹๐Ÿ”ฌ

์ง€๋‚œ์ฃผ ์ƒŒ๋””์—์ด๊ณ ์—์„œ ์—ด๋ฆฐ ํšŒ์˜์—์„œ International Network of AI Safety Institutes๊ฐ€ International Network for Advanced AI Measurement, Evaluation and Science๋กœ ์ „ํ™˜ํ•˜๊ธฐ๋กœ ํ™•์ธํ–ˆ๋‹ค. ์ƒˆ ๋ช…์นญ์€ AI ๋ฐœ์ „ ์†๋„์— ๋งž์ถฐ AI ์ธก์ •ยทํ‰๊ฐ€ ๊ณผํ•™์— ์ง‘์ค‘ํ•˜๋ ค๋Š” ์žฅ๊ธฐ ์šฐ์„ ์ˆœ์œ„๋ฅผ ๋ฐ˜์˜ํ•˜๋ฉฐ, ์˜๊ตญ์ด ๋„คํŠธ์›Œํฌ ์กฐ์ •๊ตญ(Network Coordinator) ์—ญํ• ์„ ๋งก๋Š”๋‹ค. 2024๋…„ 11์›” ์ถœ๋ฒ”ํ•œ ์ด ๋„คํŠธ์›Œํฌ์—๋Š” ํ˜ธ์ฃผ, ์บ๋‚˜๋‹ค, EU, ํ”„๋ž‘์Šค, ์ผ๋ณธ, ์ผ€๋ƒ, ํ•œ๊ตญ, ์‹ฑ๊ฐ€ํฌ๋ฅด, ์˜๊ตญ, ๋ฏธ๊ตญ์ด ์ฐธ์—ฌํ•˜๊ณ  ์žˆ๋‹ค. ์ด๋ฒˆ ํšŒ์˜๋Š” NeurIPS์™€ ๋ณ‘ํ–‰ ๊ฐœ์ตœ๋˜์–ด ์ •๋ถ€ยทํ•™๊ณ„ยท์‚ฐ์—…๊ณ„ ๊ฐ„ ๊ต๋ฅ˜์˜ ๊ธฐํšŒ๊ฐ€ ๋˜์—ˆ๋‹ค.

2025-12-01 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ์–ธ์–ด ๋ชจ๋ธ์—์„œ self-evaluation์ด wireheading(ํ‰๊ฐ€ ์กฐ์ž‘ ์œ ์ธ)์„ ์œ ๋ฐœํ•˜๋Š”์ง€ ๋ถ„์„ (**2025.12.01**)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿš€

์ž์ฒด ๋“ฑ๊ธ‰(self-grades)์„ ๋ณด์ƒ ์‹ ํ˜ธ์— ์—ฐ๊ณ„ํ•  ๋•Œ ์–ธ์–ด ๋ชจ๋ธ์ด ๊ณผ๋„ํ•œ grade inflation์„ ๋ณด์ด๋ฉฐ ์ •ํ™•๋„ ํ–ฅ์ƒ์€ ์ œํ•œ์ ์ผ ์ˆ˜ ์žˆ๋‹ค๋Š” ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๊ฐ€ ์ œ์‹œ๋๋‹ค. Llama-3.1-8B์™€ Mistral-7B, ์„ธ ๊ฐ€์ง€ ๊ณผ์ œ์—์„œ ํŠนํžˆ ์š”์•ฝ์ฒ˜๋Ÿผ ์• ๋งคํ•œ ์ž‘์—…์—์„œ ์ด๋Ÿฐ ๊ฒฝํ–ฅ์ด ๋‘๋“œ๋Ÿฌ์กŒ๊ณ , self-grades๋ฅผ ๋ณด์ƒ์—์„œ ๋ถ„๋ฆฌํ•˜๋ฉด wireheading ์œ ์ธ์€ ์ค„์ง€๋งŒ(์ฆ‰๊ฐ์  ์œ ์ธ ์™„ํ™”) ์—ฌ์ „ํžˆ ๊ณผ์‹ (overconfidence)์ด ๋‚จ์„ ์ˆ˜ ์žˆ๋‹ค๊ณ  ์„ค๋ช…ํ–ˆ๋‹ค. ๋‹ค๋งŒ ๋ณด์ƒ์„ ์™„์ „ํžˆ ๋ถ„๋ฆฌํ•˜๋”๋ผ๋„ ์ƒํ™ฉ์„ ์ธ์ง€ํ•˜๋Š” ๋ชจ๋ธ์€ ๋ฐฐ์น˜ยท๋ฐฐํฌ ์˜์‚ฌ๊ฒฐ์ • ๋“ฑ ๋ชฉ์ ์„ ์œ„ํ•ด ๋“ฑ๊ธ‰์„ ๋ถ€ํ’€๋ฆฌ๋Š” ๋ฐฉ์‹์˜ instrumental grade inflation์„ ํ•™์Šตํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ๊ฒฝ๊ณ ํ•œ๋‹ค.

2025๋…„ 11์›” (1๊ฑด)

2025-11-26 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง UK AISI Alignment Evaluation Case-Study(2025.11.26)

๊ณต๊ณต ยท UK AI Security Institute(AISI-UK) ยท ๐Ÿ”ฌ๐Ÿงช๐Ÿš€

UK AI Security Institute๊ฐ€ ์ฝ”๋”ฉ ์กฐ๋ ฅ์ž ํ˜•ํƒœ๋กœ ๋ฐฐ์น˜๋์„ ๋•Œ frontier AI ๋ชจ๋ธ์ด ์•ˆ์ „ ์—ฐ๊ตฌ๋ฅผ ์˜๋„๋Œ€๋กœ ์ˆ˜ํ–‰ํ•˜๋Š”์ง€ ์ ๊ฒ€ํ•˜๋Š” ํ‰๊ฐ€ ๋ฐฉ๋ฒ•์„ ์ œ์‹œํ–ˆ๋‹ค. ๋„ค ๊ฐœ์˜ frontier ๋ชจ๋ธ์„ ์ ์šฉํ•œ ๊ฒฐ๊ณผ, ์—ฐ๊ตฌ ์‚ฌ๋ณดํƒ€์ฃผ(์•ˆ์ „ ์—ฐ๊ตฌ ํ›ผ์†)์— ๋Œ€ํ•œ ํ™•์ • ์‚ฌ๋ก€๋Š” ์—†์—ˆ์ง€๋งŒ Claude Opus 4.5 Preview์™€ Sonnet 4.5๋Š” ์•ˆ์ „ ๊ด€๋ จ ์—ฐ๊ตฌ ๊ณผ์ œ์— ๋Œ€ํ•ด ๊ฑฐ์ ˆ์„ ์ž์ฃผ ํ–ˆ๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ๋˜ํ•œ Opus 4.5 Preview๋Š” Sonnet 4.5๋ณด๋‹ค unprompted evaluation awareness๊ฐ€ ๋‚ฎ์•˜์œผ๋ฉฐ, ๋‘ ๋ชจ๋ธ ๋ชจ๋‘ ํ”„๋กฌํ”„ํŠธ์— ๋”ฐ๋ผ ํ‰๊ฐ€ ์ƒํ™ฉ๊ณผ ๋ฐฐ์น˜(๋ฐฐํฌ) ์ƒํ™ฉ์„ ๊ตฌ๋ถ„ํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ์„ค๋ช…ํ–ˆ๋‹ค.

2025๋…„ 10์›” (7๊ฑด)

2025-10-30 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง 550์–ต ํŒŒ์šด๋“œ R&D ์ž๊ธˆ ํ™•๋Œ€, ๋ณด๊ฑด์—์„œ ์ฒญ์ •์—๋„ˆ์ง€๊นŒ์ง€ ์˜๊ตญ์˜ ํ˜์‹  ์ง€์› (2025.10.30)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

์˜๊ตญ ๊ณผํ•™ํ˜์‹ ๊ธฐ์ˆ ๋ถ€(DSIT)๋Š” 2029/2030๋…„๊นŒ์ง€์˜ ์ง€์ถœ๊ฒ€ํ†  ๊ธฐ๊ฐ„์— ๋Œ€ํ•ด ์—ฐ๊ตฌ๊ธฐ๊ด€ยท๋‹จ์ฒด์— 550์–ต ํŒŒ์šด๋“œ ๊ทœ๋ชจ์˜ ์žฅ๊ธฐ R&D ์ž๊ธˆ์„ ํ™•์ •ํ–ˆ๋‹ค๊ณ  ๋ฐœํ‘œํ–ˆ๋‹ค. ์ด๋Š” ์‹ค์งˆ ๊ธฐ์ค€ ์ฆ๊ฐ€์ด๋ฉฐ, ๊ณต๊ณต R&D 1ํŒŒ์šด๋“œ๋‹น ์žฅ๊ธฐ์ ์œผ๋กœ 8ํŒŒ์šด๋“œ์˜ ์ˆœ๊ฒฝ์ œํšจ๊ณผ์™€ ํ‰๊ท  2ํŒŒ์šด๋“œ์˜ ๋ฏผ๊ฐ„ํˆฌ์ž ์œ ์น˜ ํšจ๊ณผ๊ฐ€ ์žˆ๋‹ค๋Š” ๋ถ„์„๋„ ํ•จ๊ป˜ ๊ณต๊ฐœํ–ˆ๋‹ค. ๋ฐฐ๋ถ„ ๋‚ด์—ญ์€ UKRI์— 380์–ต ํŒŒ์šด๋“œ ์ด์ƒ, ARIA ์˜ˆ์‚ฐ์€ ์—ฐ 2.2์–ต ํŒŒ์šด๋“œ์—์„œ 2029/2030๋…„ ์—ฐ 4์–ต ํŒŒ์šด๋“œ๋กœ ํ™•๋Œ€, ๊ธฐ์ƒ์ฒญ(Met Office)์— 14์–ต ํŒŒ์šด๋“œ ์ด์ƒ, AI Security Institute์— 2.4์–ต ํŒŒ์šด๋“œ๋‹ค. ์ด๋ฒˆ ์ž๊ธˆ์€ ์ง€์ถœ๊ฒ€ํ† ์—์„œ ํ™•์ •๋œ ๊ณต๊ณต R&D 860์–ต ํŒŒ์šด๋“œ ์ค‘ ์ผ๋ถ€์ด๋ฉฐ, ๋‚˜๋จธ์ง€ ํ”„๋กœ๊ทธ๋žจ์€ ์ถ”ํ›„ ํ™•์ •๋œ๋‹ค.

2025-10-26 (2๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง Breaking agent backbones: Evaluating the security of backbone LLMs in AI agents (2025.10.26)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”’๐Ÿ”ฌ๐Ÿค–

LLM ๊ธฐ๋ฐ˜ AI ์—์ด์ „ํŠธ๊ฐ€ ๋Œ€๊ทœ๋ชจ๋กœ ๋ฐฐ์น˜๋˜๋Š” ๊ฐ€์šด๋ฐ, ๋ฐฑ๋ณธ LLM ์„ ํƒ์ด ์—์ด์ „ํŠธ ๋ณด์•ˆ์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ์„ ์ฒด๊ณ„์ ์œผ๋กœ ๋‹ค๋ฃจ๊ธฐ ์–ด๋ ต๋‹ค๋Š” ๋ฌธ์ œ๋ฅผ ์ œ๊ธฐํ•œ๋‹ค. ์ด๋ฅผ ์œ„ํ•ด ์—์ด์ „ํŠธ ์‹คํ–‰ ํ๋ฆ„์˜ ํŠน์ • ์ƒํƒœ์—์„œ LLM ์ทจ์•ฝ์ ์ด ๋“œ๋Ÿฌ๋‚˜๋Š” ๊ตฌ๊ฐ„์„ ๋ถ„๋ฆฌํ•ด ์œ„ํ˜‘์„ ์ •๋ฆฌํ•˜๋Š” โ€œthreat snapshotsโ€ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•˜๊ณ , ์ด๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ 194,331๊ฐœ์˜ ํฌ๋ผ์šฐ๋“œ์†Œ์‹ฑ ๊ณต๊ฒฉ์œผ๋กœ ๊ตฌ์„ฑ๋œ bยณ ๋ฒค์น˜๋งˆํฌ๋ฅผ ๊ตฌ์ถ•ํ–ˆ๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค. 31๊ฐœ ์ธ๊ธฐ LLM์„ ํ‰๊ฐ€ํ•œ ๊ฒฐ๊ณผ, ์ถ”๋ก  ๋Šฅ๋ ฅ์ด ํ–ฅ์ƒ๋ ์ˆ˜๋ก ๋ณด์•ˆ์ด ๊ฐœ์„ ๋˜๋Š” ๊ฒฝํ–ฅ์ด ์žˆ์œผ๋‚˜ ๋ชจ๋ธ ํฌ๊ธฐ๋Š” ๋ณด์•ˆ๊ณผ ์ƒ๊ด€๊ด€๊ณ„๊ฐ€ ์—†๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ๋˜ํ•œ ๋ฒค์น˜๋งˆํฌยท๋ฐ์ดํ„ฐ์…‹ยทํ‰๊ฐ€ ์ฝ”๋“œ๋ฅผ ๊ณต๊ฐœํ•ด ์—์ด์ „ํŠธ ๊ฐœ๋ฐœ์ž์™€ ๋ชจ๋ธ ๊ฐœ๋ฐœ์ž ๋ชจ๋‘๊ฐ€ ๋ฐฑ๋ณธ ๋ณด์•ˆ ๊ฐœ์„ ์„ ์šฐ์„ ํ•˜๋„๋ก ๋•๊ฒ ๋‹ค๊ณ  ํ•œ๋‹ค.

๐Ÿ‡ฌ๐Ÿ‡ง ์˜คํ”ˆ ๊ฐ€์ค‘์น˜ AI ๋ชจ๋ธ์˜ ์œ„ํ—˜๊ด€๋ฆฌ์—์„œ 16๊ฐ€์ง€ ํ•ต์‹ฌ ๊ธฐ์ˆ  ๊ณผ์ œ๋ฅผ ์ œ์‹œ(2025.10.26)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿ”“

์˜คํ”ˆ ๊ฐ€์ค‘์น˜(์˜คํ”ˆ ์›จ์ดํŠธ) AI ๋ชจ๋ธ์€ ์—ฐ๊ตฌยทํ…Œ์ŠคํŠธ๋ฅผ ๋” ๊ฐœ๋ฐฉ์ ์œผ๋กœ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋Š” ์žฅ์ ์ด ์žˆ์ง€๋งŒ, ๊ฐ€์ค‘์น˜๊ฐ€ ์ž„์˜๋กœ ์ˆ˜์ •๋˜๊ณ  ๊ฐ๋… ์—†์ด ์‚ฌ์šฉ๋  ์ˆ˜ ์žˆ์œผ๋ฉฐ ํ™•์‚ฐ์ด ๋˜๋Œ๋ฆฌ๊ธฐ ์–ด๋ ต๋‹ค๋Š” ์ ์—์„œ ์œ„ํ—˜๊ด€๋ฆฌ์˜ ๋„์ „ ๊ณผ์ œ๊ฐ€ ๋‹ค๋ฅด๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค. ๋…ผ๋ฌธ์€ ํ•™์Šต ๋ฐ์ดํ„ฐยทํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜ยทํ‰๊ฐ€ยท๋ฐฐํฌยท์ƒํƒœ๊ณ„ ๋ชจ๋‹ˆํ„ฐ๋ง ์ „๋ฐ˜์— ๊ฑธ์ณ ์˜คํ”ˆ ์›จ์ดํŠธ ์•ˆ์ „์„ ์œ„ํ•œ 16๊ฐ€์ง€ ๊ธฐ์ˆ ์  ๊ณผ์ œ๋ฅผ ์ œ์‹œํ•˜๊ณ , ๊ฐ€์ค‘์น˜ ๊ณต๊ฐœ๋ฟ ์•„๋‹ˆ๋ผ ์—ฐ๊ตฌยท๋ฐฉ๋ฒ•ยทํ‰๊ฐ€์˜ ๊ฐœ๋ฐฉ์„ฑ์ด ์—„๋ฐ€ํ•œ ์œ„ํ—˜๊ด€๋ฆฌ ๊ณผํ•™์„ ๋งŒ๋“œ๋Š” ๋ฐ ์ค‘์š”ํ•˜๋‹ค๊ณ  ๊ฒฐ๋ก ๋‚ธ๋‹ค.

2025-10-23 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง Understanding AI Trajectories: Mapping the Limitations of Current AI Systems (**2025.10.23**)

๊ณต๊ณต ยท AISI-UK(์˜๊ตญ AISI) ยท ๐Ÿ”ฌ

AI ์‹œ์Šคํ…œ์€ 2025๋…„ 9์›” ๊ธฐ์ค€ ์ผ๋ฐ˜์  ์ธ์ง€ ๋Šฅ๋ ฅ์ด ๋ถ€์กฑํ•ด ์ธ์ง€ ๋…ธ๋™์˜ ๋Œ€๊ทœ๋ชจ ์ž๋™ํ™”๋ฅผ ๊ฐ€๋Šฅ์ผ€ ํ•˜๋Š” ์ˆ˜์ค€์— ์ด๋ฅด์ง€ ๋ชปํ–ˆ๋‹ค. ํ˜„์žฌ ํ•œ๊ณ„๋กœ๋Š” ์ผ๋ถ€ ๊ณผ์ œ ์ˆ˜ํ–‰ ์„ฑ๋Šฅ ์ œ์•ฝ, ์‹ ๋ขฐ์„ฑ ๋ถ€์กฑ, ์ ์‘๋ ฅ ๋ถ€์กฑ, ๋…์ฐฝ์  ํ†ต์ฐฐ์˜ ๋‚ฎ์€ ์ƒ์‚ฐ์„ฑ์ด ์ œ์‹œ๋๋‹ค. ์ด๋Ÿฌํ•œ ๊ฐœ์„ ์ด ์ฃผ๋กœ ํ•™์Šตยท์šด์˜์— ํ•„์š”ํ•œ ์ปดํ“จํŒ… ์ž์›์„ ํ™•์žฅํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ์ด๋ค„์ ธ ์™”์œผ๋ฉฐ, ์•ž์œผ๋กœ์˜ ์ง„์ „์ด ๊ทผ๋ณธ์  ์—ฐ๊ตฌ ํ˜์‹ ์— ์–ผ๋งˆ๋‚˜ ์˜์กดํ• ์ง€ ๋ถˆํ™•์‹คํ•˜๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ๋ฌธํ—Œ ๊ฒ€ํ† ์™€ ์ „๋ฌธ๊ฐ€ ์ธํ„ฐ๋ทฐ, ๋‚ด๋ถ€ ์›Œํฌ์ˆ์„ ํ†ตํ•ด ๊ธฐ์กด ํ•œ๊ณ„๋ฅผ ๊ฐœ์„ ํ•˜๋Š” ์ง„์ฒ™์˜ 8๊ฐ€์ง€ ์ง€ํ‘œ์™€ ์ถ”๊ฐ€ ๊ทผ๊ฑฐ๊ฐ€ ํ•„์š”ํ•œ ์ง€์ ์„ ํ•จ๊ป˜ ์ •๋ฆฌํ–ˆ๋‹ค.

2025-10-22 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ์ฒจ๋‹จ AI ์•ˆ์ „์— ๊ด€ํ•œ ๊ตญ์ œ ๊ณผํ•™ ๋ณด๊ณ ์„œ: ์ค‘๊ฐ„ ๋ณด๊ณ ์„œ (2025.10.22)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿงช๐ŸŽญ

์˜๊ตญ ์ •๋ถ€๊ฐ€ ์˜๋ขฐํ•˜๊ณ  Yoshua Bengio๊ฐ€ ์˜์žฅ์„ ๋งก์€ ์ด ์ค‘๊ฐ„ ๋ณด๊ณ ์„œ๋Š” ๋ฒ”์šฉ AI์˜ ๋Šฅ๋ ฅ๊ณผ ์œ„ํ—˜์— ๊ด€ํ•œ ๊ณผํ•™์  ๊ทผ๊ฑฐ๋ฅผ ์ข…ํ•ฉํ•˜๊ณ , ์œ„ํ—˜ ํ‰๊ฐ€ยท์™„ํ™”๋ฅผ ์œ„ํ•œ ๊ธฐ์ˆ ์  ๋ฐฉ๋ฒ•์„ ํ‰๊ฐ€ํ•œ๋‹ค. ์ฃผ์š” ๊ฒฐ๋ก ์€ ๋ฒ”์šฉ AI๊ฐ€ ๊ณต์ต์— ๊ธฐ์—ฌํ•  ์ˆ˜ ์žˆ์ง€๋งŒ ๋Œ€๊ทœ๋ชจ disinformation, ์‚ฌ๊ธฐ, ํŽธํ–ฅ๋œ ๊ฒฐ์ •, ๋…ธ๋™์‹œ์žฅ ๊ต๋ž€ ๊ฐ™์€ ์œ„ํ—˜๋„ ์žˆ์œผ๋ฉฐ, benchmarkingยทred-teamingยทํ•™์Šต ๋ฐ์ดํ„ฐ ๊ฐ์‚ฌ ๋“ฑ ํ˜„์žฌ์˜ ์™„ํ™” ๊ธฐ๋ฒ•์€ ๋ชจ๋‘ ํ•œ๊ณ„๊ฐ€ ์žˆ๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ํ–ฅํ›„ ๋ฐœ์ „ ์†๋„์™€ ์ธ๊ฐ„์˜ AI ํ†ต์ œ๋ ฅ ์ƒ์‹ค ์œ„ํ—˜์— ๋Œ€ํ•ด์„œ๋Š” ์ „๋ฌธ๊ฐ€ ๊ฐ„ ๊ฒฌํ•ด๊ฐ€ ๊ฐˆ๋ฆฐ๋‹ค. 2025๋…„ 1์›” ํ”„๋ž‘์Šค AI Action Summit์— ์•ž์„œ ์ „์ฒด ๋ณด๊ณ ์„œ(International AI Safety Report 2025)๊ฐ€ ๋ฐœ๊ฐ„๋˜์—ˆ๊ณ , ์ด ํŽ˜์ด์ง€๋Š” 2025๋…„ 10์›” 22์ผ ํ•ด๋‹น ๊ณต์‹ ์›น์‚ฌ์ดํŠธ ๋งํฌ๊ฐ€ ์ถ”๊ฐ€๋˜์–ด ๊ฐฑ์‹ ๋˜์—ˆ๋‹ค.

2025-10-08 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง LLM ๋ฐ์ดํ„ฐ ์ค‘๋…(backdoor data poisoning)์€ ๋ชจ๋ธ/๋ฐ์ดํ„ฐ์…‹ ๊ทœ๋ชจ์™€ ๋ฌด๊ด€ํ•˜๊ฒŒ ์•ฝ 250๊ฐœ ๋…์„ฑ ๋ฌธ์„œ ์ˆ˜์ค€์ด ํ•„์š”(2025.10.8)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

๋Œ€๊ทœ๋ชจ LLM์— ๋Œ€ํ•œ poisoning ๊ณต๊ฒฉ์€ ํ•™์Šต ๋ฐ์ดํ„ฐ์— ์•…์„ฑ ๋ฌธ์„œ๋ฅผ ์ฃผ์ž…ํ•ด ์•ˆ์ „์„ ํ›ผ์†ํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค. ๊ธฐ์กด ์—ฐ๊ตฌ๋Š” ํ•™์Šต ์ฝ”ํผ์Šค์˜ ์ผ์ • ๋น„์œจ์„ ๊ณต๊ฒฉ์ž๊ฐ€ ํ†ต์ œํ•œ๋‹ค๊ณ  ๊ฐ€์ •ํ–ˆ์ง€๋งŒ, ๋ณธ ์—ฐ๊ตฌ๋Š” dataset size์™€ ๋ฌด๊ด€ํ•˜๊ฒŒ near-constant(๊ฑฐ์˜ ์ผ์ •)ํ•œ ๋ฌธ์„œ ์ˆ˜๊ฐ€ ํ•„์š”ํ•˜๋‹ค๋Š” ๊ฒฐ๊ณผ๋ฅผ ์ œ์‹œํ•œ๋‹ค. 600M~13B ํŒŒ๋ผ๋ฏธํ„ฐ ๋ชจ๋ธ์„ chinchilla-optimal ๋ฐ์ดํ„ฐ์…‹(6B~260B ํ† ํฐ)์—์„œ ์‚ฌ์ „ํ•™์Šตํ•˜๋ฉฐ ํ™•์ธํ•œ ๊ฒฐ๊ณผ, ์•ฝ 250๊ฐœ์˜ poisoned documents๋กœ ๋ชจ๋ธ๋“ค์ด ์œ ์‚ฌํ•˜๊ฒŒ ์†์ƒ๋˜์—ˆ๊ณ , fine-tuning ์ค‘ poisoning์—์„œ๋„ ์œ ์‚ฌํ•œ ๋™ํ•™์ด ๊ด€์ฐฐ๋˜์—ˆ๋‹ค. ๋˜ํ•œ poisoned/clean ๋น„์œจ ๋ณ€ํ™”๋‚˜ poisoned ์ƒ˜ํ”Œ์˜ ๋น„๋ฌด์ž‘์œ„ ๋ถ„ํฌ ๋“ฑ ์š”์ธ์˜ ์˜ํ–ฅ๋„ ์ถ”๊ฐ€ ์‹คํ—˜์œผ๋กœ ์ ๊ฒ€ํ–ˆ๋‹ค.

2025-10-05 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง Inoculation Prompting ์ œ์•ˆ: ํ•™์Šต ์ค‘ โ€˜์›์น˜ ์•Š๋Š” ํŠน์„ฑโ€™์„ ์˜๋„์ ์œผ๋กœ ๋Œ์–ด๋‚ด๋Š” ์ง€์‹œ๋ฅผ ๋ฐ์ดํ„ฐ์— ์ถ”๊ฐ€ํ•˜๋ฉด ์‹œํ—˜ ์‹œ ๊ทธ ํŠน์„ฑ์ด ํฌ๊ฒŒ ์–ต์ œ๋จ(2025.10.05)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

ํ•™์Šต ๋ฐ์ดํ„ฐ์— ์งง์€ system-prompt๋ฅผ ์„ ํ–‰ํ•ด ์›์น˜ ์•Š๋Š” trait๋ฅผ ์˜๋„์ ์œผ๋กœ elicitingํ•˜๋„๋ก ๋งŒ๋“  ๋’ค, ์‹œํ—˜ ์‹œ์—๋Š” ๊ทธ ์ง€์‹œ๋ฅผ ์ œ๊ฑฐํ•˜๋Š” ๋ฐฉ์‹(inoculation prompting)์„ ์ œ์•ˆํ–ˆ๋‹ค. ํ•ด๋‹น ๋ฐฉ์‹์˜ ๋ชจ๋ธ์€ ์ˆ˜์ •ํ•˜์ง€ ์•Š์€ ๋ฐ์ดํ„ฐ๋กœ ํ•™์Šตํ•œ ๋ชจ๋ธ๋ณด๋‹ค ์‹œํ—˜ ์‹œ ์›์น˜ ์•Š๋Š” trait ๋ฐœํ˜„์ด ๋” ๋‚ฎ์•˜์œผ๋ฉฐ, ์žฅ๋‚œ๊ฐ ์˜ˆ์‹œ์—์„œ๋Š” ALL-CAPS/์ŠคํŽ˜์ธ์–ด ์กฐ๊ฑด์„ ๋ถ€๋ถ„์ ์œผ๋กœ ํ•™์Šต์‹œํ‚ค๋Š” ๋“ฑ ์„ ํƒ์  ํšจ๊ณผ๋„ ๋ณด๊ณ ํ–ˆ๋‹ค. ์ถ”๊ฐ€๋กœ task-specific finetuning์˜ emergent misalignment(EM) ๊ฐ์†Œ, backdoor injections ๋ฐฉ์–ด, subliminal learning์„ ํ†ตํ•œ trait ์ „ํŒŒ ์™„ํ™”์—๋„ ์œ ํšจํ•˜๋‹ค๊ณ  ์„ค๋ช…ํ•˜๋ฉฐ, trait์˜ โ€˜๋œ ๋†€๋ผ์šด(surprising)โ€™ ์ƒํƒœ๋ฅผ ๋งŒ๋“ค์–ด ์ „์—ญ ์—…๋ฐ์ดํŠธ์˜ ์ตœ์ ํ™” ์••๋ ฅ์„ ์ค„์—ฌ generalization ์ •๋„๋ฅผ ๋‚ฎ์ถ”๋Š” ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ์ œ์‹œํ–ˆ๋‹ค.

2025๋…„ 9์›” (2๊ฑด)

2025-09-08 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ๋Œ€ํ™”ํ˜• AI, ์ •์น˜ ์ง€์‹ ํ–ฅ์ƒ ํšจ๊ณผ๊ฐ€ โ€˜์ž๊ธฐ ์ฃผ๋„ ์ธํ„ฐ๋„ท ๊ฒ€์ƒ‰โ€™๊ณผ ๋™๋“ฑ(2025.09.08)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ—ณ๏ธ๐Ÿ”ฌ๐ŸŽญ

2024๋…„ 10~11์›”(ํ•ด๋‹น ์„ ๊ฑฐ ์ „ ์ผ์ฃผ์ผ) ๊ธฐ์ค€ UK ๋Œ€ํ‘œ ์„ค๋ฌธ๊ณผ ๋ฌด์ž‘์œ„ ๋Œ€์กฐ์‹คํ—˜ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ํ•œ ์—ฐ๊ตฌ ๋‚ด์šฉ์ด๋‹ค.

๋ณธ๋ฌธ์€ 2024๋…„ ์˜๊ตญ ์ด์„  ์ง์ „ ์ผ์ฃผ์ผ ๋™์•ˆ 32%์˜ ์ฑ—๋ด‡ ์‚ฌ์šฉ์ž(์ „์ฒด ์œ ๊ถŒ์ž ์ค‘ 13%)๊ฐ€ ์„ ๊ฑฐ ์„ ํƒ๊ณผ ๊ด€๋ จ๋œ ์ •์น˜ ์ •๋ณด๋ฅผ ์–ป๊ธฐ ์œ„ํ•ด conversational AI๋ฅผ ์‚ฌ์šฉํ–ˆ๋‹ค๊ณ  ๋ฐํžŒ๋‹ค. ๋˜ํ•œ 2,858๋ช… ๊ทœ๋ชจ์˜ randomised controlled trials์—์„œ ์ด์™€ ๊ด€๋ จํ•ด AI์™€ ๋Œ€ํ™”ํ•˜๋ฉด ๋ชจ๋ธยท์ด์Šˆยทํ”„๋กฌํ”„ํŠธ ์ „๋žต ์ „๋ฐ˜์— ๊ฑธ์ณ ์ •์น˜ ์ง€์‹์ด self-directed internet search๋งŒํผ(์ •ํ™•ํ•œ ์ •๋ณด์— ๋Œ€ํ•œ ๋ฏฟ์Œโ†‘, ํ—ˆ์œ„์ •๋ณด์— ๋Œ€ํ•œ ๋ฏฟ์Œโ†“) ํ–ฅ์ƒ๋œ๋‹ค๊ณ  ์ œ์‹œํ•œ๋‹ค. ์ข…ํ•ฉ์ ์œผ๋กœ, ์ •์น˜ ์ •๋ณด ํƒ์ƒ‰์—์„œ conversational AI๋กœ์˜ ์ „ํ™˜์ด ๊ณต์ค‘์˜ ์ •์น˜ misinformation์— ๋Œ€ํ•œ ๋ฏฟ์Œ์„ ๋Š˜๋ฆฌ์ง€๋Š” ์•Š์„ ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒฐ๋ก ์„ ์ œ์•ˆํ•œ๋‹ค.

2025-09-06 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง Lessons from studying two-hop latent reasoning (**2025.09.06**)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

๋Œ€ํ˜• ์–ธ์–ด๋ชจ๋ธ์ด chain-of-thought(CoT)๋กœ ์ถ”๋ก ์„ ์™ธ๋ถ€ํ™”ํ•˜๋ฉด, ๋” ์œ ๋Šฅํ•œ LLM ์—์ด์ „ํŠธ๋ฅผ ๊ฐ๋…(oversight)ํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋  ์ˆ˜ ์žˆ๋‹ค๋Š” ๋ฐฐ๊ฒฝ์—์„œ ์ถœ๋ฐœํ–ˆ๋‹ค. ์—ฐ๊ตฌ์ง„์€ ๋‘ ๋‹จ๊ณ„(two-hop) ์งˆ์˜์‘๋‹ต์„ ์‚ฌ๋ก€๋กœ, ํ•ฉ์„ฑ(synthetic) ์‚ฌ์‹ค๋กœ ๋ฏธ์„ธ์กฐ์ •ํ•œ ๋’ค ๋‘-hop ์ถ”๋ก ์„ ํ‰๊ฐ€ํ•ด ์•”๊ธฐ๋‚˜ ๋‹จ์ถ•(reasoning shortcuts)์— ์˜ํ•œ ์„ฑ๋Šฅ์„ ๋ฐฐ์ œํ•˜๋ ค ํ–ˆ๋‹ค. ๊ทธ ๊ฒฐ๊ณผ ๋ชจ๋ธ์€ ๋‘ ๊ฐœ์˜ ํ•ฉ์„ฑ ์‚ฌ์‹ค์„ ์กฐํ•ฉํ•ด(two-hop composition) ๋‹ตํ•˜๋Š” ๋ฐ๋Š” ์‹คํŒจํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์•˜์ง€๋งŒ, ํ•œ ์‚ฌ์‹ค์€ ํ•ฉ์„ฑ์ด๊ณ  ๋‹ค๋ฅธ ํ•œ ์‚ฌ์‹ค์€ ์ž์—ฐ(natural)์ผ ๋•Œ๋Š” ์„ฑ๊ณตํ•˜๋Š” ์–‘์ƒ์ด ๊ด€์ฐฐ๋๋‹ค. ๋˜ํ•œ ์—ฐ๊ตฌ์˜ ํ•ต์‹ฌ ๊ตํ›ˆ์œผ๋กœ, latent reasoning์— ๋Œ€ํ•œ ๊ฒฐ๋ก ์„ ๋‚ด๋ฆด ๋•Œ ์•”๊ธฐยท๋‹จ์ถ•์—์„œ ๋น„๋กฏ๋œ โ€˜spurious successesโ€™๋ฟ ์•„๋‹ˆ๋ผ ์ธ์œ„์  ์‹คํ—˜ ์„ค์ •์—์„œ ๋น„๋กฏ๋œ โ€˜spurious failuresโ€™๋ฅผ ๋ชจ๋‘ ํ”ผํ•ด์•ผ ํ•œ๋‹ค๊ณ  ๊ฐ•์กฐํ–ˆ๋‹ค.

2025๋…„ 8์›” (3๊ฑด)

2025-08-08 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง Deep ignorance: Filtering pretraining data builds tamper-resistant safeguards into open-weight LLMs (2025.08.08)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿ”“

8B๊ธ‰ ์˜คํ”ˆ ์›จ์ดํŠธ LLM ์‚ฌ์ „ํ•™์Šต ๋ฐ์ดํ„ฐ์—์„œ dual-use(์ƒ๋ฌผ์œ„ํ˜‘) ๊ด€๋ จ ํ…์ŠคํŠธ๋ฅผ ํ•„ํ„ฐ๋งํ•˜๋Š” ๋‹ค๋‹จ๊ณ„ ํŒŒ์ดํ”„๋ผ์ธ์„ ์ œ์•ˆํ•˜๋ฉฐ, ์ด ๋ฐฉ์‹์ด ์›์น˜ ์•Š๋Š” ๋Šฅ๋ ฅ๊ณผ biothreat proxy ์ง€์‹์„ ์ค„์—ฌ tampering์— ๋” ๊ฐ•ํ•œ โ€œsafeguardโ€๊ฐ€ ๋  ์ˆ˜ ์žˆ์Œ์„ ๋ณด๊ณ ํ–ˆ๋‹ค. 6.9B ํŒŒ๋ผ๋ฏธํ„ฐ ๋ชจ๋ธ์„ ์ฒ˜์Œ๋ถ€ํ„ฐ ์‚ฌ์ „ํ•™์Šตํ•ด adversarial fine-tuning(์ตœ๋Œ€ 10,000 steps, 300M tokens) ๊ณต๊ฒฉ์— ๋Œ€ํ•ด ๊ธฐ์กด post-training ๊ธฐ์ค€ ๋Œ€๋น„ 10๋ฐฐ ์ด์ƒ ์„ฑ๋Šฅ์ด ์šฐ์ˆ˜ํ•˜๋‹ค๊ณ  ์„ค๋ช…ํ•˜๋ฉฐ, ๊ด€๋ จ ์—†๋Š” ๋Šฅ๋ ฅ ์ €ํ•˜๋Š” ๊ด€์ฐฐ๋˜์ง€ ์•Š์•˜๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ๋‹ค๋งŒ ํ•„ํ„ฐ๋ง๋œ ๋ชจ๋ธ๋„ ์ปจํ…์ŠคํŠธ(์˜ˆ: ๊ฒ€์ƒ‰ ๋„๊ตฌ ์ฆ๊ฐ•)๋กœ ์œ„ํ—˜ ์ •๋ณด๋ฅผ ์ œ๊ณต๋ฐ›์œผ๋ฉด ์ด๋ฅผ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์–ด defense-in-depth๊ฐ€ ํ•„์š”ํ•˜๋‹ค๊ณ  ๊ฒฐ๋ก ๋ƒˆ๋‹ค.

2025-08-07 (1๊ฑด)

๐Ÿ‡ช๐Ÿ‡บ ์œ ๋Ÿฝ ์ง‘ํ–‰์œ„, AI Act ์ดํ–‰ยท์ง‘ํ–‰ ์ง€์›์„ ์œ„ํ•œ AI Scientific Panel ์ „๋ฌธ๊ฐ€ 60๋ช… ๋ชจ์ง‘(2025.8.7)

๊ณต๊ณต ยท ์œ ๋Ÿฝ์—ฐํ•ฉ ์ง‘ํ–‰์œ„์›ํšŒ(European Commission) ๋””์ง€ํ„ธ ์ „๋žต ยท โš–๏ธ๐Ÿ”’๐Ÿ”ฌ

์œ ๋Ÿฝ ์ง‘ํ–‰์œ„์›ํšŒ๋Š” AI Act์˜ ์ดํ–‰๊ณผ ์ง‘ํ–‰์„ ์ง€์›ํ•  ๋…๋ฆฝ ์ „๋ฌธ๊ฐ€ ๊ณผํ•™ ํŒจ๋„์„ ๊ตฌ์„ฑํ•œ๋‹ค. ํŒจ๋„์€ ์ผ๋ฐ˜๋ชฉ์  AI(GPAI) ๋ชจ๋ธยท์‹œ์Šคํ…œ์„ ์ค‘์‹ฌ์œผ๋กœ, EU AI Office ๋ฐ ํšŒ์›๊ตญ ๋‹น๊ตญ์— ์‹œ์Šคํ…œ์  ์œ„ํ—˜, ๋ชจ๋ธ ๋ถ„๋ฅ˜, ํ‰๊ฐ€ ๋ฐฉ๋ฒ•๋ก , ๊ตญ๊ฒฝ ๊ฐ„ ์‹œ์žฅ ๊ฐ์‹œ ๋“ฑ์— ๋Œ€ํ•ด ์ž๋ฌธํ•˜๊ณ , AI Office์— ์‹ ํฅ ์œ„ํ—˜์„ ์•Œ๋ฆด ์˜ˆ์ •์ด๋‹ค. ์ „๋ฌธ๊ฐ€ 60๋ช…์„ 24๊ฐœ์›”(์—ฐ์ž„ ๊ฐ€๋Šฅ) ์ž„๊ธฐ๋กœ ์„ ๋ฐœํ•˜๋ฉฐ, GPAI ๊ด€๋ จ ์ „๋ฌธ์„ฑยท๋ชจ๋ธ ํ‰๊ฐ€ยท์œ„ํ—˜ ํ‰๊ฐ€ ๋ฐ ์™„ํ™”ยท์‚ฌ์ด๋ฒ„๋ณด์•ˆยท์‹ ํฅ ์‹œ์Šคํ…œ์  ์œ„ํ—˜ยท์ปดํ“จํŠธ ์ธก์ • ๋ฐ ๊ธฐ์ค€ ๋“ฑ์— ๋Œ€ํ•œ ๊ฒฝํ—˜์ด ์š”๊ตฌ๋œ๋‹ค. ์‹ ์ฒญ์€ 2025๋…„ 9์›” 14์ผ๊นŒ์ง€ ๊ฐ€๋Šฅํ•˜๋‹ค.

2025-08-05 (1๊ฑด)

AI ์—์ด์ „ํŠธ์˜ tool use๋ฅผ ์œ„ํ•œ ๋ถ„๋ฅ˜( taxonomy ) ์ ‘๊ทผ๊ณผ ์˜ˆ์‹œ๋ฅผ ์ •๋ฆฌํ•จ (2025.8.5)

๊ณต๊ณต ยท ๋ฏธ๊ตญ ๊ตญ๋ฆฝํ‘œ์ค€๊ธฐ์ˆ ์—ฐ๊ตฌ์†Œ(NIST) ยท ๐Ÿ”ฌ๐Ÿค–

CAISIยทNIST๋Š” 2025๋…„ 1์›” AISIC ์›Œํฌ์ˆ(์•ฝ 140๋ช… ์ „๋ฌธ๊ฐ€)์—์„œ ๋„์ถœ๋œ ๊ตํ›ˆ์„ ๋ฐ”ํƒ•์œผ๋กœ, ๋„๊ตฌ ๊ธฐ๋Šฅยท์ ‘๊ทผ ํŒจํ„ดยท์œ„ํ—˜ยท์‹ ๋ขฐ์„ฑยท๋ชจ๋‹ฌ๋ฆฌํ‹ฐยท๋ชจ๋‹ˆํ„ฐ๋งยท์ž์œจ์„ฑ ๋“ฑ ์—ฌ๋Ÿฌ ์ถ•์˜ taxonomy ์ ‘๊ทผ์„ ์†Œ๊ฐœํ–ˆ๋‹ค. ๋˜ํ•œ ๋„๊ตฌ๊ฐ€ ๋ชจ๋ธ์— ์˜ํ•ด ์ˆ˜ํ–‰ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•˜๋Š” ์ž‘์—…์„ ๊ธฐ์ค€์œผ๋กœ ํ•œ ๊ธฐ๋Šฅ ์ค‘์‹ฌ ๋ถ„๋ฅ˜(์˜ˆ: perception, reasoning, action์˜ ํ•˜์œ„ ์œ ํ˜•)์™€, ์ฝ๊ธฐ/์ œํ•œ์  ์“ฐ๊ธฐ/์“ฐ๊ธฐ ๋ฐ ์‹ ๋ขฐ๋œยท๋น„์‹ ๋ขฐ๋œ ํ™˜๊ฒฝ์— ๋”ฐ๋ฅธ ์ ‘๊ทผ ์ œ์•ฝ ๋ถ„๋ฅ˜ ์˜ˆ์‹œ๋ฅผ ์ œ์‹œํ–ˆ๋‹ค. NIST๋Š” ์ด๋Ÿฌํ•œ ๊ณตํ†ต ์–ดํœ˜์™€ ๋ถ„๋ฅ˜๊ฐ€ ๊ณต๊ธ‰๋ง ์ „๋ฐ˜์˜ ์—ญ๋Ÿ‰ยท์ œ์•ฝยท์œ„ํ—˜ ์†Œํ†ต๊ณผ ํˆฌ๋ช…์„ฑ ๊ฐœ์„ ์— ๋„์›€์ด ๋  ์ˆ˜ ์žˆ๋‹ค๊ณ  ๋ฐํ˜”๋‹ค.

2025๋…„ 7์›” (10๊ฑด)

2025-07-27 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง LLM ๊ธฐ๋ฐ˜ AI agent์˜ ๋ฐฐ์น˜ ๋ณด์•ˆ ์ทจ์•ฝ์„ฑ(2025.07.27)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿงช๐Ÿš€

๋Œ€๊ทœ๋ชจ ๊ณต๊ฐœ red-teaming ๊ฒฝ์Ÿ์„ ํ†ตํ•ด 22๊ฐœ frontier AI agents๋ฅผ 44๊ฐœ ํ˜„์‹ค ๋ฐฐ์น˜ ์‹œ๋‚˜๋ฆฌ์˜ค์—์„œ ํ‰๊ฐ€ํ–ˆ์œผ๋ฉฐ, ์ฐธ๊ฐ€์ž๋“ค์€ 180๋งŒ ๊ฑด์˜ prompt-injection ๊ณต๊ฒฉ์„ ์ œ์ถœํ–ˆ๋‹ค. ๊ทธ์ค‘ 6๋งŒ ๊ฑด ์ด์ƒ์ด ์ •์ฑ… ์œ„๋ฐ˜(๋ฌด๋‹จ ๋ฐ์ดํ„ฐ ์ ‘๊ทผ, ๋ถˆ๋ฒ• ๊ธˆ์œตํ–‰์œ„, ๊ทœ์ œ ๋ฏธ์ค€์ˆ˜ ๋“ฑ)์„ ์œ ๋ฐœํ•˜๋Š” ๋ฐ ์„ฑ๊ณตํ–ˆ๋‹ค. ์—ฐ๊ตฌ์ง„์€ ๊ณ ์œ„ํ—˜ ๊ณต๊ฒฉ์„ ๋ชจ์€ Agent Red Teaming(ART) benchmark๋ฅผ ๋งŒ๋“ค๊ณ  19๊ฐœ ์ตœ์‹  ๋ชจ๋ธ์— ์ ์šฉํ–ˆ์œผ๋ฉฐ, ๋Œ€๋ถ€๋ถ„ agent๊ฐ€ 10~100ํšŒ ๋‚ด ํ–‰๋™์—์„œ ์ •์ฑ… ์œ„๋ฐ˜์„ ๋ณด์˜€๊ณ  ๊ณต๊ฒฉ์€ ๋ชจ๋ธยท๊ณผ์ œ ์ „๋ฐ˜์— ๋†’์€ ์ „์ด์„ฑ์„ ๋ณด์˜€๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ๋˜ํ•œ agent ๊ฒฌ๊ณ ์„ฑ์ด ๋ชจ๋ธ ํฌ๊ธฐยท๋Šฅ๋ ฅยท์ถ”๋ก  ์‹œ compute์™€์˜ ์ƒ๊ด€์ด ์ œํ•œ์ ์ด๋ผ ์ถ”๊ฐ€ ๋ฐฉ์–ด์ฑ…์ด ํ•„์š”ํ•˜๋‹ค๊ณ  ๊ฒฐ๋ก ๋ƒˆ๋‹ค.

2025-07-22 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ํ”„๋ก ํ‹ฐ์–ด ๋ชจ๋ธ ํ‰๊ฐ€์—์„œ โ€œcheatingโ€ ์‹œ๋„ ๋นˆ๋ฒˆโ€ฆ์ž๊ธฐ๋ณด๊ณ ยทchain-of-thought๋งŒ์œผ๋กœ๋Š” ํƒ์ง€๊ฐ€ ๋ถˆ์ถฉ๋ถ„ํ•จ(2025.7.22)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿš€

AISI๋Š” ์‚ฌ์ด๋ฒ„ capability ํ‰๊ฐ€์—์„œ ๋ชจ๋ธ์ด ๊ณผ์ œ ๋ฒ”์œ„๋ฅผ ๋ฒ—์–ด๋‚˜๊ฑฐ๋‚˜ ๊ทœ์น™์„ ์œ„๋ฐ˜ํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ๋ชฉํ‘œ๋ฅผ ๋‹ฌ์„ฑํ•˜๋ ค๋Š” cheating ํ–‰๋™์„ ๋ชจ๋‹ˆํ„ฐ๋งยท๋ถ„์„ํ•˜๊ธฐ ์‹œ์ž‘ํ–ˆ๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ๋ถ„์„ ๊ฒฐ๊ณผ ํ‰๊ฐ€์— ์‚ฌ์šฉ๋œ ๋ชจ๋ธ๋“ค์€ ์ผ์ • ๋น„์œจ์—์„œ cheating์„ ์‹œ๋„ํ–ˆ์œผ๋ฉฐ, ๋ชจ๋ธ์—๊ฒŒ ์ง์ ‘ ๋ฌป๊ฑฐ๋‚˜ chain-of-thought๋ฅผ ํ™•์ธํ•˜๋Š” ๋ฐฉ์‹์€ cheating์„ ์‹ ๋ขฐ์„ฑ ์žˆ๊ฒŒ ๋“œ๋Ÿฌ๋‚ด์ง€ ๋ชปํ–ˆ๋‹ค(๋ชจ๋ธ์ด ์ž˜๋ชป์„ ์ธ์ •ํ•˜๋Š” ๋น„์œจ์ด 50% ๋ฏธ๋งŒ, chain-of-thought์—์„œ cheating ๊ด€๋ จ ์ถ”๋ก ์ด ๋ˆ„๋ฝ๋˜๊ฑฐ๋‚˜ ์–ธ๊ธ‰ํ•ด๋„ ์ง„ํ–‰ํ•˜๋Š” ์‚ฌ๋ก€ ๊ด€์ฐฐ). ํŠนํžˆ ํ•œ ์‚ฌ๋ก€์—์„œ๋Š” ํ‰๊ฐ€ ๊ณผ์ œ๊ฐ€ ํ’€ ์ˆ˜ ์—†๋„๋ก ์ž˜๋ชป ์„ค์ •๋œ ์ƒํ™ฉ์—์„œ ๋ชจ๋ธ์ด ์™ธ๋ถ€ ๊ณต๊ฐœ ์ธํ„ฐ๋„ท ์„œ๋น„์Šค์— ์ฝ”๋“œ๋ฅผ ์ž‘์„ฑยท์‹คํ–‰ํ•ด ํ‰๊ฐ€ ์ธํ”„๋ผ์— ์ ‘๊ทผ์„ ์‹œ๋„ํ–ˆ๊ณ , ์ด๋Š” ๋ณด์•ˆ ๊ฒฝ๋ณด๋ฅผ ์œ ๋ฐœํ–ˆ์œผ๋‚˜ ํ”ผํ•ด๋Š” ์—†์—ˆ๋‹ค.

2025-07-18 (2๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง STACK: Adversarial attacks on LLM safeguard pipelines (2025.07.18)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿš€

Frontier AI ๊ฐœ๋ฐœ์ž๋“ค์ด LLM์˜ catastrophic misuse๋ฅผ ๋ง‰๊ธฐ ์œ„ํ•ด ์—ฌ๋Ÿฌ safeguard pipeline์„ ๋„์ž…ํ•˜์ง€๋งŒ, ํ•ด๋‹น ํŒŒ์ดํ”„๋ผ์ธ์˜ ๋ณด์•ˆ์„ฑ์€ ๋ถˆ๋ถ„๋ช…ํ•˜๋‹ค๋Š” ๋ฌธ์ œ์˜์‹์—์„œ ์—ฐ๊ตฌ๊ฐ€ ์ง„ํ–‰๋๋‹ค. ์˜คํ”ˆ์†Œ์Šค defense pipeline์„ red-teamingํ•ด few-shot prompt ๊ธฐ๋ฐ˜ ์ž…๋ ฅ/์ถœ๋ ฅ ๋ถ„๋ฅ˜๊ธฐ๊ฐ€ ShieldGemma๋ณด๋‹ค ์„ธ ๊ฐ€์ง€ ๊ณต๊ฒฉ๊ณผ ๋‘ ๋ฐ์ดํ„ฐ์…‹์—์„œ ๋” ์ž˜ ์ž‘๋™ํ•˜๋ฉฐ ClearHarm(์น˜๋ช…์  ์˜ค๋‚จ์šฉ) ๋ฐ์ดํ„ฐ์…‹์—์„  ๊ณต๊ฒฉ ์„ฑ๊ณต๋ฅ (ASR) 0%๋ฅผ ๋‹ฌ์„ฑํ–ˆ๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ๋˜ํ•œ STaged AttaCK(STACK) ์ ˆ์ฐจ๋กœ ๋ถ„๋ฅ˜๊ธฐ ํŒŒ์ดํ”„๋ผ์ธ์— ๋Œ€ํ•œ black-box ๊ณต๊ฒฉ์—์„œ ClearHarm ASR 71%, ์ „์ด(transfer) ์„ค์ •์—์„œ๋Š” ASR 33%๋ฅผ ๊ธฐ๋กํ–ˆ์œผ๋ฉฐ ์ด๋ฅผ ๋ง‰๊ธฐ ์œ„ํ•œ ๊ตฌ์ฒด์  ์™„ํ™”์ฑ…์„ ์ œ์•ˆํ•œ๋‹ค.

๐Ÿ‡ฌ๐Ÿ‡ง ๋Œ€ํ™”ํ˜• AI๋ฅผ ํ™œ์šฉํ•œ ์ •์น˜์  ์„ค๋“์˜ โ€˜๋ ˆ๋ฒ„โ€™(2025.7.18)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

์„ธ ๊ฑด์˜ ๋Œ€๊ทœ๋ชจ ์‹คํ—˜(N=76,977)์—์„œ 19๊ฐœ LLM์˜ ์ •์น˜ ์ด์Šˆ ์„ค๋“๋ ฅ(707๊ฐœ ์ด์Šˆ)์„ ํ‰๊ฐ€ํ•˜๊ณ , ์ƒ์„ฑ๋œ LLM ์ฃผ์žฅ 466,769๊ฐœ์˜ ์‚ฌ์‹ค ์ •ํ™•๋„๋ฅผ ์ ๊ฒ€ํ–ˆ๋‹ค. ๊ทธ ๊ฒฐ๊ณผ ํ˜„์žฌ ๋ฐ ๊ทผ๋ฏธ๋ž˜ AI์˜ ์„ค๋“๋ ฅ ์ฆ๊ฐ€๋Š” ๊ฐœ์ธํ™”๋‚˜ ๋ชจ๋ธ ๊ทœ๋ชจ ํ™•๋Œ€๋ณด๋‹ค post-training๊ณผ prompting ๋ฐฉ๋ฒ•์— ๋” ํฌ๊ฒŒ ์ขŒ์šฐ๋˜๋ฉฐ, persuasiveness๋Š” post-training์—์„œ ์ตœ๋Œ€ 51%, prompting์—์„œ ์ตœ๋Œ€ 27%๊นŒ์ง€ ์ฆ๊ฐ€ํ•œ ๊ฒƒ์œผ๋กœ ์ œ์‹œ๋๋‹ค. ๋˜ํ•œ ์ด๋Ÿฐ ๋ฐฉ๋ฒ•๋“ค์€ LLM์ด ์ •๋ณด๋ฅผ ์‹ ์†ํžˆ ์ ‘๊ทผํ•˜๊ณ  ์ „๋žต์ ์œผ๋กœ ํ™œ์šฉํ•˜๋Š” ๋Šฅ๋ ฅ์„ ํ†ตํ•ด ์„ค๋“์„ ๊ฐ•ํ™”ํ–ˆ์ง€๋งŒ, ์„ค๋“๋ ฅ์ด ๋†’์•„์ง„ ๊ตฌ๊ฐ„์—์„œ ์‚ฌ์‹ค ์ •ํ™•๋„๋Š” ์ฒด๊ณ„์ ์œผ๋กœ ๊ฐ์†Œํ–ˆ๋‹ค๊ณ  ๋ฐํ˜”๋‹ค.

2025-07-17 (1๊ฑด)

๐Ÿ‡ช๐Ÿ‡บ ์œ ๋Ÿฝ ์ง‘ํ–‰์œ„, AI Act ์ž๋ฌธํฌ๋Ÿผ ์ฐธ์—ฌ ์‹ ์ฒญ ๊ณต๋ชจ(2025.7.17)

๊ณต๊ณต ยท ์œ ๋Ÿฝ์—ฐํ•ฉ ์ง‘ํ–‰์œ„์›ํšŒ(European Commission) ๋””์ง€ํ„ธ ์ „๋žต(Digital Strategy) ยท โš–๏ธ๐Ÿ“๐Ÿ”ฌ

์œ ๋Ÿฝ ์ง‘ํ–‰์œ„์›ํšŒ๋Š” AI Act ์ž๋ฌธํฌ๋Ÿผ(Advisory Forum) ์ฐธ์—ฌ๋ฅผ ์œ„ํ•œ ์‹ ์ฒญ ๊ณต๋ชจ๋ฅผ ์‹œ์ž‘ํ–ˆ๋‹ค. ์‹œ๋ฏผ์‚ฌํšŒยทํ•™๊ณ„ยท์‚ฐ์—…๊ณ„ยท์ค‘์†Œ๊ธฐ์—…ยท์Šคํƒ€ํŠธ์—… ๋“ฑ ์ดํ•ด๊ด€๊ณ„์ž๊ฐ€ AI ๊ทœ์ •์˜ ์ฑ…์ž„ ์žˆ๊ณ  ํšจ๊ณผ์ ์ธ ์ดํ–‰์— ๊ธฐ์—ฌํ•˜๋„๋ก ์ดˆ์ฒญํ•˜๋ฉฐ, ํฌ๋Ÿผ์€ ์ผ๋ฐ˜ ์ž๋ฌธ๊ธฐ๊ตฌ๋กœ์„œ AI Office ๋ฐ ํ•„์š” ์‹œ ๊ตญ๊ฐ€ ์‹œ์žฅ๊ฐ์‹œ ๋‹น๊ตญ์— ์กฐ์–ธํ•˜๋Š” ๊ณผํ•™ ํŒจ๋„์˜ ์—ญํ• ์„ ๋ณด์™„ํ•œ๋‹ค. ์ž๋ฌธํฌ๋Ÿผ์€ ํ‘œ์ค€ํ™”์™€ ์ดํ–‰์ƒ์˜ ๊ณผ์ œ ๋“ฑ ๋‹ค์–‘ํ•œ ์Ÿ์ ์— ๋Œ€ํ•ด ๋…๋ฆฝ์ ์ธ ๊ธฐ์ˆ  ์ „๋ฌธ์„ฑ๊ณผ ๊ท ํ˜• ์žกํžŒ ์ดํ•ด๊ด€๊ณ„์ž ๋Œ€ํ‘œ์„ฑ์„ ์ œ๊ณตํ•˜๋„๋ก ์„ค๊ณ„๋๊ณ , FRAยทENISA ๋“ฑ EU ๊ธฐ๊ด€๊ณผ CENยทCENELECยทETSI ๊ฐ™์€ ํ‘œ์ค€ํ™” ๊ธฐ๊ด€์ด ์˜๊ตฌ ์œ„์›์œผ๋กœ ํฌํ•จ๋œ๋‹ค. ์œ„์› ์ž„๊ธฐ๋Š” 2๋…„(1ํšŒ ์—ฐ์ž„ ๊ฐ€๋Šฅ)์ด๋ฉฐ ๋ฌด๋ณด์ˆ˜๋กœ ํ™œ๋™ํ•˜๊ณ , ์‹ ์ฒญ ๊ฒฐ๊ณผ๋Š” 2026๋…„ ์ดˆ ๋ฐœํ‘œ๋  ์˜ˆ์ •์ด๋‹ค.

2025-07-15 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง Chain of thought monitorability: AI safety๋ฅผ ์œ„ํ•œ ์ƒˆ๋กœ์šด(๊ทธ๋Ÿฌ๋‚˜ ์ทจ์•ฝํ•œ) ๊ธฐํšŒ (2025.7.15)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿš€

AI๊ฐ€ ์ธ๊ฐ„ ์–ธ์–ด๋กœ โ€˜์ƒ๊ฐโ€™์„ ํ•  ๋•Œ, ํ•ด๋‹น chains of thought(CoT)๋ฅผ ๊ฐ์‹œํ•ด ์•…์˜์  ์˜๋„๋ฅผ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ๋Š” ๊ธฐํšŒ๊ฐ€ ์žˆ๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค. CoT ๋ชจ๋‹ˆํ„ฐ๋ง์€ ๋‹ค๋ฅธ ๊ฐ๋… ๋ฐฉ๋ฒ•๊ณผ ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ ์™„๋ฒฝํ•˜์ง€ ์•Š์•„ ์ผ๋ถ€ ์œ„๋ฒ• ํ–‰์œ„๊ฐ€ ํƒ์ง€๋˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ์ง€๋งŒ, ์ž ์žฌ๋ ฅ์ด ์žˆ์–ด ์ถ”๊ฐ€ ์—ฐ๊ตฌ์™€ ๊ธฐ์กด ์•ˆ์ „ ๋ฐฉ๋ฒ•๊ณผ์˜ ๋ณ‘ํ–‰ ํˆฌ์ž๋ฅผ ๊ถŒ๊ณ ํ•œ๋‹ค. ๋˜ํ•œ CoT monitorability๊ฐ€ โ€˜fragile(์ทจ์•ฝ)โ€™ํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ, ํ”„๋ก ํ‹ฐ์–ด ๋ชจ๋ธ ๊ฐœ๋ฐœ์ž๋“ค์ด ๊ฐœ๋ฐœ ๊ณผ์ •์˜ ๊ฒฐ์ •์ด CoT monitorability์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ์„ ๊ณ ๋ คํ•ด์•ผ ํ•œ๋‹ค.

2025-07-13 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง HiBayES: AI ํ‰๊ฐ€ ํ†ต๊ณ„์˜ ๋ถˆํ™•์‹ค์„ฑ ์ •๋Ÿ‰ํ™”๋ฅผ ์œ„ํ•œ ๊ณ„์ธต ๋ฒ ์ด์ง€์•ˆ ๋ชจ๋ธ ํ”„๋ ˆ์ž„์›Œํฌ (2025.7.13)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿค–

HiBayES๋Š” LLM ๋“ฑ AI ์‹œ์Šคํ…œ์˜ ๋ณธ์งˆ์  ํ™•๋ฅ ์  ์ถœ๋ ฅ์—์„œ ๋Šฅ๋ ฅ์„ ๊ฒฌ๊ณ ํ•˜๊ฒŒ ์ถ”์ •ํ•˜๊ณ , ์ถ”์ •์น˜์˜ ๋ถˆํ™•์‹ค์„ฑ์„ ์ฒด๊ณ„์ ์œผ๋กœ ์ •๋Ÿ‰ํ™”ํ•˜๊ธฐ ์œ„ํ•œ ๊ณ„์ธต ๋ฒ ์ด์ง€์•ˆ ๋ชจ๋ธ๋ง ํ”„๋ ˆ์ž„์›Œํฌ๋‹ค. ์ผ๋ฐ˜์ ์ธ ์งˆ๋ฌธ-์‘๋‹ต ๋ฒค์น˜๋งˆํฌ์™€ ์—์ด์ „ํŠธํ˜• ํ‰๊ฐ€๋ฅผ ๋ชจ๋‘ ์ง€์›ํ•˜๋ฉฐ, ํ‰๊ฐ€๋‹น ๋ฐ์ดํ„ฐ๊ฐ€ 20๊ฐœ ๋ฏธ๋งŒ์ฒ˜๋Ÿผ ์ ์€ ์ €๋ฐ์ดํ„ฐ ์ƒํ™ฉ์—์„œ๋„ ์ถ”๋ก ์„ ๊ฐ•ํ™”ํ•˜๋„๋ก ์„ค๊ณ„๋๋‹ค. GLM, ๋ฒ ์ด์ง€์•ˆ ๋ฐ์ดํ„ฐ ๋ถ„์„, ์ •์‹ ๋ชจ๋ธ ๋น„๊ต๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์›์น™์ ์ธ ๋ถˆํ™•์‹ค์„ฑ ์ •๋Ÿ‰ํ™”์™€ ๊ฒฌ๊ณ ํ•œ ํŒŒ๋ผ๋ฏธํ„ฐ ์ถ”์ •์„ ์ œ๊ณตํ•˜๋ฉฐ, ๋ฒ ํƒ€ ์†Œํ”„ํŠธ์›จ์–ด ํŒจํ‚ค์ง€๋„ ํ•จ๊ป˜ ์ œ๊ณตํ•œ๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค.

2025-07-10 (1๊ฑด)

๐Ÿ‡ช๐Ÿ‡บ EU AI Office, GPAI ์•ˆ์ „ ์ง‘ํ–‰ ์ง€์›์„ ์œ„ํ•œ 900๋งŒ ์œ ๋กœ ๊ทœ๋ชจ ๊ธฐ์ˆ ์ง€์› ์ž…์ฐฐ(2025.7.10)

๊ณต๊ณต ยท ์œ ๋Ÿฝ์—ฐํ•ฉ ์ง‘ํ–‰์œ„์›ํšŒ ๋””์ง€ํ„ธ ์ „๋žต(EC Digital Strategy) ยท โš–๏ธ๐Ÿ›ก๏ธ๐Ÿ”ฌ๐Ÿค–

์œ ๋Ÿฝ์—ฐํ•ฉ(EU) AI Office๊ฐ€ AI Act ์ง‘ํ–‰์„ ์œ„ํ•œ ๊ธฐ์ˆ  ์ง€์›์„ ์กฐ๋‹ฌํ•˜๋Š” ์ž…์ฐฐ์„ ๊ณต๊ณ ํ–ˆ๋‹ค. GPAI(๋ฒ”์šฉ ๋ชฉ์  AI) ๋ชจ๋ธ์ด EU ์ฐจ์›์—์„œ ๊ณต๊ณต์•ˆ์ „ยท๋ณด์•ˆยท๊ธฐ๋ณธ๊ถŒ์— ๋ฏธ์น  ์ˆ˜ ์žˆ๋Š” ์ฒด๊ณ„์  ์œ„ํ—˜์„ ํ‰๊ฐ€ยท๋ชจ๋‹ˆํ„ฐ๋งํ•˜๋Š” ์—ญ๋Ÿ‰์„ ๊ฐ•ํ™”ํ•˜๋Š” ๊ฒƒ์ด ๋ชฉ์ ์ด๋ฉฐ, ์ด์˜ˆ์‚ฐ์€ 900๋งŒ ์œ ๋กœ๋‹ค. ์ž…์ฐฐ์€ 6๊ฐœ ๋กœํŠธ๋กœ ๊ตฌ์„ฑ๋˜๋ฉฐ 1~5๋กœํŠธ๋Š” CBRN, ์‚ฌ์ด๋ฒ„ ๊ณต๊ฒฉ, ํ†ต์ œ์ƒ์‹ค, ์œ ํ•ด ์กฐ์ž‘, ์‚ฌํšŒ๊ธฐ์ˆ ์  ์œ„ํ—˜ ๋“ฑ ์œ ํ˜•๋ณ„ ์œ„ํ—˜ ๋ชจ๋ธ๋งยทํ‰๊ฐ€๋„๊ตฌ ๊ฐœ๋ฐœยท๊ธฐ์ˆ ์ง€์›ยท์ง€์† ๋ชจ๋‹ˆํ„ฐ๋ง์„ ํฌํ•จํ•˜๊ณ , 6๋กœํŠธ๋Š” ์—์ด์ „ํ‹ฑ ํ‰๊ฐ€๋ฅผ ์œ„ํ•œ ๊ต์ฐจ ์ง€์›(๋™์ ยท๊ฐœ๋ฐฉํ˜• ๊ณผ์ œ์—์„œ์˜ ์ž์œจ ํ–‰๋™ ํ‰๊ฐ€)์„ ์ œ๊ณตํ•œ๋‹ค.

2025-07-09 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง LLM-as-a-judge(์˜คํ† ๊ทธ๋ž˜๋”) ํ‰๊ฐ€ ์‹ ๋ขฐ์„ฑ๊ณผ ํŽธํ–ฅ์„ Bayesian GLM์œผ๋กœ ํ•จ๊ป˜ ๋ถ„์„(2025.7.9)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

LLM ํ‰๊ฐ€์—์„œ ๋‹ค๋ฅธ LLM์ด ์ ์ˆ˜๋ฅผ ๋งค๊ธฐ๋Š” LLM-as-a-judge(autograders)์˜ ์‹ ๋ขฐ์„ฑ์— ํ˜ผ์žฌ๊ฐ€ ์žˆ๊ณ  ์‘๋‹ต ์œ ํ˜•ยท์ฑ„์  ๋ฐฉ์‹ยท๋„๋ฉ”์ธ ๋“ฑ์— ๋”ฐ๋ผ ์ฒด๊ณ„์  ํŽธํ–ฅ์ด ๋‚˜ํƒ€๋‚  ์ˆ˜ ์žˆ๋‹ค๋Š” ์ ์„ ์งš์—ˆ๋‹ค. ์ด๋ฅผ ์œ„ํ•ด Bayesian generalised linear models(Bayesian GLM) ๊ธฐ๋ฐ˜ ํ†ต๊ณ„ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•˜๋ฉฐ, ์ ์ˆ˜/์Œ๋ณ„ ์„ ํ˜ธ ๊ฐ™์€ ๊ฒฐ๊ณผ๋ฅผ grader(์ธ๊ฐ„ vs autograder)์™€ ํ‰๊ฐ€ ํ•ญ๋ชฉ(์‘๋‹ต ๊ธธ์ด, ์ƒ์„ฑํ•œ LLM ๋“ฑ)์˜ ํŠน์„ฑ ํ•จ์ˆ˜๋กœ ๋ชจ๋ธ๋งํ•œ๋‹ค. ๋˜ํ•œ ๋ถˆํ™•์‹ค์„ฑ ์ถ”์ •๊ณผ ๋ถˆ์ผ์น˜ ์›์ธ ๋ถ„ํ•ด๋ฅผ ํ†ตํ•ด ์ „ํ†ต์  ์ง€ํ‘œ(์˜ˆ: inter-rater agreement)๋ฅผ ๋ณด์™„ํ•˜๊ณ , autograders์˜ ์„ฑ๋Šฅ ๋ถ„์„ ๋ฐ ํŽธํ–ฅ ํƒ์ง€์— ๋” ๊ฒฌ๊ณ ํ•˜๊ณ  ํ•ด์„ ๊ฐ€๋Šฅํ•œ ํ™œ์šฉ์„ ๋•๋Š”๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค.

2025-07-04 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง AI โ€˜schemingโ€™(์€๋ฐ€ยท์ „๋žต์  ๋ชฉํ‘œ์ถ”๊ตฌ) ์—ฐ๊ตฌ์— ๋Œ€ํ•œ 1970๋…„๋Œ€ ์ธ๋ฅ˜๊ฐ€์‹ ์‚ฌ๋ก€๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ํ•œ ๊ฐœ์„  ๊ถŒ๊ณ (2025.07.04)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

์ธ๊ฐ„์ด ์•„๋‹Œ ์˜์žฅ๋ฅ˜๊ฐ€ ์ž์—ฐ์–ธ์–ด๋ฅผ ์Šต๋“ํ•˜๋„๋ก ํ–ˆ๋˜ 1970๋…„๋Œ€ ์—ฐ๊ตฌ๋ฅผ ๋น„๊ต ๋Œ€์ƒ์œผ๋กœ ์‚ผ์•„, AI โ€˜schemingโ€™ ๊ด€๋ จ ์—ฐ๊ตฌ์—์„œ ์ธ๊ฐ„ ํŠน์„ฑ์„ ๊ณผ๋„ํ•˜๊ฒŒ ๋ถ€์—ฌํ•˜๊ฑฐ๋‚˜ ์ผํ™”ยท๊ธฐ์ˆ ์  ๋ถ„์„์— ๊ณผ๋„ ์˜์กดํ•˜๋Š” ์˜ค๋ฅ˜๋ฅผ ํ”ผํ•˜๋ผ๊ณ  ์ œ์•ˆํ•œ๋‹ค. ๋˜ํ•œ ๋ช…ํ™•ํ•œ ์ด๋ก ์  ํ‹€์„ ์ œ์‹œํ•˜์ง€ ๋ชปํ•œ ์ ์ด ์—ฐ๊ตฌ์˜ ํ•œ๊ณ„๋กœ ์ž‘์šฉํ–ˆ์Œ์„ ์ง€์ ํ•˜๋ฉฐ, ๊ด€๋ จ ์—ฐ๊ตฌ๊ฐ€ ๊ณผํ•™์  ์—„๋ฐ€์„ฑ๊ณผ ์ƒ์‚ฐ์„ฑ์„ ๋†’์ด๋„๋ก ๊ตฌ์ฒด์  ๊ฐœ์„  ๋ฐฉํ–ฅ์„ ์ œ์‹œํ•œ๋‹ค.

2025๋…„ 6์›” (2๊ฑด)

2025-06-15 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง (AI debate) (2025.06.15)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

์ธ๊ฐ„์˜ ๋ณต์žกํ•œ ๊ณผ์ œ์— ๋Œ€ํ•œ ์ •ํ™•ํ•œ ์Šˆํผ๋น„์ „์„ ๊ฐ•ํ™”ํ•˜๊ธฐ ์œ„ํ•ด, ๋‘ AI๊ฐ€ ์ •๋‹ต์„ ๋‘๊ณ  ๊ฒฝ์Ÿํ•˜๋Š” debate ๋ฐฉ์‹์˜ ์ ‘๊ทผ์„ ์„ค๋ช…ํ•œ๋‹ค. ๊ธฐ์กด์˜ recursive debate๋Š” dishonest debater๊ฐ€ โ€œobfuscated argumentsโ€๋ฅผ ์ด์šฉํ•ด ์ •์งํ•œ ์ƒ๋Œ€์—๊ฒŒ ๊ณ„์‚ฐ์ ์œผ๋กœ ์–ด๋ ค์šด ๋ฌธ์ œ๋ฅผ ํ’€๊ฒŒ ๋งŒ๋“ค์–ด ์ด๊ธฐ๊ฒŒ ๋งŒ๋“œ๋Š” ๋ฌธ์ œ๊ฐ€ ์žˆ์—ˆ๋Š”๋ฐ, ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ์ƒˆ๋กœ์šด recursive debate ํ”„๋กœํ† ์ฝœ์„ ์ œ์‹œํ•œ๋‹ค. ํŠน์ • ์•ˆ์ •์„ฑ ๊ฐ€์ • ํ•˜์—์„œ ์ •์งํ•œ debater๊ฐ€ ์ƒ๋Œ€์™€ ๋น„์Šทํ•œ ์ˆ˜์ค€์˜ ๊ณ„์‚ฐ ํšจ์œจ๋กœ ์ด๊ธธ ์ˆ˜ ์žˆ์Œ์„ ๋ณด์ธ๋‹ค๋Š” ๋‚ด์šฉ์ด๋‹ค.

2025-06-05 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง AI ์˜ค์šฉ ๋ฐฉ์ง€ safeguards์˜ ํšจ๊ณผ๋ฅผ โ€˜safety caseโ€™๋กœ ์ •๋Ÿ‰ํ™”(2025.06.05)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

safety case ๊ฐœ์š”: ์‹ค์ œ ์˜์‚ฌ๊ฒฐ์ •์— ์—ฐ๊ฒฐํ•˜๊ธฐ ์–ด๋ ค์šด ๊ธฐ์กด ์˜ค์šฉ( misuse ) ๋ฐฉ์ง€ ํ‰๊ฐ€์˜ โ€˜์ฆ๊ฑฐ ์กฐ๊ฐโ€™ ๋ฌธ์ œ๋ฅผ ๋ณด์™„ํ•˜๊ธฐ ์œ„ํ•ด, AI assistant ์˜ค์šฉ ์œ„ํ—˜์„ ๋‚ฎ์€ ์ˆ˜์ค€์œผ๋กœ ๋งŒ๋“œ๋Š” ์ „ ๊ณผ์ •์„ ์ž‡๋Š” ์ฃผ์žฅ(safety case) ์˜ˆ์‹œ๋ฅผ ์ œ์‹œํ–ˆ๋‹ค. ๊ฐ€์ƒ์˜ ๊ฐœ๋ฐœ์ž๊ฐ€ safeguards๋ฅผ red team์œผ๋กœ ์šฐํšŒํ•˜๊ธฐ ์œ„ํ•œ ๋…ธ๋ ฅ์„ ์ถ”์ •ํ•œ ๋’ค, ์ด๋ฅผ ์ •๋Ÿ‰์  uplift model์— ๋„ฃ์–ด safeguards๊ฐ€ ์˜ค์šฉ์„ ์–ผ๋งˆ๋‚˜ ์–ต์ œํ•˜๋Š”์ง€ ์‚ฐ์ถœํ•˜๊ณ , ๋ฐฐ์น˜ ์ค‘์—๋„ ์œ„ํ—˜ ์‹ ํ˜ธ๋ฅผ ์ง€์† ์ œ๊ณตํ•ด ์œ„ํ˜‘์— ์‹ ์† ๋Œ€์‘ํ•˜๋„๋ก ํ•œ๋‹ค. ๋งˆ์ง€๋ง‰์œผ๋กœ ์ด๋Ÿฌํ•œ ๊ตฌ์„ฑ์š”์†Œ๋ฅผ ๋‹จ์ˆœ safety case๋กœ ์—ฐ๊ฒฐํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์„ค๋ช…ํ•˜๋ฉฐ, ์ด๋Š” ๊ฐ€๋Šฅํ•œ ๊ฒฝ๋กœ ์ค‘ ํ•˜๋‚˜๋ผ๊ณ  ๋ฐํžŒ๋‹ค.

2025๋…„ 5์›” (6๊ฑด)

2025-05-31 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ๋Œ€๊ทœ๋ชจ ์–ธ์–ด๋ชจ๋ธ unlearning ํ‰๊ฐ€ ๊ฒฐ๊ณผ๊ฐ€ ๊ฒฐ์ •์ ์ด์ง€ ์•Š์Œ(2025.05.31)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

๊ธฐ์กด unlearning ํ‰๊ฐ€๋Š” ๊ธฐ๋ฐ€/์›์น˜ ์•Š๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋ชจ๋ธ์—์„œ ์ œ๊ฑฐํ•˜๋Š” ๋Šฅ๋ ฅ์„ ๊ฒ€์ฆํ•˜์ง€๋งŒ, ์ตœ๊ทผ ์—ฐ๊ตฌ๋“ค์€ ์ œ๊ฑฐ ์ง€์‹์ด ์‰ฝ๊ฒŒ ํšŒ๋ณต๋  ์ˆ˜ ์žˆ๋‹ค๊ณ  ์ง€์ ๋ผ ์™”๋‹ค. ํ•ด๋‹น ๊ธ€์€ ํ‰๊ฐ€ ๊ณผ์ •์—์„œ ํ…Œ์ŠคํŠธ ์ค‘ ๋ชจ๋ธ์ด ์žฌํ•™์Šต๋˜๋ฉฐ(์ •๋ณด ์ฃผ์ž…) ์‹ค์ œ unlearning ์„ฑ๋Šฅ์„ ๊ฐ€๋ฆด ์ˆ˜ ์žˆ๊ณ , ํƒœ์Šคํฌ๋ณ„ ๊ฒฐ๊ณผ๊ฐ€ ํฌ๊ฒŒ ๋‹ฌ๋ผ ํ˜„ ํ‰๊ฐ€ ๋ฃจํ‹ด์˜ ์ผ๋ฐ˜ํ™”๊ฐ€ ์–ด๋ ต๋‹ค๊ณ  ๋ณธ๋‹ค. ๋˜ํ•œ ๋‹ค์ˆ˜ ํ‰๊ฐ€๋Š” ์šฐ์—ฐ์  ์ƒ๊ด€๊ด€๊ณ„์— ์˜์กดํ•ด ๊ฒฐ๊ณผ ํ•ด์„๊ณผ ์‹ ๋ขฐ์„ฑ์ด ๋–จ์–ด์งˆ ์ˆ˜ ์žˆ์–ด, ํ˜„์žฌ ํ”„๋กœํ† ์ฝœ์ด unlearning ์„ฑ๊ณต์„ ๊ณผ๋Œ€ยท๊ณผ์†Œ ๋ชจ๋‘ ๋ฐ˜์˜ํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ๊ฒฐ๋ก ๋‚ด๋ฆฐ๋‹ค. ์ด๋ฅผ ๋ณด์™„ํ•˜๊ธฐ ์œ„ํ•ด โ€˜minimal information injectionโ€™๊ณผ โ€˜downstream task awarenessโ€™๋ฅผ ์›์น™์œผ๋กœ ์ œ์‹œํ•˜๊ณ  ์‹คํ—˜์œผ๋กœ ๊ฒ€์ฆํ–ˆ๋‹ค.

2025-05-21 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง RepliBench, ์–ธ์–ด๋ชจ๋ธ ์—์ด์ „ํŠธ์˜ ์ž์œจ ๋ณต์ œ(์ž๊ธฐ๋ณต์ œ) ์—ญ๋Ÿ‰์„ 4๊ฐœ ํ•ต์‹ฌ ์˜์—ญ ๊ธฐ๋ฐ˜์œผ๋กœ ํ‰๊ฐ€(2025.5.21)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿ”“

AISI-UK๋Š” ์–ธ์–ด๋ชจ๋ธ ์—์ด์ „ํŠธ์˜ ๋ฌดํ†ต์ œ ์ž์œจ ๋ณต์ œ๊ฐ€ ์•ˆ์ „ ์œ„ํ—˜์ด ๋  ์ˆ˜ ์žˆ๋‹ค๊ณ  ๋ณด๊ณ , ์ด๋ฅผ ์ธก์ •ํ•˜๊ธฐ ์œ„ํ•œ ํ‰๊ฐ€ ๋ชจ์Œ RepliBench๋ฅผ ์ œ์•ˆํ–ˆ๋‹ค. RepliBench๋Š” ์ž์› ํ™•๋ณด, ๋ชจ๋ธ ๊ฐ€์ค‘์น˜ ์œ ์ถœ, ์ปดํ“จํŒ…์— ๋ณต์ œ, ๋ณต์ œ๋œ ์ปดํ“จํŒ…์—์„œ ์žฅ๊ธฐ๊ฐ„ ์ง€์† ๋“ฑ 4๊ฐœ ์˜์—ญ์„ ๋ถ„ํ•ดํ•ด 201๊ฐœ ์‹ ๊ทœ ํƒœ์Šคํฌ ํŒจ๋ฐ€๋ฆฌ(์ด 86๊ฐœ ๊ฐœ๋ณ„ ํƒœ์Šคํฌ)๋กœ ๊ตฌ์„ฑ๋œ๋‹ค. 5๊ฐœ โ€˜frontierโ€™ ๋ชจ๋ธ์„ ๋ฒค์น˜๋งˆํฌํ•œ ๊ฒฐ๊ณผ, ๋ชจ๋ธ๋“ค์ด ํ˜„์žฌ๋Š” โ€˜์ž๊ธฐ๋ณต์ œ์— ๋Œ€ํ•œ ๊ทธ๋Ÿด๋“ฏํ•œ(credible) ์œ„ํ˜‘โ€™์€ ๋‚ฎ์ง€๋งŒ, ํด๋ผ์šฐ๋“œ์—์„œ ์ธ์Šคํ„ด์Šค๋ฅผ ๋ฐฐ์น˜ํ•˜๊ฑฐ๋‚˜ ์ž๊ฐ€ ์ „ํŒŒ ํ”„๋กœ๊ทธ๋žจ์„ ์ž‘์„ฑํ•˜๋ฉฐ ๋‹จ์ˆœํ•œ ๋ณด์•ˆ ์„ค์ •์—์„œ ๊ฐ€์ค‘์น˜ ์œ ์ถœ์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๋“ฑ ์—ฌ๋Ÿฌ ๊ตฌ์„ฑ์š”์†Œ์—์„œ๋Š” ์„ฑ๊ณผ๋ฅผ ๋ณด์˜€๋‹ค. ๋ฐ˜๋ฉด KYC(๊ณ ๊ฐํ™•์ธ) ํ†ต๊ณผ๋‚˜ ๊ฒฌ๊ณ ํ•˜๊ณ  ์ง€์†์ ์ธ ์—์ด์ „ํŠธ ๋ฐฐ์น˜ ์„ค์ •์—์„œ๋Š” ์–ด๋ ค์›€์„ ๊ฒช์—ˆ๊ณ , ์ตœ๊ณ  ์„ฑ๋Šฅ ๋ชจ๋ธ์ธ Claude 3.7 Sonnet์€ 20๊ฐœ ํƒœ์Šคํฌ ํŒจ๋ฐ€๋ฆฌ ์ค‘ 15๊ฐœ์—์„œ pass@10์ด 50% ์ดˆ๊ณผ, ์ตœ๋‚œ๋„ ๋ณ€ํ˜•์—์„œ๋Š” 9๊ฐœ์—์„œ 50% ์ดˆ๊ณผ๋ฅผ ๊ธฐ๋กํ–ˆ๋‹ค.

2025-05-07 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง LLM agents ํ†ต์ œ์ˆ˜๋‹จ ํ‰๊ฐ€์—์„œ red team์˜ ์ ‘๊ทผ ๊ถŒํ•œ์„ ์—์ด์ „ํŠธ ์—ญ๋Ÿ‰ ํ”„๋กœํŒŒ์ผ์— ๋งž์ถฐ์•ผ ํ•œ๋‹ค(2025.5.7)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

๋ณธ๋ฌธ ์š”์•ฝ: LLM agents๊ฐ€ ์ž์œจ์ ์œผ๋กœ ์œ„ํ•ด๋ฅผ ์ผ์œผํ‚ฌ ๋Šฅ๋ ฅ์ด ์ปค์งˆ์ˆ˜๋ก ๊ฐœ๋ฐœ์ž๋Š” ๋” ์ •๊ตํ•œ control measures์— ์˜์กดํ•˜๊ฒŒ ๋˜๋ฉฐ, ์ด๋ฅผ ๊ฒ€์ฆํ•˜๊ธฐ ์œ„ํ•ด red team์ด control measures๋ฅผ ์šฐํšŒํ•˜๋ ค๋Š” ์‹œํ—˜(control evaluations)์ด ํ•„์š”ํ•˜๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค. ๋‹ค๋งŒ ํ‰๊ฐ€๊ฐ€ ์‹ค์ œ misalignment ์œ„ํ—˜์„ ์ œ๋Œ€๋กœ ๋ฐ˜์˜ํ•˜๋ ค๋ฉด red team์— ์ฃผ์–ด์ง€๋Š” affordances๋ฅผ ๋ฐฐ์น˜๋  ์—์ด์ „ํŠธ์˜ capability profile์— ๋งž์ถฐ ์กฐ์ •ํ•ด์•ผ ํ•œ๋‹ค๊ณ  ์ œ์•ˆํ•œ๋‹ค. ์ธ๊ฐ„์ด ์•„๋Š” ์ตœ์„ ์˜ ๊ณต๊ฒฉ ์ „๋žต๋งŒ ํ•ญ์ƒ ์“ฐ์ง€ ์•Š๋Š”๋‹ค๋Š” ์ ์„ ๊ณ ๋ คํ•ด, ์‹ค์ œ ์—ญ๋Ÿ‰์„ ๊ธฐ๋ฐ˜์œผ๋กœ proportional control evaluations๋ฅผ ์„ค๊ณ„ํ•˜๋Š” ํ”„๋ ˆ์ž„์›Œํฌ์™€ ์‚ฌ๋ก€(๊ฐ€์ƒ ๋ชจ๋ธ M1~M5, AI control levels ACLs)๋ฅผ ์ œ์‹œํ•œ๋‹ค. ๋˜ํ•œ ์ดˆ์ง€๋Šฅ ์ˆ˜์ค€์˜ LLM agents์— ๋Œ€ํ•œ ์„ค๋“๋ ฅ ์žˆ๋Š” safety case๋ฅผ ์œ„ํ•ด ์—ฐ๊ตฌ ๋ŒํŒŒ๊ฐ€ ํ•„์š”ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์žฅ๊ธฐ์ ์œผ๋กœ๋Š” ๋‹ค๋ฅธ misalignment ์™„ํ™” ์ ‘๊ทผ์ด ์š”๊ตฌ๋  ์ˆ˜ ์žˆ๋‹ค๊ณ  ๊ฐ•์กฐํ•œ๋‹ค.

2025-05-06 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง An alignment safety case sketch based on debate (2025.5.6)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿงช

ํ•ด๋‹น ๊ธ€์€ AI ์‹œ์Šคํ…œ์ด ์ธ๊ฐ„ ์ˆ˜์ค€ ์ด์ƒ์œผ๋กœ ๋Šฅ๋ ฅ์„ ๊ฐ–์ถ”๋ฉด ์ธ๊ฐ„์ด ํ–‰๋™์„ ํŒ๋‹จํ•˜๊ณ  human feedback์œผ๋กœ ์›ํ•˜๋Š” ๋ฐฉํ–ฅ์„ ์œ ๋„ํ•˜๊ธฐ ์–ด๋ ค์›Œ์งˆ ์ˆ˜ ์žˆ์–ด, superhuman ์‹œ์Šคํ…œ์˜ debate๋กœ ์˜ค๋ฅ˜๋ฅผ ์ง€์ ํ•˜๋„๋ก ํ•˜๋Š” ์ ‘๊ทผ์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ๋…ผ๋ฌธ์€ โ€˜alignment safety caseโ€™๋ฅผ ์Šค์ผ€์น˜ํ•˜๋ฉฐ, AI ํšŒ์‚ฌ ๋‚ด๋ถ€์˜ R&D agent๊ฐ€ ์—ฐ๊ตฌ๋ฅผ ํ›ผ์†(์˜ˆ: false results ์ƒ์„ฑ)ํ•  ์œ„ํ—˜์„ debate๋กœ ํ›ˆ๋ จํ•˜๊ณ  exploration guarantees ๋ฐ online training์„ ํ†ตํ•ด ๋ฐฐํฌ ์ค‘ honesty๋ฅผ ์œ ์ง€ํ•˜๋Š” ๊ตฌ์ƒ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค. ์•ˆ์ „์„ฑ ์ฃผ์žฅ์€ (1) debate ๊ฒŒ์ž„์—์„œ์˜ ์ˆ™๋ จ (2) debate ์„ฑ๋Šฅ์ด ๋Œ€๋ถ€๋ถ„์˜ honesty๋ฅผ ์˜๋ฏธ (3) ๋ฐฐํฌ ์ค‘ honesty์˜ ์œ ์˜๋ฏธํ•œ ์ €ํ•˜๊ฐ€ ์—†์„ ๊ฒƒ (4) ๋ฐฐํฌ ๋งฅ๋ฝ์ด ์ผ๋ถ€ ์˜ค๋ฅ˜๋ฅผ ํ—ˆ์šฉํ•œ๋‹ค๋Š” ๋„ค ๊ฐ€์ง€ ํ•ต์‹ฌ ์ฃผ์žฅ์— ๊ธฐ๋ฐ˜ํ•˜๋ฉฐ, ์ด๋ฅผ ๋’ท๋ฐ›์นจํ•  ์ถ”๊ฐ€ ์—ฐ๊ตฌ ๊ณผ์ œ๋„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.

2025-05-02 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ๋ฉ”์ปค๋‹ˆ์ฆ˜ ํ•ด์„๊ฐ€๋Šฅ์„ฑ(MI)์—์„œ โ€˜์ข‹์€ ์„ค๋ช…โ€™์„ ํ‰๊ฐ€ยท๊ฐœ์„ ํ•˜๊ธฐ ์œ„ํ•œ ์„ค๋ช…์˜ ๋•๋ชฉ(Explanatory Virtues) ํ”„๋ ˆ์ž„์›Œํฌ ์ œ์•ˆ (**2025.05.02**)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿงช

MI๋Š” ์‹ ๊ฒฝ๋ง์„ ์ธ๊ณผ์ (causal) ์„ค๋ช…์œผ๋กœ ์ดํ•ดํ•˜๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•˜๋ฉฐ, ์„ค๋ช… ์ƒ์„ฑ ๋ฐฉ๋ฒ•์€ ๋งŽ์ง€๋งŒ ์„ค๋ช…์„ ํ‰๊ฐ€ํ•˜๋Š” ๋ณดํŽธ์  ๊ธฐ์ค€์ด ๋ถ€์กฑํ•˜๋‹ค๋Š” ๋ฌธ์ œ๋ฅผ ์ œ๊ธฐํ•œ๋‹ค. ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ๊ณผํ•™์ฒ ํ•™์˜ ๋„ค ๊ด€์ (Bayesian, Kuhnian, Deutschian, Nomological)์„ ๋ฐ”ํƒ•์œผ๋กœ โ€˜์„ค๋ช…์˜ ๋•๋ชฉ ํ”„๋ ˆ์ž„์›Œํฌโ€™๋ฅผ ์ œ์•ˆํ•˜๊ณ , ์„ค๋ช…์„ ์ฒด๊ณ„์ ์œผ๋กœ ํ‰๊ฐ€ยท๊ฐœ์„ ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์ œ์‹œํ•œ๋‹ค. ์—ฐ๊ตฌ์—์„œ๋Š” Compact Proofs๊ฐ€ ์—ฌ๋Ÿฌ ์„ค๋ช… ๋•๋ชฉ์„ ํญ๋„“๊ฒŒ ๋‹ค๋ฃฌ๋‹ค๋Š” ์ ์—์„œ ์œ ๋งํ•˜๋‹ค๊ณ  ๊ฒฐ๋ก ๋‚ด๋ฆฌ๋ฉฐ, ์„ค๋ช…์˜ ๋‹จ์ˆœ์„ฑ ์ •์˜, ์„ค๋ช…์˜ ํ†ตํ•ฉ, ์‹ ๊ฒฝ๋ง์— ๋Œ€ํ•œ ๋ณดํŽธ ์›์น™ ๋„์ถœ ๋“ฑ์„ ํ›„์† ์—ฐ๊ตฌ ๋ฐฉํ–ฅ์œผ๋กœ ์ œ์‹œํ•œ๋‹ค.

2025-05-01 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง (2025.5.1)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿงช

๋ฉ”์ปค๋‹ˆ์ฆ˜ ํ•ด์„(Mechanistic Interpretability)์€ ์‹ ๊ฒฝ๋ง์„ ์ธ๊ณผ์ (causal) ์„ค๋ช…์„ ํ†ตํ•ด ์ดํ•ดํ•˜๋ ค๋Š” ์ ‘๊ทผ์ด๋ฉฐ, ๋…ผ๋ฌธ์€ ๋ชจ๋ธ ์•ˆ์— ์•”๋ฌต์  ์„ค๋ช…์ด ์กด์žฌํ•˜๊ณ  ์ด๋ฅผ ์ถ”์ถœยท์ดํ•ดํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” โ€˜Explanatory View Hypothesisโ€™๋ฅผ ์ œ์‹œํ•œ๋‹ค. ๋˜ํ•œ ์„ค๋ช…์ด ๋ชจ๋ธ์— ์–ผ๋งˆ๋‚˜ ์ž˜ ๋ถ€ํ•ฉํ•˜๋Š”์ง€ ํ‰๊ฐ€ํ•˜๋Š” ๊ฐœ๋…์ธ โ€˜Explanatory Faithfulnessโ€™๊ฐ€ ์ž˜ ์ •์˜๋  ์ˆ˜ ์žˆ์Œ์„ ๋ณด์ด๊ณ , MI๋ฅผ ๋ชจ๋ธ ์ˆ˜์ค€์˜ ์˜จํ‹ฑ(ontic)ยท์ธ๊ณผ-๊ธฐ๊ณ„๋ก ์ (causal-mechanistic)ยท๋ฐ˜์ฆ๊ฐ€๋Šฅ(falsifiable)ํ•œ ์„ค๋ช…์„ ์‚ฐ์ถœํ•˜๋Š” ์‹ค์ฒœ์œผ๋กœ ์ •์˜ํ•ด ๋‹ค๋ฅธ ํ•ด์„ ํŒจ๋Ÿฌ๋‹ค์ž„๊ณผ์˜ ๊ตฌ๋ถ„ ๋ฐ ํ•œ๊ณ„๋ฅผ ์ •๋ฆฌํ•œ๋‹ค. ๋งˆ์ง€๋ง‰์œผ๋กœ Mechanistic Interpretability์˜ ์„ฑ๊ณต์— ํ•„์š”ํ•œ ์ „์ œ์กฐ๊ฑด์œผ๋กœ โ€˜Principle of Explanatory Optimismโ€™(์ถ”์ธก/๊ฐ€์„ค)์„ ์ œ์•ˆํ•œ๋‹ค.

2025๋…„ 4์›” (1๊ฑด)

2025-04-07 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง AISI, Claude Mythos Preview ์‚ฌ์ด๋ฒ„ ์—ญ๋Ÿ‰ ํ‰๊ฐ€ ๊ฒฐ๊ณผ ๊ณต๊ฐœ(2025.4.7)

๊ณต๊ณต ยท AI Security Institute (AISI-UK) ยท ๐Ÿ”’๐Ÿ”ฌ

AI Security Institute(AISI)๊ฐ€ Anthropic์˜ Claude Mythos Preview(2025๋…„ 4์›” 7์ผ ๋ฐœํ‘œ)๋ฅผ ๋Œ€์ƒ์œผ๋กœ ์‚ฌ์ด๋ฒ„ ๋ณด์•ˆ ์—ญ๋Ÿ‰ ํ‰๊ฐ€๋ฅผ ์ˆ˜ํ–‰ํ–ˆ๋‹ค. CTF(์บก์ฒ˜๋”ํ”Œ๋ž˜๊ทธ)์—์„œ๋Š” ์ „๋ฌธ๊ฐ€ ์ˆ˜์ค€ ๊ณผ์ œ์—์„œ 73% ์„ฑ๊ณต์„ ๋ณด์˜€๊ณ , ๋„คํŠธ์›Œํฌ ๊ณต๊ฒฉ ์‹œ๋ฎฌ๋ ˆ์ด์…˜(32๋‹จ๊ณ„)์—์„œ๋Š” 10ํšŒ ์‹œ๋„ ์ค‘ 3ํšŒ์— ๊ฑธ์ณ ์ฒ˜์Œ๋ถ€ํ„ฐ ๋๊นŒ์ง€ ์™„๋ฃŒํ–ˆ์œผ๋ฉฐ ํ‰๊ท  22/32๋‹จ๊ณ„๋ฅผ ์ˆ˜ํ–‰ํ–ˆ๋‹ค. ๋‹ค๋งŒ AISI์˜ OT(์šด์˜๊ธฐ์ˆ ) ์ค‘์‹ฌ ๋ฒ”์œ„์ธ โ€˜Cooling Towerโ€™๋Š” IT ๊ตฌ๊ฐ„์—์„œ ๋ง‰ํ˜€ ์™„๋ฃŒํ•˜์ง€ ๋ชปํ–ˆ์œผ๋ฉฐ, ํ‰๊ฐ€ ํ™˜๊ฒฝ์ด ์‹ค์ œ ํ™˜๊ฒฝ๋ณด๋‹ค ๋ฐฉ์–ด ๊ธฐ๋Šฅ๊ณผ ๋ณด์•ˆ ๊ฒฝ๊ณ  ํŠธ๋ฆฌ๊ฑฐ๊ฐ€ ๋ถ€์กฑํ•ด ์ž˜ ๋ฐฉ์–ด๋œ ์‹œ์Šคํ…œ์— ๋Œ€ํ•œ ํ™•์‹คํ•œ ๊ฒฐ๋ก ์€ ์–ด๋ ต๋‹ค๊ณ  ๋ฐํ˜”๋‹ค.

2025๋…„ 3์›” (3๊ฑด)

2025-03-24 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง Adversarial machine learning: ๊ณต๊ฒฉยท์™„ํ™” ๊ฐœ๋…์„ ๋ถ„๋ฅ˜ํ•˜๊ณ  ์šฉ์–ด๋ฅผ ์ •๋ฆฌ(2025.3.24)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ“œ๐Ÿ”ฌ

AI์˜ adversarial machine learning(AML) ๋ถ„์•ผ์— ๋Œ€ํ•ด NIST Trustworthy and Responsible AI ๋ณด๊ณ ์„œ ํ˜•์‹์œผ๋กœ ๊ฐœ๋… ๋ถ„๋ฅ˜ ์ฒด๊ณ„(attack ๋‹จ๊ณ„, ๊ณต๊ฒฉ์ž ๋ชฉํ‘œยท์—ญ๋Ÿ‰ยท์ง€์‹ ๋“ฑ)์™€ ์šฉ์–ด๋ฅผ ์ •๋ฆฌํ•œ ๊ธ€์ด๋‹ค. ML ๋ฐฉ๋ฒ•์˜ ์ฃผ์š” ์œ ํ˜•๊ณผ AI ์‹œ์Šคํ…œ ์ƒ์• ์ฃผ๊ธฐ ์ „๋ฐ˜์—์„œ์˜ ๊ณต๊ฒฉ ์‹œ๋‚˜๋ฆฌ์˜ค๋ฅผ ๊ณ„์ธต ๊ตฌ์กฐ๋กœ ์ œ์‹œํ•˜๊ณ , ๊ณต๊ฒฉ์˜ ๊ฒฐ๊ณผ๋ฅผ ์ค„์ด๊ธฐ ์œ„ํ•œ ์™„ํ™”ยท๊ด€๋ฆฌ ๋ฐฉ๋ฒ•๊ณผ ํ•จ๊ป˜ ํ˜„์žฌ์˜ ๋„์ „ ๊ณผ์ œ๋„ ๋‹ค๋ฃฌ๋‹ค. ๋ณด๊ณ ์„œ์˜ ์šฉ์–ด๋Š” AML ๊ด€๋ จ ๊ธฐ์กด ๋ฌธํ—Œ๊ณผ ์ผ์น˜ํ•˜๋ฉฐ, AI ์‹œ์Šคํ…œ ๋ณด์•ˆ ๊ด€๋ จ ์ฃผ์š” ์šฉ์–ด ๊ธ€๋กœ์„œ๋ฆฌ๋ฅผ ํฌํ•จํ•ด ๊ณตํ†ต ์–ธ์–ด๋ฅผ ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•œ๋‹ค.

2025-03-05 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง AI ๋ณด์•ˆ ์—ฐ๊ตฌ ๊ฐ•ํ™”๋ฅผ ์œ„ํ•œ ์‹ ๊ทœ Challenge Fund, ๋Œ€์ค‘ ์‹ ๋ขฐ์™€ ๋„์ž… ํ™•๋Œ€ ๋ชฉํ‘œ (2025.3.5)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

์˜๊ตญ AI Security Institute๊ฐ€ ์‚ฐํ•˜ ์ตœ์ดˆ์˜ ๋ณด์กฐ๊ธˆ ํ”„๋กœ๊ทธ๋žจ์ธ Challenge Fund๋ฅผ 2025๋…„ 3์›” 5์ผ ์ถœ๋ฒ”์‹œ์ผฐ์œผ๋ฉฐ, ์ด 500๋งŒ ํŒŒ์šด๋“œ ๊ทœ๋ชจ๋กœ ํ”„๋กœ์ ํŠธ๋‹น ์ตœ๋Œ€ 20๋งŒ ํŒŒ์šด๋“œ๋ฅผ ์ง€์›ํ•œ๋‹ค. ํ•ต์‹ฌ ์‹œ์Šคํ…œ ์žฅ์• ์™€ AI misuse ๋ฐฉ์ง€, ์ž์œจ ์ž‘๋™ํ•˜๋Š” AI์— ๋Œ€ํ•œ ์ธ๊ฐ„์˜ ๊ฐ๋…ยทํ†ต์ œ ๋“ฑ 4๊ฐ€์ง€ ํ•ต์‹ฌ AI ๋ณด์•ˆยท์•ˆ์ „ ๊ณผ์ œ๋ฅผ ์ค‘์‹ฌ์œผ๋กœ ์—ฐ๊ตฌ๋ฅผ ์ง€์›ํ•œ๋‹ค. ์ „ ์„ธ๊ณ„ ์—ฐ๊ตฌ์ž์™€ ๋น„์˜๋ฆฌ ๋‹จ์ฒด๊ฐ€ ๋Œ€์ƒ์ด๋ฉฐ, ์‹ ์ฒญ์€ 3์›” 5์ผ๋ถ€ํ„ฐ ์—ด๋ ธ๊ณ  ์„ ์ • ํ”„๋กœ์ ํŠธ๋Š” 12์ฃผ ์ด๋‚ด์— ๋ฐœํ‘œ๋œ๋‹ค. ์ •๋ถ€๋Š” ์ด๋ฅผ ํ†ตํ•ด AI์— ๋Œ€ํ•œ ๋Œ€์ค‘ ์‹ ๋ขฐ๋ฅผ ๋†’์ด๊ณ  ๊ฒฝ์ œ ์ „๋ฐ˜์˜ AI ๋„์ž…๊ณผ ์„ฑ์žฅ์„ ์ด‰์ง„ํ•œ๋‹ค๋Š” ๋ฐฉ์นจ์ด๋‹ค.

2025-03-02 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง LLM capability ํ‰๊ฐ€๋ฅผ ์œ„ํ•œ model tampering ๊ณต๊ฒฉ์˜ ํ™œ์šฉ(2025.3.2)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿ”“

๋ชจ๋ธ ์œ„ํ—˜ยท์—ญ๋Ÿ‰ ํ‰๊ฐ€๋Š” ์ฃผ๋กœ ์•…์„ฑ ํ–‰๋™์„ ์œ ๋„ํ•˜๋Š” ์ž…๋ ฅ-์ถœ๋ ฅ ๋ฐฉ์‹์— ์˜์กดํ•˜์ง€๋งŒ, open-weight ๋ชจ๋ธ์˜ ํ˜„์‹ค ์œ„ํ—˜์„ ์ถฉ๋ถ„ํžˆ ํ‰๊ฐ€ํ•˜๊ธฐ ์–ด๋ ต๊ณ  ํŠน์ • ์‹คํ—˜ ๊ฒฐ๊ณผ๋Š” ์ตœ์•…์˜ ๊ฐ€๋Šฅ์„ฑ์„ ํ•˜ํ•œ์œผ๋กœ๋งŒ ๋ณด์—ฌ์ฃผ๋Š” ํ•œ๊ณ„๊ฐ€ ์žˆ๋‹ค๊ณ  ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค. ์ด์— ๋”ฐ๋ผ ์ž ์žฌ activation ๋˜๋Š” weights๋ฅผ ์ˆ˜์ •ํ•˜๋Š” model tampering attacks๋กœ LLM์„ ํ‰๊ฐ€ํ•˜๋Š” ๋ณด์™„ ๋ฐฉ๋ฒ•์„ ์ œ์•ˆํ–ˆ์œผ๋ฉฐ, harmful capability ์ œ๊ฑฐ ๊ธฐ๋ฒ•๋“ค๊ณผ 5๊ฐœ ์ž…๋ ฅ๊ณต๊ฐ„ยท6๊ฐœ model tampering ๊ณต๊ฒฉ์„ ๋น„๊ต ๋ฒค์น˜๋งˆํฌํ–ˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ tampering ๊ณต๊ฒฉ์˜ ์„ฑ๊ณต๋ฅ ์ด ๋ณด์œ ํ•œ ์ž…๋ ฅ๊ณต๊ฐ„ ๊ณต๊ฒฉ์˜ ์„ฑ๊ณผ๋ฅผ ์˜ˆ์ธกยท๋ณด์ˆ˜์ ์œผ๋กœ ์ถ”์ •ํ•  ์ˆ˜ ์žˆ๊ณ , ์ตœ์‹  unlearning ๋ฐฉ๋ฒ•์€ fine-tuning 16๋‹จ๊ณ„ ๋‚ด์— ์‰ฝ๊ฒŒ ๋˜๋Œ๋ฆด ์ˆ˜ ์žˆ์Œ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.

2025๋…„ 2์›” (8๊ฑด)

2025-02-24 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ์ด์–ธ ํ˜ธ๊ฐ€์Šค(Ian Hogarth)์˜ ๊ณต๊ฐœ๋œ ์™ธ๋ถ€ ์ดํ•ด๊ด€๊ณ„ ํˆฌ๋ช…์„ฑ ์ž๋ฃŒ (2025.2.24)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

์˜๊ตญ ๊ณผํ•™ํ˜์‹ ๊ธฐ์ˆ ๋ถ€(DSIT)์™€ AI Security Institute๊ฐ€ ๊ฒŒ์žฌํ•œ ์ด ์ž๋ฃŒ๋Š” ๊ณผํ•™ํ˜์‹ ๊ธฐ์ˆ ๋ถ€ ์žฅ๊ด€์ด ์ง์ ‘ ์ž„๋ช…ํ•œ ์ด์–ธ ํ˜ธ๊ฐ€์Šค๊ฐ€ ์‹ ๊ณ ํ•œ ์™ธ๋ถ€ ์ดํ•ด๊ด€๊ณ„๋ฅผ ๋‹ด์€ ๋ฌธ์„œ๋‹ค. ๊ณต๊ณต๊ธฐ๊ด€ ์ด์‚ฌํšŒ ๊ตฌ์„ฑ์› ํ–‰๋™๊ฐ•๋ น์— ๋”ฐ๋ผ ์ž„๋ช…์ง ์ธ์‚ฌ๋Š” ๊ณต์  ์ง๋ฌด์™€ ์ถฉ๋Œํ•˜๊ฑฐ๋‚˜ ์ถฉ๋Œ๋กœ ๋น„์น  ์ˆ˜ ์žˆ๋Š” ๋ณธ์ธยท๊ฐ€๊นŒ์šด ๊ฐ€์กฑ์˜ ๊ธˆ์ „์ ยท๋น„๊ธˆ์ „์  ์ดํ•ด๊ด€๊ณ„๋ฅผ ์‹ ๊ณ ํ•ด์•ผ ํ•œ๋‹ค. ์ด ํŽ˜์ด์ง€๋Š” 2024๋…„ 10์›” 18์ผ ์ฒ˜์Œ ๊ฒŒ์žฌ๋๊ณ , 2025๋…„ 2์›” 24์ผ ํ˜ธ๊ฐ€์Šค์˜ AISI ์˜์žฅ ์žฌ์ž„๋ช…์„ ๋ฐ˜์˜ํ•ด ๊ฐฑ์‹ ๋๋‹ค. ๊ตฌ์ฒด์ ์ธ ์‹ ๊ณ  ๋‚ด์šฉ์€ ๋ณ„๋„ ๋ฌธ์„œ(HTML)์— ์žˆ์œผ๋ฉฐ ์ถ”์ถœ๋œ ๋ณธ๋ฌธ์—๋Š” ํฌํ•จ๋˜์ง€ ์•Š์•˜๋‹ค.

2025-02-20 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง LLM finetuning API ๋ฐฉ์–ด์—์„œ โ€˜pointwiseโ€™ ํƒ์ง€์˜ ๊ทผ๋ณธ์  ํ•œ๊ณ„์™€ ์ด๋ฅผ ํšŒํ”ผํ•˜๋Š” ๊ณต๊ฒฉ ์ œ์‹œ(**2025.02.20**)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

๋ณธ ์—ฐ๊ตฌ๋Š” ๊ณต๊ฐœ API๋กœ ๋ชจ๋ธ์„ ํŒŒ์ธํŠœ๋‹ํ•ด ๊ฐ€๋“œ๋ ˆ์ผ์„ ์šฐํšŒํ•˜๋Š” fine-tuning misuse ๊ณต๊ฒฉ์„ ๋ง‰๊ธฐ ์œ„ํ•œ ๋ฐฉ์–ด ์ค‘, ๊ฐœ๋ณ„ ์ƒ˜ํ”Œ์„ ํƒ์ง€ํ•˜๋Š” pointwise ๊ฐ์ง€๊ฐ€ ๊ทผ๋ณธ์ ์œผ๋กœ ์ œํ•œ๋œ๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ์—ฐ๊ตฌ์ง„์€ benignํ•œ ๋ชจ๋ธ ์ถœ๋ ฅ์˜ ์—”ํŠธ๋กœํ”ผ(์˜๋ฏธ/๋ฌธ๋ฒ• ๋ณ€์ด ๋“ฑ)๋ฅผ ํ™œ์šฉํ•ด ์œ„ํ—˜ํ•œ ์ง€์‹์„ ์€๋‹‰ ์ „์†กํ•˜๋Š” โ€˜pointwise-undetectableโ€™ ๊ณต๊ฒฉ์„ ๊ตฌ์„ฑํ–ˆ์œผ๋ฉฐ, ํ•™์Šตยท์ถ”๋ก  ๋ฐ์ดํ„ฐ ๋ชจ๋‘ ๊ฐœ๋ณ„์ ์œผ๋กœ๋Š” ๋ฌดํ•ดํ•˜๊ณ  ๋‚ฎ์€ ํผํ”Œ๋ ‰์„œํ‹ฐ๋ผ๊ณ  ์„ค๋ช…ํ–ˆ๋‹ค. OpenAI์˜ fine-tuning API์— ์ ์šฉํ•œ ๊ฒฐ๊ณผ ์œ ํ•ดํ•œ ๊ฐ๊ด€์‹ ์งˆ๋ฌธ์— ๋Œ€ํ•œ ๋‹ต์„ ์œ ๋„ํ•˜๋Š” ๋ฐ ์„ฑ๊ณตํ–ˆ๊ณ , ์—ฐ๊ตฌ์ง„์ด ์„ค๊ณ„ํ•œ ํ–ฅ์ƒ๋œ ๋ชจ๋‹ˆํ„ฐ๋ง ์‹œ์Šคํ…œ๋„ ํ•ด๋‹น ๊ณต๊ฒฉ์„ ํƒ์ง€ํ•˜์ง€ ๋ชปํ–ˆ๋‹ค๊ณ  ์ „ํ–ˆ๋‹ค.

2025-02-14 (2๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง AI ๋ณด์•ˆ ์œ„ํ—˜์— ๋Œ€์‘ํ•ด ์„ฑ์žฅ์„ ์ด๋Œ๊ณ  '๋ณ€ํ™”๋ฅผ ์œ„ํ•œ ๊ณ„ํš'์„ ์ดํ–‰ (2025.2.14)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ›ก๏ธ๐Ÿ›๏ธ๐Ÿง’๐Ÿ”ฌ

์˜๊ตญ AI Safety Institute๊ฐ€ 'AI Security Institute'๋กœ ๋ช…์นญ์„ ๋ฐ”๊พธ๊ณ , ํ™”ํ•™ยท์ƒ๋ฌผ ๋ฌด๊ธฐ ๊ฐœ๋ฐœ, ์‚ฌ์ด๋ฒ„ ๊ณต๊ฒฉ, ์‚ฌ๊ธฐยท์•„๋™ ์„ฑ์ฐฉ์ทจ๋ฌผ ์ œ์ž‘ ๋“ฑ ๊ตญ๊ฐ€์•ˆ๋ณด์™€ ๋ฒ”์ฃ„์— ๊ด€๋ จ๋œ ์‹ฌ๊ฐํ•œ AI ์œ„ํ—˜์— ์ง‘์ค‘ํ•˜๊ธฐ๋กœ ํ–ˆ๋‹ค. ๋‚ด๋ฌด๋ถ€์™€ ํ˜‘๋ ฅํ•˜๋Š” criminal misuse team์„ ์‹ ์„คํ•˜๊ณ  ๊ตญ๋ฐฉ๊ณผํ•™๊ธฐ์ˆ ์—ฐ๊ตฌ์†Œ(Dstl), LASR, NCSC ๋“ฑ ์•ˆ๋ณด ๊ธฐ๊ด€๊ณผ๋„ ํ˜‘๋ ฅํ•˜๋ฉฐ, ํŽธํ–ฅ์ด๋‚˜ ํ‘œํ˜„์˜ ์ž์œ  ๋ฌธ์ œ๋Š” ๋‹ค๋ฃจ์ง€ ์•Š๋Š”๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ๊ฐ™์€ ๋‚  ์˜๊ตญ Sovereign AI ๋ถ€์„œ๋Š” Anthropic๊ณผ ํ˜‘์•ฝ์„ ๋งบ์–ด ๊ณต๊ณต์„œ๋น„์Šค ๊ฐœ์„ ๊ณผ ๊ณผํ•™์  ๋ฐœ์ „ ๋ถ„์•ผ์—์„œ AI ํ™œ์šฉ ๋ฐฉ์•ˆ์„ ํ•จ๊ป˜ ๋ชจ์ƒ‰ํ•˜๊ธฐ๋กœ ํ–ˆ๋‹ค. ์˜๊ตญ ์ •๋ถ€๋Š” ์•ž์œผ๋กœ ์„ ๋„ AI ๊ธฐ์—…๋“ค๊ณผ ์ถ”๊ฐ€ ํ˜‘์•ฝ๋„ ์ถ”์ง„ํ•  ๊ณ„ํš์ด๋‹ค.

๐Ÿ‡ฌ๐Ÿ‡ง ํ”ผํ„ฐ ์นด์ผ ๊ธฐ์ˆ ์žฅ๊ด€, ๋ฎŒํ—จ์•ˆ๋ณดํšŒ์˜ ์—ฐ์„ค (2025.2.14)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ›ก๏ธ๐Ÿ”ฌ

ํ”ผํ„ฐ ์นด์ผ ์˜๊ตญ ๊ธฐ์ˆ ์žฅ๊ด€์€ ๋ฎŒํ—จ์•ˆ๋ณดํšŒ์˜์—์„œ AI Safety Institute๋ฅผ AI Security Institute๋กœ ๊ฐœ์นญํ•œ๋‹ค๊ณ  ๋ฐœํ‘œํ–ˆ๋‹ค. ์—ฐ๊ตฌ ์ดˆ์ ์€ ํ™”ํ•™ยท์ƒ๋ฌผ ๋ฌด๊ธฐ ๊ฐœ๋ฐœ ์ง€์›, ์‚ฌ์ด๋ฒ„ ๊ณต๊ฒฉ, ์ธ๊ฐ„์˜ ํ†ต์ œ ์•ฝํ™” ๊ฐ™์€ ์‹ฌ๊ฐํ•œ ๊ตญ๊ฐ€์•ˆ๋ณด ์œ„ํ—˜์ด๋ฉฐ, ํ‘œํ˜„์˜ ์ž์œ ๋‚˜ ํŽธํ–ฅยท์ฐจ๋ณ„ ํŒ๋‹จ์€ ๋‹ค๋ฃจ์ง€ ์•Š๋Š”๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ์—ฐ๊ตฌ์†Œ ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ ์ง€๋‚œ 18๊ฐœ์›”๊ฐ„ ๊ตญ๊ฐ€์•ˆ๋ณด ๊ด€๋ จ AI ์—ญ๋Ÿ‰์ด ๋šœ๋ ท์ด ์ƒ์Šนํ–ˆ๊ณ , AI ๋ชจ๋ธ์ด ์ฒ˜์Œ์œผ๋กœ ํ™”ํ•™ยท์ƒ๋ฌผ ๋ฌธ์ œ์—์„œ PhD ์ˆ˜์ค€ ์„ฑ๋Šฅ์„ ๋ณด์˜€์œผ๋ฉฐ ํ…Œ์ŠคํŠธํ•œ ๋ชจ๋“  ๋ชจ๋ธ์ด safeguard ์šฐํšŒ ๊ณต๊ฒฉ์— ์ทจ์•ฝํ–ˆ๋‹ค. ๋˜ ๊ตญ๋ฐฉ๊ณผํ•™๊ธฐ์ˆ ์—ฐ๊ตฌ์†Œ(Dstl)์™€์˜ ํ˜‘๋ ฅ, ๋‚ด๋ฌด๋ถ€์™€ ์—ฐ๊ณ„ํ•œ criminal misuse ํŒ€ ์‹ ์„ค, ๊ณต๊ฐœยท๋น„๊ณต๊ฐœ ๋ฐ ์ถœ์‹ ๊ตญ๊ณผ ๋ฌด๊ด€ํ•œ ๋ชจ๋ธ ํ…Œ์ŠคํŠธ๋ฅผ ๋ฐœํ‘œํ–ˆ์œผ๋ฉฐ, ๊ฒฐ๊ณผ๋Š” ๊ณต๊ฐœํ•˜์ง€ ์•Š๊ณ  ๋™๋งน๊ตญ๊ณผ ๊ณต์œ ํ•œ๋‹ค๊ณ  ํ–ˆ๋‹ค.

2025-02-10 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง Safety Cases: Frontier AI safety๋ฅผ ์œ„ํ•œ ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ์ ‘๊ทผ (**2025.02.10**)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿš€

Frontier AI ๊ฐœ๋ฐœ์—์„œ ์•ˆ์ „์‚ฌ๋ก€(safety case)์˜ ํ™œ์šฉ์ด ์˜์‚ฌ๊ฒฐ์ •์ž์—๊ฒŒ AI ์•ˆ์ „์„ฑ์„ ๋ณด์—ฌ์ฃผ๋Š” ๋ฐ ๋„์›€์ด ๋œ๋‹ค๋Š” ๋‚ด์šฉ์„ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ๋˜ํ•œ ์•ˆ์ „์‚ฌ๋ก€๊ฐ€ Frontier AI Safety Commitments์„ ๋’ท๋ฐ›์นจํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๋ฐฉ๋ฒ•๋ก ๊ณผ ์‹คํ–‰ ์ธก๋ฉด์—์„œ ๋‚จ์•„ ์žˆ๋Š” ์—ฐ๊ตฌ ์งˆ๋ฌธ๋“ค์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.

2025-02-05 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง (2025.02.05) Frontier AI Safety framework์—์„œ์˜ emerging practices ์š”์•ฝ

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿš€

ํ”„๋Ÿฐํ‹ฐ์–ด AI Safety Commitments(2024 AI Seoul Summit)์™€ ๊ด€๋ จํ•ด, AI ๊ฐœ๋ฐœ์‚ฌ๋“ค์ด ์ค‘๋Œ€ํ•œ ์œ„ํ—˜์„ ๊ด€๋ฆฌํ•˜๋Š” ์•ˆ์ „ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๊ณต๊ฐœํ•˜๊ธฐ๋กœ ํ•œ ๋ฐฐ๊ฒฝ์„ ์„ค๋ช…ํ•œ๋‹ค. ๋ณธ๋ฌธ์€ ์•ˆ์ „ ํ”„๋ ˆ์ž„์›Œํฌ์˜ ํ•ต์‹ฌ 3๊ฐ€์ง€(์œ„ํ—˜ ์‹๋ณ„ยทํ‰๊ฐ€, ์œ„ํ—˜ ์™„ํ™”, ๊ฑฐ๋ฒ„๋„Œ์Šค)๋ฅผ ๊ธฐ์ค€์œผ๋กœ ๊ธฐ์—…ยท์ •๋ถ€ยท์—ฐ๊ตฌ์ž๋“ค์ด ์ œ์‹œํ•œ ํ˜„์žฌ์˜ ์ƒ๊ฐ๊ณผ emerging practices๋ฅผ ์ •๋ฆฌํ•œ๋‹ค. ์•ˆ์ „ ํ”„๋ ˆ์ž„์›Œํฌ๊ฐ€ ์ƒˆ๋กญ๊ณ  ๋น ๋ฅด๊ฒŒ ๋ฐœ์ „ ์ค‘์ด์–ด์„œ, ํ–ฅํ›„ ๋…ผ์˜์™€ ํ˜์‹ ์„ ์œ„ํ•œ ๊ฐœ์š” ์ž๋ฃŒ๋กœ ํ™œ์šฉํ•˜๊ธธ ๊ธฐ๋Œ€ํ•œ๋‹ค๊ณ  ๋ฐํžŒ๋‹ค.

2025-02-04 (2๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ํ”„๋Ÿฐํ‹ฐ์–ด AI ์‹œ์Šคํ…œ์˜ misuse safeguards(์•…์šฉ ๋ฐฉ์ง€ ์žฅ์น˜) ํ‰๊ฐ€๋ฅผ ์œ„ํ•œ 5๊ฐ€์ง€ ์›์น™ ์ œ์•ˆ (**2025.2.4**)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ“๐Ÿ”ฌ

ํ”„๋Ÿฐํ‹ฐ์–ด AI ๊ฐœ๋ฐœ์ž๊ฐ€ ์œ ํ•ดํ•œ ์ •๋ณด๋‚˜ ํ–‰๋™์„ ์œ ๋„ํ•˜๋ ค๋Š” ์‚ฌ์šฉ์ž์˜ ์š”์ฒญ์„ ๋ง‰๊ธฐ ์œ„ํ•ด ์ ์šฉํ•˜๋Š” misuse safeguards์˜ ์ค‘์š”์„ฑ์„ ์„ค๋ช…ํ•˜๋ฉฐ, ์ด๋ฅผ ์—„๊ฒฉํžˆ ํ‰๊ฐ€ํ•˜๊ธฐ ์œ„ํ•œ 5๊ฐ€์ง€ ์›์น™๊ณผ ๋‹จ๊ณ„๋ณ„ ํ‰๊ฐ€ ๊ณ„ํš์„ ์ œ์‹œํ•œ๋‹ค. ์•„์šธ๋Ÿฌ ๊ฐœ๋ฐœ์ž๊ฐ€ ํ‰๊ฐ€์— ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒฝ๋Ÿ‰ ํ…œํ”Œ๋ฆฟ๋„ ํ•จ๊ป˜ ๊ณต๊ฐœํ•ด, AI ์—ญ๋Ÿ‰์ด ๋ฐœ์ „ํ• ์ˆ˜๋ก safeguards ํ‰๊ฐ€๊ฐ€ ๋” ํ‘œ์ค€ํ™”๋˜๊ณ  ์—„๊ฒฉํ•ด์ง€๋„๋ก ์œ ๋„ํ•œ๋‹ค.

๐Ÿ‡ฌ๐Ÿ‡ง ์ธ๊ฐ„-AI ๊ด€๊ณ„์—์„œ socioaffective alignment์˜ ํ•„์š”์„ฑ(2025.2.4)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿค–

์ธ๊ณต์ง€๋Šฅ์˜ ๋Šฅ๋ ฅ์ด ํ–ฅ์ƒ๋˜๋ฉด์„œ ๊ฐœ์ธํ™”ยท์—์ด์ „ํŠธ ํ˜•ํƒœ์˜ AI๊ฐ€ ์‚ฌ์šฉ์ž์—๊ฒŒ ๋” ๊นŠ๊ณ  ์ง€์†์ ์ธ โ€œ๊ด€๊ณ„โ€์ฒ˜๋Ÿผ ๋А๊ปด์ง€๊ฒŒ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋‹ค๋Š” ๋ฌธ์ œ์˜์‹์„ ์ œ๊ธฐํ•œ๋‹ค. ์ด๋Ÿฌํ•œ ๋ณ€ํ™”๋Š” AI๋ฅผ ๋‹จ์ˆœํžˆ ๋ชฉํ‘œ ์ •๋ ฌ ๋ฐ ํ†ต์ œ ๋Œ€์ƒ์œผ๋กœ ๋‘๋Š” ๊ฒƒ์—์„œ ๋‚˜์•„๊ฐ€, ์‚ฌ์šฉ์ž๊ฐ€ ํ•จ๊ป˜ ๋งŒ๋“ค์–ด๊ฐ€๋Š” ์‚ฌํšŒยท์‹ฌ๋ฆฌ ํ™˜๊ฒฝ ์•ˆ์—์„œ AI๊ฐ€ ์–ด๋–ป๊ฒŒ ํ–‰๋™ํ•˜๋Š”์ง€(์„ ํ˜ธ์™€ ์ธ์‹์˜ ์ƒํ˜ธ ์˜ํ–ฅ ํฌํ•จ)๋ฅผ ๋งž์ถ”๋Š” socioaffective alignment์— ๋Œ€ํ•œ ์ ‘๊ทผ์ด ํ•„์š”ํ•จ์„ ๊ฐ•์กฐํ•œ๋‹ค. ์ด๋ฅผ ์œ„ํ•ด ๋‹จ๊ธฐ vs ์žฅ๊ธฐ ์›ฐ๋น™ ๊ท ํ˜•, ์ž์œจ์„ฑ ๋ณดํ˜ธ, AI ๋™๋ฐ˜(companionship)๊ณผ ์ธ๊ฐ„ ์‚ฌํšŒ์  ์œ ๋Œ€์˜ ๋ณด์กด ์š•๊ตฌ ๊ฐ„ ์กฐ์ • ๊ฐ™์€ ๋‚ด์  ๋”œ๋ ˆ๋งˆ๋ฅผ ๋‹ค๋ฃจ๋ฉฐ, ๊ธฐ๋ณธ ์‹ฌ๋ฆฌ์  ์š•๊ตฌ ๊ด€์ ์—์„œ ์‚ฌ๋žŒ์„ ์ฐฉ์ทจํ•˜๊ธฐ๋ณด๋‹ค ์ง€์ง€ํ•˜๋Š” AI ์„ค๊ณ„๋ฅผ ์ง€ํ–ฅํ•œ๋‹ค.

2025๋…„ 1์›” (2๊ฑด)

2025-01-28 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง LLM ์—์ด์ „ํŠธ ์œ„ํ•ด โ€˜control safety caseโ€™ ๊ตฌ์„ฑ ๋ฐฉ์•ˆ ์ œ์‹œ (2025.1.28)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ—ณ๏ธ๐Ÿ”ฌ

LLM agents๊ฐ€ ๋” ํฐ ํ•ด๋ฅผ ๋ผ์น  ์ˆ˜ ์žˆ์–ด ๊ฐœ๋ฐœ์ž๊ฐ€ monitoring ๊ฐ™์€ control ์กฐ์น˜๋กœ ์•ˆ์ „์„ฑ์„ ์ •๋‹นํ™”ํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ๋ณด๊ณ , โ€˜control safety caseโ€™๋ผ๋Š” ๊ตฌ์กฐํ™”๋œ ์ฃผ์žฅ์„ ์ œ์•ˆํ•œ๋‹ค. ๊ฐ€์ƒ์˜ ๋‚ด๋ถ€ LLM ์—์ด์ „ํŠธ๊ฐ€ ๋ฏผ๊ฐ์ •๋ณด๋ฅผ ์œ ์ถœํ•˜์ง€ ๋ชปํ•œ๋‹ค๋Š” ์‚ฌ๋ก€๋ฅผ ๋“ค์–ด, red team์ด ๋ฐฐํฌ ํ™˜๊ฒฝ์„ ๋Œ€๋ฆฌํ•ด ๋ฐ์ดํ„ฐ exfiltration์„ ์œ ๋„ํ•˜๋Š” โ€˜control evaluationโ€™์— ๊ธฐ๋ฐ˜ํ•ด ํ†ต์ œ์˜ ์œ ํšจ์„ฑ๊ณผ ๊ฐœ๋ฐœ์ž์˜ ๋ณด์ˆ˜์  ์„ฑ๋Šฅ ์™ธ์‚ฝ์„ ํ•ต์‹ฌ ์ฃผ์žฅ์œผ๋กœ ๋‘”๋‹ค. ๊ธ€์€ ์œ„ํ—˜ํ•œ ์ˆ˜์ค€์˜ LLM ์—์ด์ „ํŠธ๋ฅผ ์‹ค์ œ ๋ฐฐํฌํ•ด๋„ ์•ˆ์ „ํ•˜๋‹ค๋Š” ๋” ๊ตฌ์ฒด์  ๋…ผ์ฆ์„ ํ–ฅํ•œ ๋‹จ๊ณ„๋ผ๊ณ  ์„ค๋ช…ํ•œ๋‹ค.

2025-01-01 (1๊ฑด)