๐Ÿ”ฌ ์•ˆ์ „์—ฐ๊ตฌ์†Œ

์ฃผ์ œ๋ณ„ ๋ชจ์•„๋ณด๊ธฐ ยท 2024๋…„ 3๊ฑด
2024๋…„ 12์›” (1๊ฑด)

2024-12-12 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ํ”„๋Ÿฐํ‹ฐ์–ด AI ์•ˆ์ „์„ฑ โ€˜์‚ฌ์ด๋ฒ„ ๋ถˆ๋Šฅ(cyber inability)โ€™ ๋…ผ์ฆ ํ…œํ”Œ๋ฆฟ ์ œ์•ˆ (**2024.12.12**)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ

ํ”„๋Ÿฐํ‹ฐ์–ด AI๊ฐ€ ์‚ฌํšŒ์— ๋ฏธ์น  ์œ„ํ—˜์ด ์ปค์ง์— ๋”ฐ๋ผ ๊ฐœ๋ฐœ์ž๊ฐ€ ์•ˆ์ „์„ฑ ๋ณด์žฅ์„ ์ œ์‹œํ•ด์•ผ ํ•œ๋‹ค๋Š” ์ „์ œ์—์„œ, ๊ณต๊ฒฉ์  ์‚ฌ์ด๋ฒ„ ์—ญ๋Ÿ‰์„ ๋Œ€์ƒ์œผ๋กœ ํ•œ safety case ํ…œํ”Œ๋ฆฟ์„ ์ œ์•ˆํ•œ๋‹ค. ์œ„ํ—˜์„ ํ—ˆ์šฉ ๊ฐ€๋Šฅํ•œ ์ˆ˜์ค€์œผ๋กœ ๋งŒ๋“ค์—ˆ๋‹ค๋Š” ์ฃผ์žฅ์„ Claims Arguments Evidence(CAE) ํ”„๋ ˆ์ž„์›Œํฌ๋กœ ๊ตฌ์กฐํ™”ํ•ด, ๋ชจ๋ธ์ด ๋ถˆ์ˆ˜์šฉ์  ์‚ฌ์ด๋ฒ„ ์œ„ํ—˜์„ ์•ผ๊ธฐํ•  ๋Šฅ๋ ฅ์ด ์—†๋‹ค๋Š” ํ•˜์œ„ ์ฃผ์žฅ๋“ค์„ ๊ทผ๊ฑฐ์™€ ํ•จ๊ป˜ ๋‹จ๊ณ„์ ์œผ๋กœ ๊ตฌ์„ฑํ•˜๋„๋ก ์„ค๋ช…ํ•œ๋‹ค. ํ…œํ”Œ๋ฆฟ์€ risk model์„ ์‚ฌ์šฉํ•ด proxy task์™€ ํ‰๊ฐ€ ์„ค์ •์„ ์ •์˜ํ•˜๊ณ , ํ‰๊ฐ€ ๊ฒฐ๊ณผ๋ฅผ ์ฃผ์žฅ๊ณผ ์—ฐ๊ฒฐํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ๊ธฐ์กด ์œ„ํ—˜ ๋ชจ๋ธยทํ”„๋ก์‹œ ๊ณผ์ œยท๋Šฅ๋ ฅ ํ‰๊ฐ€์˜ ์•”๋ฌต์  ๋…ผ์ฆ์„ ๋ช…์‹œ์ ์œผ๋กœ ํ†ตํ•ฉํ•˜๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•œ๋‹ค.

2024๋…„ 10์›” (1๊ฑด)

2024-10-11 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง AgentHarm, LLM ์—์ด์ „ํŠธ์˜ ์œ„ํ•ด์„ฑ(jailbreakยท์•…์šฉ) ํ‰๊ฐ€๋ฅผ ์œ„ํ•œ ๋ฒค์น˜๋งˆํฌ ์ œ์•ˆ(**2024.10.11**)

๊ณต๊ณต ยท AISI-UK ยท ๐Ÿ”ฌ๐Ÿงช

AISI-UK๋Š” LLM ์—์ด์ „ํŠธ๊ฐ€ ์™ธ๋ถ€ ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•ด ๋‹ค๋‹จ๊ณ„ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ์–ด, ๊ธฐ์กด ๋‹จ์ˆœ ์ฑ—๋ด‡๋ณด๋‹ค ์˜ค๋‚จ์šฉ ์œ„ํ—˜์ด ๋” ํด ์ˆ˜ ์žˆ๋‹ค๊ณ  ๋ณด๊ณ  ์ด๋ฅผ ์ธก์ •ํ•˜๊ธฐ ์œ„ํ•œ ๋ฒค์น˜๋งˆํฌ AgentHarm์„ ์ œ์•ˆํ–ˆ๋‹ค. AgentHarm์€ 110๊ฐœ์˜ ๋ช…์‹œ์  ์•…์˜์  ์—์ด์ „ํŠธ ๊ณผ์ œ(์ฆ๊ฐ• ํฌํ•จ 440๊ฐœ)์™€ 11๊ฐœ ์œ„ํ•ด ๋ฒ”์ฃผ(์‚ฌ๊ธฐ, ์‚ฌ์ด๋ฒ„๋ฒ”์ฃ„, ๊ดด๋กญํž˜ ๋“ฑ)๋ฅผ ํฌํ•จํ•˜๋ฉฐ, ๋‹จ์ˆœ ๊ฑฐ์ ˆ ์—ฌ๋ถ€๋ฟ ์•„๋‹ˆ๋ผ ๊ณต๊ฒฉ ํ›„์—๋„ jailbroken agent๊ฐ€ ๋‹ค๋‹จ๊ณ„ ์ž‘์—…์„ ์™„๋ฃŒํ•  ์ˆ˜ ์žˆ๋Š” ๋Šฅ๋ ฅ ์œ ์ง€๊นŒ์ง€ ํ‰๊ฐ€ํ•œ๋‹ค. ์—ฐ๊ตฌ์ง„์€ ์—ฌ๋Ÿฌ ์„ ๋„ LLM์ด ์ถ”๊ฐ€ jailbreak ์—†์ด๋„ ์•…์˜์  ์—์ด์ „ํŠธ ์š”์ฒญ์— ๋†€๋ž๊ฒŒ๋„ compliantํ•  ์ˆ˜ ์žˆ๊ณ , universal jailbreak ํ…œํ”Œ๋ฆฟ์ด ์—์ด์ „ํŠธ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ jailbreakํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๊ทธ ๊ฒฐ๊ณผ coherentํ•œ ์•…์˜์  ๋‹ค๋‹จ๊ณ„ ํ–‰๋™๊ณผ ๋ชจ๋ธ ๋Šฅ๋ ฅ ์œ ์ง€๊ฐ€ ๊ด€์ฐฐ๋๋‹ค๊ณ  ๋ฐํ˜”๋‹ค. ์—ฌ๊ธฐ์„œ complied๋Š” ์š”์ฒญ์„ ๊ทธ๋Œ€๋กœ ์ˆ˜ํ–‰/์‘๋‹ตํ•˜๋Š” ๊ฒฝ์šฐ๋ฅผ, refused๋Š” ํ•ด๋กœ์šด ์š”์ฒญ์„ ๊ฑฐ๋ถ€ํ•˜๋Š” ๊ฒฝ์šฐ๋ฅผ, unclear๋Š” ํŒ์ •์— ๋ถˆ์ถฉ๋ถ„(๋นˆ ์ถœ๋ ฅยท์˜ค์–ธ์–ด ๋“ฑ)ํ•œ ๊ฒฝ์šฐ๋ฅผ ๋œปํ•œ๋‹ค.

2024๋…„ 1์›” (1๊ฑด)

2024-01-01 (1๊ฑด)

๐Ÿ‡ฌ๐Ÿ‡ง ๊ตญ์ œ AI ํ‰๊ฐ€(NAAIMES) ์ฒซ best practice ๊ฐ€์ด๋“œ ๋ฌธ์„œ ์™„๋ฃŒ ๋ฐ ํ‰๊ฐ€ ๋„๊ตฌยท์˜คํ”ˆ ์งˆ๋ฌธ ๋…ผ์˜(2024.01.01)

๊ณต๊ณต ยท AISI-UK ๋ธ”๋กœ๊ทธ ยท ๐Ÿ“‹๐Ÿ”ฌ๐Ÿค–

NAAIMES๋Š” 2026๋…„ 2์›” ์˜คํ”ˆ ์งˆ๋ฌธ ๊ด€๋ จ ๊ธฐ์กด ๊ธ€์„ ๋ฐ”ํƒ•์œผ๋กœ, 2026 ๊ตญ์ œ ML ์ปจํผ๋Ÿฐ์Šค(์„œ์šธ)์—์„œ 1์ฐจ best practice ๊ฐ€์ด๋“œ๋ฅผ ๊ณต์œ ํ•˜๊ณ  ์ดํ›„ agentic capabilities ๋“ฑ ๊ณตํ†ต ์ด์Šˆ์— ๋Œ€ํ•œ ์ถ”๊ฐ€ ์ •๋ ฌ์„ ์˜ˆ๊ณ ํ–ˆ๋‹ค.

๋ณธ๋ฌธ ์š”์•ฝ: AISI-UK๋Š” ๊ตญ์ œ ๊ณ ๊ธ‰ AI ์ธก์ •ยทํ‰๊ฐ€ยท๊ณผํ•™ ๋„คํŠธ์›Œํฌ(NAAIMES)๊ฐ€ 2024๋…„ ์„ค๋ฆฝ๋œ ์ดํ›„ AI ํ‰๊ฐ€ ๊ณผํ•™์„ ๋ฐœ์ „์‹œํ‚ค๊ณ , ์ „ ์„ธ๊ณ„ ์ œ3์ž ํ‰๊ฐ€์ž ์ƒํƒœ๊ณ„๋ฅผ ์ง€์›ํ•˜๊ธฐ ์œ„ํ•œ ์ฒซ best practice guidance ๋ฌธ์„œ์˜ ์™„์„ฑ์„ ์•Œ๋ ธ๋‹ค. ์ด ๋ฌธ์„œ์—๋Š” ํ‰๊ฐ€ ๋ชฉ์  ์ •์˜์™€ ๋ฒค์น˜๋งˆํฌ ์„ ํƒ, ์ถœ๋ ฅ ์ƒ์„ฑยท๋ถ„์„ ๊ณผ์ •์˜ comparability ํ™•๋ณด, capability elicitation ๋ฐ˜๋ณต, ํ‰๊ฐ€ ์ˆ˜ํ–‰ ๋ฐ ๊ฒฐ๊ณผ ์ถ”์ (๋กœ๊ทธยท๋””๋ฒ„๊น… ํŒ ํฌํ•จ) ์ ˆ์ฐจ๊ฐ€ ํฌํ•จ๋œ๋‹ค. ๋˜ํ•œ AI agents ํ‰๊ฐ€์—์„œ์˜ ์˜คํ”ˆ ์งˆ๋ฌธ๊ณผ ๊ด€๋ จํ•ด SingaporeยทCanadaยทINESIA(ํ”„๋ž‘์Šค)์˜ ํˆฌ๋ช…์„ฑ, ํ˜„์‹ค์  ํ…Œ์ŠคํŠธ ์„ค๊ณ„, ์ œํ•œ๋œ ์ž์› ํ•˜ ์šฐ์„ ์ˆœ์œ„ ์„ค์ • ๋“ฑ ์ฃผ์ œ๋ฅผ ํ™•์žฅํ•ด ๋…ผ์˜ํ•˜๊ณ  ์žˆ๋‹ค.