๐Ÿ“‹ ๊ฐ€์ด๋“œ๋ผ์ธ

์ฃผ์ œ๋ณ„ ๋ชจ์•„๋ณด๊ธฐ ยท 2022๋…„ 1๊ฑด
2022๋…„ 8์›” (1๊ฑด)

2022-08-22 (1๊ฑด)

๐Ÿ‡บ๐Ÿ‡ธ ์–ธ์–ด ๋ชจ๋ธ์˜ ํ•ด๋กœ์šด ์ถœ๋ ฅ ๊ฐ์†Œ๋ฅผ ์œ„ํ•œ ๋ ˆ๋“œ ํŒ€ํ•‘ ๋ฐฉ๋ฒ•, ํ™•์žฅ ํ–‰๋™ ๋ฐ ๊ตํ›ˆ (2022.8.22)

๊ธฐ์—… ยท Anthropic-Research ยท ๐Ÿ“‹๐Ÿงช

Anthropic์€ ์–ธ์–ด ๋ชจ๋ธ์˜ ์ž ์žฌ์  ํ•ด๋กœ์šด ์ถœ๋ ฅ์„ ๋ฐœ๊ฒฌํ•˜๊ณ  ์ธก์ •ํ•˜๋ฉฐ ์ค„์ด๊ธฐ ์œ„ํ•œ ์ดˆ๊ธฐ ๋ ˆ๋“œ ํŒ€ํ•‘ ๋…ธ๋ ฅ์„ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค. ์ฃผ์š” ๊ธฐ์—ฌ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค:

1. ํ™•์žฅ ํ–‰๋™ ๋ถ„์„: 3๊ฐ€์ง€ ๋ชจ๋ธ ํฌ๊ธฐ(2.7B, 13B, 52B ๋งค๊ฐœ๋ณ€์ˆ˜)์™€ 4๊ฐ€์ง€ ๋ชจ๋ธ ์œ ํ˜•(๊ธฐ๋ณธ ์–ธ์–ด ๋ชจ๋ธ, ๋„์›€์ด ๋˜๊ณ  ๋ฌดํ•ดํ•œ ํ”„๋กฌํ”„ํŠธ ์–ธ์–ด ๋ชจ๋ธ, ๊ฑฐ๋ถ€ ์ƒ˜ํ”Œ๋ง ์–ธ์–ด ๋ชจ๋ธ, ์ธ๊ฐ„ ํ”ผ๋“œ๋ฐฑ ๊ธฐ๋ฐ˜ ๊ฐ•ํ™” ํ•™์Šต์„ ํ†ตํ•œ ๋„์›€์ด ๋˜๊ณ  ๋ฌดํ•ดํ•œ ๋ชจ๋ธ)์— ๋Œ€ํ•œ ๋ ˆ๋“œ ํŒ€ํ•‘ ํ™•์žฅ ํ–‰๋™์„ ์กฐ์‚ฌํ–ˆ์Šต๋‹ˆ๋‹ค. RLHF ๋ชจ๋ธ์€ ํ™•์žฅ๋จ์— ๋”ฐ๋ผ ๋ ˆ๋“œ ํŒ€ํ•‘์ด ์ ์  ๋” ์–ด๋ ค์›Œ์ง€๋Š” ๋ฐ˜๋ฉด, ๋‹ค๋ฅธ ์œ ํ˜•์˜ ๋ชจ๋ธ์€ ํ™•์žฅ์— ๋”ฐ๋ฅธ ํ‰ํ‰ํ•œ ์ถ”์„ธ๋ฅผ ๋ณด์˜€์Šต๋‹ˆ๋‹ค. 2. ๋ ˆ๋“œ ํŒ€ ๊ณต๊ฒฉ ๋ฐ์ดํ„ฐ ๊ณต๊ฐœ: 38,961๊ฐœ์˜ ๋ ˆ๋“œ ํŒ€ ๊ณต๊ฒฉ ๋ฐ์ดํ„ฐ์…‹์„ ๊ณต๊ฐœํ•˜์—ฌ ๋‹ค๋ฅธ ์—ฐ๊ตฌ์ž๋“ค์ด ๋ถ„์„ํ•˜๊ณ  ๋ฐฐ์šธ ์ˆ˜ ์žˆ๋„๋ก ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ถ„์„ ๊ฒฐ๊ณผ๋Š” ๊ณต๊ฒฉ์  ์–ธ์–ด์—์„œ๋ถ€ํ„ฐ ๋ฏธ๋ฌ˜ํ•œ ๋น„ํญ๋ ฅ์  ๋ถˆ๊ณต์ • ์ถœ๋ ฅ๊นŒ์ง€ ๋‹ค์–‘ํ•œ ํ•ด๋กœ์šด ์ถœ๋ ฅ์„ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค. 3. ํˆฌ๋ช…์„ฑ ์ œ๊ณ : ๋ ˆ๋“œ ํŒ€ํ•‘์„ ์œ„ํ•œ ์ง€์นจ, ํ”„๋กœ์„ธ์Šค, ํ†ต๊ณ„์  ๋ฐฉ๋ฒ•๋ก , ๊ทธ๋ฆฌ๊ณ  ๋ถˆํ™•์‹ค์„ฑ์— ๋Œ€ํ•œ ์ƒ์„ธํ•œ ์„ค๋ช…์„ ์ œ๊ณตํ•˜์—ฌ ์ปค๋ฎค๋‹ˆํ‹ฐ๊ฐ€ ๊ณต๋™์˜ ๊ทœ๋ฒ”, ๊ด€ํ–‰, ๊ธฐ์ˆ  ํ‘œ์ค€์„ ๊ฐœ๋ฐœํ•˜๋Š” ๋ฐ ๋„์›€์„ ์ฃผ๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค.