๐บ๐ธ ์ธ์ด ๋ชจ๋ธ์ ํด๋ก์ด ์ถ๋ ฅ ๊ฐ์๋ฅผ ์ํ ๋ ๋ ํํ ๋ฐฉ๋ฒ, ํ์ฅ ํ๋ ๋ฐ ๊ตํ (2022.8.22)
Anthropic์ ์ธ์ด ๋ชจ๋ธ์ ์ ์ฌ์ ํด๋ก์ด ์ถ๋ ฅ์ ๋ฐ๊ฒฌํ๊ณ ์ธก์ ํ๋ฉฐ ์ค์ด๊ธฐ ์ํ ์ด๊ธฐ ๋ ๋ ํํ ๋ ธ๋ ฅ์ ์ค๋ช ํฉ๋๋ค. ์ฃผ์ ๊ธฐ์ฌ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
1. ํ์ฅ ํ๋ ๋ถ์: 3๊ฐ์ง ๋ชจ๋ธ ํฌ๊ธฐ(2.7B, 13B, 52B ๋งค๊ฐ๋ณ์)์ 4๊ฐ์ง ๋ชจ๋ธ ์ ํ(๊ธฐ๋ณธ ์ธ์ด ๋ชจ๋ธ, ๋์์ด ๋๊ณ ๋ฌดํดํ ํ๋กฌํํธ ์ธ์ด ๋ชจ๋ธ, ๊ฑฐ๋ถ ์ํ๋ง ์ธ์ด ๋ชจ๋ธ, ์ธ๊ฐ ํผ๋๋ฐฑ ๊ธฐ๋ฐ ๊ฐํ ํ์ต์ ํตํ ๋์์ด ๋๊ณ ๋ฌดํดํ ๋ชจ๋ธ)์ ๋ํ ๋ ๋ ํํ ํ์ฅ ํ๋์ ์กฐ์ฌํ์ต๋๋ค. RLHF ๋ชจ๋ธ์ ํ์ฅ๋จ์ ๋ฐ๋ผ ๋ ๋ ํํ์ด ์ ์ ๋ ์ด๋ ค์์ง๋ ๋ฐ๋ฉด, ๋ค๋ฅธ ์ ํ์ ๋ชจ๋ธ์ ํ์ฅ์ ๋ฐ๋ฅธ ํํํ ์ถ์ธ๋ฅผ ๋ณด์์ต๋๋ค. 2. ๋ ๋ ํ ๊ณต๊ฒฉ ๋ฐ์ดํฐ ๊ณต๊ฐ: 38,961๊ฐ์ ๋ ๋ ํ ๊ณต๊ฒฉ ๋ฐ์ดํฐ์ ์ ๊ณต๊ฐํ์ฌ ๋ค๋ฅธ ์ฐ๊ตฌ์๋ค์ด ๋ถ์ํ๊ณ ๋ฐฐ์ธ ์ ์๋๋ก ํ์ต๋๋ค. ๋ถ์ ๊ฒฐ๊ณผ๋ ๊ณต๊ฒฉ์ ์ธ์ด์์๋ถํฐ ๋ฏธ๋ฌํ ๋นํญ๋ ฅ์ ๋ถ๊ณต์ ์ถ๋ ฅ๊น์ง ๋ค์ํ ํด๋ก์ด ์ถ๋ ฅ์ ํ์ธํ์ต๋๋ค. 3. ํฌ๋ช ์ฑ ์ ๊ณ : ๋ ๋ ํํ์ ์ํ ์ง์นจ, ํ๋ก์ธ์ค, ํต๊ณ์ ๋ฐฉ๋ฒ๋ก , ๊ทธ๋ฆฌ๊ณ ๋ถํ์ค์ฑ์ ๋ํ ์์ธํ ์ค๋ช ์ ์ ๊ณตํ์ฌ ์ปค๋ฎค๋ํฐ๊ฐ ๊ณต๋์ ๊ท๋ฒ, ๊ดํ, ๊ธฐ์ ํ์ค์ ๊ฐ๋ฐํ๋ ๋ฐ ๋์์ ์ฃผ๊ณ ์ ํฉ๋๋ค.