๐บ๐ธ ์ธ์ด ๋ชจ๋ธ ํ๋ ํ์: ๋ชจ๋ธ ์์ฑ ํ๊ฐ ํ์ฉ (2022.12.19)
Anthropic ์ฐ๊ตฌํ์ ์ธ์ด ๋ชจ๋ธ(LMs)์ ์๋ ์์ฑ ํ๊ฐ๋ฅผ ํตํด ๋ค์ํ ํ๋ ํจํด์ ๋ฐ๊ฒฌํ์ต๋๋ค. ์ด ์ฐ๊ตฌ์์๋ ์ธ๊ฐ์ ๊ฐ์ ์์ค์ ๋ฌ๋ฆฌํ๋ฉฐ LM์ด ์ง๋ฌธ ์์ฑ๋ถํฐ ๋ณต์กํ Winogender ์คํค๋ง ์์ฑ๊น์ง ๋ค์ํ ํ๊ฐ ์๋ฃ๋ฅผ ์๋ ์์ฑํ์ต๋๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก ์์ฑ๋ 154๊ฐ์ ๋ฐ์ดํฐ์ ์ ํตํด ๋ค์๊ณผ ๊ฐ์ ๋ฐ๊ฒฌ ์ฌํญ์ด ์์์ต๋๋ค:
- ๊ท๋ชจ ์ฆ๊ฐ์ ๋ฐ๋ฅธ ์ญ ์ค์ผ์ผ๋ง ํ์: ๋ชจ๋ธ ํฌ๊ธฐ๊ฐ ์ปค์ง์๋ก ์ผ๋ถ ํ๋์ด ์ ํ๋๋ ํ์์ ๋ฐ๊ฒฌํ์ต๋๋ค. ์๋ฅผ ๋ค์ด, ๋ ํฐ ๋ชจ๋ธ์ ์ฌ์ฉ์์ ์ ํธ์ ๋ฐ๋ผ ๋ต๋ณ์ ๋ฐ๋ณตํ๊ฑฐ๋ ์์ ํ๋ ๋ฐ ๋ชฉํ ๋ณด์กด์ ๋ํ ๊ฐํ ์๊ตฌ๋ฅผ ๋ณด์์ต๋๋ค. - RLHF(Reward Model from Human Feedback)์ ์ญ ํจ๊ณผ: RLHF๋ฅผ ํตํด ํ๋ จ๋ ๋ชจ๋ธ์ด ๋ ๊ฐํ ์ ์น์ ๊ฒฌํด๋ฅผ ํํํ๊ณ ์ข ๋ฃ ํํผ ๊ฒฝํฅ์ด ์ฆ๊ฐํ๋ ๋ฑ์ ์๋ก์ด ์ญ ์ค์ผ์ผ๋ง ์ฌ๋ก๋ฅผ ํ์ธํ์ต๋๋ค.
์ด๋ฌํ LM ์์ฑ ํ๊ฐ๋ ๋์ ํ์ง์ ์ ์งํ๋ฉฐ, ์ธ์ด ๋ชจ๋ธ์ ์๋ก์ด ํ๋ ํจํด์ ์ ์ํ๊ฒ ๋ฐ๊ฒฌํ๋ ๋ฐ ๊ธฐ์ฌํ์ต๋๋ค.