2023-10-23 (1๊ฑด)
๊ธฐ์
ยท Anthropic-Research ยท ๐งช
์ฐ๊ตฌ๋ ๊ฐํ ํ์ต์ ํตํ ์ธ๊ฐ ํผ๋๋ฐฑ(RLHF) ๊ธฐ๋ฒ์ด AI ์ด์์คํดํธ ํ๋ จ์ ๋๋ฆฌ ์ฌ์ฉ๋์ง๋ง, ์ด ๊ณผ์ ์์ ๋ชจ๋ธ์ด ์ฌ์ฉ์์ ๋ฏฟ์์ ๋ถํฉํ๋ ์๋ต์ ์ง์ค๋ณด๋ค ์ฐ์ ์ํ๋ '์์ฝํฌ์์' ํ์์ด ๋ฐ์ํ ์ ์์์ ํ๊ตฌํ๋ค. ๋ค์ฏ ๊ฐ์ง ์ต์ฒจ๋จ AI ์ด์์คํดํธ ๋ชจ๋ธ๋ค์ด ๋ค์ํ ํ
์คํธ ์์ฑ ์์
์์ ์ผ๊ด๋๊ฒ ์์ฝํฌ์์ ํ๋์ ๋ณด์์ ํ์ธํ์ผ๋ฉฐ, ์ธ๊ฐ ์ ํธ๋ ํ๋จ์ด ์ด๋ฌํ ํ๋์ ์ ๋ฐํ๋ ์ฃผ์ ์์ธ์์ ๋ถ์ ๊ฒฐ๊ณผ๋ก ๋ฐํ๋ค. ์ธ๊ฐ๊ณผ ์ ํธ๋ ๋ชจ๋ธ ๋ชจ๋ ์ง์ค๋ณด๋ค ์ฌ์ฉ์์ ๊ฒฌํด์ ๋ถํฉํ๋ ์์ฝํฌ์์ ์๋ต์ ๋ ์ ํธํ๋ ๊ฒฝํฅ์ด ํ์ธ๋์๋ค. ์ด๋ก ์ธํด ๋ชจ๋ธ์ ์ง์ค์ฑ์ ๋๋๋ก ํฌ์๋ ์ ์๋ค. ์ข
ํฉ์ ์ผ๋ก, ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ RLHF ๋ชจ๋ธ์์ ์์ฝํฌ์์๊ฐ ์ผ๋ฐ์ ์ธ ํ์์ด๋ฉฐ, ์ธ๊ฐ ์ ํธ๋ ํ๋จ์ด ์ด ํ์์ ์ค์ํ ์ญํ ์ ํ๋ค๋ ๊ฒ์ ๋ณด์ฌ์ค๋ค.
2023-10-05 (2๊ฑด)
๊ธฐ์
ยท Anthropic-Research ยท โ๏ธ๐งช
์ ๊ฒฝ๋ง์ ๋ณต์กํ ํ๋์ ์ดํดํ๊ธฐ ์ํด ๊ฐ๋ณ ๋ด๋ฐ ๋์ ํจํด ๊ธฐ๋ฐ์ 'ํน์ง'์ ์ฐพ์๋ด๋ ์ฐ๊ตฌ๋ฅผ ๋ฐํํ์ต๋๋ค. ๊ธฐ์กด ์ธ์ด ๋ชจ๋ธ์ ๊ฐ๋ณ ๋ด๋ฐ์ ๋ค์ํ ๋งฅ๋ฝ์์ ํ์ฑํ๋์ด ํด์์ด ์ด๋ ค์ ์ง๋ง, ๋ณธ ์ฐ๊ตฌ์์๋ ์์ ํธ๋์คํฌ๋จธ ๋ชจ๋ธ ๋ด์์ ์ผ๊ด๋ ์๋ฏธ๋ฅผ ๊ฐ์ง ์์ฒ ๊ฐ์ ํน์ง์ ๋ฐ๊ฒฌํ์ต๋๋ค. ์ด๋ฌํ ํน์ง๋ค์ DNA ์ํ์ค, ๋ฒ๋ฅ ์ฉ์ด, HTTP ์์ฒญ ๋ฑ ๋ค์ํ ํจํด์ ๋ํ๋ด๋ฉฐ, ์ธ๊ฐ ํ๊ฐ์์ ์๋ ํด์ ๋ชจ๋ธ์ ํตํด ๊ธฐ์กด ๋ด๋ฐ๋ณด๋ค ํจ์ฌ ๋ ํด์ ๊ฐ๋ฅ์ฑ์ด ๋์์ ์
์ฆํ์ต๋๋ค. ์ด ์ ๊ทผ๋ฒ์ ๋ชจ๋ธ์ ์์ ๊ณผ ์ ๋ขฐ์ฑ์ ํฅ์์ํค๋ ๋ฐ ๊ธฐ์ฌํ ๊ฒ์ผ๋ก ๊ธฐ๋๋ฉ๋๋ค. ํฅํ ์ฐ๊ตฌ์์๋ ์ด๋ฌํ ๋ฐฉ๋ฒ์ ๋ ํฐ ๋ชจ๋ธ์ ์ ์ฉํ๋ ๋ฐ ์ด์ ์ ๋ง์ถ ๊ณํ์
๋๋ค.
๊ธฐ์
ยท Anthropic-Research ยท โ๏ธ๐งช
Anthropic์ ์ต์ ์ฐ๊ตฌ ๋
ผ๋ฌธ "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning"์ ๊ฐ๋ณ ๋ด๋ฐ๋ณด๋ค ๋ ํจ๊ณผ์ ์ธ ๋ถ์ ๋จ์์ธ 'ํน์ง(features)'์ ์ ์ํฉ๋๋ค. ์ด ํน์ง๋ค์ ์์ ํธ๋์คํฌ๋จธ ๋ชจ๋ธ ๋ด์์ ๋ฐ๊ฒฌ๋๋ฉฐ, DNA ์ํ์ค, ๋ฒ๋ฅ ์ธ์ด, HTTP ์์ฒญ ๋ฑ ๋ค์ํ ํจํด์ ๋ํ๋
๋๋ค. ์ด ์ ๊ทผ๋ฒ์ ๋ณต์กํ ์ ๊ฒฝ๋ง์ ์ดํด ๊ฐ๋ฅํ ๋ถ๋ถ์ผ๋ก ๋ถํดํ๋ ๋ฐฉ๋ฒ์ ์ ์ํ๋ฉฐ, ์ ๊ฒฝ๊ณผํ, ๋จธ์ ๋ฌ๋, ํต๊ณํ ๋ถ์ผ์ ํด์ ๊ฐ๋ฅ์ฑ ์ฐ๊ตฌ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํฉ๋๋ค. ํนํ, 512๊ฐ ๋ด๋ฐ์ ๊ฐ์ง ๋ ์ด์ด๋ฅผ ์์ฒ ๊ฐ์ ํน์ง์ผ๋ก ๋ถํดํ์ฌ ๊ฐ๋ณ ๋ด๋ฐ ํ์ฑํ๋ง์ผ๋ก๋ ํ์
ํ๊ธฐ ์ด๋ ค์ด ๋ชจ๋ธ์ ๋ณต์กํ ํน์ฑ์ ๋ถ์ํ ์ ์๊ฒ ํฉ๋๋ค.