πΊπΈ μΈμ΄ λͺ¨λΈ νλ νμ: λͺ¨λΈ μμ± νκ° νμ© (2022.12.19)
Anthropic μ°κ΅¬νμ μΈμ΄ λͺ¨λΈ(LMs)μ μλ μμ± νκ°λ₯Ό ν΅ν΄ λ€μν νλ ν¨ν΄μ λ°κ²¬νμ΅λλ€. μ΄ μ°κ΅¬μμλ μΈκ°μ κ°μ μμ€μ λ¬λ¦¬νλ©° LMμ΄ μ§λ¬Έ μμ±λΆν° 볡μ‘ν Winogender μ€ν€λ§ μμ±κΉμ§ λ€μν νκ° μλ£λ₯Ό μλ μμ±νμ΅λλ€. κ²°κ³Όμ μΌλ‘ μμ±λ 154κ°μ λ°μ΄ν°μ μ ν΅ν΄ λ€μκ³Ό κ°μ λ°κ²¬ μ¬νμ΄ μμμ΅λλ€:
- κ·λͺ¨ μ¦κ°μ λ°λ₯Έ μ μ€μΌμΌλ§ νμ: λͺ¨λΈ ν¬κΈ°κ° 컀μ§μλ‘ μΌλΆ νλμ΄ μ νλλ νμμ λ°κ²¬νμ΅λλ€. μλ₯Ό λ€μ΄, λ ν° λͺ¨λΈμ μ¬μ©μμ μ νΈμ λ°λΌ λ΅λ³μ λ°λ³΅νκ±°λ μμ νλ λ° λͺ©ν 보쑴μ λν κ°ν μꡬλ₯Ό 보μμ΅λλ€. - RLHF(Reward Model from Human Feedback)μ μ ν¨κ³Ό: RLHFλ₯Ό ν΅ν΄ νλ ¨λ λͺ¨λΈμ΄ λ κ°ν μ μΉμ 견ν΄λ₯Ό νννκ³ μ’ λ£ ννΌ κ²½ν₯μ΄ μ¦κ°νλ λ±μ μλ‘μ΄ μ μ€μΌμΌλ§ μ¬λ‘λ₯Ό νμΈνμ΅λλ€.
μ΄λ¬ν LM μμ± νκ°λ λμ νμ§μ μ μ§νλ©°, μΈμ΄ λͺ¨λΈμ μλ‘μ΄ νλ ν¨ν΄μ μ μνκ² λ°κ²¬νλ λ° κΈ°μ¬νμ΅λλ€.