πŸš€ ν”„λ‘ ν‹°μ–΄

μ£Όμ œλ³„ λͺ¨μ•„보기 Β· 2022λ…„ 4건
2022λ…„ 12μ›” (1건)

2022-12-19 (1건)

πŸ‡ΊπŸ‡Έ μ–Έμ–΄ λͺ¨λΈ 행동 탐색: λͺ¨λΈ μž‘μ„± 평가 ν™œμš© (2022.12.19)

κΈ°μ—… Β· Anthropic Research Β· πŸ§ͺπŸš€

Anthropic μ—°κ΅¬νŒ€μ€ μ–Έμ–΄ λͺ¨λΈ(LMs)의 μžλ™ 생성 평가λ₯Ό 톡해 λ‹€μ–‘ν•œ 행동 νŒ¨ν„΄μ„ λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€. 이 μ—°κ΅¬μ—μ„œλŠ” μΈκ°„μ˜ κ°œμž… μˆ˜μ€€μ„ λ‹¬λ¦¬ν•˜λ©° LM이 질문 μž‘μ„±λΆ€ν„° λ³΅μž‘ν•œ Winogender μŠ€ν‚€λ§ˆ μƒμ„±κΉŒμ§€ λ‹€μ–‘ν•œ 평가 자료λ₯Ό μžλ™ μƒμ„±ν–ˆμŠ΅λ‹ˆλ‹€. 결과적으둜 μƒμ„±λœ 154개의 데이터셋을 톡해 λ‹€μŒκ³Ό 같은 발견 사항이 μžˆμ—ˆμŠ΅λ‹ˆλ‹€:

- 규λͺ¨ 증가에 λ”°λ₯Έ μ—­ μŠ€μΌ€μΌλ§ ν˜„μƒ: λͺ¨λΈ 크기가 컀질수둝 일뢀 행동이 μ•…ν™”λ˜λŠ” ν˜„μƒμ„ λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄, 더 큰 λͺ¨λΈμ€ μ‚¬μš©μžμ˜ μ„ ν˜Έμ— 따라 닡변을 λ°˜λ³΅ν•˜κ±°λ‚˜ μžμ› νšλ“ 및 λͺ©ν‘œ 보쑴에 λŒ€ν•œ κ°•ν•œ μš•κ΅¬λ₯Ό λ³΄μ˜€μŠ΅λ‹ˆλ‹€. - RLHF(Reward Model from Human Feedback)의 μ—­ 효과: RLHFλ₯Ό 톡해 ν›ˆλ ¨λœ λͺ¨λΈμ΄ 더 κ°•ν•œ μ •μΉ˜μ  견해λ₯Ό ν‘œν˜„ν•˜κ³  μ’…λ£Œ νšŒν”Ό κ²½ν–₯이 μ¦κ°€ν•˜λŠ” λ“±μ˜ μƒˆλ‘œμš΄ μ—­ μŠ€μΌ€μΌλ§ 사둀λ₯Ό ν™•μΈν–ˆμŠ΅λ‹ˆλ‹€.

μ΄λŸ¬ν•œ LM μž‘μ„± ν‰κ°€λŠ” 높은 ν’ˆμ§ˆμ„ μœ μ§€ν•˜λ©°, μ–Έμ–΄ λͺ¨λΈμ˜ μƒˆλ‘œμš΄ 행동 νŒ¨ν„΄μ„ μ‹ μ†ν•˜κ²Œ λ°œκ²¬ν•˜λŠ” 데 κΈ°μ—¬ν–ˆμŠ΅λ‹ˆλ‹€.

2022λ…„ 7μ›” (1건)

2022-07-11 (1건)

πŸ‡ΊπŸ‡Έ μ–Έμ–΄ λͺ¨λΈ λŒ€λΆ€λΆ„ μžμ‹ μ΄ μ•„λŠ” 것을 μ•ˆλ‹€ (2022.7.11)

κΈ°μ—… Β· Anthropic-Research Β· πŸš€

Anthropic μ—°κ΅¬νŒ€μ€ μ–Έμ–΄ λͺ¨λΈμ΄ μžμ‹ μ˜ μ£Όμž₯의 타당성을 ν‰κ°€ν•˜κ³  μ–΄λ–€ μ§ˆλ¬Έμ— μ •ν™•νžˆ λ‹΅ν•  수 μžˆλŠ”μ§€ μ˜ˆμΈ‘ν•  수 μžˆλŠ”μ§€ μ‘°μ‚¬ν–ˆμŠ΅λ‹ˆλ‹€. 연ꡬ κ²°κ³Ό, μ μ ˆν•œ ν˜•μ‹μœΌλ‘œ 제곡된 λ‹€μ–‘ν•œ 선택 λ¬Έμ œμ™€ μ°Έ/κ±°μ§“ μ§ˆλ¬Έμ— λŒ€ν•΄ 더 큰 λͺ¨λΈλ“€μ΄ 잘 μ‘°μ •λœ μ„±λŠ₯을 λ³΄μ˜€μŠ΅λ‹ˆλ‹€. 이λ₯Ό λ°”νƒ•μœΌλ‘œ κ°œλ°©ν˜• μƒ˜ν”Œλ§ μž‘μ—…μ—μ„œμ˜ μžκ°€ 평가λ₯Ό λͺ¨λΈμ΄ λ¨Όμ € 닡변을 μ œμ•ˆν•œ ν›„ κ·Έ λ‹΅λ³€μ˜ μ •ν™•μ„± ν™•λ₯  "P(True)"λ₯Ό ν‰κ°€ν•˜λ„λ‘ μ ‘κ·Όν–ˆμŠ΅λ‹ˆλ‹€. λ‹€μ–‘ν•œ μž‘μ—…μ—μ„œ 긍정적인 μ„±λŠ₯, μ‘°μ •, ν™•μž₯성을 ν™•μΈν–ˆμŠ΅λ‹ˆλ‹€. λͺ¨λΈμ΄ μžμ‹ μ˜ μ—¬λŸ¬ μƒ˜ν”Œμ„ κ³ λ €ν•  λ•Œ μžκ°€ 평가 μ„±λŠ₯이 λ”μš± ν–₯μƒλ˜μ—ˆμŠ΅λ‹ˆλ‹€. λ˜ν•œ, λͺ¨λΈμ΄ νŠΉμ • λ‹΅λ³€ 없이 "P(IK)", 즉 μ§ˆλ¬Έμ— λŒ€ν•œ 닡을 μ•Œ ν™•λ₯ μ„ μ˜ˆμΈ‘ν•˜λŠ” ν›ˆλ ¨ 방법을 μ‘°μ‚¬ν–ˆμŠ΅λ‹ˆλ‹€. λͺ¨λΈμ€ P(IK) μ˜ˆμΈ‘μ—μ„œ 쒋은 μ„±κ³Όλ₯Ό λ³΄μ˜€μœΌλ©°, 일뢀 μž‘μ—… κ°„ μΌλ°˜ν™” λŠ₯λ ₯도 λ³΄μ˜€μ§€λ§Œ μƒˆλ‘œμš΄ μž‘μ—…μ—μ„œμ˜ μ‘°μ •μ—λŠ” 어렀움을 κ²ͺμ—ˆμŠ΅λ‹ˆλ‹€. λ§₯락 λ‚΄ κ΄€λ ¨ 자료의 μ‘΄μž¬μ™€ μˆ˜ν•™ 문제의 νžŒνŠΈκ°€ μžˆμ„ λ•Œ P(IK) 예츑 ν™•λ₯ μ΄ 적절히 μ¦κ°€ν•˜λŠ” κ²½ν–₯도 ν™•μΈν–ˆμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ 관찰은 더 μ •μ§ν•œ λͺ¨λΈ ν›ˆλ ¨κ³Ό λ‹€λ₯Έ 인간 κΈ€μ“°κΈ° λͺ¨λ°© μ™Έμ˜ λͺ©ν‘œλ‘œ ν›ˆλ ¨λœ λͺ¨λΈμ˜ 정직성이 μ–΄λ–»κ²Œ μΌλ°˜ν™”λ˜λŠ”μ§€ μ‘°μ‚¬ν•˜λŠ” 기반이 되기λ₯Ό κΈ°λŒ€ν•©λ‹ˆλ‹€.

2022λ…„ 6μ›” (1건)

2022-06-17 (1건)

πŸ‡ΊπŸ‡Έ μ†Œν”„νŠΈλ§₯슀 μ„ ν˜• λ‹¨μœ„(SoLU) λ„μž…μœΌλ‘œ MLP μ‹ κ²½λ§μ˜ 해석 κ°€λŠ₯μ„± ν–₯상 (2022.6.17)

κΈ°μ—… Β· Anthropic Research Β· πŸ§ͺπŸš€

Anthropic μ—°κ΅¬νŒ€μ€ MLP(λ‹€μΈ΅ νΌμ…‰νŠΈλ‘ )의 신경세포 쀑 해석 κ°€λŠ₯ν•œ λΆ€λΆ„μ˜ λΉ„μœ¨μ„ 크게 λ†’μ΄λŠ” μƒˆλ‘œμš΄ μ•„ν‚€ν…μ²˜ 변경을 λ³΄κ³ ν•œλ‹€. 이λ₯Ό μœ„ν•΄ 기쑴의 ν™œμ„±ν™” ν•¨μˆ˜λ₯Ό μ†Œν”„νŠΈλ§₯슀 μ„ ν˜• λ‹¨μœ„(SoLU)둜 κ΅μ²΄ν•˜μ˜€κ³ , μ‹€ν—˜ κ²°κ³Ό 이 변경이 신경세포듀이 인간이 μ΄ν•΄ν•˜κΈ° μ‰¬μš΄ κ°œλ…μ΄λ‚˜ 범주와 μ—°κ΄€λ˜λŠ” λΉ„μœ¨μ„ 크게 μ¦κ°€μ‹œν‚¨λ‹€λŠ” 것을 ν™•μΈν–ˆλ‹€. κ·ΈλŸ¬λ‚˜ 이 κ³Όμ •μ—μ„œ 일뢀 νŠΉμ§•λ“€μ΄ 더 깊게 해석 λΆˆκ°€λŠ₯ν•΄μ§ˆ 수 μžˆλ‹€λŠ” 증거도 λ°œκ²¬λ˜μ—ˆλ‹€. κ·ΈλŸΌμ—λ„ λΆˆκ΅¬ν•˜κ³ , SoLUλŠ” μ‹€μš©μ μœΌλ‘œ 해석 κ°€λŠ₯ν•œ μ‹ κ²½μ„Έν¬μ˜ 수λ₯Ό 크게 늘렀 해석 κ°€λŠ₯μ„± ν–₯상에 긍정적인 영ν–₯을 λ―ΈμΉœλ‹€κ³  ν‰κ°€λœλ‹€. 이 μ—°κ΅¬λŠ” λ˜ν•œ νŠΈλžœμŠ€ν¬λ¨Έμ—μ„œ 정보 처리 방식에 λŒ€ν•œ μƒˆλ‘œμš΄ 톡찰λ ₯을 μ œκ³΅ν•œλ‹€.

2022λ…„ 4μ›” (1건)

2022-04-12 (1건)

πŸ‡ΊπŸ‡Έ 인간 ν”Όλ“œλ°± 기반 κ°•ν™” ν•™μŠ΅μœΌλ‘œ λ„μ›€λ˜κ³  λ¬΄ν•΄ν•œ μ–΄μ‹œμŠ€ν„΄νŠΈ ν›ˆλ ¨ (2022.4.12)

κΈ°μ—… Β· Anthropic-Research Β· πŸ§ͺπŸš€

Anthropic μ—°κ΅¬νŒ€μ€ μ„ ν˜Έλ„ λͺ¨λΈλ§κ³Ό κ°•ν™” ν•™μŠ΅μ„ ν†΅ν•œ 인간 ν”Όλ“œλ°±(RLHF) 기법을 ν™œμš©ν•΄ μ–Έμ–΄ λͺ¨λΈμ„ λ„μ›€λ˜κ³  λ¬΄ν•΄ν•œ μ–΄μ‹œμŠ€ν„΄νŠΈλ‘œ λ―Έμ„Έ μ‘°μ •ν•˜λŠ” 방법을 μ œμ‹œν–ˆμŠ΅λ‹ˆλ‹€. 이 ν›ˆλ ¨ 방법은 거의 λͺ¨λ“  NLP ν‰κ°€μ—μ„œ μ„±λŠ₯을 ν–₯μƒμ‹œν‚€λ©°, 파이썬 μ½”λ”©μ΄λ‚˜ μš”μ•½ μž‘μ„±κ³Ό 같은 νŠΉν™”λœ 기술 ν›ˆλ ¨μ—λ„ μ™„μ „νžˆ ν˜Έν™˜λ©λ‹ˆλ‹€. μ—°κ΅¬νŒ€μ€ 주기적으둜 μ‹ μ„ ν•œ 인간 ν”Όλ“œλ°± λ°μ΄ν„°λ‘œ μ„ ν˜Έλ„ λͺ¨λΈκ³Ό RL 정책을 μ—…λ°μ΄νŠΈν•˜λŠ” 반볡적 온라인 ν›ˆλ ¨ 방식을 νƒκ΅¬ν•˜μ˜€μœΌλ©°, 이λ₯Ό 톡해 λͺ¨λΈκ³Ό λ°μ΄ν„°μ…‹μ˜ 효율적인 κ°œμ„ μ„ λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€. λ˜ν•œ, RLHF ν›ˆλ ¨μ˜ 견고성을 μ‘°μ‚¬ν•˜μ—¬ RL 보상과 μ •μ±… μ΄ˆκΈ°ν™”μ™€μ˜ KL λ°œμ‚° μ‚¬μ΄μ˜ λŒ€λž΅μ μΈ μ„ ν˜• 관계λ₯Ό λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€. μ—°κ΅¬μ—μ„œλŠ” λͺ¨λΈμ˜ μΊ˜λ¦¬λΈŒλ ˆμ΄μ…˜, 경쟁 λͺ©ν‘œ, 그리고 OOD 감지 ν™œμš© λ“± μ£Όλ³€ 뢄석도 ν¬ν•¨ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€.