"오늘 날씨가 정말 좋아요"
라는 문장을 생성하는 경우를 가정합니다.
1. TopP (0 ~ 1)
TopP가 0.9로 설정되어 있다면, 모델은 상위 90%의 확률을 가진 단어들 중에서 '날씨', '정말', '좋아요'를 선택하게 됩니다. 만약 TopP가 0.5로 설정되어 있다면, 모델은 상위 50%의 확률을 가진 단어들 중에서 '날씨'만 선택하게 되어 "오늘 날씨"까지만 생성될 수 있습니다.
정리하면
TopP ↑: 상위 P%의 확률을 갖는 단어들을 후보군으로 두므로, 더 다양한 단어를 선택할 수 있게됨 창의적인 답변을 생성할 수도 있지만, 의도치않은 답변을 생성해낼수도 있습니다.
TopP ↓: 더 보수적으로 단어를 선택함. 가능한 확실한 단어들만 선택하므로, 안정적으로 답변을 생성합니다.
2. TopK (0 ~ 128)
TopK가 10으로 설정되어 있다면, 모델은 상위 10개의 확률을 가진 단어들 중에서 '날씨', '정말', '좋아요'를 선택하게 됩니다. 만약 TopK가 1로 설정되어 있다면, 모델은 항상 가장 확률이 높은 단어만을 선택하여 생성합니다. 즉, 단어를 생성할 때, 후보군을 몇 개 까지 고려할지에 대한 하이퍼 파라미터입니다.
정리하면
TopK ↑: 더 많은 단어를 선택할 수 있게 하여 좀 더 창의적인 답변을 생성할 수 있게됩니다.
TopP ↓: 낮은 TopK 값은 더 적은 단어를 선택하게 하여, 안정적인 답변을 생성할 수 있게됩니다.
3. Maximum Tokens (0 ~ 4096)
결과값을 생성할 때 사용할 최대 토큰의 수를 설정합니다.
300~500을 권장하며 작업에 따라 달라질 수 있습니다. 설정값을 과도하게 높게 설정될 경우, 불필요한 출력 길이로 인해 예상치 못한 과금이 발생하거나 처리 시간이 길어질 수 있습니다.
4. Temperature (0 ~ 1)
"오늘 날씨" 다음에 올 단어를 생성할 경우 때, 각 Temperature별로 답변을 생성해낼 경우 예를 들면 아래와 같은 식으로 생성합니다.
0.2(매우 낮음): “오늘 날씨가 맑고 좋습니다.”
0.5(보통): “오늘 날씨가 맑고 기분 좋은 하루가 예상됩니다.”
1.0(높음): “오늘 날씨가 산뜻하고, 바람이 부는 오후에 산책을 떠나고 싶어지네요!”
1.5(매우 높음): “오늘 날씨가 전혀 예상 못 했던 느낌이에요! 바람도 차갑고 따뜻한 커피가 필요해요.”
정리하면
Temperature는 모델이 선택할 단어의 확률 분포를 조절합니다.
Temperature ↑: 더 무작위적인 샘플링을 가능하게 하여 창의적인 텍스트 생성을 가능하게 합니다.
Temperature ↓: 더 안정적인 샘플링을 가능하게 하여 안정적인 텍스트 생성을 가능하게 합니다.
5. Repetition Penalty (0 ~ 10)
마찬가지로, "오늘 날씨가 정말 좋아요" 라는 문장을 생성하는 경우를 생각합니다.
1.0 (없음): “오늘 날씨가 정말 좋습니다. 좋아요. 정말 좋습니다. 아주 좋습니다.” (반복됨)
1.5 (중간): “오늘 날씨가 정말 좋습니다. 상쾌한 공기가 기분을 정말 좋게 만듭니다.” (적당한 변화)
2.5 (높음): “오늘 날씨가 맑고 햇살이 따뜻합니다. 공기가 상쾌하고 바람이 시원합니다.” (다양한 표현)
정리하면
Repetition Penalty ↑: 동일한 단어를 연속해서 선택할 확률↓ ► 창의적인 텍스트 생성을 가능하게 합니다.
Repetition Penalty ↓: 동일한 단어를 연속해서 선택할 확률↑ ► 안정적인 텍스트 생성을 가능하게 합니다.
라는 문장을 생성하는 경우를 가정합니다.
1. TopP (0 ~ 1)
TopP가 0.9로 설정되어 있다면, 모델은 상위 90%의 확률을 가진 단어들 중에서 '날씨', '정말', '좋아요'를 선택하게 됩니다. 만약 TopP가 0.5로 설정되어 있다면, 모델은 상위 50%의 확률을 가진 단어들 중에서 '날씨'만 선택하게 되어 "오늘 날씨"까지만 생성될 수 있습니다.
정리하면
TopP ↑: 상위 P%의 확률을 갖는 단어들을 후보군으로 두므로, 더 다양한 단어를 선택할 수 있게됨 창의적인 답변을 생성할 수도 있지만, 의도치않은 답변을 생성해낼수도 있습니다.
TopP ↓: 더 보수적으로 단어를 선택함. 가능한 확실한 단어들만 선택하므로, 안정적으로 답변을 생성합니다.
2. TopK (0 ~ 128)
TopK가 10으로 설정되어 있다면, 모델은 상위 10개의 확률을 가진 단어들 중에서 '날씨', '정말', '좋아요'를 선택하게 됩니다. 만약 TopK가 1로 설정되어 있다면, 모델은 항상 가장 확률이 높은 단어만을 선택하여 생성합니다. 즉, 단어를 생성할 때, 후보군을 몇 개 까지 고려할지에 대한 하이퍼 파라미터입니다.
정리하면
TopK ↑: 더 많은 단어를 선택할 수 있게 하여 좀 더 창의적인 답변을 생성할 수 있게됩니다.
TopP ↓: 낮은 TopK 값은 더 적은 단어를 선택하게 하여, 안정적인 답변을 생성할 수 있게됩니다.
3. Maximum Tokens (0 ~ 4096)
결과값을 생성할 때 사용할 최대 토큰의 수를 설정합니다.
300~500을 권장하며 작업에 따라 달라질 수 있습니다. 설정값을 과도하게 높게 설정될 경우, 불필요한 출력 길이로 인해 예상치 못한 과금이 발생하거나 처리 시간이 길어질 수 있습니다.
4. Temperature (0 ~ 1)
"오늘 날씨" 다음에 올 단어를 생성할 경우 때, 각 Temperature별로 답변을 생성해낼 경우 예를 들면 아래와 같은 식으로 생성합니다.
0.2(매우 낮음): “오늘 날씨가 맑고 좋습니다.”
0.5(보통): “오늘 날씨가 맑고 기분 좋은 하루가 예상됩니다.”
1.0(높음): “오늘 날씨가 산뜻하고, 바람이 부는 오후에 산책을 떠나고 싶어지네요!”
1.5(매우 높음): “오늘 날씨가 전혀 예상 못 했던 느낌이에요! 바람도 차갑고 따뜻한 커피가 필요해요.”
정리하면
Temperature는 모델이 선택할 단어의 확률 분포를 조절합니다.
Temperature ↑: 더 무작위적인 샘플링을 가능하게 하여 창의적인 텍스트 생성을 가능하게 합니다.
Temperature ↓: 더 안정적인 샘플링을 가능하게 하여 안정적인 텍스트 생성을 가능하게 합니다.
5. Repetition Penalty (0 ~ 10)
마찬가지로, "오늘 날씨가 정말 좋아요" 라는 문장을 생성하는 경우를 생각합니다.
1.0 (없음): “오늘 날씨가 정말 좋습니다. 좋아요. 정말 좋습니다. 아주 좋습니다.” (반복됨)
1.5 (중간): “오늘 날씨가 정말 좋습니다. 상쾌한 공기가 기분을 정말 좋게 만듭니다.” (적당한 변화)
2.5 (높음): “오늘 날씨가 맑고 햇살이 따뜻합니다. 공기가 상쾌하고 바람이 시원합니다.” (다양한 표현)
정리하면
Repetition Penalty ↑: 동일한 단어를 연속해서 선택할 확률↓ ► 창의적인 텍스트 생성을 가능하게 합니다.
Repetition Penalty ↓: 동일한 단어를 연속해서 선택할 확률↑ ► 안정적인 텍스트 생성을 가능하게 합니다.