OpenAI version upgrade (latest version)#56
Conversation
|
概要 |
| from typing import Optional, Union | ||
|
|
||
| import openai | ||
| from openai import AzureOpenAI |
There was a problem hiding this comment.
Azure の API だけでなく OpenAI の API でも動く実装にしてください.
There was a problem hiding this comment.
AzureのAPIしか現状使用できないので、検証はできませんが大丈夫でしょうか。
| "generic": 0.1, | ||
| } | ||
|
|
||
|
|
There was a problem hiding this comment.
品質管理のためにリンターとフォーマッターを入れています.以下のコマンドを実行してください.
$ pre-commit install # 以降,コミット時に自動的にリンターとフォーマッターが走ります
$ pre-commit run -a # 今いるディレクトリ以下の全ファイルにリンターとフォーマッターを適用します
llm_judge/gen_judgment.py
Outdated
| "--judge-model", | ||
| type=str, | ||
| default="gpt-4", | ||
| default="gpt-4-0613", |
There was a problem hiding this comment.
judge-model のデフォルト値は gpt-4 のままにしておいてください.これは複数回の評価をサポートするための PR なので,それと関係ない変更はしないでください.
There was a problem hiding this comment.
すみません、こちらについては自分の環境のままpushしてしまいました。修正しておきました。
llm_judge/gen_judgment.py
Outdated
| ) | ||
| ) | ||
| if num_answers_per_question: | ||
| matches = matches[:num_answers_per_question] |
There was a problem hiding this comment.
実装が間違っています.各質問について num_answers_per_question 件の回答を抽出してください.
llm_judge/gen_judgment.py
Outdated
| ) | ||
| ) | ||
| if num_answers_per_question: | ||
| matches = matches[:num_answers_per_question] |
There was a problem hiding this comment.
実装が間違っています.各質問について num_answers_per_question 件の回答を抽出してください.
38c2715 to
01e6043
Compare
pyproject.tomlにおけるopenaiのバージョンの変更を行いました。最新版にしてあります。