PyPIで公開する？

[Hiroshiba]

内容

Python版VOICEVOX CoreをPyPIで公開するかどうかを考えるissueです。
個人的には公開しちゃうのが面白いかなと思ってます。

Github Actions上からビルドしてプッシュできると楽しそう。

• 言語ごとのリリースについて #593

Pros 良くなる点

pip install voicevoxなどで使えるように

実現方法

実はちょっと実現方法がちゃんと分かっていません。
今はWheelをビルドする形ですが、これをアップロードすればできる･･･？

その他

もし取り組んでみたい方がいらっしゃったらご連絡ください！！

[sevenc-nanashi]

今はWheelをビルドする形ですが、これをアップロードすればできる･･･？

maturin publishコマンドでできそうです。認証周りを良い感じにすればGitHub Actions上で上げれると思います

[tuna2134]

manylinuxらへんが少々めんどくさいとは思いますが、、、

[tuna2134]

まず、manylinuxの問題を片付けるために、maturin-actionを使うのがいいかと思われます。
次にonnxruntimeはsetup.py使って同包する方法が無難だと思います。
openjtalkに関してなのですが、__init__.pyを読み込んだ際に、ダウンロードをユーザーディレクトリに入れる方がいいと思います。ただユーザーディレクトリのパスは、appdirで取得でいいと思います。

gpuは別でvoicevox-gpuという名前で別でアップロードするのがいいかと思います。

[tuna2134]

自分の方で取り組んでみようかなと思います。

[Hiroshiba]

@tuna2134 おお、ぜひよろしくお願いします！！
僕がPyPIのこと全然わかってないことがわかったのでちょっといろいろ聞かせてください 🙇

(1) manylinuxの問題

これはつまり、どのバージョンのpipに対応すればよいか問題ということでしょうか･･･？（ここを見ていました）
numpyはmanylinux2014ぽかったので、なんとなくmanylinux2014が良いのかなぁとか思いました。
（今のVOICEVOX COREでビルドできるのかわかりませんが）

(2) onnxruntimeはsetup.py使って同包する方法が無難

これはsetup.pyを使って、pip install voicevoxしたときにonnxruntime.dllをsitepackage/voicevox内に落とすようにする、という理解で合ってそうでしょうか？
これに関して、今wheelを作る形なのでそれとsetup.pyを一緒にできるのかが気になっています。
またそもそもwheel（ただのzipファイル）はdllを埋め込めるのかもとちょっと思ってるのですが、ご存知だったりしますか 👀
（soundfileというPyPIパッケージのwheelに入ってたので、たぶんできるのかなと。。）

(3) openjtalkに関してなのですが、init.pyを読み込んだ際に、ダウンロードをユーザーディレクトリに入れる方がいいと思います

良さそうです！！
と、気持ちはめちゃめちゃわかるのですが、コアはRust言語以外のラッパーのみで追加機能を作らない方針だったりします。
ので、辞書がなかったらダウンロードできる機能をRust側に作るとか、そういうところから始める感じになっちゃうかもです。それでも良ければ提案issue作って頂けると･･･！！

（まあそもそもダウンローダー自体はあるので、あとはこれをコアのメイン機能にくっつけるかどうかという話なのですが、そこどうしようかが決まっていない感じです。提案を聞いて、やっぱあったほうが良いかな〜〜〜という気持ちになりました。）

(4) gpuは別でvoicevox-gpuという名前で別でアップロード

gpu版は分けるの良さそうに思います！　pytorchもonnxruntimeもそんな感じなので。
名称をどうしようかは相談したいかもです。例えばgpuと言えどdirectmlやcuda、他にもrocmがあり得るので。
あるいは各osの代表格なgpuデバイスをvoicevox-gpuにする･･･？とすると、linuxではcudaが、winではdirectmlが降ってくる感じでだいぶややこしいかもです。
やっぱり相談したいかもです！

---

結構コアの現状周りでややこしい点がいっぱいあると思うので、考えなどあればなんでも提案＆聞いていただければ！！

[tuna2134]

これはつまり、どのバージョンのpipに対応すればよいか問題ということでしょうか･･･？（ここを見ていました）
numpyはmanylinux2014ぽかったので、なんとなくmanylinux2014が良いかなぁとか思いました。
（今のVOICEVOX COREでビルドできるのかわかりませんが）

そうですね、2014だけでいいと思いますね、、、ただ3.11からはmanylinux2なので、両方対応させてもいいかと思います

[tuna2134]

これはsetup.pyを使って、pip install voicevoxしたときにonnxruntime.dllをsitepackage/voicevox内に落とすようにする、という理解で合ってそうでしょうか？
これに関して、今wheelを作る形なのでそれとsetup.pyを一緒にできるのかが気になっています。
またそもそもwheel（ただのzipファイル）はdllを埋め込めるのかもとちょっと思ってるのですが、ご存知だったりしますか 👀
（soundfileというPyPIパッケージのwheelに入ってたので、たぶんできるのかなと。。）

setup.pyでsetuptools.Extension使えばいいかと思います。

[tuna2134]

gpu版は分けるの良さそうに思います！　pytorchもonnxruntimeもそんな感じなので。
名称をどうしようかは相談したいかもです。例えばgpuと言えどdirectmlやcuda、他にもrocmがあり得るので。
あるいは各osの代表格なgpuデバイスをvoicevox-gpuにする･･･？とすると、linuxではcudaが、winではdirectmlが降ってくる感じでだいぶややこしいかもです。
やっぱり相談したいかもです！

pytorchみたいに、インストールするURLを分けるのもありかもしれません、、、！

[tuna2134]

良さそうです！！
と、気持ちはめちゃめちゃわかるのですが、コアはRust言語以外のラッパーのみで追加機能を作らない方針だったりします。
ので、辞書がなかったらダウンロードできる機能をRust側に作るとか、そういうところから始める感じになっちゃうかもです。それでも良ければ提案issue作って頂けると･･･！！

（まあそもそもダウンローダー自体はあるので、あとはこれをコアのメイン機能にくっつけるかどうかという話なのですが、そこどうしようかが決まっていない感じです。提案を聞いて、やっぱあったほうが良いかな〜〜〜という気持ちになりました。）

一応もう一つの案としては、元からライブラリに同包しておいて、実行時にライブラリが格納されているパスを取得した後、渡す方法もありかと思います！

[Hiroshiba]

ちょっと話が混線しそうだったので、話題に番号を振らせていただきました！
整理していくと

(1) manylinuxの問題
そうですね、2014だけでいいと思いますね、、、ただ3.11からはmanylinux2なので、両方対応させてもいいかと思います

なるほどです。特に問題がなければ両対応もありなのかなと思いました。
まあコアのpythonが3.8くらいだったと思うので、manylinux2は現状ビルドできないかもですが。

(2) onnxruntimeはsetup.py使って同包する方法が無難
setup.pyでsetuptools.Extension使えばいいかと思います。

ググりまくって調べてたのですが、maturinはsetup.pyが使えないっぽい気がしてきました。（勘違いかもです）
代わりでファイル追加できそうか調べてたのですが、maturin-optionsのincludeが使えるか、dataが置けるかも･･･････？

（2023/10/22 23:31追記）あ、それともmaturinを使わない感じを想定されていたりしますか？ 👀

(4) gpuは別でvoicevox-gpuという名前で別でアップロード
pytorchみたいに、インストールするURLを分けるのもありかもしれません、、、！

なるほどです、ありだと思います！
とりあえず一旦保留で、まずはvoicevoxパッケージ作成という感じが良さそうですかねー

(3) openjtalkに関してなのですが、init.pyを読み込んだ際に、ダウンロードをユーザーディレクトリに入れる方がいいと思います
一応もう一つの案としては、元からライブラリに同包しておいて、実行時にライブラリが格納されているパスを取得した後、渡す方法もありかと思います！

なるほどです、全然ありな気がしました！
これは機能追加というより、ファイルを同梱するかどうかという話なので、Rustに追加するかどうかという話とは分けれるかもですね。
この認識があってるかちょっと他のメンバーと確認したいかもです、いったん保留で！！ 🙇

[Hiroshiba]

いろいろわかりました、ありがとうございます！！！

とりあえずmaturinでonnxruntime.dllなり辞書なりを足せるのかどうか確認してみて、無理なら別の方法とか探すのはどうでしょう？
別の方法があるのか知らないですが･･････。

あるいはだんだんアップデートしていく形にし、もうonnxruntimeも辞書も何も付属しないvoicevoxパッケージをとりあえずpypiにアップロードするGithub Actionsを作る、という手もあるかもです。
なんか進めやすい形で進めていただければ！！

（出来上がったけどコアの方針と違ってマージできない、というのは悲しいので、方針だけは相談できるとお互い損しないのかなと思ってます 🙏 ）

[tuna2134]

ググりまくって調べてたのですが、maturinはsetup.pyが使えないっぽい気がしてきました。（勘違いかもです）
代わりでファイル追加できそうか調べてたのですが、maturin-optionsのincludeが使えるか、dataが置けるかも･･･････？

（2023/10/22 23:31追記）あ、それともmaturinを使わない感じを想定されていたりしますか？ 👀

pyproject.tomlのビルドシステムに新しくsetuptoolsを追加しようと思っているんですよね、、、
一応あくまで、できるとは確信はできませんけど、できなかった場合はsetuptools-rustかな？とは思っています

[Hiroshiba]

(2) onnxruntimeはsetup.py使って同包する方法が無難
pyproject.tomlのビルドシステムに新しくsetuptoolsを追加しようと思っているんですよね、、、
一応あくまで、できるとは確信はできませんけど、できなかった場合はsetuptools-rustかな？とは思っています

なるほどです！setuptools追加というのがどうできるのか気になります 👀
仮にsetuptools-rustとmaturinどっちで行くべきかとなったら、どっちで行くべきなのか難しいですね･･･。
なんとなくmaturinが後発で人気がありそうなので、どちらでもいけるならこちらに依存しておきたい気持ちがメンテナ的にはあります。
ちょっとこの辺り @qryxip さんの意見もお聞きできると心強いかもです 🙇