Node.js向けのFFIを実装 by takejohn · Pull Request #758 · VOICEVOX/voicevox_core

takejohn · 2024-02-28T10:11:23Z

内容

NAPI-RS を用いて Node.js 向けの FFI を実装します。

その他

#757 で Neon を使おうと思っていましたが、より開発が活発で情報が見つかる(と思われる) NAPI-RS を使うことにしました。

This reverts commit ea809fb.

takejohn · 2024-03-20T14:44:18Z

Ready for reviewとしてマークしました。
creates/voicevox_core_node_api をカレントディレクトリとして、
./README.md に書いたように yarn, yarn build, yarn docs を実行すると、./docs 以下にHTML形式のドキュメントを得られます。

sevenc-nanashi

とりあえず一通り。
Tripletごとにパッケージ分けるのって避けれたりします？絶対にしんどいと思うので

crates/voicevox_core_node_api/.yarnrc.yml

crates/voicevox_core_node_api/.prettierrc

sevenc-nanashi · 2024-03-21T22:19:06Z

crates/voicevox_core_node_api/exports/blocking.d.ts

Pythonと違ってJavaScriptは非同期がメイン（主観）なので、blocking APIは提供しなくてもいいと思います（個人の思想ですが）

NodeではないですがDenoだと例えば標準ライブラリの各機能に対して同期版があったりします (e.g. Deno.readFileに対してDeno.readFileSync)。ただNodeでもそれをやるべきかというと微妙かもしれませんが。

@Hiroshiba #662 の観点から一言お願いします。

絶対ないといけないとは思わない、とはいえ実装を拒む理由も特にない、って感じですかね！

webのjsならともかく、nodeを使う人のレベル感は割と高そうなので、非同期版のみでも大丈夫だと思います。
とはいえ別にあったらダメというわけでもない気がしました。トップレベルasyncが書けない場合があったりとか、何かと便利ではあると思うので。

sevenc-nanashi · 2024-03-21T22:19:52Z

crates/voicevox_core_node_api/npm/linux-x64-musl/README.md

-muslまでの差分は提供しなくてもいいと思います。

crates/voicevox_core_node_api/src/namespaces/blocking.rs

takejohn · 2024-03-22T02:51:26Z

Tripletごとにパッケージ分けるのって避けれたりします？絶対にしんどいと思うので

npm ディレクトリ以下は未使用だったので削除しました。

qryxip

遅くなりましたが、概ね良いと思います!

lintに引っ掛かってる部分とコンフリクトについては、ご面倒であればこちらでやらせて頂ければと思っているのですが、どうでしょうか?

(追記) #761 対応もありました。StyleMetaにtypeというものが追加されています。

takejohn · 2024-05-11T09:26:27Z

遅くなりましたが、概ね良いと思います!

lintに引っ掛かってる部分とコンフリクトについては、ご面倒であればこちらでやらせて頂ければと思っているのですが、どうでしょうか?

(追記) #761 対応もありました。StyleMetaにtypeというものが追加されています。

ありがとうございます。自分で対応してみます。

qryxip

概ね良いと言った手前ですがいくつか:

Cargo.toml

crates/voicevox_core_node_api/.cargo/config.toml

crates/voicevox_core_node_api/Cargo.toml

crates/voicevox_core_node_api/rustfmt.toml

qryxip · 2024-05-18T01:58:31Z

crates/voicevox_core_node_api/__test__/_testUtil.ts

+  __dirname,
+  "..",
+  "..",
+  "..",


#791 (comment)

Suggested change

"..",

"test_util",

"data",

qryxip · 2024-05-18T02:16:31Z

crates/voicevox_core_node_api/.yarn/releases/yarn-4.1.0.cjs

.gitattributesでlinguist-vendored linguist-generatedを設定した方がよいかも。

参考:
https://github.com/VOICEVOX/voicevox_core/blob/18aec9f1bd279856eaf5007f021fe8501c82c4a6/crates/voicevox_core_java_api/.gitattributes

qryxip · 2024-05-18T02:34:11Z

crates/voicevox_core_node_api/README.md

+`npm test` でテストを行うことができます。
+
+```console
+❯ npm test


テスト前にcargo build -p test_utilが要るんじゃないかと思います。
(クリーンなリポジトリからvoicevox_core_node_apiだけビルドした場合、crates/test_util/dataは生成されない)

参考:

voicevox_core/.github/workflows/test.yml

Line 279 in 18aec9f

- run: cargo build -p test_util -vv # build scriptにより/crates/test_util/data/の生成

voicevox_core/.github/workflows/test.yml

Line 315 in 18aec9f

cargo build -p test_util -vv # build scriptにより/crates/test_util/data/の生成

npm test内に仕込むのがいいかもしれませんが、どうやるかは私にはよくわからないです。なんかnpm-run-all2っていう、かつてのnpm-run-allのフォークがあるっぽい…?

"test": "run-s test:build-util test:ava", "test:build-util": "cargo build -p test_util", "test:ava": "ava"

npm-run-all2使うとこんな感じだと思います。
まぁ直列ならOS差は困るほどはないので、

"test": "cargo build -p test_util && ava"

でいいかも。avaにセットアップのHookがあるならそれでビルドしてもいいかも？

qryxip · 2024-05-18T02:40:45Z

crates/voicevox_core_node_api/src/lib.rs

+#![deny(clippy::all)]
+


NAPI-RSの慣習だと思いますが、このリポジトリの場合はCIでやってるので不要かと思います。

voicevox_core/.github/workflows/test.yml

Lines 75 to 76 in 18aec9f

- run: cargo clippy -vv --all-features --features onnxruntime/disable-sys-build-script --tests -- -D clippy::all -D warnings --no-deps

- run: cargo clippy -vv --all-features --features onnxruntime/disable-sys-build-script -- -D clippy::all -D warnings --no-deps

ClippyというのはVSCodeとかのエディタ上で動くので(もし設定されていなかったのであれば設定することをお勧めします)、少しうっとおしくなってしまうかと思います。

Suggested change

#![deny(clippy::all)]

crates/voicevox_core_node_api/Cargo.toml

qryxip · 2024-05-23T06:11:19Z

https://github.com/VOICEVOX/voicevox_core/actions/runs/9202752835/job/25313764046?pr=758

あ、なんかの依存の更新でCargo.lockのcbindgenのバージョンが上がったっぽいですね。このCIの直しかたは

❯ cargo xtask update-c-header

です。

see: https://github.com/VOICEVOX/voicevox_core/tree/5a644cad50457d22cdde183020abdfb5d00fd800?tab=readme-ov-file#%E3%83%98%E3%83%83%E3%83%80%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AE%E6%9B%B4%E6%96%B0

qryxip · 2024-05-24T18:03:55Z

crates/voicevox_core_node_api/src/namespaces/blocking.rs

+        pub fn unload_voice_model(&self, voice_model_id: String) -> Result<()> {
+            convert_result(
+                self.synthesizer
+                    .unload_voice_model(&VoiceModelId::new(voice_model_id)),


#796 (comment)

qryxip · 2024-07-07T05:01:35Z

crates/voicevox_core_node_api/src/namespaces/promises.rs

+    impl JsSynthesizer {
+        /// `Synthesizer`をコンストラクトする。
+        #[napi(constructor)]
+        pub fn new(open_jtalk: &JsOpenJtalk, options: Option<InitializeOptions>) -> Result<Self> {


#802 (comment)

Onnxruntimeが追加され、Synthesizerのコンストラクタに要求されるようになりました。

qryxip · 2024-07-07T05:03:45Z

crates/voicevox_core_node_api/Cargo.toml

+[dependencies]
+napi = { version = "2.16.0", features = ["napi4", "serde-json", "tokio_rt"] }
+napi-derive = "2.16.0"
+voicevox_core.workspace = true


#802 (comment)

featureとしてload-onnxruntimeとlink-onnxruntimeが追加されました。ただしPythonとJavaではload-onnxruntimeで固定です。Node.jsもそうすることになると思います。

Suggested change

voicevox_core.workspace = true

voicevox_core = { workspace = true, features = ["load-onnxruntime"] }

qryxip · 2024-07-07T05:05:49Z

crates/voicevox_core_node_api/src/devices.rs

+    /// `SupportedDevices`をコンストラクトする。
+    #[napi(factory)]
+    pub fn create() -> Result<Self> {
+        match SupportedDevices::create() {
+            Ok(val) => Ok(JsSupportedDevices {
+                supported_devices: val,
+            }),
+            Err(err) => Err(Error::from_reason(err.to_string())),
+        }
+    }
+


#802 (comment)

supported_devicesはOnnxruntimeのメソッドになりました。

qryxip · 2024-07-07T05:09:19Z

crates/voicevox_core_node_api/src/namespaces/promises.rs

+    }
+
+    #[napi]
+    impl JsSynthesizer {


#802 (comment)

SynthesizerはOnnxruntimeのgetterを持つようになります。

qryxip · 2024-07-07T05:11:43Z

crates/voicevox_core_node_api/src/model.rs

#805 (comment)

qryxip · 2024-10-03T16:53:15Z

@takejohn お久しぶりです。
このPRですが、今だとmainブランチへの追従は大変だと思います。そこでこちらで巻き取らせて頂ければと思うのですが、いかがでしょうか？

takejohn · 2024-10-04T01:39:03Z

@takejohn お久しぶりです。
このPRですが、今だとmainブランチへの追従は大変だと思います。そこでこちらで巻き取らせて頂ければと思うのですが、いかがでしょうか？

お願いします！
自分でやると言っておいて申し訳ないです 🙏

qryxip · 2024-10-05T10:23:35Z

@takejohn わかりました！ではこちらで進めさせていただきます。

@Hiroshiba これからの段取りについて、次の形を考えています。どうでしょうか？

このPRの現在のmerge baseからproject-nodejs-apiブランチを生やし、このPRの宛先をそこにする
project-nodejs-apiに対し、本PRのresolveされていないコメントを反映した変更を加える (通常のPRとして)
project-nodejs-apiに対し、次の二つを行う
1. "Merge branch 'main' into project-nodejs-api" (コンフリクト箇所はCargo.lockのみなので、--theirsにでもしておく)
2. ビルドが通るように直す
main ← project-nodejs-apiのPRを作り、それをマージする
build_and_deployでのリリース経路を作る

あと正式リリースできる日が来たらNode.js APIを作った人として @takejohn さんのお名前も… あれ？どういう風な紹介になりますかね？

Hiroshiba · 2024-10-05T11:42:43Z

方針良さそうに感じました！！
ブランチって作る権限ありましたっけ。なかったらあとでこちらで作ります！

お名前紹介の際は２人の名前を紹介する感じで良いかなと！
「NodeJS版APIをリリースしました！開発者：お二人」みたいな感じかなと。
その時になったらまたご連絡させて頂きます🙏

takejohn added 30 commits February 28, 2024 19:05

Node.jsでFFIを実装するドラフトPRのための空コミット

a12e6d2

napi-rsで初期化

7f871a3

prettierを導入してインデントをスペース4個に

ea809fb

Revert "prettierを導入してインデントをスペース4個に"

a507b62

This reverts commit ea809fb.

Rustのインデントをスペース4個に変更

a3584d3

Prettierで一部ファイルのインデントをスペース4個に

c418030

Merge branch 'main' into feature/550-ffi-napi-rs

cd04f47

SupportedDevices対応

8a2462f

SupportedDevices.toJsonメソッドを追加

58ef4bb

元のソースに対応してファイル分け

04eee9a

クレートに対するアトリビュートを移動

2386695

モデルの型定義

e1fe417

サンプルのテストコードを削除

bc6360f

ドキュメンテーションコメントの補完

cfd1c71

自動生成されるd.ts, jsファイルをvcsから除外

020e0dd

blocking API作成開始

4dd1052

UserDictの実装

17a572f

blocking名前空間のコードを移動

e8e16dd

Synthesizerクラス作成

de13bf5

VoiceModelクラスの実装

0f10872

メソッド追加

c3eac14

さらにメソッド追加

b4e1251

音声合成のメソッドを追加

3a63e2a

ドキュメンテーションとアトリビュートを追加

eda6086

テストの作成

8c7203f

UserDictのテストを作成

0988e9f

Synthesizerのテストを作成

dac865a

SynthesizerのisGpuModeとmetasをgetterに

230da3e

Java APIからテストを移植

1abc435

UserDictWordのデフォルト値を指定

023a5d3

sevenc-nanashi reviewed Mar 21, 2024

View reviewed changes

takejohn added 2 commits March 22, 2024 11:12

パッケージマネージャをnpmに変更

7d45fda

npmディレクトリを削除

d6fcae9

takejohn added 2 commits March 22, 2024 18:26

Prettierのルールをデフォルトに変更

14e6e3d

handleメンバ名を変更

55e6e00

qryxip reviewed May 11, 2024

View reviewed changes

takejohn added 2 commits May 16, 2024 13:56

Merge branch 'main' into feature/550-ffi-napi-rs

6d6e619

node依存パッケージのアップデート

48f3bb6

qryxip reviewed May 17, 2024

View reviewed changes

qryxip mentioned this pull request May 18, 2024

chore: sample.vvmをcrates/test_util/data/model下に構成するようにする #791

Merged

qryxip reviewed May 18, 2024

View reviewed changes

qryxip mentioned this pull request May 22, 2024

onnxruntime-rsからortに乗り換える #725

Merged

qryxip reviewed May 22, 2024

View reviewed changes

crates/voicevox_core_node_api/Cargo.toml Show resolved Hide resolved

takejohn added 6 commits May 23, 2024 13:51

他のクレートに倣ってCargo.tomlを修正

8ffbc91

ルートのCargo.tomlからfeatureの指定を削除

72af516

改行を追加

046618b

フォーマットの設定がデフォルト値のため削除

e04da34

Merge branch 'main' into feature/550-ffi-napi-rs

d97ecc7

featuresにcudaを追加

aaefb43

qryxip reviewed May 24, 2024

View reviewed changes

qryxip reviewed Jul 7, 2024

View reviewed changes

qryxip mentioned this pull request Aug 1, 2024

FFIバインディングの提供 #550

Open

12 tasks

	- run: cargo clippy -vv --all-features --features onnxruntime/disable-sys-build-script --tests -- -D clippy::all -D warnings --no-deps
	- run: cargo clippy -vv --all-features --features onnxruntime/disable-sys-build-script -- -D clippy::all -D warnings --no-deps

	voicevox_core.workspace = true
	voicevox_core = { workspace = true, features = ["load-onnxruntime"] }

Conversation

takejohn commented Feb 28, 2024

内容

関連 Issue

その他

Uh oh!

takejohn commented Mar 20, 2024

Uh oh!

sevenc-nanashi left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

takejohn commented Mar 22, 2024

Uh oh!

qryxip left a comment • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

takejohn commented May 11, 2024

Uh oh!

qryxip left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

qryxip commented May 23, 2024

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

qryxip commented Oct 3, 2024

Uh oh!

takejohn commented Oct 4, 2024

Uh oh!

qryxip commented Oct 5, 2024

Uh oh!

Hiroshiba commented Oct 5, 2024

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants

qryxip left a comment •

edited

Loading