モーフィング機能を追加する by qryxip · Pull Request #713 · VOICEVOX/voicevox_core

qryxip · 2023-12-24T13:24:58Z

内容

@White-Green さんのWhite-Green/WORLD_rsを利用してモーフィング機能を追加します。

その他

qryxip · 2023-12-24T13:29:00Z

crates/voicevox_core/src/engine/morph.rs

+// ==========================================WARNING==============================================
+//
+// DO NOT BYPASS THIS OR YOU MAY VIOLATE THE ToS OF THE MODELS
+//
+// ===============================================================================================


なんか一言書いておいた方がよいかなと思い書いたのですが、これは多分違いますね。
(あと"ToS"じゃない)

書くとしたらどういう書き方がいいんでしょう?

なんか何も書かないのが正解な気がしたので消しました。
38b8732 (#713)

crates/voicevox_core/src/engine/morph.rs

qryxip · 2023-12-30T01:39:02Z

なんかわかりませんが、windows-2019でビルドできなくなるみたいですね… (2022だと多分通る)

This reverts commit ccd3c81.

This reverts commit 7205c39.

qryxip

なんかわかりませんが、windows-2019でビルドできなくなるみたいですね… (2022だと多分通る)

解決。

qryxip · 2023-12-30T15:52:38Z

.github/workflows/test.yml

+      - if: matrix.os == 'windows-2019'
+        name: Install Clang
+        uses: KyleMayes/install-llvm-action@v1
+        with:
+          version: "16.0"


リリース時以外スキップされるwindows-x86-cpu (i686-pc-windows-msvc)に対しても必要。あるとビルドできるし無いとビルドできない。

can_skip_in_simple_testを外して確かめた。

https://github.com/VOICEVOX/voicevox_core/actions/runs/7364789914/job/20045520233?pr=713

https://github.com/VOICEVOX/voicevox_core/actions/runs/7364916102/job/20045749835?pr=713

qryxip · 2023-12-30T19:14:51Z

model/sample.vvm

変更:

metas.json

@@ -1,39 +1,45 @@ [ { "name": "dummy1", "styles": [ { "name": "style1", "id": 0 } ], "speaker_uuid": "574bc678-8370-44be-b941-08e46e7b47d7", "version": "0.0.1" }, { "name": "dummy2", "styles": [ { "name": "style2", "id": 1 } ], "speaker_uuid": "dd9ccd75-75f6-40ce-a3db-960cbed2e905", - "version": "0.0.1" + "version": "0.0.1", + "supported_features": { + "permitted_synthesis_morphing": "ALL" + } }, { "name": "dummy3", "styles": [ { "name": "style3-1", "id": 302 }, { "name": "style3-2", "id": 303 } ], "speaker_uuid": "5d3d9aa9-88e5-4a96-8ef7-f13a3cad1cb3", - "version": "0.0.1" + "version": "0.0.1", + "supported_features": { + "permitted_synthesis_morphing": "SELF_ONLY" + } } ]

まーーた何も変更していないのにoutdatedになってる...

なんかこんな感じになりましたが、まあ動くのでよし?

❯ zipinfo ./model/sample.vvm Archive: ./model/sample.vvm Zip file size: 53465028 bytes, number of entries: 5 -rw-a-- 3.0 fat 57149888 bx defN 79-Dec-31 00:00 decode.onnx -rw-a-- 3.0 fat 286 tx defN 23-Jul-28 05:39 manifest.json -rw-r--r-- 3.0 unx 819 tx defN 23-Dec-31 02:57 metas.json -rw-a-- 3.0 fat 53381 bx defN 79-Dec-31 00:00 predict_duration.onnx -rw-a-- 3.0 fat 30803 bx defN 79-Dec-31 00:00 predict_intonation.onnx 5 files, 57235177 bytes uncompressed, 53463918 bytes compressed: 6.6%

qryxip

とりあえずこれでレビュー可能になったはず。

qryxip · 2024-01-04T20:24:56Z

crates/voicevox_core_c_api/tests/e2e/testcases/morph.rs

+                CStr::from_ptr(morphable_targets).to_bytes(),
+            )?[&self.target_style];
+
+        // TODO: スナップショットテストをやる


#713 (comment)の話ですが、通常synthesisと一緒にやった方がよいと思うので別PRにしたいと考えています。

# Conflicts: # Cargo.lock # crates/voicevox_core/Cargo.toml

crates/voicevox_core/src/engine/audio_file.rs

sevenc-nanashi · 2024-03-27T21:51:49Z

crates/voicevox_core/src/error.rs

    UseUserDict,
    /// ユーザー辞書の単語のバリデーションに失敗した。
    InvalidWord,
+    /// 要求された機能を話者が持っていない。


todo!感が出るのはあまりよくない気がします。
https://github.com/VOICEVOX/voicevox_engine/blob/f43881bb5f4c6ab3a3a1e5786384d1ae62600696/run.py#L620
エンジンだと「指定されたスタイルペアでのモーフィングはできません」なので、シンプルにForbiddenMorphPairとか？

そのエラーがエンジンに誕生した経緯を考えると、"forbidden"のような単語が表層に表れることはできるだけ避けた方がよいかなと思いました。

ほどよく煙に巻くことができ、かつ嘘を言わず事実を指し示す塩梅としてはこうなるかなと思った次第です。

@Hiroshiba ちょっと判断をお願いします。エラーメッセージは今こうなっています。

`{speaker_name}` ({speaker_uuid})は以下の機能を持ちません: `{target_speaker_name}` ({target_speaker_uuid})に対するモーフィング

すみません遅くなりました！！

permitted_synthesis_morphingという名前で、エラーが指定されたスタイルペアでのモーフィングはできませんなんですね
https://github.com/VOICEVOX/voicevox_engine/blob/a4749af418a0e9aa277c86e0c987ac2a42d336a9/voicevox_engine/metas/Metas.py#L46-L49

エンジンに合わせるならエラーは「モーフィングできなかった（Failed？）」ですかねぇ。
（いやそれは抽象度高すぎでしょという感じならコメントください 🙇 ）

sevenc-nanashi · 2024-03-27T22:22:07Z

crates/voicevox_core_c_api/tests/e2e/testcases/morph.rs

+case!(TestCase {
+    base_style: 0,
+    target_style: 0,
+});
+case!(TestCase {
+    base_style: 0,
+    target_style: 1,
+});
+case!(TestCase {
+    base_style: 0,
+    target_style: 302,
+});
+case!(TestCase {
+    base_style: 0,
+    target_style: 303,
+});
+
+case!(TestCase {
+    base_style: 1,
+    target_style: 0,
+});
+case!(TestCase {
+    base_style: 1,
+    target_style: 1,
+});
+case!(TestCase {
+    base_style: 1,
+    target_style: 302,
+});
+case!(TestCase {
+    base_style: 1,
+    target_style: 303,
+});
+
+case!(TestCase {
+    base_style: 302,
+    target_style: 0,
+});
+case!(TestCase {
+    base_style: 302,
+    target_style: 1,
+});
+case!(TestCase {
+    base_style: 302,
+    target_style: 302,
+});
+case!(TestCase {
+    base_style: 302,
+    target_style: 303,
+});
+
+case!(TestCase {
+    base_style: 303,
+    target_style: 0,
+});
+case!(TestCase {
+    base_style: 303,
+    target_style: 1,
+});
+case!(TestCase {
+    base_style: 303,
+    target_style: 302,
+});
+case!(TestCase {
+    base_style: 303,
+    target_style: 303,
+});


https://docs.rs/duplicate/latest/duplicate/macro.duplicate.html
function macroのduplicateを二段重ねすればスッキリできそうな気がします。

case!はここで定義しているマクロなので、cases!を作ってしまってTestCaseのコンストラクタも関数化(fn testcase(u32, u32) -> TestCase)すればいいように思えます。別PRで。

ただまあ、duplicateも悪くないかも。

qryxip added 2 commits December 24, 2023 19:19

to_wavを移動

aa80388

モーフィング機能を追加する

883803a

qryxip commented Dec 24, 2023

View reviewed changes

qryxip added 8 commits December 25, 2023 13:51

PermissionにStyleIdを持たせる

06556c9

Minor refactor

21e0715

voicevox_core.hをアップデート

a31bd96

readonlyをやめる

2acd5e8

Permission → MorphablePair

1162102

[skip ci] MorphablePair → MorphableTargets

82260ca

[skip ci] Minor refactor

ae080b5

[skip ci] Minor refactor

26a72e0

qryxip commented Dec 25, 2023

View reviewed changes

crates/voicevox_core/src/engine/morph.rs Outdated Show resolved Hide resolved

qryxip added 2 commits December 30, 2023 09:45

[skip ci] Merge branch 'main' into add-morphing

599f6ad

snapshots.tomlを更新

58d6d7d

qryxip added 6 commits December 30, 2023 23:28

mingw-w64-x86_64-clangをインストール

66be03f

windows-x86-cpuのcan_skip_in_simple_testを外す

ccd3c81

KyleMayes/install-llvm-actionを使う

459a881

i686-pc-windows-msvcからClangのインストールを外してみる

7205c39

Revert "windows-x86-cpuのcan_skip_in_simple_testを外す"

471264d

This reverts commit ccd3c81.

Revert "i686-pc-windows-msvcからClangのインストールを外してみる"

58f6f90

This reverts commit 7205c39.

qryxip commented Dec 30, 2023

View reviewed changes

qryxip added 2 commits December 31, 2023 03:05

sample.vvmを更新

8ff5a5e

morphable_targetsの単体テスト

706fdac

qryxip commented Dec 30, 2023

View reviewed changes

qryxip added 5 commits December 31, 2023 22:22

24000 → DEFAULT_SAMPLING_RATE

e21c61c

FIXMEを追加

f53fa11

内部メソッド名変更

57a81f3

Morph → SpeakerFeature

0b896ea

to_wavを移動

c8c85b0

qryxip added 4 commits January 4, 2024 19:15

MorphableTargets → MorphableStyles

8891bb8

スペクトログラムをndarrayで捌く

8904be2

Minor refactor

4444c69

C APIでも16通りテストする

bdb7c3b

qryxip commented Jan 4, 2024

View reviewed changes

qryxip added 5 commits January 28, 2024 14:47

Merge branch 'main' into add-morphing

b6d81fa

Merge branch 'main' into add-morphing

3710699

テストを更新

5035740

Merge branch 'main' into add-morphing

998977d

# Conflicts: # Cargo.lock # crates/voicevox_core/Cargo.toml

Merge branch 'main' into add-morphing

2443754

phenylshima reviewed Feb 27, 2024

View reviewed changes

crates/voicevox_core/src/engine/audio_file.rs Show resolved Hide resolved

Merge branch 'main' into add-morphing

1925685

qryxip mentioned this pull request Mar 16, 2024

リサンプリング処理をrubatoのものに置き換える #762

Open

3 tasks

TODOコメントを更新

2827328

sevenc-nanashi approved these changes Mar 27, 2024

View reviewed changes

qryxip added 11 commits March 30, 2024 20:04

Merge branch 'main' into add-morphing

6eb6e40

Merge branch 'main' into add-morphing

6f86e8a

Merge branch 'main' into add-morphing

cfe60f0

Merge branch 'main' into add-morphing

c25cde9

Merge branch 'main' into add-morphing

d55a3a8

Merge branch 'main' into add-morphing

6bb862c

Merge branch 'main' into add-morphing

3b839d4

Merge branch 'main' into add-morphing

191ccea

Fix a test

3b8f429

Merge branch 'main' into add-morphing

0ddd0e4

fixup! Fix a test

97b2e81

qryxip mentioned this pull request Oct 17, 2024

ストリーミングモードのdecodeを実装（precompute_renderとrender） #854

Merged

qryxip mentioned this pull request Nov 16, 2024

VOICEVOX ENGINE ライセンス変更 VOICEVOX/voicevox_engine#1085

Open

qryxip mentioned this pull request Dec 21, 2024

feat: metasにsupported_featuresだけ追加 #900

Open

qryxip mentioned this pull request Nov 22, 2025

ストリーミングトーク対応スタイルを外部から判定可能にする仕組みが欲しい #1207

Open

3 tasks

Conversation

qryxip commented Dec 24, 2023 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

内容

関連 Issue

その他

Uh oh!

qryxip Dec 24, 2023 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

qryxip commented Dec 30, 2023

Uh oh!

qryxip left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

qryxip left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

qryxip Mar 28, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

qryxip Mar 28, 2024 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

6 participants

qryxip commented Dec 24, 2023 •

edited

Loading

qryxip Dec 24, 2023 •

edited

Loading

qryxip Mar 28, 2024 •

edited

Loading

qryxip Mar 28, 2024 •

edited

Loading