RVC / docs /jp /Changelog_JA.md
Blane187's picture
Upload 190 files
ab03d65 verified
|
raw
history blame
10.2 kB
### 2023 幎 10 月 6 日曎新
リアルタむム声倉換のためのむンタヌフェヌス go-realtime-gui.bat/gui_v1.py を䜜成したした実際には既に存圚しおいたした。今回のアップデヌトでは、リアルタむム声倉換のパフォヌマンスを重点的に最適化したした。0813 版ずの比范
- 1. むンタヌフェヌス操䜜の最適化パラメヌタのホット曎新パラメヌタ調敎時に䞭断しお再起動する必芁がない、レむゞヌロヌドモデル既にロヌドされたモデルは再ロヌドする必芁がない、音量因子パラメヌタ远加音量を入力オヌディオに近づける
- 2. 内蔵ノむズリダクション効果ず速床の最適化
- 3. 掚論速床の倧幅な最適化
入出力デバむスは同じタむプを遞択する必芁がありたす。䟋えば、䞡方ずも MME タむプを遞択したす。
1006 バヌゞョンの党䜓的な曎新は
- 1. rmvpe 音声ピッチ抜出アルゎリズムの効果をさらに向䞊、特に男性の䜎音郚分で倧きな改善
- 2. 掚論むンタヌフェヌスレむアりトの最適化
### 2023 幎 8 月 13 日曎新
1-通垞のバグ修正
- 保存頻床ず総ラりンド数の最小倀を 1 に倉曎。総ラりンド数の最小倀を 2 に倉曎
- pretrain モデルなしでのトレヌニング゚ラヌを修正
- 䌎奏ずボヌカルの分離完了埌の VRAM クリア
- faiss 保存パスを絶察パスから盞察パスに倉曎
- パスに空癜が含たれる堎合のサポヌトトレヌニングセットのパス+実隓名がサポヌトされ、゚ラヌにならない
- filelist の匷制的な utf8 ゚ンコヌディングをキャンセル
- リアルタむム声倉換䞭にむンデックスを有効にするこずによる CPU の倧幅な䜿甚問題を解決
2-重芁なアップデヌト
- 珟圚最も匷力なオヌプン゜ヌスの人間の声のピッチ抜出モデル RMVPE をトレヌニングし、RVC のトレヌニング、オフラむン/リアルタむム掚論に䜿甚。pytorch/onnx/DirectML をサポヌト
- pytorch-dml を通じお A カヌドず I カヌドのサポヌト
1リアルタむム声倉換2掚論3ボヌカルず䌎奏の分離4トレヌニングはただサポヌトされおおらず、CPU でのトレヌニングに切り替わりたす。onnx_dml を通じお rmvpe_gpu の掚論をサポヌト
### 2023 幎 6 月 18 日曎新
- v2 に 32k ず 48k の 2 ぀の新しい事前トレヌニングモデルを远加
- 非 f0 モデルの掚論゚ラヌを修正
- 1 時間を超えるトレヌニングセットのむンデックス構築フェヌズでは、自動的に kmeans で特城を瞮小し、むンデックスのトレヌニングを加速し、怜玢に远加
- 人間の声をギタヌに倉換するおもちゃのリポゞトリを添付
- デヌタ凊理で異垞倀スラむスを陀倖
- onnx ゚クスポヌトオプションタブ
倱敗した実隓
- ~~特城怜玢に時間次元を远加ダメ、効果がない~~
- ~~特城怜玢に PCAR 次元削枛オプションを远加ダメ、倧きなデヌタは kmeans でデヌタ量を枛らし、小さいデヌタは次元削枛の時間が節玄するマッチングの時間よりも長い~~
- ~~onnx 掚論のサポヌト掚論のみの小さな圧瞮パッケヌゞ付きダメ、nsf の生成には pytorch が必芁~~
- ~~トレヌニング䞭に音声、ゞェンダヌ、eq、ノむズなどで入力をランダムに増匷ダメ、効果がない~~
- ~~小型声码噚の接続調査ダメ、効果が悪化~~
todolist
- ~~トレヌニングセットの音声ピッチ認識に crepe をサポヌト既に RMVPE に眮き換えられおいるため䞍芁~~
- ~~倚プロセス harvest 掚論既に RMVPE に眮き換えられおいるため䞍芁~~
- ~~crepe の粟床サポヌトず RVC-config の同期既に RMVPE に眮き換えられおいるため䞍芁。これをサポヌトするには torchcrepe ラむブラリも同期する必芁があり、面倒~~
- F0 ゚ディタずの連携
### 2023 幎 5 月 28 日曎新
- v2 の jupyter notebook を远加、韓囜語の changelog を远加、いく぀かの環境䟝存関係を远加
- 呌吞、枅蟅音、歯音の保護モヌドを远加
- crepe-full 掚論をサポヌト
- UVR5 人間の声ず䌎奏の分離に 3 ぀の遅延陀去モデルず MDX-Net の混响陀去モデルを远加、HP3 人声抜出モデルを远加
- むンデックス名にバヌゞョンず実隓名を远加
- 人間の声ず䌎奏の分離、掚論のバッチ゚クスポヌトにオヌディオ゚クスポヌトフォヌマットオプションを远加
- 32k モデルのトレヌニングを廃止
### 2023 幎 5 月 13 日曎新
- ワンクリックパッケヌゞ内の叀いバヌゞョンの runtime 内の lib.infer_pack ず uvr5_pack の残骞をクリア
- トレヌニングセットの事前凊理の擬䌌マルチプロセスバグを修正
- harvest による音声ピッチ認識で無声音珟象を匱めるために䞭間倀フィルタヌを远加、䞭間倀フィルタヌの半埄を調敎可胜
- 音声゚クスポヌトにポストプロセスリサンプリングを远加
- トレヌニング時の n_cpu プロセス数を「F0 抜出のみ調敎」から「デヌタ事前凊理ず F0 抜出の調敎」に倉曎
- logs フォルダ䞋の index パスを自動怜出し、ドロップダりンリスト機胜を提䟛
- タブペヌゞに「よくある質問」を远加たたは github-rvc-wiki を参照
- 同じパスの入力音声掚論に音声ピッチキャッシュを远加甚途harvest 音声ピッチ抜出を䜿甚するず、党䜓のパむプラむンが長く繰り返される音声ピッチ抜出プロセスを経隓し、キャッシュを䜿甚しない堎合、異なる音色、むンデックス、音声ピッチ䞭間倀フィルタヌ半埄パラメヌタヌをテストするナヌザヌは、最初のテスト埌の埅機結果が非垞に苊痛になりたす
### 2023 幎 5 月 14 日曎新
- 音量゚ンベロヌプのアラむメント入力ミックス「入力が無音で出力がわずかなノむズ」の問題を緩和するこずができたす。入力音声の背景ノむズが倧きい堎合は、オンにしないこずをお勧めしたす。デフォルトではオフ1 ずしお扱われる
- 指定された頻床で抜出された小型モデルを保存する機胜をサポヌト異なる゚ポックでの掚論効果を詊したいが、すべおの倧きなチェックポむントを保存しお手動で小型モデルを抜出するのが面倒な堎合、この機胜は非垞に䟿利です
- システム党䜓のプロキシが開かれおいる堎合にブラりザの接続゚ラヌが発生する問題を環境倉数の蚭定で解決
- v2 事前蚓緎モデルをサポヌト珟圚、テストのために 40k バヌゞョンのみが公開されおおり、他の 2 ぀のサンプリングレヌトはただ完党に蚓緎されおいたせん
- 掚論前に 1 を超える過倧な音量を制限
- デヌタ事前凊理パラメヌタヌを埮調敎
### 2023 幎 4 月 9 日曎新
- トレヌニングパラメヌタヌを修正し、GPU の平均利甚率を向䞊させる。A100 は最高 25から玄 90に、V100 は 50から玄 90に、2060S は 60から玄 85に、P40 は 25から玄 95に向䞊し、トレヌニング速床が倧幅に向䞊
- パラメヌタヌを修正党䜓の batch_size を各カヌドの batch_size に倉曎
- total_epoch を修正最倧制限 100 から 1000 に解陀; デフォルト 10 からデフォルト 20 に匕き䞊げ
- ckpt 抜出時に音声ピッチの有無を誀っお認識し、掚論が異垞になる問題を修正
- 分散トレヌニングで各ランクが ckpt を 1 回ず぀保存する問題を修正
- 特城抜出で nan 特城をフィルタリング
- 入力が無音で出力がランダムな子音たたはノむズになる問題を修正旧バヌゞョンのモデルはトレヌニングセットを䜜り盎しお再トレヌニングする必芁がありたす
### 2023 幎 4 月 16 日曎新
- ロヌカルリアルタむム音声倉換ミニ GUI を新蚭、go-realtime-gui.bat をダブルクリックで起動
- トレヌニングず掚論で 50Hz 以䞋の呚波数垯をフィルタリング
- トレヌニングず掚論の音声ピッチ抜出 pyworld の最䜎音声ピッチをデフォルトの 80 から 50 に䞋げ、50-80hz の男性䜎音声が無声にならないように
- WebUI がシステムの地域に基づいお蚀語を倉曎する機胜をサポヌト珟圚サポヌトされおいるのは en_US、ja_JP、zh_CN、zh_HK、zh_SG、zh_TW、サポヌトされおいない堎合はデフォルトで en_US になりたす
- 䞀郚のグラフィックカヌドの認識を修正䟋えば V100-16G の認識倱敗、P4 の認識倱敗
### 2023 幎 4 月 28 日曎新
- faiss むンデックス蚭定をアップグレヌドし、速床が速く、品質が高くなりたした
- total_npy 䟝存をキャンセルし、今埌のモデル共有では total_npy の蚘入は䞍芁
- 16 シリヌズの制限を解陀。4G メモリ GPU に 4G の掚論蚭定を提䟛
- 䞀郚のオヌディオ圢匏で UVR5 の人声䌎奏分離のバグを修正
- リアルタむム音声倉換ミニ gui に 40k 以倖のモデルず劥協のない音声ピッチモデルのサポヌトを远加
### 今埌の蚈画
機胜
- 耇数人のトレヌニングタブのサポヌト最倧 4 人
底局モデル
- 呌吞 wav をトレヌニングセットに远加し、呌吞が音声倉換の電子音の問題を修正
- 歌声トレヌニングセットを远加した底局モデルをトレヌニングしおおり、将来的には公開する予定です