F0の一次差分平滑化:3録音の生成・品質個票と比較音声

正式ベースは既存PMLです。新しいD1の9枝はnative生成に成功しました。PMLの3枝は旧バイト再利用で、新たな再合成ではありません。品質v2の51個票を測定済みです。

条件native成功/対象今回の処理音質指標・MOS
既存PML(正式ベース)3/3旧バイト再利用4指標×3録音 測定済み
REAPER入力+D13/3新規解析・保存・復号4指標×3録音 測定済み
局所候補+D13/3新規解析・保存・復号4指標×3録音 測定済み
系列候補+D13/3新規解析・保存・復号4指標×3録音 測定済み

同じ1話者の既観測3録音による開発比較です。独立検証・採用・固定120録音完了ではありません。native成功から真のF0精度や音質改善は推論できません。

3録音の品質個票は一貫した改善を示していない

品質v2は実終了0、96.77281178899989秒、最大RSS 1989444 KiB、51/51値を測定し、52警告を保存しました。L_d1/F_d1は3録音ともPMLよりeSTOI・ECAPAが低く、SCOREQが高い値です。UTMOSは0011だけPMLより高く、残り2録音は低い値です。R_d1の参照3指標は0011だけPMLより有利方向で、UTMOSは0032だけ高い値でした。この既観測3録音の結果から一般性能の優越や否定は主張せず、PMLを維持します。

SCOREQだけ小さい方向、他3指標は大きい方向です。UTMOSは保存native全区間、他3指標は同録音の共通先頭区間を用います。原音はUTMOS参考のみで、他指標は対象外です。保存原音も固定抜粋で、元録音全長とはしません。表示は小数第6位に丸め、原値・状態・区間・計算条件は各値のリンク先に原バイトで保存しています。平均・順位・有意性・採用判断は行いません。

librispeech_1089-134686-0008

16 kHz、開始標本0。UTMOS:96000標本、参照3指標:95840標本。掲載短音声の2秒とは別の区間です。

条件UTMOSv2 ↑eSTOI ↑ECAPA cosine ↑SCOREQ natural ↓
既存PML(正式ベース)3.2559710.9225710.9518730.314203
REAPER入力+D13.1117210.9217050.9495700.331177
局所候補+D12.7632530.8822580.8919570.552683
系列候補+D13.1995650.8792100.8988890.496419
原音(UTMOS参考のみ)4.073603対象外対象外対象外
同録音・同指標の対応差(左−右)

SCOREQは負方向が小さく、他3指標は正方向が大きい値です。総合差と選択器差を区別します。

対応UTMOSv2 ↑eSTOI ↑ECAPA cosine ↑SCOREQ natural ↓
R_d1 − pml-0.144250-0.000866-0.002303+0.016975
L_d1 − R_d1-0.348467-0.039447-0.057613+0.221505
F_d1 − R_d1+0.087844-0.042495-0.050682+0.165242
F_d1 − L_d1+0.436312-0.003048+0.006932-0.056263
F_d1 − pml-0.056406-0.043361-0.052985+0.182217

librispeech_1089-134686-0011

16 kHz、開始標本0。UTMOS:96000標本、参照3指標:95840標本。掲載短音声の2秒とは別の区間です。

条件UTMOSv2 ↑eSTOI ↑ECAPA cosine ↑SCOREQ natural ↓
既存PML(正式ベース)3.2830940.9071610.9255820.335403
REAPER入力+D13.2599780.9080450.9314850.309691
局所候補+D13.4581860.8668630.8900710.627988
系列候補+D13.5445670.8594950.8879530.554709
原音(UTMOS参考のみ)4.290393対象外対象外対象外
同録音・同指標の対応差(左−右)

SCOREQは負方向が小さく、他3指標は正方向が大きい値です。総合差と選択器差を区別します。

対応UTMOSv2 ↑eSTOI ↑ECAPA cosine ↑SCOREQ natural ↓
R_d1 − pml-0.023116+0.000884+0.005903-0.025712
L_d1 − R_d1+0.198208-0.041183-0.041415+0.318297
F_d1 − R_d1+0.284589-0.048551-0.043532+0.245017
F_d1 − L_d1+0.086381-0.007368-0.002118-0.073279
F_d1 − pml+0.261473-0.047666-0.037629+0.219306

librispeech_1089-134686-0032

16 kHz、開始標本0。UTMOS:65440標本、参照3指標:65280標本。掲載短音声の2秒とは別の区間です。

条件UTMOSv2 ↑eSTOI ↑ECAPA cosine ↑SCOREQ natural ↓
既存PML(正式ベース)3.5099800.9241680.9351050.354661
REAPER入力+D13.6870060.9241140.9315820.375703
局所候補+D13.3061680.8993010.8846080.480852
系列候補+D13.1308290.8946130.8918950.490760
原音(UTMOS参考のみ)4.574299対象外対象外対象外
同録音・同指標の対応差(左−右)

SCOREQは負方向が小さく、他3指標は正方向が大きい値です。総合差と選択器差を区別します。

対応UTMOSv2 ↑eSTOI ↑ECAPA cosine ↑SCOREQ natural ↓
R_d1 − pml+0.177025-0.000055-0.003523+0.021042
L_d1 − R_d1-0.380837-0.024813-0.046974+0.105150
F_d1 − R_d1-0.556177-0.029501-0.039687+0.115058
F_d1 − L_d1-0.175340-0.004688+0.007287+0.009908
F_d1 − pml-0.379152-0.029556-0.043210+0.136100

対応差の原値と式 / 品質v2の元実行証拠 / 計算条件と評価器の来歴 / 52警告を含む全イベント / nativeとのメンバー・採点先頭区間SHAの照合。

52警告は依存ライブラリの非推奨APIとCPU環境に関する6種類で、消していません。評価器の保存メタデータを参照しており、ここで重みファイルなどの再取得検証や再推論はしていません。UTMOSは人の評定ではなく、ECAPAは知覚類似性を保証しません。旧標準8方式は評価条件が未一致なので数値を引用しません。

次は保存したraw F0と候補評価値(potential)を使い、低い候補の選択機構を調べる計画です。この掲載では解法やρを結果へ合わせません。REAPERの探索下限65 HzとL/F下限50.78125 Hzは支持範囲が異なり、clamp件数を真F0誤り率や低qの直接選択件数とはみなしません。

同じ先頭2秒で原音と4条件を比べる

各録音の同じ区間を掲載します。短例は掲載専用PCM16コピーで、品質測定入力ではありません。一覧には0008の5条件だけを表示します。

librispeech_1089-134686-0008

原音

既存PML(正式ベース)

REAPER入力+D1

局所候補+D1

系列候補+D1

原入力の記録:入力個票。保存された枝別個票:既存PML(正式ベース) / REAPER入力+D1 / 局所候補+D1 / 系列候補+D1

librispeech_1089-134686-0011

原音

既存PML(正式ベース)

REAPER入力+D1

局所候補+D1

系列候補+D1

原入力の記録:入力個票。保存された枝別個票:既存PML(正式ベース) / REAPER入力+D1 / 局所候補+D1 / 系列候補+D1

librispeech_1089-134686-0032

原音

既存PML(正式ベース)

REAPER入力+D1

局所候補+D1

系列候補+D1

原入力の記録:入力個票。保存された枝別個票:既存PML(正式ベース) / REAPER入力+D1 / 局所候補+D1 / 系列候補+D1

選択器差と後処理差を分けて読む

R_d1−PMLは同じREAPER rawに対する後処理差、L_d1/F_d1−R_d1は同じ後処理での選択器差、F_d1−L_d1は系列選択差です。F_d1−PMLは総合差であり、系列選択だけの効果とはしません。旧L/F-IIRには音声がなく、完全6条件の品質比較ではありません。

品質v1は環境記録のplatform.platform()がsubprocessを呼び、そのタスクの制約で停止したとの親報告です。実終了1、0/51で品質出力はありません。環境記録をos.unameだけへ直した別v2が51/51測定に成功しました。v1失敗は保持し、平均・順位は作っていません。

実行と受領監査の証拠を確認する

実終了0、32.31123198499998秒、最大RSS 257456 KiB。元の実行証拠JSONと元の独立監査JSONを原バイトで保存しました。ソース・スキーマ、保存配列の数式契約、ファイルハッシュの3項目の監査は通過しています。通常float64の保存配列整合であり、独立した高精度解・丸め誤差包含・波形再合成の独立再現・品質認証ではありません。

RTF(実時間比)は受領raw F0以降の部分計時で、REAPER・候補選択などを含みません。旧PML計時は過去値なので速度比較に使いません。元IIRのL/F失敗、旧段階Bと残り117録音の停止は保持します。

掲載結果JSON / 受領容量・SHAと個票の来歴。原結果ZIP、候補コード、モデル、全長波形はGitへ追加していません。

短音声の変換と帰属

LibriSpeech test-clean / OpenSLR 12、Vassil Panayotov(Daniel Povey協力)、LibriVox由来。配布元、CC BY 4.0。録音IDは各欄に記載しました。改変は原音の先頭2秒抜粋、既存PML・D1による変換済み音声の同区間抜粋、および掲載用PCM16量子化です。配布者による本改変の推奨を意味しません。

16 kHz、標本[0,32000)、モノラル。round(x×32767)の最近接・偶数丸めで、丸め後の全標本が[-32768,32767]に収まることを確認してからPCM16 WAVへ書き出しました。クリップ・音量正規化・再合成は行っていません。変換式・区間・元メンバーSHA・出力SHA・範囲確認、短音声JSONを参照してください。

同じ研究グループへ戻る / 設計と現在の到達点