雑音の時間形状と乱数を変える5案

固定120録音・40話者、16 kHz。48 kHzの品質は未評価。実験時のHNM v2と5候補、既存比較対象WORLD(Harvest)。

測定状態:HNM v2と5候補は測定完了。

各値は固定120録音の発話平均(欠測時だけ有効件数を併記)。音響指標は発話内8 seedを先に平均、MOS・eSTOIはseed 0。音量誤差は各seedの絶対値を平均した。原音はMOSだけを掲載し、未測定項目をゼロとしない。MOSは人間評定による独立校正前の探索的予測。

方式予測MOS ↑eSTOI ↑スペクトル誤差 dB ↓帯域誤差 dB ↓10 ms包絡誤差 ↓音量絶対誤差 dB ↓
原音3.84918—————
実験時のHNM v22.568420.867165.634070.228360.085130.09636
A:元パワーで重ね合わせ2.564110.867935.574570.232800.086230.09778
B:長い合成窓2.450940.849035.937970.238270.084220.09310
C:短い合成窓2.547350.869615.521640.238510.086310.09863
HNM v3(D:FFT端点の重み)2.576760.866585.648840.225040.084910.09538
E:振幅乱数を固定2.561270.867425.618620.225360.084400.09298
WORLD(Harvest)3.045390.905055.825460.791890.200311.00309

判断:DをHNM v3として開発ベースに採用。帯域・平均包絡・音量誤差と予測MOSの小幅改善を優先し、eSTOIとスペクトル誤差の小さな系統的悪化を許容した。知覚品質の優越は未確証。 採用判断と代償

実験時のv2との差

候補−実験時ベース。MOS・eSTOIは正、誤差は負が改善。

方式予測MOS ↑eSTOI ↑スペクトル誤差 dB ↓帯域誤差 dB ↓10 ms包絡誤差 ↓音量絶対誤差 dB ↓
A:元パワーで重ね合わせ-0.00431+0.00077-0.05950+0.00444+0.00111+0.00142
B:長い合成窓-0.11748-0.01813+0.30390+0.00990-0.00090-0.00326
C:短い合成窓-0.02106+0.00245-0.11242+0.01015+0.00119+0.00227
HNM v3(D:FFT端点の重み)+0.00834-0.00058+0.01478-0.00332-0.00022-0.00098
E:振幅乱数を固定-0.00714+0.00026-0.01545-0.00300-0.00072-0.00338
WORLD(Harvest)+0.47698+0.03788+0.19140+0.56353+0.11518+0.90673

同じ英語2録音の固定先頭2秒

固定manifestで事前選定した2録音。位置合わせ・音量正規化・クリッピング・リサンプリングなしのfloat32 WAV。全録音の品質を2例だけで判断しない。日本語音声は公開しない。

librispeech_1089-134686-0008

原音
実験時のHNM v2
A:元パワーで重ね合わせ
B:長い合成窓
C:短い合成窓
HNM v3(D:FFT端点の重み)
E:振幅乱数を固定
WORLD(Harvest)

librispeech_1188-133604-0003

原音
実験時のHNM v2
A:元パワーで重ね合わせ
B:長い合成窓
C:短い合成窓
HNM v3(D:FFT端点の重み)
E:振幅乱数を固定
WORLD(Harvest)

採用前の確認と残る制限

人工PSD・編集192出力、自然音声の操作60出力で有限性・長さ・パラメータ関係を確認。英語2録音と日本語ささやき4録音で、通常decodeと測定D波形の最大差は0、保存・読込は互換。これらは正式120録音の品質平均に混ぜない。

時間0.5倍ではF0推定の測定可能率が低く、1条件でD約77 Hz/v2約154 Hzというオクターブ判定差が出た。合成した調波波形は同じで、真の音高差とは断定できないが、推定器の診断値まで不変とは保証しない。eSTOIは119/120録音で低下し、スペクトル誤差も103/120で増加している。

測定の由来と実行条件

英語MOSはCPUスレッド数を予定1から4へ変更し、途中から2処理を並列実行。モデル・重み・音声seed・抽出seed・反復数は維持した。WORLDと日本語補助はCPU1スレッドの別実行で、CPU実行条件まで同一とは扱わない。有効MOS条件と変更記録を参照。

原音+実験時ベース+5候補の予測MOSは840/840値が有効。内訳は新規Windows評価626値、同一入力の過去Linux評価から引用214値。引用は原音・実験時ベースのみで、A〜Eは新規評価。入力float32 SHA・評価器の全由来・MOS実装SHA・元値を照合した。引用値を新規再測定と数えず、プラットフォーム差も残す。引用監査を参照。WORLDの120 MOSは別実行として数える。

MOSの新規評価・引用・未完了件数
方式新規Windows評価過去Linux引用未完了失敗・評価不能
原音1210800
実験時のHNM v21410600
A:元パワーで重ね合わせ120000
B:長い合成窓120000
C:短い合成窓120000
HNM v3(D:FFT端点の重み)120000
E:振幅乱数を固定120000
MOSの実行履歴・スレッド観察・引用監査

WORLD初回は120録音の処理が失敗した。DLL公開関数不足という共通原因1件が120録音へ波及。120独立不具合ではない。DEFによる関数公開を修正した別実行が今回の比較対象。初回失敗を成功測定へ混ぜず、失敗と修復の由来・DLL・DEF・固定ソースのbuild記録を保存した。

振幅上限の診断

振幅1以上の閾値超過。聴感上の音割れを直接数えた値ではない。seed出力数と録音数を区別する。

超過標本数・率・秒数は全seed出力の合計。超過秒数は複数出力の総和で、独立した録音時間ではない。欠測値は補完しない。

方式超過出力/有効出力超過録音/120最大振幅超過標本数超過標本率超過秒数有効/予定出力
実験時のHNM v211/9603/1201.291572152.727e-060.01344960/960
A:元パワーで重ね合わせ10/9603/1201.362432403.044e-060.01500960/960
B:長い合成窓14/9605/1201.343112723.450e-060.01700960/960
C:短い合成窓12/9604/1201.555102953.742e-060.01844960/960
HNM v3(D:FFT端点の重み)10/9603/1201.333622222.816e-060.01388960/960
E:振幅乱数を固定9/9603/1201.938011561.979e-060.00975960/960
WORLD(Harvest)8/1208/1201.374591151.167e-050.00719120/120

対応する話者を単位にした不確かさ

各発話のseed平均から候補−v2を計算し、3発話が揃った話者を等重みで平均。40話者を再抽出する2000回の百分位bootstrap(seed 20261012)。区間は探索的95%区間で、多候補・多指標の検定補正をしていない。seedを独立話者と数えない。欠測があれば完全な3発話が揃う話者だけを区間へ使う。

候補指標差の話者平均探索的95%区間改善発話/対応発話完全話者/40
A:元パワーで重ね合わせ予測MOS ↑-0.00431[-0.02745, +0.01917]62/12040/40
A:元パワーで重ね合わせeSTOI ↑+0.00077[+0.00029, +0.00125]74/12040/40
A:元パワーで重ね合わせスペクトル誤差 dB ↓-0.05950[-0.06686, -0.05230]118/12040/40
A:元パワーで重ね合わせ帯域誤差 dB ↓+0.00444[-0.00215, +0.01058]42/12040/40
A:元パワーで重ね合わせ10 ms包絡誤差 ↓+0.00111[+0.00075, +0.00160]17/12040/40
A:元パワーで重ね合わせ音量絶対誤差 dB ↓+0.00142[-0.00030, +0.00419]60/12040/40
B:長い合成窓予測MOS ↑-0.11748[-0.16817, -0.06379]36/12040/40
B:長い合成窓eSTOI ↑-0.01813[-0.01989, -0.01642]1/12040/40
B:長い合成窓スペクトル誤差 dB ↓+0.30390[+0.28536, +0.32328]0/12040/40
B:長い合成窓帯域誤差 dB ↓+0.00990[+0.00097, +0.01987]56/12040/40
B:長い合成窓10 ms包絡誤差 ↓-0.00090[-0.00153, -0.00027]81/12040/40
B:長い合成窓音量絶対誤差 dB ↓-0.00326[-0.00798, +0.00147]73/12040/40
C:短い合成窓予測MOS ↑-0.02106[-0.07291, +0.03339]58/12040/40
C:短い合成窓eSTOI ↑+0.00245[+0.00135, +0.00348]82/12040/40
C:短い合成窓スペクトル誤差 dB ↓-0.11242[-0.11973, -0.10557]120/12040/40
C:短い合成窓帯域誤差 dB ↓+0.01015[+0.00444, +0.01573]39/12040/40
C:短い合成窓10 ms包絡誤差 ↓+0.00119[+0.00035, +0.00204]47/12040/40
C:短い合成窓音量絶対誤差 dB ↓+0.00227[-0.00559, +0.00953]55/12040/40
HNM v3(D:FFT端点の重み)予測MOS ↑+0.00834[+0.00118, +0.01561]69/12040/40
HNM v3(D:FFT端点の重み)eSTOI ↑-0.00058[-0.00081, -0.00039]1/12040/40
HNM v3(D:FFT端点の重み)スペクトル誤差 dB ↓+0.01478[+0.01097, +0.01869]17/12040/40
HNM v3(D:FFT端点の重み)帯域誤差 dB ↓-0.00332[-0.00459, -0.00204]102/12040/40
HNM v3(D:FFT端点の重み)10 ms包絡誤差 ↓-0.00022[-0.00044, -0.00006]48/12040/40
HNM v3(D:FFT端点の重み)音量絶対誤差 dB ↓-0.00098[-0.00240, -0.00014]73/12040/40
E:振幅乱数を固定予測MOS ↑-0.00714[-0.06256, +0.04821]58/12040/40
E:振幅乱数を固定eSTOI ↑+0.00026[-0.00094, +0.00148]65/12040/40
E:振幅乱数を固定スペクトル誤差 dB ↓-0.01545[-0.01670, -0.01429]120/12040/40
E:振幅乱数を固定帯域誤差 dB ↓-0.00300[-0.00879, +0.00250]69/12040/40
E:振幅乱数を固定10 ms包絡誤差 ↓-0.00072[-0.00157, +0.00008]68/12040/40
E:振幅乱数を固定音量絶対誤差 dB ↓-0.00338[-0.01196, +0.00404]66/12040/40

記録と適用範囲

学習モデルを使わない合成器の改善候補を比較する研究。予測MOS評価器は学習モデル。正式な採否は多指標・制御性・失敗例・条件を併読して別に判断し、この表示から自動決定しない。

全結果JSON · 集計JSON · 測定条件 · 集計・参照元SHA · 日本語12録音の5候補比較 · ささやきのseed診断 · 制御性の確認 · 調査 · 事前の比較条件