境界保持修正版:同一ホストでの主指標2種の記述統計

修正版・元候補・PMLを同一ホストで再計算した保存済み6 summaryの後処理です。旧環境の数値は混在させていません。平均と対応差は録音を等重みとします。

3方式の共通成功集合

各指標の0、−3、+3半音で、3方式すべて成功した117、117、115録音だけを比較します。差は修正版から比較方式を引いた値です。

指標音高変更
半音
録音/話者修正版
平均
元候補
平均
PML
平均
修正版 − 元候補
対応差[記述的95%区間]
修正版 − PML
対応差[記述的95%区間]
自動MOS(UTMOSv2)+0117/403.5450603.5450603.268662-0.000000
[-0.000001, +0.000000]
+0.276398
[+0.168641, +0.387690]
自動MOS(UTMOSv2)-3117/403.2383503.2439703.257153-0.005620
[-0.016680, +0.005230]
-0.018803
[-0.103346, +0.068777]
自動MOS(UTMOSv2)+3115/403.0201033.0287753.152184-0.008673
[-0.019367, +0.002110]
-0.132081
[-0.231164, -0.029167]
話者類似度(ECAPA)+0117/400.9689630.9689630.948866+0.000000
[-0.000000, +0.000000]
+0.020097
[+0.017105, +0.023377]
話者類似度(ECAPA)-3117/400.8147660.8139950.844753+0.000771
[-0.000080, +0.001688]
-0.029988
[-0.039942, -0.019714]
話者類似度(ECAPA)+3115/400.8363600.8364600.884653-0.000101
[-0.001123, +0.000977]
-0.048294
[-0.057669, -0.039018]

修正版とPML:全120録音の比較

各指標・各条件の全120録音による別集計です。上の共通成功集合とは分母が異なり、表をまたいだ数値の混合はしません。

指標音高変更
半音
録音/話者修正版
平均
PML
平均
修正版 − PML
対応差[記述的95%区間]
自動MOS(UTMOSv2)+0120/403.5472863.275521+0.271766
[+0.164518, +0.376964]
自動MOS(UTMOSv2)-3120/403.2490143.262751-0.013737
[-0.099117, +0.074625]
自動MOS(UTMOSv2)+3120/403.0186773.149101-0.130425
[-0.224821, -0.030181]
話者類似度(ECAPA)+0120/400.9684120.948628+0.019785
[+0.016773, +0.022886]
話者類似度(ECAPA)-3120/400.8142410.844848-0.030607
[-0.040318, -0.020467]
話者類似度(ECAPA)+3120/400.8338640.883994-0.050130
[-0.059415, -0.040720]

全2160行の状態

測定成功2138行、元の生成失敗22行、追加の測定失敗0行、適用外0行です。元候補の生成失敗は11条件で、2指標にそれぞれ11行として残っています。欠測を0に置換していません。

修正版は全120録音×3条件の360条件で波形が利用可能であり、両指標とも360行すべて測定成功しています。

指標方式予定測定成功元の生成失敗測定失敗適用外
自動MOS(UTMOSv2)修正版360360000
自動MOS(UTMOSv2)元候補3603491100
自動MOS(UTMOSv2)PML360360000
話者類似度(ECAPA)修正版360360000
話者類似度(ECAPA)元候補3603491100
話者類似度(ECAPA)PML360360000

区間の計算方法

各比較の成功録音を話者でまとめ、観測された話者数と同じ数の話者を復元抽出します。選ばれた話者の全録音を、重複抽出された話者はその回数だけ含め、録音平均の対応差を計算します。話者平均を等重みにする計算ではありません。

2000回、seed=20261017、NumPy default_rngを各比較で同じseedに初期化し、話者ID・録音IDを昇順に固定しました。区間はquantileの0.025・0.975(線形補間)です。これは記述的な区間であり、有意性の判定は行いません。表示は小数6桁、保存JSONは丸め前の値です。

解釈の範囲

自動MOS(UTMOSv2)はモデルの推定値であり、人が聴いて付けたMOSではありません。ECAPAの話者類似度は代理指標で、音高変更そのものにも影響されます。

対象は主指標2種のみであり、全79軸の再測定、codec速度の測定、総合順位、採用判断を示すものではありません。

入力の識別

元summaryは変更していません。入力SHA-256と全case集合、話者対応、集計規約を同梱JSONに記録しています。音声・モデルはこのHTMLに含みません。

入力SHA-256
自動MOS(UTMOSv2)/修正版9544e8f444cf42a9cee220d92a6428937d1997030dd3c1fb7e8240f6242d5bff
自動MOS(UTMOSv2)/元候補bee6e2d080b47a85f6f566ea160ef074d8132cde8052e89781f2fd712a4b8592
自動MOS(UTMOSv2)/PML61d251a0c4d12eb6c1e2e2bf3585ebb58ddac8cb88132446879c0a245417fd6d
話者類似度(ECAPA)/修正版a589526f6260c2ef0a42673f03058879d5a42d7616d98a7a86a5b742af5230d5
話者類似度(ECAPA)/元候補345845a5726314d1eb59ea2bfcf48da5c0ea214efa1bf4d3a1eb364d39ebf97c
話者類似度(ECAPA)/PML07c226d74599674d07e2b3d488a36c0179937dbb0b75140860abce3624085e00