修正版・元候補・PMLを同一ホストで再計算した保存済み6 summaryの後処理です。旧環境の数値は混在させていません。平均と対応差は録音を等重みとします。
各指標の0、−3、+3半音で、3方式すべて成功した117、117、115録音だけを比較します。差は修正版から比較方式を引いた値です。
| 指標 | 音高変更 半音 | 録音/話者 | 修正版 平均 | 元候補 平均 | PML 平均 | 修正版 − 元候補 対応差[記述的95%区間] | 修正版 − PML 対応差[記述的95%区間] |
|---|---|---|---|---|---|---|---|
| 自動MOS(UTMOSv2) | +0 | 117/40 | 3.545060 | 3.545060 | 3.268662 | -0.000000 [-0.000001, +0.000000] | +0.276398 [+0.168641, +0.387690] |
| 自動MOS(UTMOSv2) | -3 | 117/40 | 3.238350 | 3.243970 | 3.257153 | -0.005620 [-0.016680, +0.005230] | -0.018803 [-0.103346, +0.068777] |
| 自動MOS(UTMOSv2) | +3 | 115/40 | 3.020103 | 3.028775 | 3.152184 | -0.008673 [-0.019367, +0.002110] | -0.132081 [-0.231164, -0.029167] |
| 話者類似度(ECAPA) | +0 | 117/40 | 0.968963 | 0.968963 | 0.948866 | +0.000000 [-0.000000, +0.000000] | +0.020097 [+0.017105, +0.023377] |
| 話者類似度(ECAPA) | -3 | 117/40 | 0.814766 | 0.813995 | 0.844753 | +0.000771 [-0.000080, +0.001688] | -0.029988 [-0.039942, -0.019714] |
| 話者類似度(ECAPA) | +3 | 115/40 | 0.836360 | 0.836460 | 0.884653 | -0.000101 [-0.001123, +0.000977] | -0.048294 [-0.057669, -0.039018] |
各指標・各条件の全120録音による別集計です。上の共通成功集合とは分母が異なり、表をまたいだ数値の混合はしません。
| 指標 | 音高変更 半音 | 録音/話者 | 修正版 平均 | PML 平均 | 修正版 − PML 対応差[記述的95%区間] |
|---|---|---|---|---|---|
| 自動MOS(UTMOSv2) | +0 | 120/40 | 3.547286 | 3.275521 | +0.271766 [+0.164518, +0.376964] |
| 自動MOS(UTMOSv2) | -3 | 120/40 | 3.249014 | 3.262751 | -0.013737 [-0.099117, +0.074625] |
| 自動MOS(UTMOSv2) | +3 | 120/40 | 3.018677 | 3.149101 | -0.130425 [-0.224821, -0.030181] |
| 話者類似度(ECAPA) | +0 | 120/40 | 0.968412 | 0.948628 | +0.019785 [+0.016773, +0.022886] |
| 話者類似度(ECAPA) | -3 | 120/40 | 0.814241 | 0.844848 | -0.030607 [-0.040318, -0.020467] |
| 話者類似度(ECAPA) | +3 | 120/40 | 0.833864 | 0.883994 | -0.050130 [-0.059415, -0.040720] |
測定成功2138行、元の生成失敗22行、追加の測定失敗0行、適用外0行です。元候補の生成失敗は11条件で、2指標にそれぞれ11行として残っています。欠測を0に置換していません。
修正版は全120録音×3条件の360条件で波形が利用可能であり、両指標とも360行すべて測定成功しています。
| 指標 | 方式 | 予定 | 測定成功 | 元の生成失敗 | 測定失敗 | 適用外 |
|---|---|---|---|---|---|---|
| 自動MOS(UTMOSv2) | 修正版 | 360 | 360 | 0 | 0 | 0 |
| 自動MOS(UTMOSv2) | 元候補 | 360 | 349 | 11 | 0 | 0 |
| 自動MOS(UTMOSv2) | PML | 360 | 360 | 0 | 0 | 0 |
| 話者類似度(ECAPA) | 修正版 | 360 | 360 | 0 | 0 | 0 |
| 話者類似度(ECAPA) | 元候補 | 360 | 349 | 11 | 0 | 0 |
| 話者類似度(ECAPA) | PML | 360 | 360 | 0 | 0 | 0 |
各比較の成功録音を話者でまとめ、観測された話者数と同じ数の話者を復元抽出します。選ばれた話者の全録音を、重複抽出された話者はその回数だけ含め、録音平均の対応差を計算します。話者平均を等重みにする計算ではありません。
2000回、seed=20261017、NumPy default_rngを各比較で同じseedに初期化し、話者ID・録音IDを昇順に固定しました。区間はquantileの0.025・0.975(線形補間)です。これは記述的な区間であり、有意性の判定は行いません。表示は小数6桁、保存JSONは丸め前の値です。
自動MOS(UTMOSv2)はモデルの推定値であり、人が聴いて付けたMOSではありません。ECAPAの話者類似度は代理指標で、音高変更そのものにも影響されます。
対象は主指標2種のみであり、全79軸の再測定、codec速度の測定、総合順位、採用判断を示すものではありません。
元summaryは変更していません。入力SHA-256と全case集合、話者対応、集計規約を同梱JSONに記録しています。音声・モデルはこのHTMLに含みません。
| 入力 | SHA-256 |
|---|---|
| 自動MOS(UTMOSv2)/修正版 | 9544e8f444cf42a9cee220d92a6428937d1997030dd3c1fb7e8240f6242d5bff |
| 自動MOS(UTMOSv2)/元候補 | bee6e2d080b47a85f6f566ea160ef074d8132cde8052e89781f2fd712a4b8592 |
| 自動MOS(UTMOSv2)/PML | 61d251a0c4d12eb6c1e2e2bf3585ebb58ddac8cb88132446879c0a245417fd6d |
| 話者類似度(ECAPA)/修正版 | a589526f6260c2ef0a42673f03058879d5a42d7616d98a7a86a5b742af5230d5 |
| 話者類似度(ECAPA)/元候補 | 345845a5726314d1eb59ea2bfcf48da5c0ea214efa1bf4d3a1eb364d39ebf97c |
| 話者類似度(ECAPA)/PML | 07c226d74599674d07e2b3d488a36c0179937dbb0b75140860abce3624085e00 |