RAW_FULLとPML：120録音の比較結果の読み方
自動MOS・一部のスペクトル指標・話者類似度の平均改善と、有声取りこぼし・認識の平均悪化が併存しています。現baseはPMLを維持し、RAW_FULLへの置換は保留します。
2026年10月19日。対応差はすべてRAW_FULL−PMLです。保存済み集計を説明したもので、新しい指標・閾値・検定を追加していません。
評価の要点
- 自動MOS、native eSTOI・MRSTFT・ERB、ECAPAは平均が改善方向。一方、編集有声取りこぼしは平均+0.154538百分率ポイントで悪化し、既定95%区間も正側です。編集F0 MAEは+0.181570 centで区間は0を跨ぎます。CER/WER増分の方式差も正で、全面的改善ではありません。
- 既定悪化フラグはMOS 22/720、編集F0 2/480、編集取りこぼし28/480。全件が発見5例以外にあります。発見5例で見えた取りこぼし改善は、残り115例では悪化へ反転しました。
- 編集ECAPA改善は−3半音側に偏ります。+3の平均は+0.000387で、240対中121対が悪化方向です。平均MOS改善だけで、知覚的な非劣性や局所的な風音の解消を判断しません。
母数と平均の単位
- 16 kHz・英語の固定120録音・40話者からなる開発集合、1話者3録音。半音0/−3/+3×生成seed 0/20261015。各方式720出力、両方式1440出力。対応差は一貫してRAW_FULL−PML。各録音で予定条件を平均し、その後話者内録音平均→話者等重み。720対を独立した720話者として扱わない。
- MOSは720対、編集軸480対、native軸240対。ASRのみ固定55録音・32話者・330対で、残り65録音×6条件=390対は正解文未準備による予定対象外。ASRの主平均も32話者等重みで、55録音単純平均ではない。
- 報告の7,200行は10指標×720条件対の台帳。測定可能4,020、予定対象外3,180で、適用対象の片側欠測・対応条件不一致は記録されていない。7,200音声という意味ではない。
- MOSは全長。native eSTOI/MRSTFT/ERB/ECAPAは固定共通先頭区間、編集ECAPAは原音全長、native対原音F0は全長、編集F0/取りこぼしは各方式自身のnative全長を参照。異なる時間支持の値を同じ測定としない。
主集計：対応差と保存95%区間
95%は既存の話者bootstrap 2,000回、再標本化seed 20261012、NumPy 2.3.5。指標別の未多重補正区間であり、全指標同時の95%保証ではない。0を跨ぐ区間も、同等性や許容幅内の非劣性を保証しない。ASRおよび層別には元から区間を付けていない。
| 指標・支持 | 話者等重み差 | 保存95%区間 | 測定可能な対 | 悪化方向対 | 既定悪化フラグ |
|---|---|---|---|---|---|
| 自動MOS・全音高 | +0.07676039 予測MOS | [+0.06511338, +0.08782151] | 720 | 195 | 22 |
| 編集F0 MAE | +0.18156970 cent | [-0.09917439, +0.51663095] | 480 | 230 | 2 |
| 編集有声取りこぼし | +0.15453813 百分率ポイント | [+0.03261191, +0.28844573] | 480 | 219 | 28 |
| native対原音F0 | +0.23500109 cent | [-0.01059974, +0.57778481] | 240 | 95 | 未定義 |
| native eSTOI | +0.00076752 指数 | [+0.00033667, +0.00127177] | 240 | 92 | 未定義 |
| native MRSTFT | -0.05697578 dB | [-0.07234710, -0.04361181] | 240 | 29 | 未定義 |
| native ERB40 | -0.00736015 dB | [-0.01550596, -0.00015751] | 240 | 115 | 未定義 |
| ECAPA 無編集 | +0.00435303 コサイン類似度 | [+0.00328265, +0.00549126] | 240 | 48 | 未定義 |
| ECAPA 編集 | +0.00355023 コサイン類似度 | [+0.00256547, +0.00456306] | 480 | 171 | 未定義 |
| CER増分の方式差 | +0.00128590 率の差 | なし（規定） | 330 | 23 | 未定義 |
| WER増分の方式差 | +0.00419128 率の差 | なし（規定） | 330 | 20 | 未定義 |
取りこぼし差だけ率の差差を100倍して百分率ポイントに換算。CER +0.00128590、WER +0.00419128は率の差のまま（表示換算なら各+0.128590、+0.419128百分率ポイント）。原音からの増分同士の方式差で、RAW_FULLの絶対CER/WERではない。55録音単純平均のCER +0.00148599/WER +0.00472702と主平均を混同しない。 悪化フラグの既定条件はMOS差<−0.15、編集F0差>10 cent、取りこぼし差>2百分率ポイント。境界値は厳密不等号。その他の悪化フラグはnull/未定義であり、「害0件」ではない。悪化方向対は差の符号による既存集計で、悪化フラグ件数とも独立録音件数とも異なる。異なる軸の悪化フラグを合計した独自判定は作らない。
音高・生成seed別の偏り
- MOS差：seed 0/+0.084726、20261015/+0.068795。native/+0.072566、−3/+0.072982、+3/+0.084733。どの保存seed×音高層も平均は正だが、各層に悪化フラグが残る。
- 編集F0：seed 0/+0.396178 cent、20261015/−0.033039 cent。とくに+3はseed 0/+0.658152、20261015/−0.219875と符号が異なる。平均の微小差をseed頑健な改善と呼ばない。
- 編集取りこぼし：seed 0/+0.108293、20261015/+0.200783ポイント。−3/+0.163654、+3/+0.145422。4つの音高×seed層すべて平均悪化、各120対中7悪化フラグ。
- 編集ECAPA：−3/+0.00671327、+3/+0.00038718。+3 seed 0は+0.00009119、20261015は+0.00068317。音高を混ぜた+0.00355023だけでは偏りを隠す。
- WER：native −0.00128630 率の差、編集+0.00693008。−3/+0.01103416、+3/+0.00282599で、全音高の微悪化は主に編集側。層別の有意差は判定していない。
発見5例と残り115例
以下は各部分集合内の話者等重み。発見5例は4話者、残り115例は40話者で、話者は重なる。独立した検証集合ではなく、部分集合の平均を5:115で足して主平均には戻せない。区間推定なし。
| 保存軸 | 発見5例 | 残り115例 |
|---|---|---|
| MOS | +0.09682236、悪化フラグ 0/30 | +0.07622194、悪化フラグ 22/690 |
| 編集F0 cent | +0.59597800、悪化フラグ 0/20 | +0.15923617、悪化フラグ 2/460 |
| 編集取りこぼしポイント | −0.34861443、悪化フラグ 0/20 | +0.19427227、悪化フラグ 28/460 |
| native eSTOI | −0.00006526 | +0.00081380 |
| native MRSTFT dB | −0.05308708 | −0.05695852 |
| 編集ECAPA | +0.00551986 | +0.00350906 |
| CER/WER 率の差 | CER 0、WER 0（ASR対象2録音2話者、12対） | +0.00137162/+0.00447070（53録音30話者、318対） |
保存された最大悪化の条件
新しい悪化ランキングは作成していない。各主集計が既に保存した最大悪化の条件をそのまま抜き出した。録音IDのlibrispeech_を省略。
| 軸 | 録音 / 半音 / seed | 差（主集計と同単位） |
|---|---|---|
| 自動MOS・全音高 | 61-70968-0042 / +3 / 0 | -0.50930452 |
| 編集F0 MAE | 908-31957-0016 / +3 / 0 | +57.65530148 |
| 編集有声取りこぼし | 6829-68769-0038 / +3 / 20261015 | +6.95804196 |
| native対原音F0 | 908-31957-0016 / +0 / 20261015 | +34.76517385 |
| native eSTOI | 2094-142345-0040 / +0 / 20261015 | -0.00409210 |
| native MRSTFT | 8455-210777-0010 / +0 / 0 | +0.02168660 |
| native ERB40 | 61-70968-0043 / +0 / 0 | +0.05270612 |
| ECAPA 無編集 | 6829-68769-0038 / +0 / 20261015 | -0.01022893 |
| ECAPA 編集 | 8555-284449-0020 / +3 / 20261015 | -0.01716125 |
| CER増分の方式差 | 5142-33396-0030 / +3 / 0 | +0.10256410 |
| WER増分の方式差 | 1188-133604-0031 / -3 / 0 | +0.20000000 |
- MOS最大悪化の条件はPML 3.446552→RAW_FULL 2.937247。編集F0最大悪化の条件は385.377730→443.033032 centで、差だけでなく双方の絶対誤差も大きい。
- 取りこぼし最大悪化の条件はPML 3/52→RAW_FULL 7/55。参照は各方式自身のnative推定で分母が違う。編集F0最大悪化の条件もboth-voicedはPML35/RAW36、expected-voicedは48/46。共通正解有声mask上の同一frame誤差と解釈しない。公開スカラーデータにF0 mask自体はない。
- CER最大悪化の条件は正解39文字でPML誤り1→RAW誤り5（原音誤り1）。WER最大悪化の条件は正解10語で0→2（原音0）。全体平均が小さくても、局所の認識差がないとは言えない。
計測処理込みのRTFと未測定の速度
RTFは処理時間を音声時間で割った値です。保存されたinstrumented RTFは、計測処理込みの実行範囲に対応します。純粋な解析器・復号器の速度とは区別します。
- 追加A/L解析は別計時です。instrumented decodeはpayload読込後の編集・補間・合成に加え、callback、D1/a観測、hash計算、終了処理などを含みます。PML側とRAW_FULL側はいずれも保存A/Lの読込・補間経路を使います。
- 純decode RTF、純粋なPML解析時間、総encoder RTFは未測定です。特徴保存時間も特徴以外のmetadata作成・保存などを含みます。
- この説明ページでは新しい時間集計や速度順位を作らず、過去の実行時間で欠測を補いません。品質平均の改善を、計算効率や圧縮効率の改善と同一視しません。
言える範囲と未達成の項目
- 今回の評価範囲は16 kHzの英語120録音の開発集合です。計画全79軸の達成確認、48 kHzでの成立確認、ABX評価、任意の絶対Hzを指定する音高制御の達成を示すものではありません。音高条件は無編集と±3半音です。
- 固定集合・固定推定器では複数の平均品質軸に改善があります。同時に編集取りこぼしの平均悪化と既定悪化フラグも残ります。予測器の差の知覚的な大きさ、許容できる劣化幅、ヒトによる声質同一性や自然さの判断、未見話者・別言語への一般化は確定していません。
- 同じ録音・生成seed・条件を対応付けても、編集F0の参照支持が方式依存という限界は残ります。2個のseedでの層別結果を、一般的な乱数への頑健性の保証にはしません。
- 品質対応差の元データは、信号の変化・容量・速度・過去方式の順位をまとめた総合点ではありません。局所/b/の風音・ポップが解消したこと、全帯域での無害性、過去のaHM等に対する優位を、この品質表だけから主張しません。