Apronの4条件:UTMOSとECAPAの変化は同じ録音でどう重なるか

公開済みの品質個票を事後集計した。無編集のCP−PPでは、UTMOS上昇・ECAPA低下が45/120録音、21/40話者で起きた。同じ組でも両方上昇は38録音、10話者あった。平均の符号だけでは、この組合せは見えない。現ベースApron(PP)は維持する。

PPなどの2文字は、主調波と雑音包絡に用いる解析方法を順に示す。PはHMPP、CはHMCZTで、PPが現ベースApronに相当する。解析方法と4条件の元の結果は元レポートを参照。

下の9組は、PPに対するPC・CP・CCの差を、同じ0・−3・+3半音の録音で数えたもの。行がUTMOS、列がECAPAで、+は保存指標値の増加、−は減少を表す。0は厳密な同値だけ。数値の符号は有意差や人が聞き分ける境界を示さない。

同じ録音の二軸差:9対比の3×3区分
PPとの差録音の件数話者内3録音の平均差の件数録音の分母と同値話者の分母と同値
PC-PP・0半音
UTMOS\ECAPA-0+
-23033
0000
+32032
UTMOS\ECAPA-0+
-7012
0000
+6015
120/120、欠測0、同値UTMOS 0・ECAPA 040/40、不完全0、同値UTMOS 0・ECAPA 0
CP-PP・0半音
UTMOS\ECAPA-0+
-23014
0000
+45038
UTMOS\ECAPA-0+
-306
0000
+21010
120/120、欠測0、同値UTMOS 0・ECAPA 040/40、不完全0、同値UTMOS 0・ECAPA 0
CC-PP・0半音
UTMOS\ECAPA-0+
-19016
0000
+50035
UTMOS\ECAPA-0+
-505
0000
+17013
120/120、欠測0、同値UTMOS 0・ECAPA 040/40、不完全0、同値UTMOS 0・ECAPA 0
PC-PP・-3半音
UTMOS\ECAPA-0+
-38023
0000
+26033
UTMOS\ECAPA-0+
-909
0000
+10012
120/120、欠測0、同値UTMOS 0・ECAPA 040/40、不完全0、同値UTMOS 0・ECAPA 0
CP-PP・-3半音
UTMOS\ECAPA-0+
-10033
0000
+24053
UTMOS\ECAPA-0+
-308
0000
+5024
120/120、欠測0、同値UTMOS 0・ECAPA 040/40、不完全0、同値UTMOS 0・ECAPA 0
CC-PP・-3半音
UTMOS\ECAPA-0+
-13037
0000
+20050
UTMOS\ECAPA-0+
-106
0000
+6027
120/120、欠測0、同値UTMOS 0・ECAPA 040/40、不完全0、同値UTMOS 0・ECAPA 0
PC-PP・+3半音
UTMOS\ECAPA-0+
-31027
0000
+37025
UTMOS\ECAPA-0+
-1505
0000
+9011
120/120、欠測0、同値UTMOS 0・ECAPA 040/40、不完全0、同値UTMOS 0・ECAPA 0
CP-PP・+3半音
UTMOS\ECAPA-0+
-15024
0000
+34047
UTMOS\ECAPA-0+
-207
0000
+12019
120/120、欠測0、同値UTMOS 0・ECAPA 040/40、不完全0、同値UTMOS 0・ECAPA 0
CC-PP・+3半音
UTMOS\ECAPA-0+
-16021
0000
+34049
UTMOS\ECAPA-0+
-005
0000
+17018
120/120、欠測0、同値UTMOS 0・ECAPA 040/40、不完全0、同値UTMOS 0・ECAPA 0

元レポートの無編集平均はCP−PPでUTMOS +0.094422428、ECAPA −0.001102296、CC−PPで順に+0.088186008、−0.001171238。ここでは平均を新しい判定へ置き換えず、録音内で正負が重なる内訳を記した。

9組の120録音について、UTMOSとECAPAの正負の組合せを積み上げた図。同値は0件。
棒は録音件数。全て同じ固定120録音を使った。話者の件数は上表を参照。

同じ入力の短い音声は元レポートを参照

以下は元の4条件レポートにある、固定録音0008のPP・PC・CP・CC、0半音の既公開4例を直接参照する。今回の符号分布から録音を選んでいない。今回、音声の生成・コピーや試聴評価は行っていない。−3・+3半音と録音0003、出典・変換内容は元レポートを参照。

PP・0半音
PC・0半音
CP・0半音
CC・0半音

同じ録音と話者を固定して数えた

対象はLibriSpeechの40話者・120録音。PC、CP、CCそれぞれからPPを引き、同じ音高のUTMOSv2全長とECAPA全長を組にした。UTMOSは native_full_length、ECAPAの0半音は unedited_full_length、±3半音は edited_full_length。ECAPAの先頭固定区間、SCOREQ、eSTOIは今回の二軸に含めない。

公開JSONの保存数値を60桁精度のDecimalとして読み、各差の表示丸め前の符号を数えた。話者は保存metadataを使い、各話者の3録音すべてが揃ったときだけ平均差を主表へ入れた。今回は4320個票を確認し、対象キー・録音・話者の欠測は0件。9区分の合計は各組で録音120、話者40と一致した。

元のUTMOS・ECAPAの24平均は、元レポートの28桁精度で再計算すると24件すべて数値一致した。60桁で比較した残差は19件が非ゼロで、最大絶対値は3.3333333333333333333333333333333×10−28。元値の丸めによる差を隠さず、各値は集計JSONに残した。

この件数から採用や知覚品質は決めない

これは二つの予測指標が同じ録音でどう変わったかの記述であり、真の音質・話者同一性や人の評定の勝敗ではない。平均、録音件数、話者件数は異なる要約で、重みを替えた採用判断には使わない。主調波の切替は残差や雑音解析にも伝わるため、独立した物理要因の因果効果とも読めない。

元の結果を見た後に計画した補助集計で、新たな盲検・独立データ・再測定・48 kHz評価ではない。次の入力や試聴例へ「改善した録音」だけを持ち込まず、固定120録音を保つ。事前に固定した集計計画、来歴、録音・話者ごとの数値と元keyを公開する。