実験一覧

声道振幅の変化を調波振幅とRdに分ける

声源形状のパラメーターRdを固定しても、入力変化による声道振幅の変化は残りました。主帯域では、調波振幅だけを変えた差の95%点の話者平均は、Rdだけを変えた差より大きくなりました。Rdの選び方だけを直せば影響がなくなる、とは言えません。Apronを維持します。

比較するのは、Apronが使う主調波解析HMPPと比較経路HMCZTです。両方へ同じ固定F0を渡した部品診断であり、通常のApron全体やLLSM2 Layer0の音質比較ではありません。復号は0回なので、新しい試聴音声はありません。

Rdを固定した場合にも、調波振幅の変化が残る

表は100〜8000 Hzでの声道振幅の変化を示します。各録音・正負の入力変化で求めた絶対値の95%点を、話者内6対、40話者の順に平均しました。単位はdBです。「1位」はこの変動量が小さい方を示し、音質の順位ではありません。

入力変化の大きさ比較する差HMPP
Apronの主調波経路
HMCZT
比較経路
HMCZT − HMPP
1%Rdを固定し、調波振幅だけを変更1位11.72212位12.7004+0.97825
1%調波振幅を固定し、Rdだけを変更1位6.59322位6.6492+0.0560014
1%二つの変更の交互作用1位0.03831922位0.0514668+0.0131476
0.1%Rdを固定し、調波振幅だけを変更1位1.949742位2.37639+0.426652
0.1%調波振幅を固定し、Rdだけを変更1位0.5101172位0.518654+0.00853693
0.1%二つの変更の交互作用1位0.002852852位0.00368467+0.000831822
0.01%Rdを固定し、調波振幅だけを変更1位0.197922位0.268131+0.0702112
0.01%調波振幅を固定し、Rdだけを変更2位0.02256951位0.0181348-0.00443472
0.01%二つの変更の交互作用1位0.0002676122位0.000294318+2.67061e-05

入力変化0.1%では、Rd固定の差がHMPP 1.950 dB・HMCZT 2.376 dB、Rdだけを変えた差が0.5101 dB・0.5187 dBでした。交互作用は0.00285 dB・0.00368 dBです。これらはそれぞれの差の95%点で、足して全体の95%点にはできません。

検証できた範囲
3担当の修正版JSONを取得し、1440比較・720方式対・40話者のキー、保存指標の引算、話者集計を独立に照合しました。元の4セル配列やビルド証跡の原本は未回収です。フレームの95%点やnative処理を独立に再計算したとは言いません。

Rd固定の95%点は、帯域によって方式の大小が逆になる

DCとNyquistを含む全1025点では、Rd固定の95%点の話者平均はHMCZTの方が小さくなりました。入力変化0.1%でHMPP 34.680 dB、HMCZT 28.242 dBです。主帯域の1.950 dB・2.376 dBとは順番が逆であり、帯域を混ぜた総合順位は作りません。

主帯域の符号付き平均では、調波振幅側の差は正、Rd側の差は負となる傾向がありました。入力変化0.1%のHMPPでは、Rd固定の平均が+0.1463 dB、調波振幅変更後のRd差が−0.07949 dBです。保存表現では一部を打ち消す向きに働いていますが、声道の真値へ近づいたという意味ではありません。

4つの組合せで、どこを固定したかを分けた

観測した調波振幅をH、補間・平滑化後の声源形状パラメーターをRdとします。基準入力を0、微小変更した入力を1とし、声道振幅Eを4通り作りました。E10とE01は研究用の混合状態で、通常のエンコーダーが出力した状態ではありません。

基準のRd(R0)変更後のRd(R1)
基準の調波振幅H0E00E01
変更後の調波振幅H1E10E11

Rdを固定しても、観測調波の基音の大きさや包絡化の影響は残ります。基音gainの再調整はしていません。費用の小さいRdを選ぶ処理はありますが、その費用を校正された確率とは扱いません。

入力変化が小さくなるほど、Rdの候補番号が変わる割合も下がった

有声フレームにおける最小費用候補の番号の変化率を、同じ6対・40話者の順に平均しました。候補番号が変わらなくても、放物補間や時間方向の補間・平滑化後のRdは変わり得ます。

入力変化HMPPHMCZT
1%31.6163%31.4800%
0.1%4.8066%4.8120%
0.01%0.4666%0.3800%

集計の厳密一致条件を修正し、元の差は消さずに残した

最初の集計では1440比較中1286比較が無効になりました。原因を調べたところ、補間前後のRdへ厳密な数値一致を要求していました。しかし固定sourceは既知の位置でも補間演算を行うため、同じ数値になるとは限りません。sourceが異なる2段階を単純コピーとみなした判定を修正しました。

修正版では許容差を広げて合格にしたのではなく、差の個数と大きさを別の観測項目として記録します。元の配列・測定・旧集計は変更していません。ファイルと配列のhash、形状、固定F0、候補grid、5差分の演算、共通有限フレーム、完全話者の条件は維持しています。

基準解析の重複を除いた1680解析では、1035818の有効な「解析×フレーム」対のうち26064対で補間前後のRdが厳密には異なりました。最大絶対差は6.4373×10⁻⁵です。先に調べた少数例の約1.5×10⁻⁸〜6.0×10⁻⁸だけで全件を説明せず、差の原因は未確定として残します。この実験のRは補間・平滑化後の実保存値であり、その処理も含めて比較しています。

固定120録音で、同じフレームと周波数点を比較した

英語40話者・各3録音、計120録音を使いました。固定した16 kHzの区間を24 kHzへ変換し、HMPPの参照解析で得たF0を全条件へ共通に渡します。その後の再解析ではF0再推定を止めました。録音ごとに同じ平均0・RMS 1の乱数列を用い、原音RMSの1%・0.1%・0.01%を正負に加えています。正負やフレームを独立した録音数には数えません。

参照120解析と固定F0の1680解析、計1800解析は全3担当から完了報告がありました。修正版の1440比較と720方式対は全件集計可能です。方式内の差は4セルが有限な同じフレーム、方式差は両方式8セルが有限な同じフレームを使います。主帯域は100〜8000 Hzの674点、補助帯域は全1025点です。

各話者に3録音×正負の6対が揃う場合だけ話者平均へ入れました。全120集計区分で40話者・240対が揃っています。信頼区間、有意差、品質の採用閾値、MOSはこの診断では求めていません。source-lockの「未ビルド・未実行」は計測前に固定したsource作成時点のラベルで、現在の完了報告とは分けています。

全統計と、次に分けて調べる対象

以下も各録音・符号で求めた統計量の話者平均です。中央値や95%点を全フレームからまとめ直した値ではありません。HMCZT−HMPPは統計量同士の差であり、フレームごとの方式差の95%点ではありません。

主帯域100〜8000 Hz:符号付き平均(dB)の話者平均
入力変化の大きさ比較する差HMPP
Apronの主調波経路
HMCZT
比較経路
HMCZT − HMPP
1%Rdを固定し、調波振幅だけを変更2.073182.08831+0.0151299
1%調波振幅を固定し、Rdだけを変更-1.33414-1.32226+0.0118822
1%調波振幅を変更した後のRd差-1.33425-1.32237+0.0118735
1%Rdを変更した後の調波振幅差2.073082.0882+0.0151212
1%二つの変更の交互作用-0.000100989-0.000109708-8.71837e-06
0.1%Rdを固定し、調波振幅だけを変更0.1463060.150935+0.00462828
0.1%調波振幅を固定し、Rdだけを変更-0.0794849-0.0809413-0.0014564
0.1%調波振幅を変更した後のRd差-0.0794901-0.0809539-0.00146375
0.1%Rdを変更した後の調波振幅差0.1463010.150922+0.00462092
0.1%二つの変更の交互作用-5.21505e-06-1.25697e-05-7.35462e-06
0.01%Rdを固定し、調波振幅だけを変更0.004536840.0039107-0.00062614
0.01%調波振幅を固定し、Rdだけを変更-0.00135056-0.00147349-0.000122939
0.01%調波振幅を変更した後のRd差-0.00135142-0.00147353-0.000122112
0.01%Rdを変更した後の調波振幅差0.004535980.00391067-0.000625313
0.01%二つの変更の交互作用-8.59706e-07-3.25056e-08+8.272e-07
主帯域100〜8000 Hz:符号付き中央値(dB)の話者平均
入力変化の大きさ比較する差HMPP
Apronの主調波経路
HMCZT
比較経路
HMCZT − HMPP
1%Rdを固定し、調波振幅だけを変更0.2542740.222054-0.0322194
1%調波振幅を固定し、Rdだけを変更-0.291296-0.267173+0.0241234
1%調波振幅を変更した後のRd差-0.29132-0.267183+0.0241376
1%Rdを変更した後の調波振幅差0.2542180.221966-0.032252
1%二つの変更の交互作用-1.14747e-07-1.15197e-07-4.50139e-10
0.1%Rdを固定し、調波振幅だけを変更0.006780880.00545636-0.00132452
0.1%調波振幅を固定し、Rdだけを変更-0.0027592-0.00235262+0.000406576
0.1%調波振幅を変更した後のRd差-0.0027595-0.00235279+0.000406717
0.1%Rdを変更した後の調波振幅差0.006780760.00545619-0.00132457
0.1%二つの変更の交互作用-6.95388e-09-8.56817e-09-1.61429e-09
0.01%Rdを固定し、調波振幅だけを変更0.001186440.000539633-0.000646812
0.01%調波振幅を固定し、Rdだけを変更-2.55632e-05-2.21253e-05+3.43788e-06
0.01%調波振幅を変更した後のRd差-2.56415e-05-2.21748e-05+3.46665e-06
0.01%Rdを変更した後の調波振幅差0.00118640.000539584-0.000646811
0.01%二つの変更の交互作用0-9.93411e-10-9.93411e-10
主帯域100〜8000 Hz:正の差の割合(0〜1)の話者平均
入力変化の大きさ比較する差HMPP
Apronの主調波経路
HMCZT
比較経路
HMCZT − HMPP
1%Rdを固定し、調波振幅だけを変更0.67630.653046-0.0232543
1%調波振幅を固定し、Rdだけを変更0.1295340.134079+0.00454576
1%調波振幅を変更した後のRd差0.129520.134063+0.00454274
1%Rdを変更した後の調波振幅差0.6763090.653054-0.0232552
1%二つの変更の交互作用0.495530.496184+0.000653661
0.1%Rdを固定し、調波振幅だけを変更0.6172030.599272-0.0179312
0.1%調波振幅を固定し、Rdだけを変更0.3726270.375966+0.00333899
0.1%調波振幅を変更した後のRd差0.3726670.375993+0.00332571
0.1%Rdを変更した後の調波振幅差0.6172020.599267-0.017935
0.1%二つの変更の交互作用0.4925660.49274+0.000174246
0.01%Rdを固定し、調波振幅だけを変更0.6233420.577902-0.0454395
0.01%調波振幅を固定し、Rdだけを変更0.4783920.478971+0.000579044
0.01%調波振幅を変更した後のRd差0.478420.478918+0.000497685
0.01%Rdを変更した後の調波振幅差0.6233310.577887-0.0454437
0.01%二つの変更の交互作用0.4861370.486154+1.78105e-05
主帯域100〜8000 Hz:絶対値の95%点(dB)の話者平均
入力変化の大きさ比較する差HMPP
Apronの主調波経路
HMCZT
比較経路
HMCZT − HMPP
1%Rdを固定し、調波振幅だけを変更1位11.72212位12.7004+0.97825
1%調波振幅を固定し、Rdだけを変更1位6.59322位6.6492+0.0560014
1%調波振幅を変更した後のRd差1位6.593722位6.64967+0.0559473
1%Rdを変更した後の調波振幅差1位11.72172位12.7001+0.978426
1%二つの変更の交互作用1位0.03831922位0.0514668+0.0131476
0.1%Rdを固定し、調波振幅だけを変更1位1.949742位2.37639+0.426652
0.1%調波振幅を固定し、Rdだけを変更1位0.5101172位0.518654+0.00853693
0.1%調波振幅を変更した後のRd差1位0.5101582位0.518634+0.00847566
0.1%Rdを変更した後の調波振幅差1位1.949682位2.37643+0.426747
0.1%二つの変更の交互作用1位0.002852852位0.00368467+0.000831822
0.01%Rdを固定し、調波振幅だけを変更1位0.197922位0.268131+0.0702112
0.01%調波振幅を固定し、Rdだけを変更2位0.02256951位0.0181348-0.00443472
0.01%調波振幅を変更した後のRd差2位0.02257131位0.018136-0.00443526
0.01%Rdを変更した後の調波振幅差1位0.1979232位0.268134+0.070211
0.01%二つの変更の交互作用1位0.0002676122位0.000294318+2.67061e-05
DC・Nyquistを含む全1025点:符号付き平均(dB)の話者平均
入力変化の大きさ比較する差HMPP
Apronの主調波経路
HMCZT
比較経路
HMCZT − HMPP
1%Rdを固定し、調波振幅だけを変更13.127812.1779-0.949902
1%調波振幅を固定し、Rdだけを変更-1.39506-1.37769+0.0173644
1%調波振幅を変更した後のRd差-1.39513-1.37779+0.0173398
1%Rdを変更した後の調波振幅差13.127812.1779-0.949927
1%二つの変更の交互作用-7.0014e-05-9.45576e-05-2.45436e-05
0.1%Rdを固定し、調波振幅だけを変更6.083685.09823-0.985449
0.1%調波振幅を固定し、Rdだけを変更-0.0840276-0.084945-0.000917381
0.1%調波振幅を変更した後のRd差-0.0840196-0.0849475-0.000927872
0.1%Rdを変更した後の調波振幅差6.083695.09823-0.985459
0.1%二つの変更の交互作用8.03745e-06-2.45343e-06-1.04909e-05
0.01%Rdを固定し、調波振幅だけを変更1.924971.1221-0.802875
0.01%調波振幅を固定し、Rdだけを変更-0.00142441-0.001538-0.00011359
0.01%調波振幅を変更した後のRd差-0.00142501-0.00153842-0.000113416
0.01%Rdを変更した後の調波振幅差1.924971.1221-0.802875
0.01%二つの変更の交互作用-5.98072e-07-4.24874e-07+1.73199e-07
DC・Nyquistを含む全1025点:符号付き中央値(dB)の話者平均
入力変化の大きさ比較する差HMPP
Apronの主調波経路
HMCZT
比較経路
HMCZT − HMPP
1%Rdを固定し、調波振幅だけを変更2.498742.4817-0.0170368
1%調波振幅を固定し、Rdだけを変更-0.300411-0.273986+0.026425
1%調波振幅を変更した後のRd差-0.300348-0.273991+0.0263577
1%Rdを変更した後の調波振幅差2.498532.48144-0.017084
1%二つの変更の交互作用-4.66263e-07-4.37613e-07+2.86498e-08
0.1%Rdを固定し、調波振幅だけを変更0.06860560.0706452+0.00203968
0.1%調波振幅を固定し、Rdだけを変更-0.00251545-0.0021317+0.000383742
0.1%調波振幅を変更した後のRd差-0.00256841-0.00216636+0.000402048
0.1%Rdを変更した後の調波振幅差0.06860050.0706413+0.00204086
0.1%二つの変更の交互作用-3.11993e-08-7.69893e-09+2.35004e-08
0.01%Rdを固定し、調波振幅だけを変更0.003089980.00160327-0.00148671
0.01%調波振幅を固定し、Rdだけを変更-2.28228e-05-1.91229e-05+3.69994e-06
0.01%調波振幅を変更した後のRd差-2.27087e-05-1.91761e-05+3.53266e-06
0.01%Rdを変更した後の調波振幅差0.003089870.00160344-0.00148643
0.01%二つの変更の交互作用00+0
DC・Nyquistを含む全1025点:正の差の割合(0〜1)の話者平均
入力変化の大きさ比較する差HMPP
Apronの主調波経路
HMCZT
比較経路
HMCZT − HMPP
1%Rdを固定し、調波振幅だけを変更0.7781230.760981-0.0171422
1%調波振幅を固定し、Rdだけを変更0.1353440.140574+0.00523062
1%調波振幅を変更した後のRd差0.1352530.140508+0.00525544
1%Rdを変更した後の調波振幅差0.778130.760987-0.0171428
1%二つの変更の交互作用0.4943570.495176+0.000818974
0.1%Rdを固定し、調波振幅だけを変更0.7141320.698194-0.0159372
0.1%調波振幅を固定し、Rdだけを変更0.3797570.383753+0.00399581
0.1%調波振幅を変更した後のRd差0.3793340.383438+0.0041037
0.1%Rdを変更した後の調波振幅差0.7141310.69819-0.0159411
0.1%二つの変更の交互作用0.4887910.489456+0.000664787
0.01%Rdを固定し、調波振幅だけを変更0.666050.614175-0.0518741
0.01%調波振幅を固定し、Rdだけを変更0.4789840.479756+0.000771427
0.01%調波振幅を変更した後のRd差0.4790710.479732+0.000661714
0.01%Rdを変更した後の調波振幅差0.6660440.614166-0.0518776
0.01%二つの変更の交互作用0.4748540.475923+0.00106893
DC・Nyquistを含む全1025点:絶対値の95%点(dB)の話者平均
入力変化の大きさ比較する差HMPP
Apronの主調波経路
HMCZT
比較経路
HMCZT − HMPP
1%Rdを固定し、調波振幅だけを変更2位54.65161位48.2208-6.43075
1%調波振幅を固定し、Rdだけを変更1位6.924842位6.95218+0.027334
1%調波振幅を変更した後のRd差1位6.924842位6.95283+0.0279905
1%Rdを変更した後の調波振幅差2位54.65171位48.221-6.4307
1%二つの変更の交互作用1位0.05334692位0.0656407+0.0122937
0.1%Rdを固定し、調波振幅だけを変更2位34.67981位28.2423-6.43759
0.1%調波振幅を固定し、Rdだけを変更1位0.5471382位0.552828+0.00569008
0.1%調波振幅を変更した後のRd差1位0.5467612位0.552607+0.00584589
0.1%Rdを変更した後の調波振幅差2位34.67971位28.2422-6.43743
0.1%二つの変更の交互作用1位0.01102232位0.0111302+0.000107937
0.01%Rdを固定し、調波振幅だけを変更2位15.22971位9.63898-5.5907
0.01%調波振幅を固定し、Rdだけを変更2位0.02485231位0.0198122-0.00504007
0.01%調波振幅を変更した後のRd差2位0.02451181位0.0197266-0.00478525
0.01%Rdを変更した後の調波振幅差2位15.22961位9.63904-5.59055
0.01%二つの変更の交互作用2位0.002172681位0.00173555-0.000437125

次は、調波振幅の推定と声道包絡化の寄与をさらに分けます。Rd推定は既知の声道フィルタを持つ人工信号でも検討します。今回の値だけで生理的な声源・声道が正しく分離できたとは言えず、通常の音声品質や編集品質を評価するまではApronを変更しません。

保存指標と出典

分割した保存指標を開く

実装の根拠:固定LLSM2のLayer1解析、調波解析・Rd推定。入力はLibriSpeech test-cleanの固定選択です。