雑音合成5案を日本語の通常・ささやき・裏声で確認

固定JVS12録音・4話者の補助診断。正式な英語120録音と別集計。現在のHNM v2と5候補を576回合成、原音を含む84予測MOSを測定し、失敗0。

ささやき4録音で、Cの予測MOSは1.75731(v2 1.86763)、eSTOIは0.52452(v2 0.53470)。Dの予測MOSは1.95032。英語での改善を日本語ささやきへ一般化できない。

音響指標は発話内8 seedを先に平均、予測MOS・eSTOIはseed 0。各群は発話を等重みで平均。各発声4録音だけなので一般的な優越・採用を判定しない。予測MOSは日本語・ささやき・裏声に対し未校正。原音の未測定指標は—と表示する。

全12録音:方式ごとの値

方式予測MOS ↑eSTOI ↑スペクトル誤差 dB ↓帯域誤差 dB ↓10 ms包絡誤差 ↓音量絶対誤差 dB ↓
原音3.60778—————
実験時のHNM v22.133920.770845.585230.605510.089440.08245
A:元パワーで重ね合わせ2.100250.771015.552600.611780.090090.08489
B:長い合成窓2.099390.757195.809260.612340.088090.08037
C:短い合成窓2.113770.764865.536580.624050.089630.07373
D:FFT端点の重み2.157670.770715.603140.612710.089310.08230
E:振幅乱数を固定2.098000.769985.553240.597860.085820.07954
v2との差と振幅上限

差は候補−v2。MOS・eSTOIは正、誤差は負が改善。

方式予測MOS ↑eSTOI ↑スペクトル誤差 dB ↓帯域誤差 dB ↓10 ms包絡誤差 ↓音量絶対誤差 dB ↓
A:元パワーで重ね合わせ-0.03366+0.00017-0.03263+0.00628+0.00066+0.00244
B:長い合成窓-0.03453-0.01364+0.22403+0.00684-0.00134-0.00208
C:短い合成窓-0.02014-0.00598-0.04865+0.01854+0.00019-0.00872
D:FFT端点の重み+0.02375-0.00013+0.01791+0.00720-0.00013-0.00015
E:振幅乱数を固定-0.03592-0.00086-0.03199-0.00765-0.00362-0.00291
方式最大振幅振幅1以上/全seed出力超過標本超過標本率超過秒数
実験時のHNM v20.713160/9600.000000.00000
A:元パワーで重ね合わせ0.706720/9600.000000.00000
B:長い合成窓0.714710/9600.000000.00000
C:短い合成窓0.710140/9600.000000.00000
D:FFT端点の重み0.713160/9600.000000.00000
E:振幅乱数を固定0.699950/9600.000000.00000

通常4録音:方式ごとの値

方式予測MOS ↑eSTOI ↑スペクトル誤差 dB ↓帯域誤差 dB ↓10 ms包絡誤差 ↓音量絶対誤差 dB ↓
原音4.10496—————
実験時のHNM v22.271080.927305.372500.205490.049090.08256
A:元パワーで重ね合わせ2.215760.926865.331730.218780.049460.08187
B:長い合成窓2.302990.917575.609100.199740.047940.08014
C:短い合成窓2.383990.924715.319660.199060.048280.07185
D:FFT端点の重み2.247590.927235.388600.204470.049140.08255
E:振幅乱数を固定2.237640.926065.350090.186070.048790.08598
v2との差と振幅上限

差は候補−v2。MOS・eSTOIは正、誤差は負が改善。

方式予測MOS ↑eSTOI ↑スペクトル誤差 dB ↓帯域誤差 dB ↓10 ms包絡誤差 ↓音量絶対誤差 dB ↓
A:元パワーで重ね合わせ-0.05533-0.00044-0.04077+0.01329+0.00037-0.00069
B:長い合成窓+0.03191-0.00973+0.23659-0.00575-0.00115-0.00242
C:短い合成窓+0.11291-0.00258-0.05284-0.00643-0.00081-0.01071
D:FFT端点の重み-0.02349-0.00007+0.01610-0.00102+0.00005-0.00001
E:振幅乱数を固定-0.03345-0.00124-0.02241-0.01942-0.00030+0.00342
方式最大振幅振幅1以上/全seed出力超過標本超過標本率超過秒数
実験時のHNM v20.495330/3200.000000.00000
A:元パワーで重ね合わせ0.511230/3200.000000.00000
B:長い合成窓0.496550/3200.000000.00000
C:短い合成窓0.491530/3200.000000.00000
D:FFT端点の重み0.495590/3200.000000.00000
E:振幅乱数を固定0.475390/3200.000000.00000

ささやき4録音:方式ごとの値

方式予測MOS ↑eSTOI ↑スペクトル誤差 dB ↓帯域誤差 dB ↓10 ms包絡誤差 ↓音量絶対誤差 dB ↓
原音3.27700—————
実験時のHNM v21.867630.534706.038050.459490.153290.08880
A:元パワーで重ね合わせ1.890210.538926.040120.468120.154470.09682
B:長い合成窓1.823540.509476.214270.466050.151520.09258
C:短い合成窓1.757310.524526.002460.437160.156990.08041
D:FFT端点の重み1.950320.534356.052110.488030.152820.08834
E:振幅乱数を固定1.896620.539825.987520.447000.145110.09405
v2との差と振幅上限

差は候補−v2。MOS・eSTOIは正、誤差は負が改善。

方式予測MOS ↑eSTOI ↑スペクトル誤差 dB ↓帯域誤差 dB ↓10 ms包絡誤差 ↓音量絶対誤差 dB ↓
A:元パワーで重ね合わせ+0.02258+0.00422+0.00206+0.00863+0.00118+0.00803
B:長い合成窓-0.04408-0.02522+0.17621+0.00656-0.00177+0.00378
C:短い合成窓-0.11031-0.01018-0.03560-0.02234+0.00370-0.00838
D:FFT端点の重み+0.08269-0.00034+0.01405+0.02853-0.00047-0.00045
E:振幅乱数を固定+0.02899+0.00513-0.05054-0.01250-0.00818+0.00526
方式最大振幅振幅1以上/全seed出力超過標本超過標本率超過秒数
実験時のHNM v20.065200/3200.000000.00000
A:元パワーで重ね合わせ0.064930/3200.000000.00000
B:長い合成窓0.064700/3200.000000.00000
C:短い合成窓0.064360/3200.000000.00000
D:FFT端点の重み0.065250/3200.000000.00000
E:振幅乱数を固定0.061320/3200.000000.00000

裏声4録音:方式ごとの値

方式予測MOS ↑eSTOI ↑スペクトル誤差 dB ↓帯域誤差 dB ↓10 ms包絡誤差 ↓音量絶対誤差 dB ↓
原音3.44137—————
実験時のHNM v22.263030.850525.345131.151530.065940.07600
A:元パワーで重ね合わせ2.194790.847255.285951.148450.066360.07597
B:長い合成窓2.171630.844545.604421.171240.064820.06839
C:短い合成窓2.200010.845345.287631.235930.063610.06892
D:FFT端点の重み2.275090.850545.368721.145620.065970.07601
E:振幅乱数を固定2.159730.844065.322111.160510.063560.05860
v2との差と振幅上限

差は候補−v2。MOS・eSTOIは正、誤差は負が改善。

方式予測MOS ↑eSTOI ↑スペクトル誤差 dB ↓帯域誤差 dB ↓10 ms包絡誤差 ↓音量絶対誤差 dB ↓
A:元パワーで重ね合わせ-0.06824-0.00327-0.05918-0.00309+0.00042-0.00003
B:長い合成窓-0.09140-0.00598+0.25929+0.01970-0.00112-0.00761
C:短い合成窓-0.06302-0.00518-0.05750+0.08440-0.00233-0.00708
D:FFT端点の重み+0.01206+0.00002+0.02359-0.00591+0.00003+0.00001
E:振幅乱数を固定-0.10330-0.00646-0.02302+0.00897-0.00237-0.01740
方式最大振幅振幅1以上/全seed出力超過標本超過標本率超過秒数
実験時のHNM v20.713160/3200.000000.00000
A:元パワーで重ね合わせ0.706720/3200.000000.00000
B:長い合成窓0.714710/3200.000000.00000
C:短い合成窓0.710140/3200.000000.00000
D:FFT端点の重み0.713160/3200.000000.00000
E:振幅乱数を固定0.699950/3200.000000.00000

ささやきの各録音:CとDの変化

話者方式予測MOSMOS差eSTOIeSTOI差
jvs_jvs004C:短い合成窓2.01542+0.295420.53339-0.01063
jvs_jvs004D:FFT端点の重み1.83955+0.119540.54348-0.00054
jvs_jvs018C:短い合成窓1.68719-0.140750.51148-0.01985
jvs_jvs018D:FFT端点の重み1.92171+0.093770.53110-0.00023
jvs_jvs066C:短い合成窓0.79021-0.295640.62188+0.02218
jvs_jvs066D:FFT端点の重み1.11900+0.033150.59951-0.00019
jvs_jvs082C:短い合成窓2.53644-0.300290.43132-0.03242
jvs_jvs082D:FFT端点の重み2.92102+0.084300.46331-0.00042

解釈と記録

通常・ささやき・裏声で文は同一とは限らず、発声差の因果効果とは扱わない。全12件でも独立話者は4人。seedやフレームを独立話者として数えない。振幅超過は聴感上の音割れを直接測ったものではない。日本語原音・加工音は公開しない。WORLDはこの補助再測定に含めず、過去比較を今回の実行へ混ぜない。

自動MOSはUTMOSv2の固定コード・重み・抽出seedで実施。この補助はCPU1スレッド。正式英語比較のMOSは別の実行条件記録を参照し、スレッド数の違いを同一条件と表現しない。採用条件や正式120件の分母を補助結果に合わせて変更しない。

全測定JSON · 発声別集計 · 条件 · MOSの由来 · 正式英語120録音の比較 · 旧v1との複数seed診断 · 判断メモ