全長原音120発話:認識誤りと予測MOSの抽出範囲

現在のベースはApron24です。今回、新しい全長入力でApron24やWORLDを合成・比較していません。方式の品質差と順位は未評価です。以下は無加工原音だけの測定器の記録で、人の評定による校正でもありません。

40話者・各3発話、計120発話の全長入力を使いました。5個の原結果ZIPをすべて取得し、UTMOSの値120件と抽出区間120件を照合しました。話者等重みの予測MOS平均は3.86683です。旧6秒版の結果は混ぜていません。

ASRは初期化検査を限定修正し、元の失敗も残す

最初の版は全5担当でモデル初期化中に停止し、120発話の認識処理は未開始でした。この版のWERはありません。推論では使わない学習用パラメータの欠落まで拒否した検査が原因です。公式実装で使用条件を確認し、未開始のASRだけを別版で実行しました。成功したUTMOSを再計測しません。

後継版ASRは120件すべての認識を完了し、正規化入力・logits・argmaxの計360配列と語編集操作を照合しました。micro-WERは4.1341%、話者等重みの発話WER平均は4.2898%です。正解語数2685、置換92・削除10・挿入9でした。配布全文に対する認識器の誤りであり、人の明瞭性ではありません。全個票・語編集操作・配列の識別情報。

全長を渡すことと、全区間を選ぶことは別

既存の抽出処理を変えず、SSLの3秒区間1回と、スペクトルの1.4秒区間10回(主2回・混合8回)を観測しました。短い入力は既存の処理で繰り返されます。選ばれた元音声位置の和集合の割合は、最小44.8244%、中央値89.1558%、最大100%でした。全位置を含んだのは10/120件です。

これは入力位置の幾何学的な範囲です。モデルのattention、混合時の寄与や、知覚的に聞いた範囲を測ったものではありません。過去の予測値の無効性や、ボコーダーの優劣も結論しません。

全120発話の長さと抽出位置の割合横軸は原音の秒数、縦軸は選ばれた元音声位置の和集合の割合。全120発話を表示。最小44.82%、中央値89.16%、全位置を含んだものは10件。0%25%50%75%100%051015202530librispeech_1089-134686-0008: 6.73秒、88.01%librispeech_1089-134686-0011: 12.45秒、66.75%librispeech_1089-134686-0032: 4.09秒、94.81%librispeech_1188-133604-0003: 12.61秒、65.87%librispeech_1188-133604-0031: 4.25秒、91.24%librispeech_1188-133604-0037: 14.51秒、63.61%librispeech_121-121726-0012: 4.045秒、92.13%librispeech_121-123852-0000: 17.7秒、56.10%librispeech_121-127105-0035: 14.15秒、65.23%librispeech_1221-135766-0005: 16.64秒、63.96%librispeech_1221-135767-0006: 20.56秒、60.57%librispeech_1221-135767-0019: 3.78秒、91.05%librispeech_1284-1180-0020: 5.87秒、90.49%librispeech_1284-1180-0027: 3.27秒、94.05%librispeech_1284-1180-0028: 6.045秒、87.87%librispeech_1320-122617-0019: 8.23秒、90.72%librispeech_1320-122617-0023: 7.815秒、92.60%librispeech_1320-122617-0039: 7.055秒、83.96%librispeech_1580-141083-0010: 5.32秒、94.70%librispeech_1580-141084-0016: 5.96秒、89.12%librispeech_1580-141084-0047: 5.25秒、82.41%librispeech_1995-1836-0000: 8.955秒、88.69%librispeech_1995-1836-0014: 9.045秒、87.81%librispeech_1995-1837-0023: 16.96秒、58.51%librispeech_2094-142345-0032: 3.24秒、97.22%librispeech_2094-142345-0039: 6.28秒、94.99%librispeech_2094-142345-0040: 2.385秒、100.00%librispeech_2300-131720-0022: 13.66秒、67.55%librispeech_2300-131720-0028: 25.94秒、48.54%librispeech_2300-131720-0041: 3.75秒、91.78%librispeech_237-126133-0003: 6.56秒、90.29%librispeech_237-134500-0029: 2.065秒、100.00%librispeech_237-134500-0031: 10.61秒、72.13%librispeech_260-123286-0008: 3.735秒、92.15%librispeech_260-123288-0003: 8.905秒、89.19%librispeech_260-123440-0020: 4.995秒、87.20%librispeech_2830-3980-0000: 3.73秒、92.28%librispeech_2830-3980-0038: 5.54秒、95.88%librispeech_2830-3980-0042: 3.02秒、99.34%librispeech_2961-960-0010: 20.46秒、60.86%librispeech_2961-960-0019: 12.13秒、68.48%librispeech_2961-961-0011: 7.815秒、92.60%librispeech_3570-5694-0001: 5.675秒、93.60%librispeech_3570-5694-0004: 5.33秒、94.52%librispeech_3570-5696-0010: 7.57秒、95.59%librispeech_3575-170457-0034: 3.495秒、98.48%librispeech_3575-170457-0041: 14.01秒、65.88%librispeech_3575-170457-0054: 8.005秒、93.27%librispeech_3729-6852-0000: 11.17秒、68.51%librispeech_3729-6852-0007: 12.49秒、66.50%librispeech_3729-6852-0017: 17.99秒、71.94%librispeech_4077-13751-0001: 8.745秒、90.82%librispeech_4077-13754-0002: 17.78秒、55.83%librispeech_4077-13754-0012: 22.09秒、54.99%librispeech_4446-2271-0003: 3.7秒、93.02%librispeech_4446-2271-0022: 2.325秒、100.00%librispeech_4446-2273-0010: 12.44秒、66.77%librispeech_4507-16021-0016: 17.27秒、57.50%librispeech_4507-16021-0032: 28.09秒、44.82%librispeech_4507-16021-0045: 4.89秒、89.07%librispeech_4970-29093-0004: 3.75秒、91.78%librispeech_4970-29093-0005: 22.16秒、54.83%librispeech_4970-29095-0008: 3.04秒、98.68%librispeech_4992-23283-0016: 4.495秒、96.25%librispeech_4992-41797-0000: 5.485秒、91.85%librispeech_4992-41806-0000: 14.36秒、64.28%librispeech_5105-28240-0011: 6.02秒、88.24%librispeech_5105-28241-0004: 17.41秒、57.00%librispeech_5105-28241-0019: 5.29秒、95.23%librispeech_5142-33396-0019: 4.985秒、87.37%librispeech_5142-33396-0030: 2.765秒、100.00%librispeech_5142-33396-0065: 5.195秒、83.28%librispeech_5639-40744-0013: 6.865秒、86.28%librispeech_5639-40744-0023: 13.92秒、66.31%librispeech_5639-40744-0030: 22.29秒、54.52%librispeech_5683-32865-0017: 5.455秒、92.35%librispeech_5683-32879-0009: 5.135秒、84.25%librispeech_5683-32879-0019: 6.35秒、89.97%librispeech_61-70968-0042: 2.785秒、100.00%librispeech_61-70968-0043: 6.735秒、87.95%librispeech_61-70968-0054: 7.86秒、92.07%librispeech_672-122797-0003: 4.76秒、91.50%librispeech_672-122797-0044: 3.74秒、92.03%librispeech_672-122797-0056: 5.225秒、82.80%librispeech_6829-68769-0014: 3.655秒、94.17%librispeech_6829-68769-0038: 2.505秒、100.00%librispeech_6829-68769-0041: 2.66秒、100.00%librispeech_6930-75918-0013: 2.94秒、100.00%librispeech_6930-76324-0024: 4.05秒、95.74%librispeech_6930-81414-0026: 3.075秒、97.56%librispeech_7021-79740-0002: 9.225秒、86.09%librispeech_7021-79740-0011: 10.31秒、74.19%librispeech_7021-85628-0025: 2.775秒、100.00%librispeech_7127-75946-0002: 13.19秒、69.92%librispeech_7127-75946-0029: 9.285秒、85.54%librispeech_7127-75947-0011: 3.62秒、95.08%librispeech_7176-88083-0002: 7.51秒、96.36%librispeech_7176-88083-0004: 7.5秒、96.49%librispeech_7176-88083-0026: 5.53秒、92.10%librispeech_7729-102255-0028: 9.6秒、75.24%librispeech_7729-102255-0038: 7.92秒、96.96%librispeech_7729-102255-0042: 9.225秒、86.09%librispeech_8224-274381-0010: 13.62秒、67.77%librispeech_8224-274381-0013: 13.61秒、67.82%librispeech_8224-274384-0010: 14.6秒、63.22%librispeech_8230-279154-0018: 11.85秒、70.13%librispeech_8230-279154-0032: 3.88秒、88.71%librispeech_8230-279154-0033: 11.69秒、77.69%librispeech_8455-210777-0010: 3.1秒、97.48%librispeech_8455-210777-0049: 4.11秒、94.34%librispeech_8455-210777-0060: 7.075秒、83.72%librispeech_8463-294828-0003: 9.34秒、85.03%librispeech_8463-294828-0014: 5.725秒、92.78%librispeech_8463-294828-0022: 2.355秒、100.00%librispeech_8555-284447-0007: 6.365秒、89.75%librispeech_8555-284449-0020: 5.095秒、84.91%librispeech_8555-292519-0001: 20.82秒、59.81%librispeech_908-157963-0018: 4.255秒、91.13%librispeech_908-31957-0002: 4.79秒、90.93%librispeech_908-31957-0016: 6.48秒、88.16%原音の長さ(秒)

事前指定した5発話の原音

各担当の辞書順最初の発話を、先頭2秒だけ掲載します。元PCM16をそのまま切り出し、音量調整・再標本化・再合成はしていません。良い結果だけを選んだ例ではなく、新しい合成音声でもありません。

librispeech_1089-134686-0008

librispeech_2094-142345-0032

librispeech_3729-6852-0000

librispeech_5639-40744-0013

librispeech_7176-88083-0002

出典: LibriSpeech test-clean、Vassil Panayotovら。利用条件: CC BY 4.0。原朗読者・作品の個別同定はしていません。入力と掲載コピーの識別情報。

全120発話の値を見る
発話長さ(秒)予測MOS選択位置の割合
librispeech_1089-134686-00086.7304.1671588.01%
librispeech_1089-134686-001112.4454.0119066.75%
librispeech_1089-134686-00324.0904.5743094.81%
librispeech_1188-133604-000312.6103.2239865.87%
librispeech_1188-133604-00314.2504.3883491.24%
librispeech_1188-133604-003714.5103.2150663.61%
librispeech_121-121726-00124.0453.6821092.13%
librispeech_121-123852-000017.6953.9936156.10%
librispeech_121-127105-003514.1503.1379365.23%
librispeech_1221-135766-000516.6454.5492863.96%
librispeech_1221-135767-000620.5604.3065560.57%
librispeech_1221-135767-00193.7804.1845491.05%
librispeech_1284-1180-00205.8704.1402790.49%
librispeech_1284-1180-00273.2704.2563894.05%
librispeech_1284-1180-00286.0454.2107987.87%
librispeech_1320-122617-00198.2303.7066490.72%
librispeech_1320-122617-00237.8154.3499892.60%
librispeech_1320-122617-00397.0553.6717983.96%
librispeech_1580-141083-00105.3204.0661394.70%
librispeech_1580-141084-00165.9603.4727389.12%
librispeech_1580-141084-00475.2504.5208382.41%
librispeech_1995-1836-00008.9554.0955288.69%
librispeech_1995-1836-00149.0453.8005087.81%
librispeech_1995-1837-002316.9654.3343658.51%
librispeech_2094-142345-00323.2404.4974397.22%
librispeech_2094-142345-00396.2803.9899694.99%
librispeech_2094-142345-00402.3854.17639100.00%
librispeech_2300-131720-002213.6653.9143467.55%
librispeech_2300-131720-002825.9403.7254448.54%
librispeech_2300-131720-00413.7503.7691791.78%
librispeech_237-126133-00036.5604.5123090.29%
librispeech_237-134500-00292.0652.92369100.00%
librispeech_237-134500-003110.6103.7476372.13%
librispeech_260-123286-00083.7353.9420292.15%
librispeech_260-123288-00038.9054.0531389.19%
librispeech_260-123440-00204.9953.3061987.20%
librispeech_2830-3980-00003.7303.7120392.28%
librispeech_2830-3980-00385.5404.0491395.88%
librispeech_2830-3980-00423.0204.7671899.34%
librispeech_2961-960-001020.4603.2250160.86%
librispeech_2961-960-001912.1303.4457368.48%
librispeech_2961-961-00117.8153.6013592.60%
librispeech_3570-5694-00015.6754.2535193.60%
librispeech_3570-5694-00045.3304.2625694.52%
librispeech_3570-5696-00107.5703.9337695.59%
librispeech_3575-170457-00343.4953.7620398.48%
librispeech_3575-170457-004114.0104.1759065.88%
librispeech_3575-170457-00548.0054.1132693.27%
librispeech_3729-6852-000011.1703.9877768.51%
librispeech_3729-6852-000712.4904.2177266.50%
librispeech_3729-6852-001717.9904.0696271.94%
librispeech_4077-13751-00018.7454.3546090.82%
librispeech_4077-13754-000217.7803.3109055.83%
librispeech_4077-13754-001222.0953.7153754.99%
librispeech_4446-2271-00033.7003.4791493.02%
librispeech_4446-2271-00222.3253.71969100.00%
librispeech_4446-2273-001012.4403.3560266.77%
librispeech_4507-16021-001617.2653.5819157.50%
librispeech_4507-16021-003228.0903.5392144.82%
librispeech_4507-16021-00454.8903.7273489.07%
librispeech_4970-29093-00043.7503.0058591.78%
librispeech_4970-29093-000522.1602.8795954.83%
librispeech_4970-29095-00083.0404.0369298.68%
librispeech_4992-23283-00164.4953.6870796.25%
librispeech_4992-41797-00005.4853.5616191.85%
librispeech_4992-41806-000014.3604.0444964.28%
librispeech_5105-28240-00116.0203.9131588.24%
librispeech_5105-28241-000417.4153.4639357.00%
librispeech_5105-28241-00195.2903.2471695.23%
librispeech_5142-33396-00194.9852.7795687.37%
librispeech_5142-33396-00302.7654.43717100.00%
librispeech_5142-33396-00655.1954.3266383.28%
librispeech_5639-40744-00136.8653.9037386.28%
librispeech_5639-40744-002313.9204.3886166.31%
librispeech_5639-40744-003022.2854.4149954.52%
librispeech_5683-32865-00175.4552.5191792.35%
librispeech_5683-32879-00095.1353.7318784.25%
librispeech_5683-32879-00196.3503.5603089.97%
librispeech_61-70968-00422.7854.27733100.00%
librispeech_61-70968-00436.7354.0972087.95%
librispeech_61-70968-00547.8604.2166592.07%
librispeech_672-122797-00034.7603.5692491.50%
librispeech_672-122797-00443.7404.2478092.03%
librispeech_672-122797-00565.2253.4085982.80%
librispeech_6829-68769-00143.6553.7640394.17%
librispeech_6829-68769-00382.5053.22261100.00%
librispeech_6829-68769-00412.6603.98505100.00%
librispeech_6930-75918-00132.9404.06291100.00%
librispeech_6930-76324-00244.0503.9916395.74%
librispeech_6930-81414-00263.0754.5083597.56%
librispeech_7021-79740-00029.2254.0068786.09%
librispeech_7021-79740-001110.3153.5926574.19%
librispeech_7021-85628-00252.7753.99302100.00%
librispeech_7127-75946-000213.1903.4662269.92%
librispeech_7127-75946-00299.2853.3932485.54%
librispeech_7127-75947-00113.6203.5510895.08%
librispeech_7176-88083-00027.5103.6717796.36%
librispeech_7176-88083-00047.5004.6098396.49%
librispeech_7176-88083-00265.5303.9027892.10%
librispeech_7729-102255-00289.6003.7920175.24%
librispeech_7729-102255-00387.9204.3342596.96%
librispeech_7729-102255-00429.2254.0885786.09%
librispeech_8224-274381-001013.6203.9404667.77%
librispeech_8224-274381-001313.6103.5423267.82%
librispeech_8224-274384-001014.6003.6425663.22%
librispeech_8230-279154-001811.8453.8291270.13%
librispeech_8230-279154-00323.8803.9410288.71%
librispeech_8230-279154-003311.6903.7019577.69%
librispeech_8455-210777-00103.1004.2121597.48%
librispeech_8455-210777-00494.1104.0549494.34%
librispeech_8455-210777-00607.0753.6388083.72%
librispeech_8463-294828-00039.3404.3355585.03%
librispeech_8463-294828-00145.7253.6556392.78%
librispeech_8463-294828-00222.3553.71977100.00%
librispeech_8555-284447-00076.3654.1507889.75%
librispeech_8555-284449-00205.0953.6273384.91%
librispeech_8555-292519-000120.8203.7079259.81%
librispeech_908-157963-00184.2553.8767991.13%
librispeech_908-31957-00024.7904.0128390.93%
librispeech_908-31957-00166.4803.7951188.16%

照合できた範囲と限界

原ZIPのbytes・SHA、固定ソース、入力、環境、評価の予約・入口・終了記録を照合しました。抽出区間は保持した元PCMから再構成してsliceとhashを確認しました。モデルのforwardを親が再実行したわけではありません。生の乱数状態と呼出し後PCMは保持対象外で、過去の乱数列や入力の無変化を独立に証明したとは扱いません。

既存の約70〜72 MBの品質結果4束の保存問題は別の未解決です。今回の小さな結果ZIPの保存成功を、その障害の解決とは扱いません。

原ZIP・入力・ソース・環境の識別情報と監査要約 / 全120発話の抽出区間の原記録。監査要約は元監査の公開用派生物で、元ファイルそのものではありません。

ASR専用の後継版: 固定計画 / ソース台帳 / 固定時の識別情報。認識器やdecoderは変更せず、特定の欠落パラメータの診断と推論モードを厳密に確認します。

後継版でも、使わない masked_spec_embed に関するモデル読込み警告は原ログに残っています。担当の「警告なし」という要約は採用せず、親が実ログを確認しました。準備時の引数誤記・出力先の事前作成による停止は、評価入口に入る前と区別して記録しています。修正と警告の記録。

次は時間長・音高・内容・音質を分けて比較する

無加工原音でも認識器は誤り、予測MOSへ渡した全時間が選ばれるとは限りません。今後の時間伸縮では、配布全文に対する認識誤りと原音からの変化を分け、出力長と音高追従も別に測ります。これらの記録だけで、原音の絶対的な良さや新しい方式の採用を判断しません。時間伸縮の出力長と合成窓を分ける設計メモ。