TTSのモデルは、どうやって作るの？

文章を入力すると、まだ誰も読んでいないはずの一文が、声になって返ってくる。TTS（Text-to-Speech、文章から音声を作る技術）は、その一文をどこから持ってきたのだろう。誰かがあらゆる文章を録音しておいた、というわけではない。

誰か一人の声を丸ごと保存し、入力に合わせて再生するだけでもない。ただし、人の録音を使わないという意味ではない。録音した断片を選んでつなぐ方式もあれば、音の特徴を予測して合成する方式もある。多くの人の録音から学んだモデルに、短い声の見本を渡す方式もある。「声を作る」の中身は、一通りではない。[4][5]

まずは「作るとき」と「使うとき」を分ける

現代の学習型TTSの代表的な出発点は、読まれた文章と、その録音の組み合わせだ。モデルは学習中に、文章と音声の対応を少しずつ調整する。Tacotronの研究も、文字列と音声のペアからモデルを訓練している。[1]

モデルを作る側では、文章と録音を集め、整え、学習させ、評価する。そうしてできた学習済みモデルを使う側では、新しい文章を入力して音声を生成する。方式によっては、このとき短い話者の声の見本も渡す。

この短い見本は、モデルを作るために使った大量の録音の代用品ではない。VALL-Eの研究では、英語音声で事前学習を済ませたモデルに、生成時の手掛かりとして参照音声（音声プロンプト）を渡す。その場で基礎モデルを再訓練する工程ではなく、そもそも見本を毎回渡さないTTSもある。[4][5]

数秒の録音で使えることと、数秒の録音だけで基礎から作れることは別。この区別を置くと、再生ボタンの向こう側が少し見えやすくなる。

仕込み：録音と文章を揃える

録音だけを集めても、「どこで何を話したか」がわからなければ、文章との対応を学びにくい。音声と台本を対応させ、必要に応じて表記を読みやすい形に直し、文字から発音へ変換し、言葉の区切りなどを扱う。この下ごしらえを、どこまで独立した処理として行うかは方式によって違う。[5]

「声の材料」は、特定の一人の専用録音とは限らない。録音の断片をつなぐ接続方式とは別に、ニューラル方式には、一人の話者を対象にした研究も、多くの話者の録音を使う研究もある。[3][4][5]

調理：文字を、どう音にする？

仕組みを覗くのにわかりやすい例がTacotron 2だ。まず、文章から「メルスペクトログラム」を予測する。時間とともに音の周波数成分がどう変わるかを表すもので、完成した声そのものではなく、音の特徴を記した設計図のような中間表現だ。[2]

次に、その中間表現を、実際に再生できる音声波形へ変える。Tacotron 2では、この役割を担うのがWaveNetを使ったボコーダー。ただし、これは一つの構成例であり、すべてのTTSが同じ部品を同じ順番で使うわけではない。[2]

では、文字が読めれば、話し方まで決まるのか。同じ「ほんとう？」でも、驚き、疑い、念押しで、間や高さは変わる。VITSの研究は、一つの文章に異なる高さやリズムの発話が対応しうることを扱い、発話の長さにも変化を持たせている。何と発音するかだけでなく、どう話すかも、モデルづくりの課題なのだ。[3]

音声を、音の特徴を符号化した列として扱う研究もある。VALL-Eはその一例だ。ここでいう符号は、録音を短く切ったものや、文字・音素そのものではない。音声を圧縮して表す仕組みが作った符号を使い、新しい発話を生成する。[4]

設計図型から符号型へ、全製品が一斉に置き換わったわけでもない。中間表現や部品の分け方は、方式によって異なる。厨房は一つではない、というくらいに見ておこう。[4][5]

試食：うまく読めた、だけでは足りない

できた声は、聞き取れるか、自然か、意図した話者に似ているか、言葉を落とさないか、十分な速さで返せるか。それぞれ別の観点で確かめる必要がある。自然さの点数が高くても、固有名詞の発音、長文での安定性、あらゆる言語での品質まで保証されるわけではない。[5][6]

そして、よい音ができても、作り方の問題は終わらない。録音を学習に使う許諾はあったか。短い声の見本を誰が登録できるか。公開する音声を誰が確認するか。音質だけでなく、データの来歴、同意、安全性まで評価の範囲に入れようという研究上の提案もある。これは、全サービスで実施済みという話ではない。[6]

TTSのモデルづくりは、声を一つしまい込む作業というより、文章と音の対応、そして話し方の幅を扱える仕組みを設計し、録音から学び、何度も聞いて確かめる仕事に近い。

再生ボタンの向こうには、録音した人、データを整えた人、モデルを作る人、評価する人の工程が重なっている。手元では一瞬で鳴る声にも、なかなか長い仕込みがある。