聞き取れるのに、人物が話しているように聞こえない

声を聴いているのに、活字が見える

いろいろな言語のAI吹替デモを見聞きしていて、日本語の声に引っかかった。

明瞭だった。何を言っているかは分かる。それなのに、人物が話しているというより、文字を読んでいるように聞こえた。声を聴いているはずなのに、活字の印象が残った。

私はミキサーではなく、声で演じる側にいる。気になったのは、音の仕上がりよりも、発話の中の選択だった。

そこで、息を入れるだろうか。

今、この相手に受け取ってほしいのは、その言葉だろうか。

ブレスの位置と、耳に際立って届く言葉。その配置が、私が場面から受け取った人物の意図と、うまく結びつかなかった。

もちろん、私の解釈だけが正解というわけではない。入力やモデル、制作工程も分からないので、原因を決めることもできない。ただ、「聞き取れる」と「この人物が話しているように聞こえる」の間に何があるのか、もう少し調べてみたくなった。

まず、何を「よい声」と評価しているのか

調査を進めると、単独の文を聴く評価と、使われる状況を含めた評価を区別する研究が見つかった。

Lamerisらは、ロボットがゲームのルールを説明する場面で、状況や先行発話を評価者に示す影響を調べている。文脈の有無は適合性の評定に影響したが、文脈の種類による有意な差はなかったという。映画の演技を測った研究ではない。それでも、何を提示して、何を評価してもらうかが重要だと分かる。[7]

そこで私は、少なくとも次の問いを分けておきたいと思った。

言葉を聞き取れるか。
読み、発音、想定する方言のアクセントとして妥当か。
音声として自然に聞こえるか。
前の発話に対する返答や訂正として聞こえるか。
人物の目的や関係、場面の推移に合うか。
外れた箇所を直し、ほかの部分を保てるか。

これは私なりの評価項目の整理であって、統一規格ではない。自然さについて高い評定を得たことを、そのまま場面に合う演技の達成と読み替えないためのものだ。

明瞭なのに引っかかる。その感覚は、矛盾ではなかったのかもしれない。

「そこを立てるの？」という引っかかり

たとえば、こんな台詞を考えてみる。実際のAI出力ではなく、説明用の創作例だ。

私が、昨日、渡したんです。

別の人が渡したと思われているなら「私が」。今日渡したと思われているなら「昨日」。まだ持っていると思われているなら「渡した」を際立たせる読みも考えられる。

同じ文字列でも、何に答えているかによって、相手に受け取ってほしい部分が変わる。ただし、その語を大きく読めば演技が完成する、という話ではない。

ここでは、発話の一部が耳に際立つことを「プロミネンス」、文脈の中で特に注意を向けたい情報を「焦点」と呼ぶ。両者を一対一には対応させず、どんな際立ちが、どんな解釈につながるかを考えたい。

日本語について調べると、語のピッチアクセントと、焦点を伝える音高の変化が相互作用する研究があった。LeeとXuは、焦点の後で基本周波数の変動幅が圧縮される現象が、語彙的な韻律条件に左右されると報告している。[1]

Lee、Chiu、Xuの知覚実験でも、語アクセントと焦点の位置によって同定成績が変わった。主実験は基本周波数だけを変えた再合成音声を使っている。文脈、助詞、語順、長さ、声質などを組み合わせる、日常会話全体の理解力を測ったものではない。[2]

私がここから受け取ったのは、「語のアクセントが合っている」と「今、伝えたいことが際立っている」は、同じ確認ではないということだった。

しかも、何を際立たせるかの選択は、発音だけの問題ではない。Stephensonらは、人称代名詞の対比焦点を対象に、先行発話を使った予測と、指定したプロミネンスをTTSで実現する制御を研究している。意味や談話、語用上の知識に関わる問題として扱われていた。[11]

どこを立てるかを選ぶことと、選んだところを音声で実現すること。私が一度に聴いていたものには、少なくとも二つの仕事が重なっていた。

「そこでは息をしない」を、少しほどく

もう一つ気になったのは、ブレスだった。

ただ、「ブレスが変だ」とだけ言っていると、何を聞いたのか曖昧になる。音が途切れる無音休止、吸気のように聞こえる音、音高や長さで示される韻律の境界、身体の呼吸活動は、区別しておく必要がある。

Fujisakiらの日本語朗読研究は、休止を統語構造と呼吸の制約に関わるものとして分析している。Sugaharaの東京日本語の研究では、焦点後の音韻句境界を、統語境界と語アクセントの条件から調べていた。後者で境界の指標とされたのは音高の上昇であり、無音や吸気ではない。[6][3]

胸腹部の運動と音声を同時に記録した日本語・スウェーデン語の予備研究でも、ピッチピークや休止と、呼吸関連運動のピークには、一致するものとしないものがあった。小規模な研究から一般的な規則は出せないが、「区切り」「休止」「呼吸」を同じものとして扱わない理由になる。[5]

さらに、Watanabeらの日本語独話研究は、無音休止、フィラー、接続詞を分けて調べている。境界の強さと無音休止の長さなどには関係があったが、フィラーや接続詞の長さには同じ有意な対応がなかった。「間」を一つの空白量として考えるのも粗そうだ。[4]

では、私は何に引っかかったのだろう。

相手を遮って、一息で言い切りたい。途中で言葉を選び直す。平静を装っているのに呼吸だけが乱れる。同じ位置の息でも、その人物の状態や目的によって、受け取れる理由は変わる。

「日本語話者なら絶対にそこで息をしない」という規則にしたいわけではない。私が問いたいのは、この人物がそこで息をする理由を、その場面から受け取れるかどうかだった。

合成音声に聞こえる吸気らしい音は、誰かがその瞬間に息を吸った記録とは限らない。だからといって、聞く側がそこから呼吸や身体を感じ取らなくなるわけでもない。必要なのは息らしい音の多さより、人物の発話として納得できる配置なのかもしれない。これは、ここまでの調査を踏まえた私の解釈だ。

日本語は、特に難しいのだろうか

最初は、やはり日本語の台詞調整には特有の難しさがあるのではないかと思った。その問いは残っている。ただし、日本語に即した条件があることと、他言語より総合的に難しいことは別だ。

Kuriharaらは、日本語TTSに音韻・韻律記号を与え、アクセント、ポーズ、アクセント句境界、文末を制御する方法を評価している。韻律は生成任せにするしかない、というわけではなかった。一方で、何を指定すべきかを場面から選ぶことや、人物のブレスを再現することまで証明した研究ではない。[8]

また、会話履歴を入力に使うTTSは、DailyTalkなどで既に研究されている。PromptTTS 2も、文章による指定では声の変動のすべてを記述できない、一対多の問題を扱っていた。どちらも、任意の映画脚本や日本語の演技全般を解決したという意味ではない。[10][9]

言語の韻律条件、渡された文脈、モデルや学習データ、同期の制約、修正できる範囲。そして、聞いている私自身の条件。日本語だからこそ、私が細かな違和感を拾っている可能性もある。

もし比較するなら、各言語の母語話者に、同等の発話目的と前後関係の中で聴いてもらいたい。同じ文字数や同じプロンプトだけで、条件がそろったとは考えない。

途中では、文字を視覚的に読む経験と、時間の中で声を聞く経験の違いも気になった。ただ、今回の資料から「日本語は黙読に最適化された言語だ」とは言えないし、その文化がTTSの不自然さを生むとも言えない。そこは別の調査に残す。

日本語全体の本質を決めなくても、私が気になった選択は、もう少し具体的に調べられそうだった。

引っかかりを、次に試せることへ

今回の印象を「文字を読んでいるようだ」と表したが、朗読を低い段階だと言いたいのではない。朗読でも、人物や場面、聞き手への働きかけは成立する。

私の実感に近いのは、こういうことだ。

文字列の進行は聞こえるのに、その場でその言葉を発する理由が、音声の配置からつかみにくかった。

この感覚を「AIには感情がないから」で終えるより、何が入力され、何が出力され、どう聞こえたかへ分けてみたい。

次に同じものを調べるなら、まず音源と公開情報を確保する。その上で、可聴ブレス、無音休止、際立つ語、前後の長さ、語アクセントを別々に記録する。私が望む読みも一つの候補として示し、別の読みが成立する余地も残す。

修正するなら、何を変え、何を保ちたいかも書く。「語を変える」「間を変える」「吸気音を加える」「音高を変える」は別の操作だし、同じツールで全部できるとは限らない。

問題が音として聞こえることと、音響処理だけで解決できることも同じではない。原稿、演出、生成、編集、同期のどこへ戻るかを確かめる必要がある。演技として成立するかと、狙った箇所だけを直せるかも、別々に見たい。

これはまだ検証案であり、今回、生成や比較の実験は行っていない。声の実録やクローンを使うなら、用途と範囲の許諾確認も先に必要になる。評価への参加を、学習や声の複製への同意には読み替えない。

調べたら、問いの形が変わった

私は、AIの限界を見つけたかったわけではない。言葉は分かるのに、なぜ引っかかったのかを知りたかった。

調べてみると、その感覚を考えるための研究は既にあった。今回できたのは、私の引っかかりを、別々の領域の知見につなげてみることだった。

聴いたデモの原因は、まだ特定していない。日本語が最も難しいという答えも出ていない。それでも、最初より具体的な問いが残った。

その人物が、その相手に、何を受け取ってほしくて、その言葉を発するのか。どこをまとめ、どこを際立たせるのか。

声になったことで、文字の上ではまだ決まっていなかった選択が聞こえてきた。私が気になっていたのは、たぶんそこだった。その選択をどう渡し、確かめ、必要なら直せるようにするのか。そこから、また調べてみたい。

資料と範囲について

これは個人の聴取経験から始まった文献調査の記録であり、音源の直接分析、製品比較、生成実験の報告ではない。翻訳精度も評価していない。参照した研究は1998〜2023年の基礎・方法研究で、2026年の製品能力を網羅するものではない。人間の発話の研究とTTS研究、研究結果と私の解釈・提案を区別して読んでほしい。

原調査には、少人数・単一話者・統制された刺激の実験や、公開要旨を主な確認範囲とする資料が含まれる。各研究の対象条件を越えて、日本語全体や現在の全製品へ一般化しない。

Sources

初出：2026年10月23日。私の聴取経験から始まった調査コラム。日本語版・英語版を併せて公開。編集：LAYER SHIFT編集者／Published by Ausreißer Verlag。

続編：演技は、AIにできないことの名前なのか →