October / Observation · 2026.10.18–24

声の何を指定し、何を残すのか

日本語で話し方を指定する。会話の中に息や笑いを置く。録音された発話を起点に声を変える。入口が増えた一週間を、指定・保持・修正の違いから読む。

Last updated 2026-10-26Evidence-led analysis
Performance & DirectionTechnologyProduction Workflow

Question / 「出せる」の次に、何を確かめるのか

声が滑らかになった、対応言語が増えた。それだけでは捉えきれない動きが、2026年10月18〜24日には重なった。日本語の話し方を説明する入口、息や笑いの位置を扱う研究、録音の言葉とタイミングを起点にした声の変換である。

注目したいのは、指定できること、音として出せること、場面に合うこと、狙った部分だけ直せることの違いだ。作り方の選択肢が増えると、何を生成側へ任せ、何を人が先に決め、何を保って修正するかが、より具体的な問いになる。

対象期間は2026年10月18〜24日、資料確認日は10月26日。提供された週間観測レポートから、制作上の制御と保持に関わる事例を選んで再構成した。原資料は確認したが、独立試聴、ローカル推論、APIの課金実行、比較実験は行っていない。製品の仕様、作者・研究者の報告、本稿の解釈を分けて読む。定期発行のニュースレターではなく、期間を区切った観測記事である。

Context / 日本語モデルにも、異なる入口がある

Pocket TTS Japanese CC BY：小さく、手元で試す

Pocket TTSの日本語派生モデル「takuma104/pocket-tts-ja-cc」は、重みのアップロードが10月21日03時43分JSTに記録されている。作者は、標準パッケージでのCPU実行、漢字かな交じり文の入力、参照音声による声の条件付けを案内している。[1・2]

制作側から見ると、ローカル生成を検討する入口になる。ただし本稿で実行速度やデータの流れを検証したわけではない。作者も、稀な読み、参照音声による結果の違い、発話末尾の小さな音や終了の安定性を限界として記している。[1]

この版の重みはCC BY 4.0で、作者は帰属表示を伴う商用利用を案内する。別の「pocket-tts-ja」はCC BY-NC 4.0なので、名前だけで同じ条件と考えない。モデルを使えることと、特定の人の参照音声をその目的で使ってよいことも別に確認する。[1]

Drama-3-Japanese：台詞と、話し方の説明を分ける

10月22日にアップロードされた「Aratako/Drama-3-Japanese」は、Fish Audio Drama 3の日本語ファインチューニング版だ。基盤モデル自体の新発表ではない。日本語の台詞に加え、声質・感情・話し方を説明するcaptionや、「笑いながら」などのinlineタグ、同一話者の最大3本の参照音声を渡せる。[3・4]

これは生成前の条件付けである。生成済み音声の好きな箇所だけを後から直す機能とは分けたい。作者は、単一話者の発話を対象とし、音声編集や複数ターンの対話などは学習対象ではないと説明する。説明文・タグ・参照音声の衝突や、途中停止などの不安定さも記載している。[3]

継承するFish Audio Community License v1.0には、商用利用や第三者向けの音声生成サービス提供について条件がある。重みが公開されていることを、用途を問わず自由に提供できることと取り違えない。制作物として音声を納める場合と、顧客に生成機能を提供する場合も、原文の区別を確認する。[5]

この二つを同じ順位表で比べるより、どこで動かしたいのか、どんな指定を渡したいのか、という別々の入口として読むほうがよさそうだ。

Evidence / 息や笑いを「どこに置くか」が研究になる

10月19日投稿の「Speech LLMs That Breathe」は、呼吸・感情・談話に関わる13種類の非言語発声を扱う。声として出せるかだけでなく、会話の文脈に応じて、いつ、どこに、どの種類を置くかを研究対象にしている。[6]

対話データを自動合成する仕組みと、多段階の学習、非言語発声に着目した強化学習を組み合わせ、VocalNetとVITA-Qinyuを基にしたシステムで改善を報告する。非言語イベントの予測・配置と、実際の音声としての実現を分けて扱う点が興味深い。[6]

ここからは本稿の読みである。「ブレスがあるから人間らしい」ではなく、「そこで、その息が必要なのか」を評価できるかが問題になる。以前から気になっていた、音は自然なのに発話の流れには合わない、という違和感と接続する研究の問いだ。ただし、この論文が特定のデモの違和感の原因を説明したわけではない。

研究成果を、すぐ使える商用APIや日本語吹替の完成工程として扱わない。また、合成やモデル支援で学習用対話を作るとき、どんな会話の仕方が「適切」とされるのかも観測したい。非言語音が増えることと、作品の人物・関係・場面に合うことは、なお別の問いである。

Findings / 動かせることと、保持できること

抑揚を動かせても、狙った形を選べるとは限らない

「Steering intonational tunes in text-to-speech synthesis」は、10月20日08時51分JSTに投稿された英語のイントネーションの研究である。CSMとS2の内部状態へ介入し、上昇・下降の傾向を動かす一方、境界の音調に比べてピッチアクセントは一貫しにくく、狙った音調を大まかな傾向以上に精密には選べないと報告する。[7]

これは日本語の語アクセントやプロミネンスを直接検証した結果ではない。それでも、表現を変化させる能力と、欲しい変化を再現可能に指定する能力の差が見える。制作側の「もう少し違う感じで」と、「この語の扱いだけを変えて、ほかは残して」は、同じ要求ではない。

録音を起点にすれば、何を先に決められるか

HeyGenは、公式RSSの10月21日00時18分JSTの項目で、Speech to Speechを告知した。最大300秒の録音を、同じ言葉・同じタイミングでworkspace内のinstant voiceへ変換し、一つのWAVを返すというAPIだ。対象は利用可能な状態のinstant voiceで、professional voice cloneは未対応とされる。[8・9]

文字から読み方を作り直す代わりに、録音された発話を入力に置ける。ただし、言葉とタイミングを保つという提供者の説明は、ブレス、泣き笑い、微妙な抑揚や相手への働きかけまで忠実に残ることの証拠ではない。本稿での実測もない。[8]

読みやタイミングを録音側で決め、声質の変換を別工程に置く。このような構成を考えられること自体が、制作上の選択肢になる。その工程が作品に使えるかは、何が残り、何が変わるかを実際に確かめて判断する。

Structural implications / 何を、どの工程で決めるのか

今回の事例は、一つの方式へ収束しているわけではない。テキストと指示から作る。会話に応じて非言語発声を選ぶ。録音済みの発話を起点に声を変える。それぞれ、入力できるものと、先に決められるものが異なる。

制作で試すなら、モデル名より先に、次を分けて記録したい。以下は製品共通の機能や義務ではなく、本稿の検証用の整理である。

  • 指定するもの。文言、読み、声質、話速、強調、息の位置など。
  • 保持したいもの。元の実演、話者性、間、尺、前後の台詞とのつながり。
  • 変えてよい範囲。全体の再生成か、一部分か。変更に伴ってほかの箇所も変わらないか。
  • 評価するもの。読みの正確さ、場面への適合、指示への応答、繰り返したときの安定性。
  • 利用できる範囲。モデルの条件、入力録音と変換先の声の同意、用途、公開までの承認。

指定の入口が増えても、評価する耳や採否の判断が不要になるわけではない。むしろ「なんとなく自然」から、どの特徴を採用し、どの特徴を直すかへ、判断の言葉を細かくしていけるかが問われる。

Uncertainties / 次は、同じ場面で確かめたい

次の検証案として、短い日本語の場面を一つ用意し、テキスト起点の生成と、演者の録音起点の変換で比べてみたい。前後の文脈、際立たせたい語、息の位置、修正時に残したい特徴を先に記録する。これは今後の提案であり、比較音声を作って聴いた結果ではない。

一度よい出力が得られたかだけでなく、再試行で同じ狙いを保てるか、一箇所を直すと何が動くかも見る必要がある。タグへの追従、研究上の評価値、作品としての適切さを同じ点数にはしない。

今回は、公開モデルの推論手順、研究の投稿、APIの告知を扱った。映画・ドラマの本番採用や継続利用の証拠ではない。提供された週報の全項目を転載せず、制御と保持に関わる事例に絞っている。

声が出るようになった先で、何を自動的に選ばせ、何を人が決め、何を残したまま直せるか。その違いを見ていくと、技術の進歩が制作の判断へどう接続しているかを追いやすくなる。

Related reading
AI吹替、口が合ったあとに残ること →聞き取れるのに、人物が話しているように聞こえない →声を作れることと、役を演じ通せること →「AI吹替」は、何を使って何をしているのか →声を使う権利と、本人に残る権利 →

Sources / 公開された仕様と、研究の報告

以下は2026年10月26日に確認した一次資料。時刻が分かる公開記録はJSTへ換算した。モデルカードの現在の説明を、公開初日の全仕様の再現とは扱わない。研究資料は今回の参照だけで査読済みとはせず、著者による結果の報告として記す。

音声サンプル、性能値、特定作品の採用を独立検証した記事ではない。条件や提供範囲は更新され得るため、実際の利用前には各原資料を確認する。週報に含まれる対話基盤、多言語展開、codec、組合通知は本稿の主題には含めていない。