声に合わせてキャラクタの口を動かすことで、親近感を向上することができます。しかしながら、大量のセリフに対して手付けで口を動かすことは、その労力から困難です。

本セッションでは、音声から自動的に口の動きを生成する２つの手法を紹介します。

最初は、非常に軽量な「最尤エントロピー法」よってフォルマント周波数を抽出し、口の形状を推定する手法について解説します。

次にニューラルネットワークを用いて口の動きを推定する手法について説明します。音声特徴量を入力、口の形状を出力とするニューラルネットワークを作り、既存の音声データによって学習します。学習済みのニューラルネットワークを利用して、音声データから口の形状を推定します。従来の収録済みのセリフはもちろん、リアルタイム処理によってボイスチャットや生中継イベントへの活用ができます。

これらの口パクの生成の手法について、デモンストレーションを交えながら解説します。