VOICEROIDやCeVIOではよくある「立ち絵PSD」ですが、UTAUにはほとんどありません。UTAUの人好きそうなのに……
というわけで、頑張って「UTAU立ち絵を自動で口パクさせる」方法を考えてみました。
現状残念ながらUTAUでは完結しませんが。
【やりたこと】
UTAUキャラの立ち絵を音声に合わせて口パクさせたい。
CeVIOでは私やったんですよ。全編手動で。
これを「UTAU」で「自動」でやりたい
【必要なモノ】
欲しいのは
・口パク立ち絵.psd
・UST→LABコンバーター
・PSDToolKit
立ち絵もま～ないんですが、UST2LABコンバーターも存在しません。
LABというのは口パクするためのタイミング情報が書いてあるファイルです。
PSDToolKitはAviUtl用のプラグインです。AviUtlにPSDファイルを読み込ませることができます。
これを使って口パクや瞬きをさせます。
でも、ないものはしょうがないので、私は今回これだけのものを用意しました。
・立ち絵画像.png
・UTAU
・CeVIO
・PSDToolKit
UTAUとCeVIOをUST2LABコンバーターだと思っている節がある。
今回は後者でやります。
【結果】
今回お借りしたのは「やすたんげ」さんの口パクテトさんの画像です。
配布場所はここ（ http://seiga.nicovideo.jp/seiga/im8683054 ）
出来た。
— くろ州＝歌声合成好き (@kM4osM_96s) 2019年1月20日
HANASUを作って、
そこから無理やりLABを出して、
自動で立ち絵に口パク&瞬きさせる。 pic.twitter.com/ZFJM6L8M3K
この素材はPSDではなく、PNG画像だったので、PSDにしてPSDTool用の設定も施しました。
この動画が（下準備抜きで）10分以内で作れます。
【やり方 事前準備編】
音声部門
・HANASUを作ります
テトさんをなんやかんや調声します。
歌声合成システム部門
・USTからMIDIをエクスポートします
UTAUのエクスポート機能でMIDIを書き出します。
・MIDIをCeVIOにインポートします
・CeVIOから音声書き出しをするときにLABをエクスポートします
この時に書き出したCeVIO音声は使いません。LABが欲しかっただけ。
映像システム部門
・PSDToolKitをインストールします
頑張ってください。難しくはない。
画像部門
・PNGを集めてPSDにする
口ごとにレイヤーを分けフォルダにまとめて、
目ごとにレイヤーを分けてフォルダにまとめる。
・PSDTool向けに最適化する
フォルダの命名をきちんと指定されたとおりにする。
【やり方 動画作成編】
１．プロジェクトを作る
２．音声・PSD・LABファイルをタイムラインに突っ込む
３．PSDを選択してアニメーション効果を2個追加（結果3個になればOK）
４．アニメーション効果を「目パチ」→「口パク（あいうえお）」→「描画」の順に並べる
５．目パチ……長い！
これはPSDToolKitのチュートリアルを読んでください。
この後、母音に口の差分をそれぞれ割り当てる作業と、LABファイルの場所をツールに教える作業があります。
慣れると（一回セッティングしてしまえば）一瞬でできます。
【展望】
・AviUtl
アニメーション効果が使えれば使えるので中級ですかね。
・UST2LAB
現状高難度スキルです。私もそこそこてこずった。
普通に考えてプログラム書いてUSTからLABにコンバートすればいい話ですが私はできないのでUTAUとCeVIOを使いました。
・UTAU口パク立ち絵
ほぼ存在しません。口パク瞬きをHANASUや歌唱動画で使おうと思うと、
口差分：あ、い、う、え、お、ん とお好きな表情
目差分：全開、全閉 と中間差分があればなめらか 後はお好きな表情
他差分：眉、頬、鼻、アクセサリー、服装等お好きに しゃべらせるだけならいらない
が必要になってきます。この辺の制作ノウハウは、「VOICEROID 立ち絵」「CeVIO 立ち絵素材」とかでニコニコ静画を検索して（できればPSDToolに対応とか書いてあるやつを）ダウンロードしてきてまねるのがよさそう。
この辺が整備されれば広まるとは思われるが、整備されるかな？
スポンサーサイト
プロフィール