Sharpkey初の日本語音源であるしゃーぷきいなりが公開ということで、スターターパックにも同梱していますが、簡易版マニュアルをここでも配布します。
マジの基礎だけ。調声TIPSやSK Galaxy、キャラクター紹介やインタビューなども載ったガチ版もそのうち公開するのでお楽しみに。
このマニュアルには書いてないですが、ビブラート設定はMIDI/VSQXのインポートや打ち込みより前にやっておいた方がいです。
スポンサーサイト
くろ州の合成音声備忘録
モーフィングというのはAからBに滑らかに変化していくことを言います。とりあえずこの動画を見てください。
こういうこと。ゆかりがだんだんずん子に変化していく。
こういうことがVOCALOID4じゃなくてもできるのが「KotonoFader」です。一昨日公開されたので早速使ってみました。
【できること】
・琴葉茜悲しみからだんだん喜になる音声が作れる
・通常音源からだんだん強音源にシフトする音声が作れる
・鏡音リンがだんだん鏡音レンになる音声が作れる
・この母音発音変だなって言う場合に補正できる
・用意されてない発音を生成できる
【導入】
このページの指示に従うべし。
【使い方】
大体同じだけど声だけ違うWAVファイルを2個用意します。
例えば「具体例の歌 feat琴葉茜悲」と「具体例の歌 feat琴葉茜喜」
よりはっきり歌ってるほうを音声データ１に入れて、もう片方を音声データ２に入れる。
下のほうにフェーダーが二つ用意されていると思います。それぞれ
・変換強度：どれぐらい２に近づけるか。100なら完全に音声データ２の声色になる
・グラフ初期値：変換するタイミングでは50でいい
【使い方アイデア】
１．UTAU/VOCALOIDで強弱をつける。
強音源や弱音源など、声質差分が用意されてるならこういうことが可能。
KotonoFaderの使い道
— くろ州＝情報整備士 (@96s_kM4osM) 2018年9月26日
強弱音源を用意して、混ぜる割合を書いてやる。VOCALOIDのXSYと同じ用途。
使ってるのはUTAUの具体音レイ（自音源） pic.twitter.com/D0jFe2i7pC
さっきの「グラフ初期値」はここでいじってるオレンジ色の線の初期位置なので、いじりやすいように調節すればいい。
VOCALOID4ユーザーは日常的に使ってた機能。
２．母音と母音の間の微妙な発音を作る
KotonoFaderの使い道
— くろ州＝情報整備士 (@96s_kM4osM) 2018年9月26日
違う母音を用意して発音を混ぜる。
タメに「あーぅあー～」とウを混ぜたり、二重母音「したぃたぃびょぅも」を作ったり、英語っぽい曖昧な母音を作れる。 pic.twitter.com/6b55eWSOCj
二重母音も作れるし、曖昧母音も作れるし、[@r]も頑張れば作れるし、演歌のビブラート（あーぅぁぅぁぅぁぅぁみたいなの）もつくれる。タメで使いたい「あーぅあー～～」っていう入るかはいらないかくらいの「う」が作れるの良い。
「か」の母音なんかほかのア段と違くね？ってなったときに「あ」を重ねることで補正するとかいう使い方も可能。
Sharpkeyユーザーは日常的に使う。
３．用意されてない発音を作れる
「わ」と「さ」を混ぜると「ざ」が作れる。
「ふぁ」と「わ」を混ぜると「ヴぁ」が作れる。
「き」と「あ」をうまく混ぜると「きゃ」が作れる。
「く」と「わ」を混ぜると「くゎ」が作れる。
KotonoFaderの使い道
— くろ州＝情報整備士 (@96s_kM4osM) 2018年9月26日
母音と子音を混ぜると新たな子音が生まれる。
「ああ」と「あさ」を混ぜたら「あざ」になった。
VOCALOIDで「ふぁ」と「わ」を混ぜたら「ヴぁ」が作れると思う。 pic.twitter.com/pce2NlcUU8
このように１と２の音程が多少違っても大丈夫。
４．キャラを混ぜることができる
キャラの同一性保持の問題があるので、やりすぎると怒られるかもしれないけど、ストーリー的にやりたい場面がないではない。
KotonoFaderの使い道
— くろ州＝情報整備士 (@96s_kM4osM) 2018年9月26日
キャラを混ぜる。そういうの無理な人は閲覧注意。
鏡音リンとレンを混ぜ混ぜ pic.twitter.com/PtwbDtlQ1N
クロスフェードでも似たようなことができるけど、モーフィングでは「重なる」のではなく「変化する」ので、ストーリーを考えるとおいしいこともある。
技術的には私はよくVOCALOID kokoneと音街ウナを混ぜて力強さをコントロールするとかよくやる。
他にも、モーフィングでは頭を使えばいくらでも使い道が出てくる。
くろ州の合成音声備忘録
ボイスチェンジャーってそもそもエフェクトなので、普通にVSTeで存在するんですよね。リアルタイム性でいうとプラグインタイプが最も速いです。「RoVee/KeroVee」はこれもまたそこそこ昔からある声質変換。
RoVeeが声質変換に特化したシンプルなやつで、KeroVeeが多機能なほう。使いこなせる自信があるならKeroVeeで。
【導入】
これ、導入できない人は恋声とか使ったほうがいいとは思う。一応解説。
【使い方】
RoVeeの場合、一番右はDry/Wet＝Mix率なので基本常に右に全振り。男声と女声混ぜても何にもならん。
残りの二つは左からフォルマントとピッチ。女声にしたければ右に回して男声にしたければ左に回す。簡単でしょ？
KeroVeeの場合は「Amount」ノブを0にして、Transpose＝ピッチとShift＝フォルマントをRoVeeと同じく調整してやる。Amountを100にすればケロケロします。
ボイスチェンジャーの処理にもそれぞれ苦手ポイントがあって、恋声やユーザーローカルは語尾やエッジ成分に弱い。対してRoVee/KeroVeeは無声子音の処理に弱め。
くろ州の合成音声備忘録
結構前からずっとあった「恋声」というボイスチェンジャーですが、2018年5月に二年版ぶりの更新が来てました。
【特徴】
シンプル。とりあえず「M→W」「W→M」ボタンを押せば何となくボイチェンできます。
生放送ではなく、しっかり編集した動画を作りたい人にはうれしいWAV読み込み機能もあります。
掛け録りしてしまうと後から調整しにくくなってしまうので、とるときは地で録ってあとから変換してやったほうがなんだかんだで楽。
ちなみにリアルタイムでの変換も可能。可能だけどレイテンシーがすごいので歌うのは感覚的に無理。なん十ミリ秒とかではない数百ミリ秒。しゃべる分にはたぶん生配信の映像のレイテンシとの差が埋まるくらいなんじゃないかと思う。
合成品質は普通。これは普通レベル。
【操作】
１．ピッチバーとフォルマントバーで声を作っていく
２．ボーカルの音域は右の窓を見ながら範囲を設定。別にできる限り大きくしてもいい
３．EffectボタンからEQとリバーブがいじれる
これで大体のことは可能。
下の真ん中にある方式選択に「話声」「歌声」というのが入っているが、「話声」の状態で歌声を読み込ませてみると音を外す。歌声を変換するときはここを「歌声」に変えるべし。
くろ州の合成音声備忘録
今、歌声合成も確かにアツいが、声質変換もかなりアツい。VTuberの影響かな？
【声質変換の種類】
そんな声質変換には大きく分けて2種類ある。
・ピッチとフォルマントを変えるやつ
・キャラになりきるやつ
ピッチとフォルマントを変えるやつとしては、Rovee/Kerovee/恋声をはじめとするこれまでにあったボイスチェンジャーがある。これらはおっさんの声をとりあえず高くして、フォルマントをいじって女声化するという方法で声を変えている。
この方法のいいところは、オリジナルの声になれることとと声を思うように調整して作りこむことができること。
キャラになりきるやつは最近出てきたタイプで、リアチェンvoiceが代表的。これは「特定のキャラ」に声を一気に変えてしまう。機械学習の手法を使うことが多い。例えば「あの声優さんの声になりたい」というビジョンが明確にあったときに、ピッチとフォルマントを変えるやつだったら頑張ってその声になるポイントを探さなければならないが、なりきりタイプでは事前に用意してあれば一発でその声が出るようになっている。
この方法のいいところは、「あのキャラ」になれること。プリセットがなかったらなれないけど。
【声の出し方】
女声から男声になるっていうのは割と簡単（シビアなフォルマント調整と安定した発声が重要）だけど、男声から女声になるというのはハードルがいくつかある。ちなみにうまく変換できなくてもソフトのせいにしてはいけない。向き不向きがソフトのほうにも喉のほうにもある。
１．そもそもの声質
そもそも、ピッチを上げてフォルマントを調整した時に女声になりやすい声とショタっぽくなりやすい声というのがある。発声の問題でもあるので多少どうにかならんでもないが、割とこれ以上は無理かなってなりやすい
２．しゃべり方
声がどうにかなってるはずだがしゃべり方が可愛くないために女声に聞こえないというのも結構ある。実はしゃべり方を変えれば思ったより女声じゃね？ってなったりもする。これは要するに「どこから見ても完ぺきな女装だけど歩き方と座り方がおっさん」みたいな違和感を生む
３．発声と音程
密度のある声よりも多少息っぽい声を出した方が女声になりやすい。息っぽい声を出しながらも一応筋の通った声にするというのがポイントだけど、これがなかなか難しい。そして、地声が低い人はどうしても無茶して音程をあげることになるので結果が劣化しやすい。
要するにできるだけ高い息っぽい声で可愛げのある喋り方をすればOK。正直ボイチェンは補助である。
くろ州の合成音声備忘録
珍しく日記的な内容にはなるんですが、このカバーやっててよかったとたまに思うことがあります。
何が良かったかというと、いろんな歌声合成の短めのサンプルが一気にそろったんですね。
VOCALOID
UTAU
CeVIO
Sinsy
Sharpkey
MUTA
SynthV
LaLaSong
歌うVOICEROID
Alter/Ego
という10種類の歌声合成のサンプルができたことにより、実験でこの10種の歌声合成の出力音声をポイっと投げられるようになったんです。便利～
以上。
くろ州の合成音声備忘録
我々の耳は完全に萌え声歌声合成に慣れてしまっているので判定基準があてにならんのですが、あてにならない耳をもってしても「これは萌え萌えですわ」って声を出す話声合成があります。
声質という意味ではなかなか。
— くろ州＝情報整備士 (@96s_kM4osM) 2018年8月8日
音質はまぁ、ね。 pic.twitter.com/8g73QNZXLx
メイド喫茶っぽい。HPはここ
このサイトもうこれ以上何もないので、文字入力して合成ボタン押すだけ。
！/？などの記号は付け加えても特に変化なし。語中の句読点では変化が見られた。
音質はそんなにだけど喋り自体は結構自然で、珍しい「しゃべり方」をする話声合成なのでなかなか面白い。
くろ州の合成音声備忘録
いろんなところで地味に細かいVR空間を提供する「VWORLD」を触ってみました。
ダウンロードはこちら
１．VWORLDとは
VRMを動かすことができるVR空間を提供するソフト。VR機器はいらない。グラフィックもそんなに強くなくて大丈夫。
２．ワールド
建物と街並みがアメリカン
「建築」からいろいろオブジェクトを追加して、建物を増やしたり家具を配置したりして遊べます。
３．モデルインポート
「開く」からVRMをインポート可能。VRoidで作ったモデルが最もVRoidで作ってた時の色味と最も近い状態で動かせる。
４．操作
「操作」を押すとモデルを動かせます。操作方法は左下に出てるので問題ない。が、どうやって「操作」モードを抜けるのかわからなくてちょっとビビる。TABキーを押せば抜けられます。
地味にものすごく好きなポイントとして音響をあげておきましょう。このソフト、足音が鳴るんですが、部屋の広さや床の材質によって響きが変わるんですよ。好き。広い部屋に移ると響きが増幅されて「この部屋広いな」って耳でわかる。
操作中はキーボードの１～８キーにモーションが割り当てられているので、ドアの前に移動してノックするとかも可能。なんかちょっと動きがアメリカン。おすすめモーションは座るシリーズと寝転がるシリーズ。良いぞ。
５．撮影
モーションの割り当てやいろいろ動かして撮影して楽しむのがこのモード。「効果」が結構細かい。
効果の中に被写界深度、色温度、彩度などがあるので、例えばこう。
たのしい。ゲーム作ってる人が作ったみたいな感じだ。
くろ州の合成音声備忘録
VTuberって要するに「バーチャルYoutuber」なわけだけど、気質的に言うとニコニコとの相性いいんだろうなーという風には前々からなんとなく思っていた。
のとどれくらい関係があるかは知らないけど、ニコニコ関連から「VirtualCast」というのが出ています。
１．VirtualCastとは
VTuber的活動をするスタジオを提供するソフト。空間を作って、そこに入って、配信する。
配信機能自体はついてないし、絶対に配信しないといけないわけでもないけど、一人で遊んでても特に楽しくはない。
他の人の部屋に「凸って」「一緒に生配信」するときに最も輝く「生配信特化型」という感じ。
２．導入
こちらがダウンロードページ。落として展開すればOK。
ViveとSteamVR必須です。Oculusに対応してないのなんでだろうね？
３．最初の遊び方
まずはとりあえず空間に入って使い方をつかんでから配信するようにしましょう。
とりあえず立ち上げて「自分で配信しない」のタブからテキトーに名前を付けてスタジオに入りましょう。で、指示に従ってキャリブレーションすれば準備OK
メニューボタンからいろいろボタン押しまくって機能を探っていきましょう。難しいことはないです。凸リストとかいうやつさえ押さなければずっと一人のスタジオです。押してもスタジオIDがわからないとは入れないですが。
４．凸る、配信する
生配信中のスタジオに乱入することを「凸る」という。打ち合わせして迷惑にならないようにしような。
配信自体はバーチャルじゃなくても何かしらやったことあればその知識で行けるはず。生配信ではギフトが送れたり、コメントがオブジェクトになって振ってきたりとエンターテイメント性に富んだコンテンツが享受できる。ここがだいご味のソフト。
５．VRMを読み込んで使う
自分で作ったVRMなり許可の出てるVRMなりをVirtualCastで使おうと思うと結構めんどい。手順は
A.モデルを作る（中に入る権利は自分だけのものにしとく）
B.ニコニ立体に投稿する
C.設定ファイルを書く ←Vカツモデル/他者モデルを使う場合はここから
D.VirtualCastでニコニコにログイン
E.規約に同意して
F.スタジオ内でモデル選択
なんとモデルをエクスポートする段階から始まるよ。
まずはVRMモデルを作る。書き出すときに中に入れるのは自分だけということにしとかないと他人に使われる。他人に使われていいなら良いけども。
それをニコニ立体に一回投稿しないといけない。この時、ダウンロードできる形にはしなくていい。ダウンロードファイルの項目には何も入れない。
で、それが終わったら今度はVirtualCast.exeと同じフォルダに「config.json」というファイルを新規作成する。「右クリック→新規作成→テキストファイル」とかにしておいて名前を「config.json」に書き換えればOK。拡張子の表示はしておこう。「config.json」をメモ帳にD&Dしてこれをコピペ↓
{
"niconico": {
"character_models": [
xxxxx
]
}
}
"niconico": {
"character_models": [
xxxxx
]
}
}
「xxxxx」のところに投降したモデルの作品番号「td-----」の番号を入れる。投稿したモデルのURLが「td12345」とかなら「xxxxx」には「12345」と入れることになる。
※参考記事
で、やっとVirtualCastを立ち上げる。VirtualCastでニコニコにログインしてからスタジオに入ろうとすると（結構待たされて）さっきUPしたモデルの規約が表示されるので同意して進もう。
で、スタジオでモデルを選択すればやっと使える。
長いな。2回目以降はこの作業しなくて済むけど、モデル読み込みの待機時間は別に短くならない。
くろ州の合成音声備忘録
VTuberになるときの選択肢にはA.VR機器を使う B.Webカメラを使うというのがあります。Webカメラを使うソフトの中では最強だと私が思うのはこの「Hitogata」です。
１．Hitogataとは
Webカメラ等を用いてVTuberになれるフリーソフト。Webカメラを使うものの中でも（たぶん）最も滑らかな動きで高解像度。
パーツを組み合わせてモデルを作る機能もあるが、VRMの読み込みにも対応している。
２．導入
公式HPからたどっていくと「BOX」というところにZIPがある。ダウンロードできない場合はログインしないといけない。ここはちょっとめんどい。
３．モデルを作る
「ツール→キャラメイキング」から、パーツを組み合わせてモデルを作ることができる。自由度は低いように見せかけて案外多様性がある。細かいキャラメイキングで挫折した人には向いてるかも。
モデルの形式はhgmという独自形式？のようです。
４．モデルをインポート
「ファイル→外部モデルを開く」からVRMモデルをインポートできます。VRoidで作ったVRMとの相性がとても良かったです。インポートした後は内部でhgmに変換されてるっぽいです。
５．動かしてみる
動かしたいモデルを選択して、右にある「FaceTracking」ボタンを押せばもう動かせます。出てくるウィンドウは最小化しておきましょう。
これがかなり滑らかに動いてくれた感動なんですよね。滑らかだけどなんか軽いんですよね。全然コマ落ちしない。
左下のほうに「部屋」「画面」「カメラ」「シェーダー」って並んでると思いますが、画面では背景色や画面サイズの設定ができます。高解像度の動画に余裕で耐えられるだけの画質がだせる。
カメラでは1カメから3カメまで用意されてて芸が細かい……ってなった。
1カメ
2カメ
3カメ
このモデルはさっきVRoidで作った。
口だけでも結構表情が作れるけど、それ以外のパーツはあんまり動かない。あんまり動かないけど口の表現力がすごいのであんまり気にならない。
表情の豊かさでいうとFaceVtuberのほうが豊かかな？
シンプルでありながら程よく多機能で良い。なんと録画してある動画からトラッキングすることもできるというこの機能。割と重要ですよ。
ついでに、動画ではなくてモーションを記録して書き出すこともできます。形式はVMD。ピンと来た方もいると思います。MMDのモーションデータの形式ですね。HitogataでモーションキャプチャーしてMMDにもっていくということができます。上体と口くらいだけど。おちゃめ機能くらいなら完璧でしょ。
ちなみに全身動かすこともできます。できますが、そのためには20万円くらいの機材が必要になります。
プロフィール