タイトル画像

Sinsyに外国語を歌ってもらおう

2018.04.13(19:09) 216

CeVIOにIA Englishが来そうだということで、同じくHMM系歌声合成であるSinsyで英語・中国語を歌ってもらおうということになったのでSinsyで外国語を歌わせる手順をまとめました。

【用意するもの】
・Musescore

楽譜作成のためのフリーソフトです。こちらから頑張ってインストールしてください。

【手順】
1.Musescoreで楽譜を作る
「新しいスコアを作成」してください。設定はやりたいようにしてOK。

テンプレート→General→楽器を選択してください→ボーカル→ボーカル→追加

とかとりあえずボーカル用・合唱用の楽譜になるようにしてください。

2.音符の入力
Nキーを押すとノート入力モードになります。頑張って楽譜を作りましょう。

3.歌詞の入力
もう一度Nキーを押してノート入力モードをオフにし、先頭のノートを選択してCTRL+Lキーを押すと歌詞入力モードになります。
Musescore.png

一つの音符に1シラブル入れるより一単語入れちゃって、あとからVocalShifterなどでピッチ書いたほうがよさそうです。

中国語は普通にピンインで入力。ただ、四声も入力しないとテキトーに発音しやがるのでちゃんと入力しましょう。
Musescore1.png

4.エクスポート
エクスポートでは、MuseXMLで書き出して拡張子を.xmlに書き換えます。
Musescore2.png

5.Sinsyにアップロード
英語なり中国語の音源を選んでアップロードして合成してダウンロードしてVocalShifterで調声してMIXして終了(いつも通り)

【合成結果】

英語


中国語


こう。

スポンサーサイト

くろ州の合成音声備忘録


その他歌声合成 トラックバック(-) | コメント(0) | [EDIT]
タイトル画像

中国のバーチャルシンガー自作可能な歌声合成「袅袅」

2018.04.09(14:21) 215

UTAUには「ハイクオリティーなオリジナルのバーチャルシンガーを作ることができる」という大きな特徴がありますが、中国においてバーチャルシンガーの自作が可能な歌声合成が「袅袅(NIAONIAO)」です。
NIAONIAO01.png

HPリンク

【導入】
上のリンクからNIAONIAOロゴのすぐ下の「下載(ダウンロード)」ボタンを押せばZIPファイルが落とせます。

これを解凍すれば導入は完了。デフォルトで音源も一つ入っています。

【好きなバーチャルシンガーを導入する】

バーチャルシンガー一覧から好きなキャラを選んで導入することもできます。

好きなキャラをクリックするとそのキャラのページに行くので、プロフィール一覧に潜んでいる「下載」の項目からダウンロードしてください。

ダウンロード先は中国のファイル共有サービスBaiduとなっています。大きいファイルだとダウンロードに手間取りますが、NIAONIAOのシンガーは小さいのでひたすら「下載」ボタンをたどっていけばいいです。

落としたZIPやRARを解凍し、ファイルごとNIAONIAO本体と同じところにある「src」フォルダに入れておきます。

音源の登録はUTAUと結構似ている。
NIAONIAOを立ち上げて左上の音源名が書いてあるところをクリック。すると音源プロパティーが開くので、その一番上の「音源路経」のセクションから登録したい音源を指定。下の「确认(確認)」ボタンを押せば完了。

【使い方】
NIAONIAOの調声は比較的VOCALOIDに近いです。

1.ノート入力
普通。真ん中のドはC4です。ピアノロールに書き込むだけ。

2.歌詞入力

中国語は漢字、ピンイン表記が可能。日本語音源はローマ字で入力可能です。

日本度にしても中国語にしてもアルファベットで打つととりあえず警告が出ますが、特に問題はないのでそのまま再生できます。

TABキーで次のノートに移るとか、F4キーを押すと歌詞の一括流し込みができるとか一通りの機能は備わっている。

3.パラメーター
パラメーターは基本ノートごとにコントロールします。
発音急促度:子音の長さだと思われる。値が小さいほど短い。
      下げすぎると子音が削れてなくなったりする。
発音清晰度:アタック感。小さいほどアタックが強い。
      下げすぎると暴れる音もある。
滑音起始 :ポルタメントの開始位置。小さいほど早いうちから始まる。
      ちなみに前にしか伸びない。
振音長度 :ビブラートの長さ。小さいほど短い。
振音幅度 :ビブラートの振幅。小さいほど小さい。
振音速率 :ビブラートの周期。小さいほど遅い。
弯曲霊敏度:VOCALOIDでいうPBS。「音高歪曲線」の効きの大きさ。
      大きいほど音高歪曲線による影響が大きい。
音高歪曲線:VOCALOIDでいうPIT。音程変化。
音量包絡線:音量コントロール。

4.ピッチの手書き

左上の消しゴムツールの右隣のアイコン(調参ボタン)を押すとピッチの手書きが可能になります。弯曲パラメーター使うより楽。
NIAONIAO02.png

5.自動調整
F3キーを押すと「自動調教☆」してくれます。

具体的には、プレパレーション・オーバーシュート・しゃくり・ビブラートを入れ、適宜発音調整してくれる感じです。

上級者はたぶん満足いかないでしょうが、とりあえず軽い調声がなされます。

ところで「自動調教☆」の「☆」はUTAUの自動調声「おま☆かせ」と何か関係あるんでしょうか。

【音質・合成クオリティー】

普通です。RenoidPlayerっぽい。

【音源制作】
NIAONIAOの音源制作は基本的に本家が作ったツールとドキュメントを使って行います。

音源の作り方は本家の教則ページに載ってます。

基本的に単独音形式でとっていきます(OREMOを使うと楽でしょう)。それに本家ツールで原音設定して音源として形式を整えたら完成。

他音階音源や他音長音階(テンポに合わせてサンプルを変える)なども可能らしい。


くろ州の合成音声備忘録


その他歌声合成 トラックバック(-) | コメント(0) | [EDIT]
タイトル画像

東北大発の音声合成企画 ボイスメイドプロジェクト

2018.03.30(15:10) 214

去年の九月にMyTwitterに「我々も歌声合成の研究を行っています」というリプが来まして知りました。

【ボイスメイドプロジェクト とは】
東北大学の音声認識、音声合成などを行う研究室発のプロジェクトだそうで。
歌声合成を作ったり、ノベルゲームを作ったり、小さいロボットを作ったりいろいろしている模様。

今回は歌声合成に注目していきます。以下ボイスメイドプロジェクト=VMPと略記します。

【歌声合成】
とりあえずどんなものか聞いてみましょう。後半がVMPのもの。


すごかろ? VOICE TEXTを思い出すかなりの人間らしさ。実際VOICE TEXTの関係者さんとも会ってたりするようです。

DNNを活用しているらしく、VOCALOIDのような調声をすることなくこのように歌えるということなのです。そして公式Twitterによると音源やソフトを無料公開予定とかDAW連携・音声ライブラリ自作などへの対応を検討しているという話もあるようで期待値が個人的に爆上がりしているわけですが、その辺がどの程度実現できるかは「研究費次第」というところらしいので、期待しながらもプレッシャーにならない程度の感じで応援していこうかと思います。

GUIの開発自体予算的に厳しそうということもあるらしいのでひっそりと、合成エンジンを作って汎用歌声合成シーケンサー「Cadencii」にくっつけるとか、SinsyのようにXMLを受け取って音声を返すWebアプリくらいの感じでもいいんじゃないかとか思ってたりします。

なんにしてもPCで手元で使ってみたい欲が半端ない逸品。頓挫してしまうよりはそういう方法で出してもらった方がよっぽどうれしいのです。

デモ曲の制作なんかでもお手伝いしたいなとか思いつつVMPの未来に思いをはせています。


くろ州の合成音声備忘録


その他歌声合成 トラックバック(-) | コメント(0) | [EDIT]
タイトル画像

リアリティー最強音声合成 VOICE TEXT

2018.03.30(13:39) 213

個人用の音声合成ソフトとしてリリースされてはいないですが、見逃すことのできないハイクオリティーな音声合成「VOICE TEXT」を紹介します。

HP=音声合成の声優事務所
※音が出ます

【VOICE TEXT とは】
法人向けが主な機械やアプリに組み込んで使うタイプの音声合成。話し声も歌声も合成できる。
ディープラーニングを使ったりもしている。今どきディープラーニングで音声合成というのは自然な流れではあるけどクオリティーが高い。

【特徴 話声合成】
所属するキャラは14に及ぶなかなかの大所帯。AI Talk同様多言語対応で、一部感情表現にも対応。
博多弁キャラ萌え。

というところはそこまで特殊でもないですが、クオリティーがやばい

HP中ごろにディープラーニングのサンプルが置いてありますが、VOICE TEXTの一番の強み「演技ができる」というところ。

「どれにしよっかなぁ」というセリフ。従来版では「どれにしよっかなあ」という感じで呼んでくれますが、ディープラーニングのほうではどれにしよっかなぁー?」語尾にちょっとした表現力が!

単純に読むだけでなく音素の長さが変わっているし、ちょっと思わせぶりな感じも出ている。すげぇ。

「あぁー。そういうことなのね」というセリフ。従来版では「あぁあ。そういうことなのね」という感じだけど、ディープラーニングのほうでは「あぁー……そーゆーことなのね……?」くらいの!表現力が!

なんということでしょう。

声質は学習系音声合成っぽさがあまりない感じがしますね。

【特徴 歌声合成】
歌声合成もすごいです。学習系歌声合成で、無調整でも勝手に歌ってくれます。しゃくりやビブラートも息遣いも何もしなくてもこれだけ歌ってくれる。


公式オリジナル曲とか作っちゃってるんですよ。無調整でこれということは、曲作って楽譜渡しただけでこうやって歌って返してくれるんですよ。あとはちょっとリテイク出したり手を加えればよい。となるとまさに「バーチャルシンガー」という感じがしてきますね。


こっちのデモはより歌い方がわかりやすいですね。無調整とは思えない。

【まとめ】
誰かこれを組み込んだ歌声合成ソフト作ってくれませんか!買うので!

開発者さん向けにWebAPIが公開されていますよ


くろ州の合成音声備忘録


その他歌声合成 トラックバック(-) | コメント(0) | [EDIT]
タイトル画像

Mac専用の歌声合成「SugarCape」

2018.03.24(21:12) 211

SugarCapeというのは、実に愉快な開発者さんによる2009年生まれのMac専用歌声合成です。

紹介動画をどうぞ。


できることは基本動画にあるので全部です。この人の解説動画ネタ仕込まれてて面白いですよね。

配布ページ

【特徴】
・オケの読み込みができる
UTAU単独音程度の滑らかさ(システムもそんな感じ)
自作音源(単独音形式)が使える
・ノートの入力段階でクオンタイズがないので不安感あるけどクオンタイズ機能自体はある
・ノートとノートの間は少し開けておかないと思いがけない出音になる
・逆にノートとノートを重ねるとピッチが滑らかに遷移する(Alter/Egoと大体同じ)
  例えばC3とD3のノートがC3→D3の順でちょっと重なっていたら、ドー↑オー~とピッチベンドする
・低い音では男っぽく高い音では女っぽくなる 要するにあまりフォルマントが維持されない
・ピッチはノート分割でコントロール
・ダイナミクスはノートごとに変えられる
・その他パラメーターは特になし

フォルマントが維持されないことを除けばまぁフツーの歌声合成ソフトです。個人的な感想としてはRenoidに近いような気がします。操作性やできること、合成クオリティーは結構似たものがあります。

【SaltCase】
同じ配布サイトの最新の記事は「SaltCase」という歌声合成の配布記事になっています。これはSugarCapeの後継ソフト的なものかと思われますが、機能はSugarCapeのほうが圧倒的に高いです(一応使ってみた)。最初期のSugarCapeと大体同程度のものだと判断できます。

【iPhone版SugarCape】
iPhoneで歌声合成できる唯一のアプリではあったようですが時すでに遅し。現在入手は不可能となっていました。


くろ州の合成音声備忘録


その他歌声合成 トラックバック(-) | コメント(0) | [EDIT]
その他歌声合成
  1. Sinsyに外国語を歌ってもらおう(04/13)
  2. 中国のバーチャルシンガー自作可能な歌声合成「袅袅」(04/09)
  3. 東北大発の音声合成企画 ボイスメイドプロジェクト(03/30)
  4. リアリティー最強音声合成 VOICE TEXT(03/30)
  5. Mac専用の歌声合成「SugarCape」(03/24)
次のページ
次のページ