タイトル画像

日本の元祖HMM系歌声合成「Sinsy」

2017.08.16(18:15) 150

歌声合成にもさまざまなシステムがあって、それぞれ結構音や性質が違います。

そんな中でも今回取り上げる「Sinsy」はHMM(Hidden Markov Model)という統計何とかをベースにしたブラウザ上で動く歌声合成なのです。最近はDNNベース?のライブラリも出ました。

声を聴いてみましょう。

「CeVIOっぽいな」と思った人もいるかもしれません。どちらもHMMベースの歌声合成であるという点で一致しているのです。むしろCeVIOがSinsyっぽい。

SinsyはじめHMM系歌声合成のいいところは「打ち込んだだけで自然な歌声が再現できる」という点です。調声の作業をしなくてもそこそこ自然に歌います。

Sinsyでは
童謡唱歌を得意とする「謡子」さん
日中英の三か国語を操る「香鈴」
ポップスを得意とする「f005j」
UTAUからやってきた「波音リツ」
・Sinsy初の男声「松尾P」

などの歌声を使うことができます。5人なのに多様性すごい。

【使い方】
ざっくりいうと3つの工程です
1.楽譜データを作る
2.Sinsyで歌声合成
3.VocalShifterで調声

見ていきましょう。

1.楽譜データを作る。
他の歌声合成と同じく楽譜データを作る必要があります。ただし、Sinsy自体には楽譜データを作るためのUIは存在しないので他のソフトウェアで作ります

使えるのは
RenoidPlayer(Renoidの記事はこちら
あたり(他にもあります)。

ここではVOCALOIDの調声のようにノート分割をしたりピッチを描くのではなくできるだけ「楽譜通り」に入力するのがコツ。しゃくりは入れない。

2.Sinsyで歌声合成
できた楽譜データ(.xml)をSinsyのページで読み込み、ちょっと待つと音声データが返ってきます。

これをダウンロードしてから調声が始まります。

3.VocalShifterで調声
Sinsyは調声のためのUIを持たないのでこちらもVocalShifterで調声作業を行っていきます。



【まとめ】
ここまで見るとわかりますが、Sinsyの調声は

1.歌手に楽譜を渡して
2.歌ってもらい
3.エディットする

という、実際に人間の歌手に歌ってもらうのととても近い方法になっています。

スポンサーサイト

くろ州の合成音声備忘録


その他歌声合成 トラックバック(-) | コメント(0) | [EDIT]
タイトル画像

2つの顔を持つ歌声合成「Renoid」

2017.08.14(01:18) 149

無駄にかっこつけた感じのタイトルになりましたが。今回取り上げるのは歌声ライブラリが自作できる歌声合成「Renoid」です。

とりあえず聞いてみましょう


Aquestoneと似たような印象を受ける人もいるかもしれないですね。

【使い方】
1)簡単バージョン
  A.RenoidPlayerのHPに行きます。
  B.その他の歌声合成と同様に楽譜を入力して合成することができます。

つまり
一つ目の側面は「ブラウザ歌声合成」です。

Webブラウザだけで歌声を合成することができます。

他にもVOCALOID/UTAU/CeVIOなどのシーケンスデータ(VSQ/VSQX/UST/CCS)などをD&Dで読み込めます。

歌声はもともとUTAU音源としてリリースされている音源のRenoid版をはじめ9個の中から選べます。

2)難しバージョン
  A.Renoidのダウンロードページから「SoundFont版」の音源をダウンロード
  B.DAWでSF2ファイルを読み込めるVST(sfz/TX16WX等)で音源ファイル(.sf2)を読み込む
  C.音源に付属しているキーマップ図を参考にMIDIを打ち込む
  D.ピッチ補正プラグイン(Kerovee/Gsnap等)で思うように音程補正をする

つまり
二つ目の側面は「サウンドフォント系歌声合成」です。

「系」とは言ったもののほかにサウンドフォントを利用した歌声合成があるかは不明。

各鍵盤に「あー」とか「とー」とかひらがなを割り当てていきベロシティーも駆使しながらMIDIで歌詞とリズムを打ち込みます。

MIDIを見ると音程があるように見えますが、実際は音程はずっと一定でピッチ補正プラグインで後からピッチを変えるという方法で歌声を合成しています。

合成結果はAquestoneに似ています。どちらもUTAUでいうところの単独音と類似の方式で、SoundFont版の音源は先行発声にも対応しにくいという点も似ています。

先行発声の話は頭を使って計算するとどうにかなります。が、「タイミングを見極めながら歌詞打ち込みトラックにMIDIで歌詞を入れ、ピッチ補正プラグインを差し、別トラックからピッチ補正用MIDIを送ってくる」のはDTM初心者にはかなりの高難度

そんなこんなでRenoidは「RenoidPlayer」の利用をお勧めします。



【音源の作り方】
基本的には本家様のHPで作り方が学べます。ここではRenoiseを使わない方法で。

1.音声を録音
 「あー」とか「こー」とか発音は1文字ずつ別ファイルに録音していきます。UTAU単独音と同じ方法で問題ない。ちなみに発音はあまり長くしても意味ないので。

2.SoundFontにする
 ここがなかなかの高難度。SoundFontというのは「音声素材を集めて一つのDTM用音源としてまとめたもの」ですが、比較的簡単に作れるSoundFont(SFZ形式)はRenoidPlayerさんうけつけてくれないっぽいので、SF2形式で作ることになります。

 SoundFontは私もたまに作りますがSF2は苦手なので説明は「SoundFont 作り方」で検索してくださいませ。「Vienna」というフリーソフトで作ります。一応ダウンロードページを。

完成。

頭の使いようでは連続音形式に対応できそうな気はしています。


まとめ
 ブラウザだけでも歌声合成で遊べるRenoidPlayerでブラウザDTMができる


くろ州の合成音声備忘録


その他歌声合成 トラックバック(-) | コメント(0) | [EDIT]
タイトル画像

UTAU収録リスト作成補助マクロ作ってみた

2017.08.10(22:08) 148

UTAU音源制作技術者の腕の見せ所「独自リスト」

これを作るのに少し役立つかもしれないマクロを組みました。

こんな感じに動きます。

VBAは今日「これ作ろう」と思ってから触り始めたのでまだこのコーディングがいいのかどうかの判断すらつかない。おかしかったら誰か教えてください。


世のUTAU収録リスト制作者の皆様がどのようにリストをつくているかはわからないですが、私はEXCELで作っています。

ローマ字入力でオートフィルを使い、ひらがなに変換するといくらか速く間違いが少なくできますが、ちょっとした修正があってやっぱりミスをしやすい。あとめんどい。

「tatituteto」は「たちつてと」じゃなくて「たてぃとぅてと」に変換してもらえるとひな形を崩さなくていいし「wo」は「うぉ」と変換してほしい。

ので、マクロを組みました。ボタン一つで変換してくれます

【使い方】
1.ひな形をローマ字で作る(「ん」は[nn]と打つ方が間違いない)
   「作業場」のワークシートに記入。

  EX)
    _kakannkikakuka
    _kikinnkukikeki
    _kukunnkekukoku
    _kekennkokekake
    _kokonnkakokiko
    _kakikukekokann

2.オートフィルで増やす

3.子音を置換
    
    _kakannkikakuka
    _kikinnkukikeki
    _kukunnkekukok
    _kekennkokekake
    _kokonnkakokiko
    _kakikukekokann

   ここから「k」→「s」に置換

    _sasannsisasusa
    _sisinnsusisesi
    _susunnsesusosu
    _sesennsosesase
    _sosonnsasosiso
    _sasisusesosann

4.「UTAU収録リスト形式に変換」ボタンを押す

5.ひらがな(+α)の収録リストが完成

【注意】
・EXCELの仕様で[myu]→「みゅ」変換がうまくいかない可能性がある
  ┃対処法┃
   「ファイル」→「オプション」→「文章校正」→
     →「オートコレクトのオプション」→「オートコレクト」→
        →「修正文字列:myu 修正後の文字列:my」の行を削除

・「ん」を[n]と打つことも可能だが、通常のローマ字変換と同様、
 「あ行, な行, にゃ行」等で変換ミス(ミスではない)が起こる

【変換規則】
・基本はローマ字→ひらがな
・[si]→「すぃ」
・[ti]→「てぃ」
・[tu]→「とぅ」
・[wo]→「うぉ」
・[Na, Ni, Nu, Ne, No]→「ガ, ギ, グ, ゲ, ゴ」
・[zi]→「ずぃ」
・[di]→「でぃ」
・[du]→「どぅ」
・[yi, kyi, nyi, hyi, myi, ryi, gyi, byi, pyi]→「い, き, に, ひ, み, り, ぎ, び, ぴ」
・[va, vi, vu, ve, vo]→「ヴぁ, ヴぃ, ヴ, ヴぇ, ヴぉ」
・[n]→「ん」(非推奨)
・[nn]→「ん」(推奨)
・[kwa, kwi, kwu, kwe, kwo]→「くぁ, くぃ, く, くぇ, くぉ」
・[thu, tyu]→「てゅ」
・[dhu, dyu]→「でゅ」

【ライセンス】
・ファイル名、マクロ、変換規則は改変可
・再配布及び改変後の再配布は要相談(Twitterへ)

【禁止事項】
・法に触れる行為
・くろ州にとって都合の悪い事態になる行為

【免責】
関連ファイル群を利用したことによる損害の責任は、一切負わない

【連絡】
Twitterが最速( @96s_kM4osM )


くろ州の合成音声備忘録


制作 トラックバック(-) | コメント(0) | [EDIT]
タイトル画像

UTAU用7モーラ連続音リスト配布

2017.08.10(00:13) 147

UTAU連続音を録るためのちょっと意味深な7モーラリストができたので配布します。


【概要】
くろ州が作ったUTAU連続音用7モーラリスト

【特徴】
・「てゅ」のブロックとロングトーンのブロック以外で法則が崩れない
・各ブロックの各行はそれぞれ「あ」「い」「う」「え」「お」「ん」で終わる(活用の余地として)
・総発音回数192回
・BPM=120, ワンループ16拍のBGMで収録した場合リテイクなしなら理論上25分36秒で収録可能
・ロングトーン音素のエイリアスは「x -」
・語尾息のエイリアスは「x R」
・「くぁ行」「ガ行(鼻濁音)」のブロックがない
・「ヴぁ行」のブロックはある

【ライセンス】
・リスト内容は改変可
・使った場合は表示していただけると喜ぶ
・事後報告してもらえるとめっちゃ喜ぶ

【禁止事項】
・法に触れる行為
・くろ州にとって都合の悪い事態になる行為

【免責】
関連ファイル群を利用したことによる責任は、一切負うことはない

【連絡】
Twitterが最速( @96s_kM4osM )



くろ州の合成音声備忘録


制作 トラックバック(-) | コメント(0) | [EDIT]
タイトル画像

VOCALOIDの音域とブライトネスー低音域の拡張ー

2017.08.01(23:10) 146

最近あまり高い音域や早口は見られなくなってきましたが、VOCALOIDと言えば人間には不可能なハイトーンと早口みたいな面がありました。

しかし、VOCALOIDには「推奨音域」があります。

高音域に外れると言葉として聞き取れないし耳に痛い低音域に外れると著しく出音が鈍るのです。

ミクさんに低音域を発音してもらいましょう

まず何もせずに

かなり鈍りますね

【対策1 ブライトネスマシマシ】
どしらそふぁみれどAfter 
音域を外れたところにブライトネスをかけてやれば

十分に鳴ってくれます

【対策2 ピッチベンド】
1.音域内までキーを上げる
どしらそふぁみれど2 ※上に移動

2.上げたキーと同じだけPBSに適用(12キーあげたらPBSも12)
3.PITを-8191にする

すると

場合によって使い分けてみましょう。


くろ州の合成音声備忘録


VOCALOID調声中級 トラックバック(-) | コメント(0) | [EDIT]
最近の記事
  1. 日本の元祖HMM系歌声合成「Sinsy」(08/16)
  2. 2つの顔を持つ歌声合成「Renoid」(08/14)
  3. UTAU収録リスト作成補助マクロ作ってみた(08/10)
  4. UTAU用7モーラ連続音リスト配布(08/10)
  5. VOCALOIDの音域とブライトネスー低音域の拡張ー(08/01)
次のページ
次のページ