CeVIOエンジンを作ったテクノスピーチさんが2018年にディープラーニングで人っぽく歌える歌声合成を発表しましたよね。あれを見てきました。
【経緯】
テクノスピーチNakamuraさん「最新の歌声合成のデモします」
私「行かねば（義務感）」
10月9日に明治記念館でポスター展示します。
— Kazuhiro Nakamura (@kazicnet) September 30, 2019
一般の方も無料で入れるようです。
最新の歌声合成のデモもするのでぜひ。https://t.co/W6hYsGZd6J
【いざ会場へ】
というわけで行ってきました。会場は明治記念館。
会場がやたら高級感あるんですよね。総務省のイベントだからかな？
でもその辺は私も仕事で慣れてきました。受付を済ませて会場に入ると
ブース……（中村さんいらっしゃる）
DAW連携しよる!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!（第1印象）
ディープラーニングとはあんまり関係ないんですが、NeoCeVIO（仮）、現時点でREAPER上で動いとるんですわ。
もちろん、まだ製品化のめどがたっていないので今後どうなるかはさっぱり分からないですが、NeoCeVIOがDAWで（も）動く可能性はあるんじゃないでしょうか。わくわく。
DAW連携以前に、このシステムが動いてるのが一般的なノートPCですよね。実際にその場でも合成して見せてもらったんですが、ちょっと待てば普通に合成完了しました。今年の3月ごろの時点では「高速演算が可能なコンピュータでも5分の歌を合成するのに10時間近くがかかる」という話だったらしいですが、その後8月くらい？には高速化に成功したようです。
【本題】
NeoCeVIO（仮）は、今日見た限りではもうかなり出来上がっていました。MusicXMLをCeVIOっぽいピアノロールが載ったGUIに投げると歌声が合成されます。何曲か合成して聞かせてもらいましたが、何もしなくてもちゃんと勝手に表現して歌ってくれるっていうのを目の前で見ると「ミライ来てるな」って感じしますね！ これあれば、作曲家さんが深夜に「アイデア降ってきた！」ってなって作業してもすぐに歌まで作れちゃう。調声しなくていいから。
とはいえ、調声したいというニーズもやっぱりある。今回されていた仮GUIでは、ノートの移動はできないものの、パラメーターはいじれるようになっていた。用意されているのはボリューム・ピッチ・タイミング（デュレーション）・ビブラートの周期と振幅あたりで、今のCeVIOと変わらない。それぞれのパラメーターの表示も変わりませんでした。もちろん仮なのでパラメーターの種類とか表示がどうなるかはわからないですが。
これを読もうと思った皆さんなら、たぶんすでにNeoCeVIO（仮）カバーは何曲か聞いていると思います。基本的にはそれと同じような音・歌い方になっています。今回は一般公開されていない、あいみょんカバーやSuperflyカバーなんかを聞かせてもらいました。よいわぁ～～。
あいみょんをNeoささら（仮）が歌ってるのは「うん。そうだよね」っていう納得感があったんですが、Superflyを表情豊かに歌っているNeoささら（仮）は新鮮でしたね。
A・Bメロは落ち着いた感じに。でもサビではテンション上げて力強く歌ってくれました。その辺の、“シンガーのテンション”のコントロールは強弱記号でできるそうです。CeVIOでもピアニッシモからフォルティッシモまで指定して歌わせられるんですが、NeoCeVIO（仮）でもできるらしい。
落ち着いているというのは、声色というよりも歌い方に現れる感じがしました。ピッチがそんなにぶれないし、しゃくりも激しくない。サビになると、声色もハる感じでしたが、しゃくりやビブラートが強めにかかる（あくまで印象）ようでした。
ちなみに、音程はやっぱり外します。中の人が外すならもちろんそれが正解。音楽製品にすることを考えるなら補正システムも欲しいですよね～～って話をしました。1キャラ毎に別スタイルの音源をバンドルして販売するとかもいいですよね～～とか好き勝手言いました。
【製品化はいつ？】
さっぱりわからないです。エンジンのほうはもう結構できてると思うんですが、GUIのほうはまだ考えるべきことがありそうです。もしDAW連携するとなれば、その辺のシステムも作りこみが必要だそうな。
技術的な面ばっかりじゃないんですよね。会社として、製品として販売するとなればいろいろ事情がありますよね。大変なんですよ（たぶん）。わかる。
でも、できる限り早く出したいという話でしたし、私も早く出してほしい（欲望まる出し）ので、期待して待っていましょう。
スポンサーサイト
プロフィール