Synthesizer V Studio 1.10.0b1 アップデート: ユーザーフィードバックによるピッチ生成の強化

DreamtonicsはSynthesizer V Studio 1.10.0b1のアップデートをリリースしました。

このアップデートでは、最新の研究結果をもとに大きな改善を加えました。それは「人間のフィードバックからの強化学習 (RLHF)」の歌声合成への適用です。
RLHFはピッチ生成を大幅に強化することが判明しており、それらを歌声データベースに統合する仕組みを作りました。

具体的には、このベータリリースには歌声データベースの更新とともに Synthesizer V Studio Pro の新機能として、ユーザーが音質に関するフィードバックをDreamtonicsに提供できる機能が追加されました。
いただいたフィードバックのデータはモデルの訓練に用いられ、将来の歌声データベースの更新に取り入れられます。

RLHFによるピッチ生成の改善

AIは、録音した訓練データを元に歌手の特徴を模倣します。しかし、AIの訓練のためにデータを取得することには困難さを伴います。なぜなら、従来のアルゴリズムでは、録音から良い部分も好ましくない部分も両方を学習するため、ときに歌声の生成が望ましくない結果になってしまうことがあります。

このアップデートでは、テキスト生成のAIで使用されている「人間のフィードバックからの強化学習 (RLHF)」をSynthesizer V Studioに取り入れることで、システムがより好ましいレスポンスを生成するような更新を行っています。RLHFを使用すると、ユーザーが魅力的だと感じるピッチカーブをSynthesizer V の AI に”教える”ことができます。これは、ピッチが外れにくくなったり、ビブラートやノートが変化する際のピッチ遷移が表現豊かになります。

新しい”RLHFによる補正”は、歌声データベースをベータバージョンに更新すると、AIリテイクパネルにて利用可能になります。このスライダーは、RLHFによる補正の程度を変更できます。デフォルトでは、リスナーの好みを最適化するために有効になっています。この機能は、AIリテイクでの作業時にさまざまな出力を生成するためにオフにすることもできます。

AIリテイクでフィードバックを送信

今回のベータ版歌声データベースは、厳格な内部テストによって1ヶ月間収集されたフィードバックデータを使用して訓練されています。これらの歌声データベースは既にRLHFによってピッチ生成が強化されていますが、今後、多くの音楽の文脈、幅広いユーザーをカバーする包括的なフィードバックでさらに良い結果が得られることを期待しています。

私たちは、継続的なピッチ生成の改善、そして声色のモデリングにRLHFを拡張するために、すべてのSynthesizer V Studio Proユーザーがフィードバックを送信できるようにしています。AIリテイクパネルにある各テイク上のハートアイコンは、元々ブックマーク機能として導入されましたが、今ではユーザーがDreamtonicsと好みのテイクを共有するボタンとしても機能します。このフィードバックデータで訓練されたモデルは、将来の歌声データベースのアップデートに活用されます。

フィードバックの送信は、ユーザーの同意のもとに行われます。この機能を使用した際、選択されたノートに関連するプロジェクトデータの一部がテイク情報と共に共有されることをご了承ください。このデータはDreamtonics社内で厳重に保管され、研究および開発目的のみに利用されます。もしユーザーがフィードバックの収集を選択しなかった場合、ハートアイコンは単なるテイクのブックマークとして機能します。この場合、アイコンをクリックしたとしても、いかなるプロジェクトデータも送信されません。

ユーザビリティの改善

Synthesizer V Studio 1.10.0b1のアップデートでは、いくつかのユーザビリティの向上が行われました。トラック色をトラックヘッダーの右クリックメニューから選択できる機能が追加され、トラックを整理しやすくなりました。

さらに、ユーザーからいただいたご意見をもとに、選択されたノートの歌詞をシフトするメニューコマンドを追加しました。この機能により、”歌詞入力…”メニューからダイアログで歌詞を入力した後の調整がしやすくなりました。

プロジェクトの互換性に関する注意点

AIリテイク機能の設計変更のため、バージョン1.10.0b1および、今後のバージョンで保存されたプロジェクトファイルは、1.9.0およびそれ以前のバージョンと互換性がありません。
過去のバージョンで使用する場合は、”ファイル”メニューから、”名前をつけて保存(バージョン1.9.0互換)…”を選択すると、1.9.0以前で開くことができる形式で保存できます。

新機能へのアクセス方法

Synthesizer V Studioと歌声データベースのベータ版は、別々にリリースされます。

Synthesizer V Studio 1.10.0b1について

1.10.0b1はベータ版です。ベータ版では、Synthesizer V Studioに実装予定の新機能をいち早くご試用いただくことができます。本バージョンのご利用を開始する前に、以下の点についてご理解ください。

• 本バージョンは開発途中であることをご理解の上ご利用ください。
• 本バージョンは環境などにより正しく機能しない可能性があります。
• 本プログラムのご利用に際し、予期せぬ不具合が発生する可能性がありますので予めご了承ください。

Synthesizer V Studio 1.10.0b1はこちらからダウンロードできます。

Synthesizer V Studio 1.10.0b1向けベータ版歌声データベースのアップデート

今回のベータ版リリースには広範囲な変更が含まれるため、まずは以下の歌声データベースを対象としたベータ版アップデートを提供します。
 

それぞれの歌声データベースはこちらからダウンロードできます。

詳しいリリースノートは以下をご覧ください。

Synthesizer V Studio 1.10.0b1 (2023年8月2日)

 
新機能

• 自動処理：RLHFによりピッチ生成を強化したピッチモデルに対応しました。また、AIリテイクパネルのピッチにおいて補正の程度を調整できる”RLHFによる補正”パラメーターを追加しました。（歌声データベースの更新が必要です）
• トラック：トラックのヘッダを右クリックすることで、右クリックメニューからトラックの色を選択できる機能を追加しました。
• ピアノロール：選択した音符の歌詞を前方、または後方にシフトすることができる機能を追加しました。
• AIリテイク：ユーザーが、AIリテイクの気に入ったテイクにハートマークをつけることによって、ユーザーフィードバックの送信が行えます。
  頂いたフィードバックはDreamtonicsへ送信され、今後の歌声データベースのアップデートに役立てさせていただきます。送信される内容はテイク内容とその前後の一部のプロジェクト情報に限られ、本機能は設定パネルより有効/無効を切り替えることができます。

 
機能強化

• Synthesizer V エンジン: 音素の長さ生成の改善、およびAIリテイクの声色テイクで多様なテイクが生成されるような改善を行いました。（歌声データベースの更新が必要です）
• AIリテイクパネル：グローバルの”表現の強弱”と”RLHFによる補正”の値が常に表示されるようにパネルのデザインを変更しました。グローバルの値はトラックおよびグループごとに設定できます。
• プラグイン:AUおよびVST3プラグインにおいてドラッグ&ドロップによるMIDIファイルのインポートに対応しました。
• その他: 中国本土からのアクティベーションサーバーへの接続性を改善しました。

 
動作変更

• AIリテイクパネル： テイク一覧の”表現の強弱”と”RLHFによる補正”のスライダーが相対値から絶対値（グローバルの値と合計した値）を表示するようになりました。
• ファイル：Synthesizer V Studio 1.10.0以降で保存されたプロジェクトは、テイクの”表現の強弱”の値域が変更されたため、互換性がありません。そのため、本バージョン以前のバージョンのSynthesizer V Studio向けにプロジェクトをエクスポートする場合はメニューの”ファイル”に”名前をつけて保存(バージョン1.9.0互換)…” を利用してください。

 
バグ修正

• Synthesizer V エンジン：前回のアップデートで導入された辞書の変更に起因した歌声データベースのクラッシュおよび品質が低下する不具合を修正しました。
• GUI：macOSでいくつかのキーボードショートカットが正しく表示されていない不具合を修正しました。
• ライブレンダリング: 起動直後にレンダリングを読み込むと、プロジェクトの一部がスキップされる不具合を修正しました。