Art for Well-Being

Report

2023年10月07日

【レポート】音色生成AI「Neutone」を使用した音遊び | 2023年8月26日

音楽と、音の違いって、何だろう?

徳井さん:
「音楽制作と聞くと、敷居が高いなと感じる人が多いと思うので、今日は音楽って何だろう?というところ、音楽を解体し見つめなおすところから始めてみたいと思います。手始めに、イヤークリーニングという、身の周りにあふれている音に耳を澄ませるところから皆でやってみましょう。」

イヤークリーニングとは?

カナダの作曲家、音楽教育者であり、サウンドスケープという概念の提唱者であるマリー・シェーファーが発案した、聞くことをとらえなおすための実践。自分のまわりの音環境に対して耳を研ぎ澄まし、耳を開くための取り組みのことです。

今回は徳井さんのファシリテーションのもと、次のようなイヤークリーニングを実践してみました。

1.目を閉じて、30秒間身の周りの音に耳を澄ませてみる。
2.一番遠くから聞こえてくる音を、3つ書き出してみる。
3.一番近くから聞こえてくる音を、3つ書き出してみる。

みんなが目を閉じ、音と自分との距離を確認するという初めての作業に緊張しつつ、WSがスタートしました。実際にじっと耳を傾けると、誰かがペチペチと歩く音、パソコンのシーっという細かい機械音、その全ての音が自分とはさまざまな距離にあることを再確認し、私の周りに溢れる音と、自分との位置関係についてふと考えました。

参加者からのコメント

徳井さんが開発された「Neutone」とは?

Neutoneは、AIによる音響処理、音響合成のモデルをホストするオーディオ・プラグイン(音楽制作ソフトで使える拡張機能)です。

簡単に言うと、AIを使って音をつくったり、いじったりすることができるソフトウェアです。

用途としては、大きく分けて①エフェクト(リバーブ)、②音響分離(ドラムやボーカルだけ抜き出す etc.)の2つがありますが、今回のワークショップでは、音色変換のエフェクトを中心に遊びました。

Neutoneのエフェクトには、大きく分けて2つのモードがあります。
1つは、RAVE(Realtime Audio Variational autoEncoder)といって、ふたつのニューラルネットワークが連携して動作するのが特徴のモードです。 ひとつのネットは受信したオーディオを、ピッチや音の大きさなど、特定の要素に従って分解します。 この分解・記録されたデータを使って、もう一方のネットで音の再構築を試みます。デコード(再構築)される音は、AIに学習させた音声を基に作られます。 フルートの録音で学習させた場合、デコーダはフルートのような音を出力します。RAVEは音色のニュアンスを表現することに長けたエフェクトですが、音程の再現度は低いです。

もう1つは、ddsp(Differentiable Digital Signal Processing)といって、エンコーダ(音の分解)技術と従来のシンセサイザーに搭載されていた信号変換技術を組み合わせたようなものです。 学習させることが簡単で、入力オーディオが和音でなければ、より良い音を出力することができます。
音程ごと反映されるボコーダーのような感じで、音程の表現度が高い事が特徴です。しかし、細かな音色のニュアンスの表現には適しません。

また、RAVEの中でも、太鼓やマリンバのような音は持続しませんが、尺八やバイオリンのような音は持続して伸ばすことができるという違いがあります。元の音の長さに合うエフェクトを選ぶと上手く変換できるそうですよ。

どのような音に変換したら面白いかな?というのを想像しながら、様々な種類の音を録音をしてみると、Neutoneで変換するときにも楽しめるようです。

Neutoneの音色変換モデル

RAVEエフェクト

・glassharp / グラスハープ
・djembe / ジャンベ
・taiko / 太鼓
・violin / バイオリン
・marimba / マリンバ
・kora / コラ(西アフリカの弦楽器)
・drumkit , amen/ ドラム
・BulgarianFemaleChoir, choir/ コーラス
・MultiVox, Evoice, Jvoice / 人の声
・BuddhistChant / お経
・bird / 鳥の鳴き声
・megalodon / メガロドン 超巨大サメ
・NASA / NASAの通信士の声
・VintageRadio / ラジオ

DDSPエフェクト

・violin / バイオリン
・shakuhachi / 尺八
・sax / サックス

※Neutoneの詳しい知用方法は、以下の動画からご参照ください。

たんぽぽの家の音を集めよう!

おしゃべりなメンバーさんの声を録音する様子。
食堂の脇で室外機の音を録音する皆さん。
スマートフォンの録音機能を使ってサクサク録っていきます。
ホールでは楽しくダンスの授業中。

次のグループワークでは、たんぽぽの敷地内をあちこち周り、とにかく少しでも聞こえてくるものを敏感にキャッチし、あれも音だ、これも音だなとグループで話し合いました。聞こえてくるものが「音」であるかどうかを疑いながら録音をするという、なんとも不思議な体験でした。そして個人的には、誰かの声を録る方が多かったように思います。メンバーの個性溢れる話し方は、「音」として魅力があるということに気づきました。私もまた、無意識のうちに「なんやの、なにをしてんの、いらんわ」と面倒臭そうなメンバーさんの声を録音していました。サウンドスケープをテーマにしたワークショップは過去にも何度か経験していますが、環境音はどのようなロジックのもとで音楽として名乗れるのか、という視点から考えることがほとんどで、純粋に「音」としてどうかを考えつつ、それと音楽の違いは何か、という話に展開されていくケースはあまりなかったので、とても新鮮な気持ちで参加できました。

集めた音を変換してみた

Neutoneの画面。様々な音色やモードの中から選んで変換する。
目を閉じて聞き入っているメンバー。きれいな音に変わったようです。
時には思いがけない音に変換されることも。
次々生まれる想定外の音に、笑いが止まりません。

「この音は細かく切れているからこの楽器の音に合うのではないか」「この人の声は大きくて聞き取りやすいから変換しやすいね」など、録った音の性質についての会話がグループ内で行われました。全体を通し、もう一度徳井さんの「音と、音楽の違いは何か」という問いを思い出します。音は偶発的に出たもので、音楽は誰かが意図的に作ったものだと区別できるのでは、という話もありましたが、その線引きはとても曖昧であることに気づきました。偶発的に出た音であったとして、そこに拍やリズムなどの音楽的要素があるとすれば、それは音楽だと言える場合もある、少なくとも「音」以上に音楽的なものかもしれない。そのような、音以上音楽未満の、曖昧な要素を持つ音の存在に気づかされました。

Aチームの編集画面

完成した音楽を聞きあいました

最後に、各グループの音楽を聞きました。

Neutoneをかける前・後の音を並べて比較してました。

こちらは徳井直生さんの作品です。皆口々に「すごい・・・」と言い合っていました。

参加者の感想

メンバーから

コラっていう民族っぽい音がとても好きでした。僕はセミの音をコラに変えてみました。

音の変換をするのが楽しかったです。

音にも色々なものがあるんだと分かりました。

普段の音楽とは違っていて、こういう形の音楽もあるんだっていうのを気づけて良かったです。

スタッフ・ゲストから

録音した音を変換することと、変換した音を切り貼りすることとでは、脳の使う領域が異なっていたように感じました。
僕は元々、テレビ番組のジングルのような音楽の制作をずっとやっていて、ここ最近は作曲から離れていたのですが、このワークショップを通してまた音楽をやりたいなという気持ちになりました。

今ソフト上で何が起きているのかを全く理解していなくても楽しめるところが良いなと思いました。障害のある人が自分の声をマテリアルとして使っている事があまり分からなかったとしても、作業しながら音そのものを楽しめるので参加しやすいのではと思います。

参加されてる皆さんの様子がとても楽しそうだったのが良かったです。自分が録音した音が思いもよらぬ形に変化するのが楽しかったですし、それを他の参加者たちと共有できることも良かったです。音楽というと表現することに重きが置かれがちですが、まずイヤークリーニングで耳をリセットする経験ができたのが良かったです。生活の中の音がよりリッチに聞こえるようになったと思います。

徳井さんから、2時間分の音声データがあればAIに音声を学習させることが出来ると伺いました。HANAのメンバーの中には、おしゃべりが大好きでずっと喋っているメンバーさん達がいますが、この方たちの声をAIに学習させて、メンバーさんたちのモデルのNeutoneが作れたら面白いかも・・と思いました。録音した音を聞いたり、様々な音に変換してみたり、編集したり、盛り上がる場面がとても多いので他の福祉施設でも盛り上がるのではないかなと感じます。

録音したものをとりあえず聞く、ということとそれを構築する、という行為は僕も別のものだと思います。DAW(音楽制作ソフト)を使うので、ループベースで音楽を作る方がいいのかなというところは考えるべき点だと思います。ループベースでは小節・拍が生まれるので基調ベースになりがちという点が欠点ですが… あと、制作しながら、Neutoneで変換する前の音がどんなものだったのか確認したい瞬間がたくさんあったので、そのあたりのアクセスが簡単にできるようになると良いなと思いました。

障害のある人がいる環境で収音をするっていうことが良いなと思いました。普段だと不快に思われるような音が面白さにつながる体験でしたし、「よく見る、よく聞く」という、ケアの根底にある行為を創作活動によって促す感じがありました。メンバーさんの中にはすごく理解できる人と、なんとなくで楽しい人がいますが、自分の声や周囲の音が変化する楽しさは色々な理解度の人が楽しめるものだと思います。

おしゃべりなメンバーさんたちの声は、時々うるさく聞こえてしまうときもあるんですが、Neutoneで変換されることで捉え方がポジティブな方へ変わるのがいいなと思いました。メンバーさん達でもそれぞれ楽しみ方が違っていて、永富さんは音とエフェクトの相性をあまり気にせずに自分の好きなコラの音にこだわりを持っていましたが、水田さんは反対に、収音の時から音のイメージを持って「ホチキスを落としてください」「寝転がってください」と理想の音を作りにいっていました。また、音の編集作業に関して、メンバーによっては自分でサクサク作業できる人もいるだろうなと思いました。Good Job!センターの人は触れる人が多いと思います。

夏休みの自由研究みたいに楽しめるコンテンツだと思います。音集めと、音の編集の2段階ありましたが、メンバーさんの中にはどちらも好きな人もいれば、どちらかだけを楽しいと思う人もいると思うんですね。なので、ワークショップの中で分業して進めてもいいかもしれないと思いました。また、成果物の抽象度が高いので、出来上がった作品たちを比べて評価せずに、それぞれ良いなと思えるのも良かったです。

今日の音集めで一番印象的だったのが、岸子さんのグウ、と鳴る独特な呼吸の音と、パチパチというキーボード入力の音の繰り返しの音です。以前、手話劇団「福岡ろう劇団博多」の代表の鈴木玲雄さんが、「個人個人が、心臓の鼓動や歩く速さといったそれぞれのリズムを持遊べるて、音楽はそういったリズムがつながっていって生まれてくるものだと思う」というようなお話をされていたのですが、ここでの「リズム」はこの岸子さんの呼吸のようなことだったのだろうと思います。普段の自分だったら聞き逃してしまっていたと思いますが、イヤークリーニングを経験したことで、そこにリズムがあることに気づけました。もしかしたら、音楽へのバリアは、既存の概念を取り払い、「音」や「リズム」そのものに向き合うことで、軽々と越えられるのかもしれないと感じました。

まとめ

今回のワークショップでは、周囲の音に耳を澄まし、様々な音を収集し、Neutoneを使って音から音楽への再構築を試みました。メンバーもスタッフも一緒になって楽しむことができ、かつ、「音楽」や「音」について捉えなおすいいきっかけにすることができました。Neutoneとの関わり方や制作のプロセスを工夫することで、どんな人でも音楽を楽しめるきっかけにできるのではという希望がうまれました。今後も、Neutone×音遊びのワークショップのあり方について考えていきたいと思います。

とても楽しいワークショップを準備してくださった徳井直生さん、ありがとうございました!

ワークショップ感想:矢野夏実
写真:岡部太郎
文・動画:廣内菜帆

NeutoneのHPは、以下のリンクからご覧いただけます。
Neutone HP

Article & Event

View all