昨年8月に実施した徳井直生さんとの取り組みの第二弾として、今度は大阪音楽大学（豊中市）を会場に、学生さんや障害のあるミュージシャンをはじめ、様々な方とNeutoneをつかったワークショップを実施しました。
多様な人たちが参加することにより、前回以上に密なコミュニケーションが生まれた今回のワークショップ。どんな音・楽が生まれたのか、ぜひご覧ください。

たんぽぽの家×徳井直生さんの表現とAIの可能性を探る取り組み

たんぽぽの家では昨年度から、アーティスト/研究者の徳井直生さんをお迎えして表現とAIの可能性を探る取り組みを続けています。昨年度は画像生成AIのStable Diffusion、DALL.E miniを使用しておもに絵画表現の分野でAIが活用できないか実験をしました。（昨年度の取り組みはこちらから）
今年度は、徳井さんが代表を務める株式会社NeutoneがリリースしているAIオーディオ・プラグイン「Neutone（ニュートーン）」を用いた取り組みを行っています。
2023年8月に第一回目のワークショップを開催し、今回はアップデートをした二回目のワークショップとなりました。

今回は、８月のワークショップに参加いただいた大阪音楽大学ミュージックコミュニケーション専攻の久保田テツさんにご協力いただき、大阪音楽大学の教室・機材をお借りしてワークショップを開催させていただきました。また、今回はゲストとして、即興演奏を中心に様々なアンサンブルを生み出すアーティスト集団「音遊びの会」さんにもご協力いただきました。

イヤークリーニング

はじめに、前回のワークショップと同様にイヤークリーニングから始めました。

目を閉じて、30秒間身の周りの音に耳を澄ませてみる。

今回の会場の大阪音楽大学は、伊丹空港からおよそ2.5kmの場所に位置しているため、４〜５分に一回の頻度で上空を飛行機が通過します。また、音楽大学なので学生さんたちが音楽を練習する音が廊下から聞こえてくるのも特徴的です。

イヤークリーニングの際、教室の防音扉を締めてしまっていたので音大らしい音は聞こえてきませんでしたが、上空を飛行機が通過する音はしっかり全員の耳に聞こえました。

・徳井さんからNeutoneの説明

次に、徳井さんにNeutoneについての説明をしていただきました。こちらについては、前回のWSのレポート記事をご覧ください。

続いて本日のワークショップのご説明。今回のワークショップも昨年8月と同様、身の回りの音素材とNeutoneをつかって、音楽でも物音でもない「音の作品」をつくることがテーマでした。徳井さんが「音・楽」と名付けるそんな作品のイメージについて、アンビエント・ミュージックの音源なども紹介しつつ、具体的にお話しいただきました。

・Neutoneの音色をリアルタイムで変換する

今回は、レコーディングに移る前に、グループごとでどの音色がどんな音なのかを知ってもらうために、Neutoneで遊ぶ時間を設けました。

おそるおそるマイクに声を入れると、予想もしなかった音色に皆びっくり。
音遊びの会のメンバーさんたちは、のびのびと自分の声を吹き込んだり、持参の楽器の音を変換したりしながら楽しく遊んでいました。

同じ音色でも、声の出し方や楽器の種類によってよく反応したり、しなかったりするので、この音にはこの楽器、という相性を一個一個探っていくのが楽しかったです。

ここで、我々が見つけた音のレシピをいくつかご紹介。
・鈴の音と琴のエフェクト
・なること鳥の鳴き声のエフェクト

・低くてぼそぼそした声とお経のエフェクト

・いざ、フィールドレコーディングへ

大学の外、大学の中でフィールドレコーディングをしました。
大阪音大周辺の下町らしい喧騒や、上空を通る飛行機の音を参加者それぞれがスマートフォンや持参のスピーカーで集めました。
また、扉を開け締めしたり、フェンスを揺らしてみたり、そこにあるもので音を作って録音している人もいました。特に、音遊びの会の方々は普段から即興演奏に慣れ親しんでいるので、校内にあるゴミ箱など身近にありふれた道具も楽器さながらに演奏し、その音を録音していました。

・拾ってきた音を「音・楽」に変換してみよう

前半でNeutoneの様々な音色を試していたからか、参加者の方からの音色の提案が活発で、「これにはこの音が合うんじゃない？」「元の音も聞こえるように調整しよう」など、ただ音の変化を楽しむだけではなく、そこからどのように面白くできるのかを追求しようとそれぞれのチームが取り組んでいました。

各グループに、Neutoneのエフェクトの名前と、どのような音を学習したのかの説明が載ったリストを配布しました。元の音と相性が良さそうなエフェクトを予めいくつか検討をつけて、一つずつ試しました。

・最後に、各チームの「音・楽」を聞き合いました。

Aグループ

・話し声→NASAの管制官の声のエフェクト
・蛇口の水の音→水の音のエフェクト
・信号の音→ブルガリアン合唱
・ドリンクが自販機から出てくる音、コインが落ちる音
・防音扉の開閉音→お経のエフェクト

Aグループはとにかく多様な音を重ねて、組み合わせていました。水の音に水のエフェクトをかける実験も。エンディングがユニークで面白いです。

Bグループ

・飛行機の音→バイオリンのエフェクト＋リバーブ
・公園にあった長さの違うパイプ（音の出る遊具）を叩いている音→Thales（金属、木材を叩いている音）のエフェクト
・風で講演の木が揺れる音→低音部分を抜き出したのち、ジャンベのエフェクト
・砂利の上を歩く音→トランジェント(ある楽器を弾いて発音の瞬間に発生する、一種のノイズ成分)だけを抜き出し、16分音符に分割してリズムだけに変換したのち、マリンバのエフェクト

Bグループは音色へのこだわりが特徴的でした。
使った音は4種類と少なめですが、Neutoneのエフェクトだけでなく、今回使った作曲ソフトAbletonのエフェクトもうまく活用しながら、一つ一つの音をよく作り込んでいるところが印象的でした。

Cグループ

・坂口さんのなるこの演奏→半分だけ鳥の声に変換
・永井さん、安田さんのゴミ箱の演奏→ドラムの音に変換
・道路の環境音→英語の話し声
・道端のフェンスの音→英語の話し声
・鳥の声のある街の喧騒の音→エフェクトなし
・野球部の練習の音→エフェクトなし

Cグループは、音遊びの会の永井さん、坂口さんの音を中心にして音・楽を作りました。このチームはエフェクトを使う音、使わない音を混ぜているところも特徴的でした。

Dグループ

・たまたま録れた「あきかにぐま」という空耳の音→ジャンベのエフェクト、ヴィンテージラジオのエフェクト
・自動販売機でコーラを買う一部始終の音→賛美歌のエフェクト
・高架下で録った電車の音→お経のエフェクト
・階段を降りる音→ブルガリアン合唱のエフェクト
・絢香のにじいろ→ブルガリアン合唱のエフェクト
・風の音

音遊びの会の若林さんを中心に進めたDグループ。「あきかにぐま」のループをベースとしたタイトなリズムと音の展開が印象的でした。

・参加者の感想

・音遊びの会　若林さん
「仮面ライダー剣風にめっちゃ楽しかったです。」

・音遊びの会　永井さん
「みんなと一緒にできて嬉しかった。」

・音遊びの会　坂口さん
「楽しかった。」

・参加者　米満さん
「どこかにあった音なんだけど、どこにもない音に変化する、不在と実在、抽象と具象をさまようような感覚が面白く、印象に残りました。徳井さんの著書の言葉を借りると、「探索的な創造性」というか、異質で予想外なアウトプットが返ってくるとその場が盛り上がり、今日始めて出会った方々とも打ち解けやすくなったので、AIが関係性を繋いでくれたなと感じました。」

・参加者　木村さん
「普段はリハビリの仕事をしてまして、重度心身障害という、動くことも話すことも難しい方々の動きを引き出して一緒に絵を描く、という取り組みをやっているので、今回のAIを使っての音というのは、その人の呼吸の音とか、その人の動きを音に変換することができるので、すごい可能性を秘めているなと感じました。」

・参加者　堤さん
「木村さんに誘われて今回参加しました。普段はアートに関わることはあまりなく、自分の職場の中だけでものを見てしまっていたのですけど、体を自由に動かせない方々が日常で聞かれている音が、こういう技術を使って変わっていけるのかなと思い、次に繋がりそうだなと感じました。」

・参加者　宇佐美さん
「Ableton Liveの操作には慣れているのですが、他のプラグインと違ってNeutoneは元の音と全然違う音になるので、予想をつけて音を作っていくのが難しい。なので、とりあえずこれにしてみよう、と変換をしてみて、あとからそれに合わせて考えていくと面白い方向に行くのかなと感じました。」

・まとめ

今回のワークショップでは大阪音楽大学という様々な音に溢れた場所をお借りして、日頃音楽に触れている方々を中心に音・楽づくりに取り組みました。

８月のワークショップと比較して、今回のワークショップはNeutoneをマイク越しに変換して体験する時間があったことが大きな違いでした。最初にAIで遊ぶ時間があることで、グループのアイスブレイクにもなり、Neutoneの性質を正しく理解することにもなったので、後半の音・楽づくりの盛り上がりにも大きく影響を与えた時間でした。生成AIに作らせる、のではなく、参加者が能動的にああしよう、こうしよう、とアイディアを引き出しながら取り組めるところはNeutoneならではの楽しさだと思います。

今後はこのようなワークショップの取り組みを、医療や福祉など様々な現場で実施してみることにより、新しい音・楽の可能性や、AIとの関係性が生まれてくるのではないかと考えています。

文：廣内菜帆
写真：衣笠名津美

プラグイン［Neutone］は無料で公開されており、どなたでも利用することができます。またこのワークショップの後、Neutoneから新たなプラグイン［Neutone Gen（β版）］や［Neutone Morpho］もリリースされたとのこと。詳細はNeutoneのウェブサイトやディスコード等からご覧ください！