バーチャリティと現実の界面で

バーチャリティと現実の界面で

論考

大久保雅基

目次

1．はじめに

人類はこの地球に誕生してから、様々な音楽を生み出してきた。この時代に生まれた私達は、人類の歴史に刻まれるような音楽を創り出すことはできるのだろうか？音楽が既存の音楽の概念を拡張するには、作曲者による様々なアイデアやコンセプトが重要だと思われる。しかし、実際にはそれまでの音楽にはなかったテクノロジーの導入によって、音楽の構造や受容の大きな変化が生み出されてきた。

ある文化のあるテクノロジーは音楽に応用され、それが音楽の新しいスタイルを生み出していった。世界中で様々な記譜法が誕生し、それは音楽を再現するための道具でありながら、音楽の構造を決定していった。印刷技術が誕生する前の手書きの楽譜の音楽は、特別な機会に演奏されるものが多くあったが、印刷技術によって多くの人々に音楽が届けられるようになった。フォルテピアノやピアノの登場によって、鍵盤音楽は強いダイナミクスを持つようになった。アンプやスピーカーの登場によって、生楽器には出せない大音量で体を揺らすような音楽が登場した。録音技術の登場により、そこに演奏家がいなくとも、音楽を再現できるようになった。現代では高性能なコンピュータの登場により、音楽において動的な情報処理が可能となり、ライブ・エレクトロニクスの登場や、リアルタイムのアルゴリズム作曲、インタラクティブな自作デバイスによる音楽、オーディオビジュアルなど、様々な音楽スタイルが生み出されている。このようにテクノロジーは音楽に応用されることで、音楽の構造や文化的受容を変化させてきた。

私はそれまで音楽に適用されてこなかったようなテクノロジーを音楽に適用することで、作曲の構造そのものを問い直すような音楽を創作している。なかでもバーチャリティと現実の音を結びつけることで生まれる表象を探っている。人類の長い歴史のなかで、我々が現実とは別にバーチャルな世界でも暮らすことができるようになったのは最近のことである。この人類が生み出した新しい世界の概念であるバーチャルなテクノロジーを音楽に組み込むことで、人類の歴史に刻まれる音楽の創作への貢献を目指している。

この「スタイル＆アイデア：作曲考」に投稿される論考には、バックグラウンドが多く登場する。それがどのように現在の作曲スタイルを生み出したのか、読んでいて面白かったので、私もそれに従って現在に至るまでを紹介したい。

2．電子音響音楽にたどり着くまでの変遷

私は演劇好きの両親の元に生まれており、昔から西洋音楽の教育を受けたわけでも、そのような環境があったわけでもない。兄弟との共通の趣味はテレビゲームや漫画だし、同級生のハサミを壊したトラブルを音楽教師に見つかり、音楽の評価が「2」になるような平凡な育ちであった。

中学生のころは兄の影響でX JAPANやSonata Arcticaなどのヘヴィメタルを聞き、それに影響されてドラムをヤマハ音楽教室に習いに行っていた。同時に音楽ゲームであるbeatmaniaをよくプレイしていて、その影響でダンス・ミュージックのトランスが好きになり、Cyber TRANCEシリーズを買っていてFerry CorstenやTiëstoの音楽を聞いていた。中学の終わりぐらいからはコンピュータでトランスを作曲するようになった。

高校に進学してまもなく、進路相談で将来何になりたいかを考えたときに、毎朝早起きして毎日同じ場所で同じようなことをする仕事をしたくないと思ったので、今趣味で取り組んでいる作曲を仕事にしたいと思った。クラシック音楽が音楽の最高峰であるという価値観を疑わず、クラシックを勉強できる音楽大学を目指すことにした。そのためにピアノを習い始め、簡単な和声やソルフェージュも勉強した。

ある日、トランスによく使用される音色のアシッドベースに似た音を出す、オーストラリアの先住民アボリジナルの楽器であるディジュリドゥを知った。それに興味を持ったが購入するお金もないので、ホームセンターで塩ビパイプを購入してディジュリドゥを自作し吹いて遊んでいた。トランス効果を生み出す音楽として、インドネシアの音楽であるテクテカンやガムランを知り聴くようになり、民族音楽というジャンルにのめり込むようになった。地元の民族雑貨屋で開かれていた、タブラやムビラの練習会に遊びに行き、アフリカンドラムチームに参加してジャンベを叩き、仙台七夕のサンバパレードではカイシャを演奏した。ビートボックスにもハマり一時期練習をしていたし、甲本ヒロトの真っ直ぐな歌詞に胸を打たれていた。

図1 音楽鑑賞部で国際イベントに参加しディジュリドゥを演奏した

洗足学園音楽大学の音楽・音響デザインコースに入学した理由は、コンピュータを使用した作曲だけではなくクラシック音楽も同時に学ぶことができるからであった。1、2年生の時は、松尾祐孝先生にクラシックの作曲理論を学び、3、4年生では森威功先生に電子音響音楽の作曲を学んだ。この担当教員の変更は音楽性の違いなどではなく、担当教員を変更できる制度を積極的に利用しようと、もともと計画していたものである。

入学してすぐに付き合っていた彼女にフラれ、関東という新しい環境にもあまり馴染めず、どんどん憂鬱で自暴自棄になり、自分の耳を壊したいような気持ちになった。そこからニュースタイルガバ、テラーコア、ノイズコア、ブレイクコア、ノイズなどの、ノイジーなジャンルにのめり込むようになった。首都圏はノイズのイベントが盛んであり、川染喜弘や、大量の「おへんじピカチュウ」を改造するサーキットベンダーのKaseoのライブには強い影響を受けた。自分自身でもゼミの米本実先生の元で自作オシレーターを製作し、サーキットベンディングを行って学内パフォーマンスを行った。

そして、特に平野公崇先生の即興演奏の授業には強い学びを得た。演奏家の学生が主に履修する授業で、クラシックやジャズでの文脈での即興もあれば、フリー・インプロヴィゼーションもあり、その自由さにかこつけて、私はパイプ椅子を楽器にしたり、文庫本を朗読したり、演劇的に話したと思えば軟体動物のように動いたりと自由な表現でセッションを行った。当然セッション相手がいるわけで、相手の音に反応したり、あえて関係のないことを行ったりするなど、様々なコミュニケーションを取りながら、いかにこれが「音楽」と呼べるのかを考えながら試すことができた。この授業での経験はその後につながる、音楽というフレームを考える最初の取り組みだったかもしれない。

このように学内ではクラシック音楽の理論や音響機器の扱いを学びながらダンス・ミュージックを作曲し、時々シタールや琴を練習し、即興演奏の授業では奇声を上げ、学外ではハードコア・テクノのオールナイトイベントに行った次の日に現代音楽のコンサートに参加するような様子で雑多に音楽を体験していた。全ての活動は点でしかなく、それぞれが繋がることはあまりなかったが、電子音響音楽の作曲は、それまでの音楽よりも自由で、様々な音楽の表現を落とし込めるジャンルのように感じた。

電子音響音楽は、電子音や録音された音などの音素材を並べ、それらに音響処理を行って構築するような音楽である。ポップスやクラシックのようなリズムを導入してもしなくてもいいし、ソナタ形式のような構造を持っていてもいなくてもよく、自由な創作ができる。音素材が持つ音響的な特性や、内在するリズムをいかに組み込んでいくかが重要になってくる。これまで作ってきたダンス・ミュージックはその表現に相性がよく、また即興演奏で培った「間」の感覚も適用しやすかった。とはいえ新しい創作スタイルに取り組むのは一苦労で、うんうんと悩みながらゆっくりと取り組んでいった。

在学中に2作目の電子音響音楽となる《2009年の夏》（2009）は、3年生の夏休みに録音した素材のみを使って作られた。実家の猫の咀嚼音や冷蔵庫のモーター音、虫の鳴き声、後輩を坊主にするために髪の毛を切るハサミの音、花火の音など、様々な思い出のある音素材をカットして並べ、エフェクトの処理などを組み合わせて作った。この作品はContemporary Computer Music Concert 2010でACSM116賞を受賞した。

3．震災とプログラミング

2011年、3月になって授業がなくなり卒業式まで暇になり、就職先もなかった私は地元の仙台に戻った。ある日友人とホームセンターの資材置き場に行ってレコーディングをしていると地震がおきた。パイプなどが倒れてきたら危ないので、砂利などが積んである安全な場所に移動すると、地震は収まるどころか更に強く揺れ、今まで経験したことのない長く続く揺れだった。２人は大興奮で、何より楽しかったことを覚えている。この感想は不謹慎に思われるだろうが、周りの被害状況や、その後の津波被害を知る由もない時点でのリアルな感想である。

その日の夜は星が空に壁紙のように張り付いていた。停電で、水もガスも使えない、携帯の電波も入らない状況で暮らすことになった。久しぶりにラジオカセットと懐中電灯を取り出した。インフラはシャットダウンしているが、家の周りは崩壊などの被害はそこまでなく、大きな地震が起きても案外大丈夫なものだなと思った。2日目の夜に電気が通り、徐々に携帯の電波が入るようになったのでTwitterを見てみたら、津波による大災害があったことを知ってショックを受けた。

東日本大震災からしばらくたち、東北地方の人々を応援しようと、シンガーソングライターは元気の出る歌を歌い、演奏家はクラシックや皆の知っている音楽を演奏して、多くの人を励ましていた。一方で私は電子音響音楽なんてシリアスな音楽が人々を癒やすことなどないと惨めな思いを抱えていた。更に１年くらいは、震災のショックによって作曲の筆がなかなか進まなかったことを覚えている。

あまり創作意欲が沸かないので、大学時代に勉強して挫折した音楽向けプログラミング言語のMax/MSPを改めて勉強し直すことにした。しかし何をしたら何ができるのか分からないためになかなか身につかず、その当時メディアアートに少し興味を持ち始めたので、ビジュアル向けのプログラミング言語であるProcessingも学び始めた。そうしたらMax/MSPの処理が内部でどのようなことを行っているかを想像できるようになり、段々と学習が進められるようになった。またArduinoを購入してソレノイドを動かして物理リズムマシーンを作ってみたり、XBOX Kinectを使って身振りで鳴らすシンセサイザーを作ってみたりした。しかし、このプログラミングを用いた創作はチュートリアルを少し変えるくらいのことまでしかたどり着けず、これをどうやって作品に結びつけるかはまだ未知数であった。

同時に電子音響音楽を作り続けていてある疑問が浮かんできた。結局はスピーカーから出てくる音をアナライズして聴く音楽であり、その音響処理がどのようなものであるかを知っている専門家しか分析できない音楽を作ったところで、それが震災の被害者を癒せないように、多数の人々のためになるものだろうか？漠然と、音楽をスピーカーから取り出し、現実空間で電子音楽のルールで奏でるような音楽を創りたいと思うようになった。

震災から数年経ち、持ち前の躁鬱により長く一つの職場に留まることが難しく、いくつか職を転々としながら限界を迎え、さらに創作を続けたいと親に泣きつき大学院進学のお金を出してもらうことになった。

4．シアターピースとしてのコンピュータ音楽

情報科学芸術大学院大学（IAMAS）の修士課程に身を置いたことは、その後の創作観や人生観を変えるキッカケとなった。2年間の主査は三輪眞弘先生でとても厳しい面談が行われた。こちらが軽率な発言をする度に拾われ、全ての思いついたアイデアに疑問を呈され理由を求められ、あまりの辛さに１週間考え続けても何も思いつかなくなってしまったこともあった。辛すぎて学校のハラスメント委員会に駆け込もうと思ったが、担当が三輪先生だったので諦めたこともあった。しかし、先生が学生に対し真摯に向き合って、共に音楽の本質を探ろうとしていたのは確かだった。

入学当初はオーディオビジュアルのような形で、スピーカーからの聴覚のみならず、映像での視覚表現も同時に行うことで、音楽を多次元で捉えるような創作をしようと考えていた。様々な授業で自分のバックグラウンドを基に考察を重ねていくうちに、そもそも生演奏というのもオーディオビジュアルのようなものではないかという発想にたどり着いた。それまで自分はスピーカーから再生される音楽を創ってきたので、生演奏で音を鳴らすための身振りは、聴覚的な音と視覚的な動きが強く結びつけられていることに気がついた時は衝撃だった。そこで生演奏を電子音楽の作曲法で作れないかと色々模索するようになった。

修士研究の1作品目《政策芸術》（2015）は、三輪先生の「逆シミュレーション音楽1」を忠実に継承したような作品になった。それはコンピュータの計算処理を人間の判断に置き換えることで、人力でアルゴリズムを処理し、それによって音響を生み出す場合のある音楽である。本作では、8人が音節と数値の書かれたカードを持ち、バブルソートによってアナグラムを行う（バブルソートとは、隣り合った数値を比較し、交換を繰り返すことでソートを行うアルゴリズムである）。その際に動く足音や、音節を読み上げる声が生み出す音響が音楽的構造を生み出す。この作品はあまりにも三輪スタイルでありすぎて、自分の中では「逆シミュレーション音楽」の手法を用いた習作のようなものとして捉えている。

ゼミか友人との会話のどちらで知ったのかは忘れたが、現代美術で使われる用語の「メディウム・スペシフィシティ2」という概念には感化された。これはメディウムに固有の性質のことを示し、メディアアートの文脈ではそれが重要視されることが多い。一方、現代音楽で三重奏を作曲するとして「なんでこの組み合わせなの？」と問われることは少ない。当時、私が参加している日本電子音楽協会のコンサートが大学の近くの岐阜サラマンカホールで行われることになり、作品募集をしていたので応募した。ホールには「辻オルガン」が建造されており、折角の機会なので辻オルガンでしか演奏できないメディウム・スペシフィックな作品を作曲しようと思った。

これが修士研究2作品目の《はーもないぞう》（2015）である。現代のオルガンのストップにはエレクトリック・アクションが多いが、辻オルガンはメカニカル・ストップ・アクションである。前者は電子制御であるためオン・オフの制御となるが、後者は半開の状態を作れ、パイプが持つ倍音を演奏することができる。この特徴に目を付け、鍵盤を重りによって押さえつけたまま、ストップの操作のみで演奏する作品を作曲した。この作品にはオルガニストは登場せず、2人のアシスタントによって演奏される。各々のアシスタントは異なる拍数を持ちながら、指定されたストップを操作する。このようにして微細な倍音を、位相をずらしながらハーモナイズし、最終的にドローンを生み出す。

修士作品としてはもう1作品作ることにした。《はーもないぞう》の出来は気に入っているが、元々自分がやってきた電子音響音楽の要素は音響的な響きのみである。もっとアルゴリズムと電子音響音楽を組み合わせて、生演奏をコントロールするような作品を創りたいと思った。そこで修士1年の時に試作した作品で、イヤホンを用いて演奏指示を行ったものがあったので、それをヒントにオーディオスコアによる作品を作ることにした。

この3作目の《どこかの日常》（2015）は、4人の「スピーカー」とオペレーターによる作品である3。「スピーカー」たちは、ラウドスピーカーのクアドラフォニックを模したように客席の四隅に立ち、ヘッドフォンを装着し、そこから聞こえてきた声や音を口真似し続ける。オペレーターは、演奏される地域のその時間に流れているラジオ放送を受信し、その音声を直接、またはサンプリングしてループさせたり、タイムストレッチを掛けたりした上で「スピーカー」たちに送る。通常、ループやタイムストレッチのような処理は音響的な効果として着目され、電子音響音楽に組み込まれる。しかしこの作品では演奏指示としてその処理が扱われる。ヘッドフォンに送られた音声は、人間の肉体を通してタイムラグや不正確性などのエフェクトを生み出す。人力による4チャンネル電子音響音楽である。

修士研究としてはこれら3つの作品を題材に、パフォーマンス的な側面のある音楽作品の総称である「シアターピース」の概念を用いて『シアターピースとしてのコンピュータ音楽』という題で論文を書いた。現代は音楽がスピーカーから聞こえることが当たり前になり、コンピュータの登場によって様々な電子音楽が生み出されてきたが、スピーカーを介さない方法で生演奏とコンピュータ音楽を組み合わせることで、新しい音楽を創造できるのではないかという研究である。この生演奏とコンピュータ音楽の関係を考えることは、今でも創作の根幹をなしている。 

5．動的楽譜システム

修了後の制作スタイルとして、日々ハードやソフトのテクノロジーのニュースにアンテナを張り、新しいものが登場したらそれを音楽に用いた時に何ができるか考え、アイデアをストックするようになった。そしてメディウム・スペシフィック、サイト・スペシフィック的に、そのコンサートではどんな楽器編成が用意されているのか、会場の広さ、どんな文脈で発表されるのかなどを考慮した上で、コンセプトを設計しストックしていたアイデアと結びつける。そこからどんな音楽が生まれるかを考えるようになった。

修了してからも3年くらいは三輪先生の呪縛から抜け出せなかった。作品を作ろうとコンセプトを練っていても頭の中の三輪先生によってアイデアに疑問を呈され、理由づけをしなければならなかったのである。その呪いから解き放たれたと思われる今は、そうやってアイデアを検討することが自然体になってしまったのであろう。呪縛から抜け出せないながらも、修士のころに「君がそれをやる必要があるのか？」と否定されたアイデアをどうしても実現したくなり、取り組むことにした。その1つがアニメーション楽譜である。

中学生のころ、ゲームセンターでKEYBOARDMANIAという音楽ゲームを見かけた。このゲームのコントローラはピアノの鍵盤で、画面上に鍵盤ごとに分かれた線が引かれ、上からノートが降りてきてその通りに鍵盤を演奏することで音楽を奏でる。これを見た時、五線記譜法による楽譜を見て演奏するより、こちらのほうが簡単にピアノを弾けるようになるのではないかと思った。

時代は巡って2010年代になってくると、演奏家も紙の楽譜ではなくタブレット端末を使ってコンサートを行うことが一般的になってきた。それを見て「なぜそこに高機能のコンピュータがあるのに、固定された五線譜を表示するだけに留めているのだろう、図形楽譜なんて当たり前の時代なんだからアニメーション表示すればいいのに」とモヤモヤするようになった。

これらの感想が結びつき、音楽ゲームのようなアニメーション楽譜を作れば、音楽の構造も新しくするような作品が作れるのではないかと思いついた。最初に取り組んだ作品は《【衝撃】食物連鎖の生態系を創ってみたら…》（2018）で、この作品は食物連鎖の生態系をUnity上で作り出し、4種の生物の生息数を生演奏によって可聴化する作品である。画面上の四隅に楽譜を表示して、それを弦楽四重奏が演奏する。本作はKONAMIの音楽ゲームjubeat4のプレイ方法を参考にしており、正方形の枠に五線記譜法で演奏する音高を示し、中央から枠にかけてオレンジの正方形が拡大していき、正方形いっぱいになったタイミングで演奏者はピチカート演奏を行う。

ちなみに作品のタイトルは当時のYouTubeで流行っていた煽りの形をとっており、それらの殆どはタイトルで期待させておきながら実際に観てみると大したことは起こらないような内容であった。本作ではそれを引用し、生態系を作ってみたところで何も起こらず、映像を見ながらBGM的に演奏を聞くものとしている。

ライアン・ロス・スミスが指摘するように5、アニメーション楽譜というものは「ローカルモデル」と「グローバルモデル」として一般化できる。前者はスコアが演奏者のみに見える状況で、後者は１つ以上の大規模な投影を使用してスクリーンに映すことで観客と演奏者が同時にスコアを観るものである。本作ではグローバルモデルを採用している。次の作品では、その2つの中間的なモデルに取り組んだ。

ここでは2つの取り組みを行った。1つは演奏者が持っているタブレット端末やスマートフォン自体を楽譜にできる仕組みを作れないか。もう1つはピアノロール型のアニメーション楽譜を作り、それによってしか表現できない音楽を作れないか。そのために「動的楽譜システム」を開発した。これはパソコンでインターネットサーバを立ち上げ、Wi-Fiを通じて各端末からサーバにアクセスすることで、ブラウザ上でアニメーション楽譜を表示するシステムである。

図2 動的楽譜システム

このシステムを用いて作曲したのが弦楽四重奏と12人のパフォーマーのための《太陽と月のように照らし続けて》（2019）である。この作品のコンセプトはスマートフォンなどの端末による情報の暴露で、本来なら鑑賞者には秘匿されるスコアをスクリーンに投影する。パフォーマーが発声する歌詞は、作曲者がカフェで録音した一般人の会話をサンプリングしている。音楽はリアルタイムのアルゴリズム作曲によって作られる。大まかに使用するスケールと、音域、展開は決められているのだが、使用する実際の音高や音価はランダムに決められるので、どのような音が指定されるかについて演奏家は分からない。アニメーション楽譜の利点として、指揮者がいなくても演奏の同期を取れることが挙げられる。そして逆に言えば、全ての奏者のテンポを別なものに指定することもできる。その利点を活かし、テンポを同期させたり、バラバラにしたりという展開も組み込んだ。

動的楽譜システムを活用する中で、リアルタイムに変化する情報をそのまま楽譜として提示できるという利点に気がついた。グローバルモデルのアニメーション楽譜では、観客と演奏家が同じ楽譜を観るため、複雑なアニメーションが作る音楽を鑑賞することに重きが置かれる。しかし、演奏者のみが楽譜を見ることができるローカルモデルを取り入れ、さらに観客には別な映像を観せ、その映像のイベントを演奏に変えることで、２つをリンクさせることができるのではないかと考えた。

そこで作曲したのが《へぇ…そっか。え？うん、そう。》（2021）である。本作品は2人もしくは4人の演奏家によって演奏される作品で、その都度作曲のアルゴリズムは改訂される。本作は画面上でボールが物理演算によって跳ね回る。初演では、左端にボールが当たればピアノの演奏トリガーになり、右端に当たればチェロの演奏トリガーになった。音高はCメジャースケールのなかからランダムに選ばれる。その結果、映像上でボールが衝突してから実際に音が鳴るまでに時間差が生じることになった。そこで、演奏が映像とずれないようにするため、観客に見せる映像にも同じだけの遅延処理を加えることで、映像と演奏のタイミングを一致させた。

図3《へぇ…そっか。え？うん、そう。》演奏の様子
図4《へぇ…そっか。え？うん、そう。》でのアニメーション楽譜

この作品を通じて、映像を観客に見せながら、演奏者に楽譜を見せる形のローカルモデルに新たな可能性を見出すようになった。このシステムにおいては、映像内に広がるバーチャルな空間には、リアルタイムで変化する動的な情報を投影することが重要である。そこでリアルタイムに変化する情報として、人工生命のシミュレーションを用いる発想に至った。さらにそれを用いることで、人間の意図や作為によらない仮想存在のふるまいを音に変換でき、人間中心の視点から距離をとった、新しい音楽表現の可能性を探ることができるのではないかと考えた6。

《ﾄﾘﾁｬﾝ大好き倶楽部》(2023)は、クレイグ・レイノルズによって開発された鳥の群れシミュレーションを行う人工生命であるボイド7を採用している。この鳥の動きを縦や横から来る赤線によってスキャンし、画面上の縦位置が楽器の音域にマッピングされ演奏を行う。この作品も2人以上の演奏家によって演奏されるもので、楽器の組み合わせによって使用されるスケールが異なる。

この作品で変更した点は、アニメーション楽譜の表示である。これまでの作品ではピアノロールを採用していたのだが、演奏家には慣れが必要となった。初学者にとってピアノロールは分かりやすいかもしれないが、五線記譜法に慣れたプロの演奏家にとっては、この表記は新しく学ぶものとなる。そのためこの作品では、五線記譜法をベースにしたアニメーション楽譜に変更し、前回よりも好評を得た。

人工生命や人工知能などは電子音楽の分野で組み込まれることが多いが、動的楽譜システムを通じて器楽と融合させることで、リアルタイムで動的な情報と生演奏を結びつけることができる。そこから生まれる音楽や響きの聴き方は、既存の器楽作品と異なるものを生み出すかもしれないと思い取り組んでいる。

図5《ﾄﾘﾁｬﾝ大好き倶楽部》でのアニメーション楽譜

6．振動スピーカー

動的楽譜システムと並行して取り組んでいるのが振動スピーカーを用いた表現である。振動スピーカーは、箱型のスピーカーとは異なり、机などの面に貼り付けることでそれ自体を共鳴板にして音を増幅させる。松宮圭太の取り組んでいるハイブリッド楽器8は、楽器の拡張として捉えられ、楽器演奏にエフェクトを付加したものを楽器に取り付けた振動スピーカーから再生することで、箱型のスピーカーではなく楽器から音響処理された音が鳴り響く。また、楽器の音とは関係のない雨音などを再生することもある。私が取り組んでいるのは、取り付けた楽器の音を録音し再生することで生じる、無人で楽器が演奏されるような「存在感」についてである。

図6 振動スピーカーを取り付けたスネアドラム（撮影：嵯峨倫寛）

《sd.mod.live》（2018-2019）は、スネアドラムの即興演奏の映像と、実際のスネアドラムを使用したオーディオ・ヴィジュアル・パフォーマンスである。打楽器奏者の関聡に10分程度のスネアドラムの即興演奏をしてもらい、それを録画・録音した。その映像にスキップ、ループ、タイムストレッチをかけて音声も同期させることで、箱型スピーカーからしか聴くことのなかった、デジタル的な時間軸の音の表現が実際のスネアドラムから聞こえてくるようにした。音のサンプリングは、その直前にある演奏の振る舞いを消去する。ここでは映像と音を記録・再生することで、再びサンプリングの音楽に振る舞いを想像させ、そこから生まれる「存在感」を表現した。

Googleの音声合成機械学習プロジェクトであるMagentaのライブラリ、DDSP（Differentiable Digital Signal Processing）が2019年に登場した9。これを使用した例として、アコースティックギターの音をヴァイオリンの音に変換したりできるという研究がある。ギターのストローク感を残しながら、ヴァイオリンの音色になるのだ。これを使って、人の声が楽器になった場合のことを考えた。

本来声というものには持ち主のアイデンティティが付随している。その音色を聞くことでその人の声だと聞き分けることができる。マイクを通して話し、そこにエフェクトをかけたとしても、発声した本人のものだと分かる。録音されて、本人不在で再生しても、本人の声だと分かる。しかしDDSPによって声が他の楽器の音に変わった時、その声は本人のものであると言えるのだろうか？

そのように考えていくうちに、この人工知能による声の音色変換を作品化するためには音楽劇のフォーマットで取り組む必要があると考えた。音楽だからといって声を歌声に限定する必要はない。声には言葉を持たせることができ、私達の考えを伝達する力がある。だから、声に関する考察を登場人物の2人が語り合い、時に声が音楽となるような作品を作った。音楽劇《声のゆくえ》（2022）である。元々演劇には大学時代から興味を持ち度々観劇していた。この演劇というフォーマットを音楽的に解釈することはできないかと考え、音楽劇を再解釈するような作品として仕上げた。

新型コロナウイルスの渦中、舞台に登場する役者や演奏家などがマスクをするべきかどうかという議論が生まれた。舞台というのはパフォーマーが演じるフィクションを楽しむものだが、マスクを付けていることでコロナ禍という現実を突き付けられ、目を覚まさせられる。それならば、パフォーマーが完全に隔離されて舞台に登場せずに演じれば、安全になるのではないかという想像をした。

そこから着想した《私達はどのようにして私達であるか》（2024）は、舞台における人間性を排除することで、その本質を問い直すものである。通常の舞台では、人間がパフォーマンスを行い、音楽は機械が再生するが、本作においてはその関係を逆転させている。人間のパフォーマンスは記録された映像で再生され、音楽はミジンコの動きをリアルタイムに取得して生成される。そのため、舞台には人間は登場せず、非人間のミジンコのみが存在する。人間の動きはモーショントラッキングで記録され、アバターを通じて演じられ、声も人工音声に置き換えられる。

顕微鏡の映像がリアルタイムにスクリーンに映し出され、ミジンコが自由に泳ぎ回る。赤い枠内をミジンコが通ると、下に設置されたディスプレイに表示されたシミュレーションでボールが飛び出るトリガーとなる。そのボールがブロックにぶつかると、対応する楽器が振動スピーカーを通じて「演奏」される。ミジンコの動きが可聴化され、動きが激しいほど多くの音が鳴り、動きが小さいほど無音の状態が続く。ストーリーとは関係なく、人間ならざるものの存在感が音楽として生成されていく。

本作はストーリーを通じて、役者としてのキャラクターと個人としてのキャラクターの曖昧な二重性を提示する。VTuberのヒラタクワガタの平田クワと、モリアオガエルの森愛オガが劇場でコラボ配信を行う。VTuberはアバターを纏いながら配信を行うが、時折設定と異なる個人的な話をすることがあり、鑑賞者はその矛盾を楽しむ。本作では、最初は台本に沿って演技しながら、徐々に役者に進行を委ねることで、VTuber特有のキャラクターと個人の曖昧さを浮かび上がらせた10。

この振動スピーカーによる楽器の「演奏」を、人工知能によって行うことで、バーチャル空間にいる存在と現実空間を結びつけることが出来ないかと考え作られたのが《滴るオーリーオーン》（2025）である。この作品は福島県田村市をリサーチして作られ、その土地のものがコンセプトに結びついている。

田村エリアには「お人形様」という厄除けの人形や、「リカちゃんキャッスル」というリカちゃんの工場があるように、古くから現代までヒトガタがよく親しまれてきた。これを現代の観光産業である「ムシムシランド」を象徴するカブトムシに適用し、バーチャル空間に二本足で歩行するカブトムシのアバターを作った。市民の方々にそのアバターを操作してもらい、歩行データを取得。そのデータを人工知能に学習させ、自動で動くエージェントを作り上げた。

バーチャル空間にはオリオン座の配置でボールが置かれ、現実空間には同じ配置で楽器が置かれている。エージェントがボールに触れると、対応する楽器が演奏される仕組みである。こうすることでバーチャル空間でのエージェントの行動が、現実空間で楽器の音として現れ、バーチャルと現実を結びつけるような効果によって「存在感」を生み出した。

7．バーチャリティと現実の接続

私はこのように、動的楽譜システムや振動スピーカー、そしてその他のテクノロジーを通じて、音楽、作曲、演奏、文化など様々な音にまつわる問いを探求してきた。雑多な音楽のバックグランドから生まれた、雑多なコンセプトの作品群に思われたかもしれないが、多くのものがバーチャリティと現実の接続をベースにしている。

「バーチャル」とは、日本バーチャルリアリティ学会の定義によると「みかけや形は原物そのものではないが、本質的あるいは効果としては現実であり原物であること」とされる11。「バーチャル」というと多くの人は3D空間で作られた世界を想像するかもしれないが、それは視覚的な要素である。ディスプレイの中に作られた空間をバーチャル空間と呼ぶように、スピーカーから拡声される音もまたバーチャル音声であると言えるだろう。

例えば1人の話者がステージ上でマイクを通じてスピーチする場面。会場には上手と下手にスピーカーがあり、ステレオによる拡声が可能である。この時、話者が声を大きくする必要はなく、オーディオ機器の拡声の力によって、通常の声量で全ての観客に声を届けられる。ここで観客は、話者の声を聞いているように知覚しているが、実際はバーチャルな音を聞いている。スピーカーから聞こえてくる音と、話者から直接聞こえてくる音は、音量だけではなく音色、位置も異なる。マイクは話者の口元近くにあり、まるで口元に耳を近づけているような音色でスピーカーから拡声されている。またスピーカーはステレオ、つまり2台それぞれから音が出力されているが、左右の音量を均一にすることでファントムセンター効果を生み出し、中央から音が聞こえてくる。さらに言えばエンジニアが機材にこだわるように、マイク、アンプ、スピーカーの性質によって、本来の音は変容している。このマイクからスピーカーまでのオーディオ機器を通じて変容した声は、実際の声とは異なる音でありつつ、実際の音と同等に捉えて聞くことができるため、オーディオ機器からの音はバーチャルな音といえる。エフェクトなどで音声信号に大きな変容が加わったときに初めて私達は、バーチャル空間にしかない表象を現実に拡声されたと感じることができる。

人類の長い歴史で近年になって、人類はバーチャルな別世界を生み出した。様々なテクノロジーが音楽の構造や受容を変えていったように、これからはバーチャル世界の音と現実の音を接続することで、人類が紡ぎ出してきた長い音楽の歴史に刻まれる、新しい音楽を作ることができるかもしれない。

  1. 三輪眞弘. 2004. 「ありえたかもしれない音楽」 せんだいメディアテーク. https://www.smt.jp/geinou/ongaku.html. 2025年4月10日参照. ↩︎
  2. 沢山遼. 2024. 「メディウム・スペシフィシティ」 アートスケープ. https://artscape.jp/artword/6857/. 2025年4月10日参照. ↩︎
  3. 大久保雅基, 三輪眞弘. 2015. 「『どこかの日常』聴覚による楽譜を使用した音楽作品」. 先端芸術音楽創作学会 会報. Vol.7, No.3, pp.1-5. https://data.jssa.info/paper/2015v07n03/1.Okubo.pdf. ↩︎
  4. KONAMI. 「jubeat」 https://p.eagate.573.jp/game/jubeat/ave/. 2025年4月10日参照. ↩︎
  5. R.R.Smith. 2016. A Practical and Theoretical Framework for Understanding Contemporary Animated Scoring Practices. PhD Dissertation, Rensselaer Polytechnic Institute, http://ryanrosssmith.com/papers/RyanRossSmith_PhD_Dissertation_2016_Animated_Notation.pdf. p.95 ↩︎
  6. 大久保雅基. 2023.「人工生命システムと動的楽譜システムを用いたリアルタイムの音楽生成と演奏」　先端芸術音楽創作学会 会報 Vol.15, No.3, 2023, pp.28-34. https://data.jssa.info/paper/2023v15n03/52_5.Ohkubo.pdf. ↩︎
  7. [vii] Reynolds, W, Craig. 1987. “Flocks, Herds, and Schools: A Distributed Behavioral Model” in Computer Graphics, Volume 21, Number 4, Computer Graphics. ↩︎
  8. 松宮圭太. 2019. 「ハイブリッド楽器の研究　『したたり』ピアノと電子音響のための(2019) の創作意図と表現方法を巡って」. 先端芸術音楽創作学会 会報. Vol.1, No.3, pp.34-38. https://data.jssa.info/paper/2019v11n03/8.Matsumiya.pdf. ↩︎
  9. J. Engel, L.H.Hantrakul, C.Gu, A.Roberts. 2019. “DDSP: Differentiable Digital Signal Processing.” ICLR 2020. https://openreview.net/forum?id=B1x1ma4tDr. ↩︎
  10. 大久保雅基. 2024.「舞台作品《私達はどのようにして私達であるか》における虚構性」先端芸術音楽創作学会 会報 Vol.16, No.2, pp.1-7. https://data.jssa.info/paper/2024v16n02/54_1.Ohkubo.pdf ↩︎
  11. 舘暲. 2012. 「バーチャルリアリティとは」日本バーチャルリアリティ学会. 2012-1-13.  https://vrsj.org/about/virtualreality/. 2025年4月10日参照.  ↩︎