手を動かすことでAbleton Liveがコントロールできる『Leap Motion』

今回は、Leap Motionというジェスチャーセンサーを使用して、手を動かすことでサウンドをコントロールする方法を紹介したいと思います。
Leap Motionとは、指の関節や手のひらの位置などを読み取って数値に変える装置で、Leap Motion社が2012年に発売。
僕が今年の2月に参加したライブショーケース=”ex:theory(エクスセオリー)“で、手の動きと音楽と映像を同期させるために使用しました。

Leap Motionでできること

Leap Motionの上に手をかざすと下から赤外線LEDが手を照らし、赤外線カメラでそれを撮影・画像解析して関節や指の位置を数値に変換してPCに送ります。スマホアプリのように、PCにLeap Motion用のアプリをインストールすることで、手の動作をMIDIに変換したりVR動画の視点を変えたり、様々なことができるようになります。

leap-motion-visualizer-02

実際にLeap Motionを導入するとどんなことができるのか、ヒューマンビートボクサーRyo Fujimotoさんの動画を見てみましょう。おそらく両手の動作でエフェクトを制御していると思われます。

出典:YouTube

Ableton LiveとLeap Motionを実際に組み合わせてみた動画

今回は、僕が主催しているAbleton User Meeting Tokyoで、4月にLeap Motionについてプレゼンテーションした動画を初公開します。
この動画は全部で18分近くありますが、15:35くらいからのデモ演奏を見ると何をやっているのかわかりやすいかと思います。

フルバージョンの動画で実際のシステム構築方法などについて話していますので、Leap Motionに興味を持った方はご覧ください。
この動画ではシンセをコントロールしていますが、MIDIに対応していればエフェクトでも照明機器でもコントロールする事が可能。僕がよく使うのはSugar Bytes Turnadoという最大8系統使えるマルチエフェクターのVSTプラグインで、これををリズムマシンの後段にインサートして、手の上下でスタッター効果を出しながら左右の動きでリバーブかける、ということもしています。
実際に手を動かすと常時複数のエフェクトがかかるので、エフェクト成分は薄めにしています。

turnado

Leap Motion導入のキモは手の動きと音の変化のリンクをデザイン

僕がLeap Motionで一番のキモだと思ったのは、Leap MotionとAbleton Liveの連携で、今回はその橋渡しにGeco MIDIというLeap Motion用アプリを使用。
Leap Motionを導入するにあたり、このGeco MIDIでどんな手の動作が何のMIDI情報を送るのか設定し、Ableton Live側ではそのMIDIを受けるとサウンドがどう変化するのか音作りする…といったシステムを構築をする必要があります。
Leap Motionを使って何をコントロールしたいのかはっきりしてないとこの段階で躓くかもしれませんが、手の動きと音の変化のリンクをデザインする感覚でいけば新しい表現ができそうな可能性を感じます。

geco midi

楽器と楽器ではないものを組み合わせる

最近はこのような本来楽器では無いものを楽器として使うことに興味を持っていて、”ex:theory”の時に、磁石で繋げるモジュラー構造の電子キット=littleBitsとターンテーブルを組み合わせたデモもしました。
楽器と楽器ではないものを組み込わせるのは、色々と発見があり実に楽しかったです。ちょっと長いのですが下ネタ満載の動画もあります。後半部分で実際にデモをしています。

このLeap Motionの価格は原稿執筆時点で11000円前後と、PC周辺機器として考えれば安くはありませんが、音響機材や楽器の価格から考えると手ごろな価格で面白いデバイスで、サイズも小さいので持ち運びも楽ですね。

Leap Motionを使った作品

最後に、僕のレーベルpsymaticsからリリースされるこのLeap Motionを使った作品の紹介です。ライブショーケース=”ex:theory”のために制作された音源で、5月27日(水) iTunes他で配信開始です。

僕のリミックスがLeap Motionを使用しています。是非チェックしてみてください!

CD HATA”ex:theory”特設サイト

[amazonjs asin=”B00GWCATS8″ locale=”JP” title=”【国内正規代理店品】 Leap Motion 小型モーションコントローラー 3Dモーション キャプチャー システム”]

メーカーサイトでLeap Motionをチェック