1. オーディオリアクティブ表現とは

音に反応してビジュアルをリアルタイムに生成する表現手法であり、古くからMacやWindowsのメディアプレイヤーにサウンドビジュアライザーとして搭載されていることが多い。オーディオリアクティブなコンテンツを制作するツールとしては、After Effects、VJ系ソフト、Cycling’74 Max、Unity、近年ではウェブサービス（一例：https://musicvid.org/）も存在する。

オーディオリアクティブ表現は、広い意味ではオーディオビジュアルアートの中にも含まれるが、オーディオリアクティブはリアルタイムに音データを解析してビジュアル化するものであり、編集によってオーディオビジュアルとしての相乗効果を生んでいるものとは仕組みが異なる。作品制作の上ではこれらの手法を組み合わせて制作しているものも多く、近年では照明やロボット技術との連動など、多様な表現手法が生まれている。

2. 今回の演習

TouchDesignerを利用したAudio Reactive表現に関する演習を行う。 下映像の楽曲は演習とは異なる。

参考）その他のチュートリアル

画像を疑似3D化した上でHeight Mapの変化量に音の大きさを適用したもの。

https://old2-lecture.nakayasu.com/index_p=2544.html

他にも、YouTubeで「audio reactive touchdesigner」で検索すれば、様々なチュートリアルを見つけることができる。

Stable Diffusionを利用したAudio Reactiveの事例もある。

3. 準備

3.1 実験用画像データの準備

実験段階で東京都立大学のロゴを利用する。都立大学生はダウンロード可能。授業内で指示する。

3.2 楽曲データの準備

YouTube Studioのオーディオライブラリからダウンロードする。今回は音の大きさのみを解析するため、音の大きさのメリハリのあるもの（静かな部分とリズムが入るくらい）が合いやすい。

今回はアンビエントジャンルのBeyond（下図）を利用する。

3.3 作業フォルダの作成

下図のように任意の名前のフォルダを作成して、楽曲データ、画像データ、TOEファイル（TouchDesigner Environment file）を整理する。

3.4. TouchDesignerの起動

TouchDesignerを起動後、サンプルデータの削除、左のパレットを閉じる。

Fileメニュー > Saveから、作業フォルダにtoeファイルを保存する。

4. 画像へのオーディオリアクティブ

4.1 都立大ロゴ画像の表示

• Movie File In TOP
  • Fileからバナナ画像（Banana.tif）をtmu_logo.pngに変更する
• Transform TOP
  • Background Colorを1, 1, 1, 1で白に変更する
  • Comp Over Background ColorをONにする
• Out TOP
  • 必要に応じてDisplayボタン（Background表示）をONにする

4.2 回転実験（任意）

※実験後、削除する

• LFO CHOP
  • Type: Ramp
• Math CHOP
  • To Range: 0〜360
• Null CHOP
  • Transform TOPのRotateにパラメータリンク（CHOP Reference）

パラメータリンク元を含むオペレータを削除する場合は、リンク先のオペレータのスクリプトを表示させて削除する必要がある。

4.3 音の大きさの解析

• Audio File In CHOP
  • Mono: ON
• Audio Device Out CHOP
  • 再生したままミュートにしたい場合はBypass（矢印アイコン）をクリック
• Analyze CHOP
  • Function: RMS Power
• Trail CHOP
  • 数値変化の確認用

4.4 音の大きさをロゴのスケールへ反映

• Math CHOP
  • To Range: 0.9〜1.2程度に変更
• Null CHOP
  • Transform TOPのScaleへパラメータリンク