Open AudioVisual 開源音像表演框架
好想要世界跟創作變得更有趣啊
一套開源的網頁影音表演框架。MIDI、麥克風、和弦、手勢、手機，都會變成有名字的訊號，接到作品的參數上。圖鑑裡有 15 台控制器、682 個控制項，數字出自哪一份手冊都附上出處。
文：吳哲宇
這一個多月我在做一套開源的網頁影音表演框架，叫 open-audiovisual。今天把兩個東西上線了：一本 MIDI 控制器圖鑑，跟一份完整的中英文文件。
最近這幾次，我在設計展展出的作品、還有自己的演出，都是用網頁版在跑。改東西的速度比原本的工作流程快太多了，快到我覺得這個世界準備好要變了，而且這一定是不可逆的趨勢。
範例 07《花火大會》：2021 年的作品搬進框架重新跑，粒子系統用的是當年的原始程式碼。右邊是框架的面板，列出四層的狀態、參數和訊號
我現在比較像是在跟我的作品講話。每天的 token（AI 讀寫文字的單位）加上時間，就像世界的光線，我每天的決策、想法跟 token 一層一層堆疊上去，作品就像植物一樣，慢慢長出結構跟層理。如果走原本的流程，每件作品至少要一百倍的時間，才做得到我現在的品質。
八月底我把這套工具整理出來開源。MIDI、麥克風、和弦、手勢、手機，都會變成有名字的訊號，接到作品的參數上，同一份程式在瀏覽器分頁、投影機、舞台上都能跑。
openaudiovisual.com 首頁：按住一個 C 大調和弦，擺錘繪圖機依音高畫出曲線，右邊的跳線盤顯示每個訊號接到哪個參數
框架分成四層：輸入、映射、世界、輸出。換掉其中一層，其他三層照常運作
控制器圖鑑是我想做很久的東西。MIDI 控制器就是那些有旋鈕、推桿、打擊墊，接上電腦用來演奏或控制畫面的小機器。之前做《演算詩篇：夢境與孤寂的邊界》的時候，我花了超多時間在重建 MiniLab 的 MIDI。我能理解大家做好了會想自己留著，怕一放出去就傷到自己的專長跟優勢，但每個人都在重新對同一台控制器，這種重複造輪子一直讓我很痛。
MIDI 控制器圖鑑的開頭是一台可以直接彈的 Arturia MiniLab 3。旋鈕、推桿、打擊墊、琴鍵都會送出 MIDI 訊息，最下面那行是最後一則
現在圖鑑裡有 15 台控制器（APC mini、Launch Control XL、MIDImix、nanoKONTROL2、MiniLab 3⋯），682 個控制項，每一個送出什麼 MIDI 訊息、數字出自哪一份手冊，都附上出處，總共 58 份。還查不到文件的 152 個，就老實標「未確認」。網頁上可以直接彈，接上你手邊那台，畫面會跟著你的手動。
目錄裡每張卡片的面板就是元件本身，可以直接拖、直接按。標籤寫著數字從哪裡查來，查不到的標成未確認
規格表：AKAI LPD8 (mk2) 的 16 個控制項。打擊墊的音符編號手冊裡沒寫，所以標成未確認。下方列出四份出處，其中一份是作者的 TouchDesigner 工具
像 TouchDesigner（很多新媒體藝術家在用的視覺程式軟體）這樣的工具，如果有一天變成速度跟想像的限制，時代可能就會淘汰它，或讓它變成「古典」的做法。但我還是希望大家都玩過舊的世界，這樣更知道新的世界為什麼重要，思考也會更深刻。就像藝術家會去做田野調查，了解第一手的來源跟舊世界的經驗之後，就會更珍惜，也更看得見新世界的潛力。
把框架、把自己的 MiniLab 工具都放出去，會不會傷到自己？說真的，我也不知道。我幾十年累積的技術門檻，好像就這樣被弄平了。但我就是希望這些東西能「降臨」在這個世界上，無法被逆轉地活下去，幫大家省下力氣，去探索創作裡更有趣的部分。
首頁的九件範例，每一件都不需要硬體就能在瀏覽器打開。05 到 07 是 2020 到 2023 年的作品
想試試看的話：
- 控制器圖鑑：https://openaudiovisual.com/zh/controllers/ （用 Chrome 或 Edge，接上控制器後按「接上你的控制器」）
- 想放進自己的網頁：圖鑑頁下面有嵌入程式碼產生器，一行就好，也能把 MIDI 送進 Ableton 或 TouchDesigner
- 你的控制器不在裡面：GitHub 開個 issue 跟我說，或直接把設定檔丟 PR 過來
- 完整文件：https://openaudiovisual.com/zh/docs/
- GitHub：https://github.com/frank890417/open-audiovisual
嵌入程式碼產生器：選好機型和選項，右邊是即時預覽和程式收到的事件，下面每一段程式碼跟著換
完整文件共 16 章、143 節，左邊是目錄
好想要世界跟創作變得更有趣啊。我覺得人類能找到更多讓自己快樂、讓創作變有趣的方式。
2026.10.04