--- slug: 2026-open-audiovisual title: Open AudioVisual 開源音像表演框架 subtitle: 好想要世界跟創作變得更有趣啊 written: 2026-10-04 period: 2026 年 10 月 published: 2026-10-04 category: essay hero_image: /img/articles/2026-open-audiovisual/og.jpg excerpt: 一套開源的網頁影音表演框架。MIDI、麥克風、和弦、手勢、手機，都會變成有名字的訊號，接到作品的參數上。圖鑑裡有 15 台控制器、682 個控制項，數字出自哪一份手冊都附上出處。 related: - type: external label: 2026 年 10 月 4 日首發於 Facebook note: https://www.facebook.com/cheyuwu345/posts/pfbid02FDjAeyaZ9VfUTuW9NQHNLuRupypC4nPZfsvCP44a7ws3U1Xzs9oTLSwjt3pQeXN3l - type: external label: open-audiovisual 官網 note: https://openaudiovisual.com/zh/ - type: external label: MIDI 控制器圖鑑 note: https://openaudiovisual.com/zh/controllers/ - type: external label: GitHub 原始碼 note: https://github.com/frank890417/open-audiovisual tags: - essay - open-source - midi - creative-coding - web - audiovisual featured: false status: published --- 文：吳哲宇 --- 這一個多月我在做一套開源的網頁影音表演框架，叫 open-audiovisual。今天把兩個東西上線了：一本 MIDI 控制器圖鑑，跟一份完整的中英文文件。 最近這幾次，我在設計展展出的作品、還有自己的演出，都是用網頁版在跑。改東西的速度比原本的工作流程快太多了，快到我覺得這個世界準備好要變了，而且這一定是不可逆的趨勢。 ![範例 07《花火大會》：2021 年的作品搬進框架重新跑，粒子系統用的是當年的原始程式碼。右邊是框架的面板，列出四層的狀態、參數和訊號](/img/articles/2026-open-audiovisual/fig-01-firework-festival.webp) *範例 07《花火大會》：2021 年的作品搬進框架重新跑，粒子系統用的是當年的原始程式碼。右邊是框架的面板，列出四層的狀態、參數和訊號* 我現在比較像是在跟我的作品講話。每天的 token（AI 讀寫文字的單位）加上時間，就像世界的光線，我每天的決策、想法跟 token 一層一層堆疊上去，作品就像植物一樣，慢慢長出結構跟層理。如果走原本的流程，每件作品至少要一百倍的時間，才做得到我現在的品質。 八月底我把這套工具整理出來開源。MIDI、麥克風、和弦、手勢、手機，都會變成有名字的訊號，接到作品的參數上，同一份程式在瀏覽器分頁、投影機、舞台上都能跑。 ![openaudiovisual.com 首頁：按住一個 C 大調和弦，擺錘繪圖機依音高畫出曲線，右邊的跳線盤顯示每個訊號接到哪個參數](/img/articles/2026-open-audiovisual/fig-02-homepage-instrument.webp) *openaudiovisual.com 首頁：按住一個 C 大調和弦，擺錘繪圖機依音高畫出曲線，右邊的跳線盤顯示每個訊號接到哪個參數* ![框架分成四層：輸入、映射、世界、輸出。換掉其中一層，其他三層照常運作](/img/articles/2026-open-audiovisual/fig-03-four-layers.webp) *框架分成四層：輸入、映射、世界、輸出。換掉其中一層，其他三層照常運作* 控制器圖鑑是我想做很久的東西。MIDI 控制器就是那些有旋鈕、推桿、打擊墊，接上電腦用來演奏或控制畫面的小機器。之前做《演算詩篇：夢境與孤寂的邊界》的時候，我花了超多時間在重建 MiniLab 的 MIDI。我能理解大家做好了會想自己留著，怕一放出去就傷到自己的專長跟優勢，但每個人都在重新對同一台控制器，這種重複造輪子一直讓我很痛。 ![MIDI 控制器圖鑑的開頭是一台可以直接彈的 Arturia MiniLab 3。旋鈕、推桿、打擊墊、琴鍵都會送出 MIDI 訊息，最下面那行是最後一則](/img/articles/2026-open-audiovisual/fig-04-controllers-minilab3.webp) *MIDI 控制器圖鑑的開頭是一台可以直接彈的 Arturia MiniLab 3。旋鈕、推桿、打擊墊、琴鍵都會送出 MIDI 訊息，最下面那行是最後一則* 現在圖鑑裡有 15 台控制器（APC mini、Launch Control XL、MIDImix、nanoKONTROL2、MiniLab 3⋯），682 個控制項，每一個送出什麼 MIDI 訊息、數字出自哪一份手冊，都附上出處，總共 58 份。還查不到文件的 152 個，就老實標「未確認」。網頁上可以直接彈，接上你手邊那台，畫面會跟著你的手動。 ![目錄裡每張卡片的面板就是元件本身，可以直接拖、直接按。標籤寫著數字從哪裡查來，查不到的標成未確認](/img/articles/2026-open-audiovisual/fig-05-controller-catalog.webp) *目錄裡每張卡片的面板就是元件本身，可以直接拖、直接按。標籤寫著數字從哪裡查來，查不到的標成未確認* ![規格表：AKAI LPD8 (mk2) 的 16 個控制項。打擊墊的音符編號手冊裡沒寫，所以標成未確認。下方列出四份出處，其中一份是作者的 TouchDesigner 工具](/img/articles/2026-open-audiovisual/fig-06-spec-lpd8.webp) *規格表：AKAI LPD8 (mk2) 的 16 個控制項。打擊墊的音符編號手冊裡沒寫，所以標成未確認。下方列出四份出處，其中一份是作者的 TouchDesigner 工具* 像 TouchDesigner（很多新媒體藝術家在用的視覺程式軟體）這樣的工具，如果有一天變成速度跟想像的限制，時代可能就會淘汰它，或讓它變成「古典」的做法。但我還是希望大家都玩過舊的世界，這樣更知道新的世界為什麼重要，思考也會更深刻。就像藝術家會去做田野調查，了解第一手的來源跟舊世界的經驗之後，就會更珍惜，也更看得見新世界的潛力。 把框架、把自己的 MiniLab 工具都放出去，會不會傷到自己？說真的，我也不知道。我幾十年累積的技術門檻，好像就這樣被弄平了。但我就是希望這些東西能「降臨」在這個世界上，無法被逆轉地活下去，幫大家省下力氣，去探索創作裡更有趣的部分。 ![首頁的九件範例，每一件都不需要硬體就能在瀏覽器打開。05 到 07 是 2020 到 2023 年的作品](/img/articles/2026-open-audiovisual/fig-07-nine-works.webp) *首頁的九件範例，每一件都不需要硬體就能在瀏覽器打開。05 到 07 是 2020 到 2023 年的作品* 想試試看的話： - 控制器圖鑑：https://openaudiovisual.com/zh/controllers/ （用 Chrome 或 Edge，接上控制器後按「接上你的控制器」） - 想放進自己的網頁：圖鑑頁下面有嵌入程式碼產生器，一行就好，也能把 MIDI 送進 Ableton 或 TouchDesigner - 你的控制器不在裡面：GitHub 開個 issue 跟我說，或直接把設定檔丟 PR 過來 - 完整文件：https://openaudiovisual.com/zh/docs/ - GitHub：https://github.com/frank890417/open-audiovisual ![嵌入程式碼產生器：選好機型和選項，右邊是即時預覽和程式收到的事件，下面每一段程式碼跟著換](/img/articles/2026-open-audiovisual/fig-08-embed-builder.webp) *嵌入程式碼產生器：選好機型和選項，右邊是即時預覽和程式收到的事件，下面每一段程式碼跟著換* ![完整文件共 16 章、143 節，左邊是目錄](/img/articles/2026-open-audiovisual/fig-09-docs.webp) *完整文件共 16 章、143 節，左邊是目錄* 好想要世界跟創作變得更有趣啊。我覺得人類能找到更多讓自己快樂、讓創作變有趣的方式。 2026.10.04