音樂分析與瀏覽器推論
將 Beat This! 與 S-KEY 整合為 ONNX 雙模型分析工具,處理音訊前處理、Web Worker 推論與模型快取。支援全曲或片段分析,輸出固定/變速 MIDI Tempo;瀏覽器模式的音訊留在使用者裝置。
- Music Information Retrieval
- ONNX
- MIDI Tempo
用音樂人的經驗,思考軟體怎麼被使用。
模型訓練、音訊軟體與產品整合。
將 Beat This! 與 S-KEY 整合為 ONNX 雙模型分析工具,處理音訊前處理、Web Worker 推論與模型快取。支援全曲或片段分析,輸出固定/變速 MIDI Tempo;瀏覽器模式的音訊留在使用者裝置。
在 JS Inflator 開源核心上進行 AAX 適配,處理參數、電表與 editor 同步。針對含 oversampling、相位切換的音訊處理流程建立回歸測試,並以 CMake/CI 打包 macOS 與 Windows 外掛。
使用 NVIDIA PhysicsNeMo 開發物理資訊神經網路(PINN),將物理條件納入模型訓練,並製作應用展示介面。
開發文件處理、知識庫檢索與 LLM 回答流程,整理來源脈絡,讓使用者能核對生成內容的依據。
參與 CES Innovation Award 獲獎智慧音箱開發,以 AI 偵測與識別嬰兒哭聲,並觸發對應的裝置動作。
開發符號表象的音樂生成模型,讓生成結果保留可編輯的音樂結構,並支援多軌分軌,供後續編曲與製作使用。
開發 Singing Voice Synthesizer,負責資料準備、模型訓練與應用整合。曾與 Kimberly、黃明志、芒果醬、VERBAL(m-flo)及 VTuber 多帕合作開發。
以 OpenCart 架設購物網站並開發客製模組,串接藍新金流,以及物流匯出與後台營運流程。
開發 auto-mr,集中檢查多個專案的 staging 與 main 差異,自動建立 PR 並等待既有 CI 與審查條件。另為音訊外掛建立跨平台建置、封裝驗證與測試版發佈流程。
專業能力與創作成果。
National Dong Hwa University Distinguished Alumnus
1st TAICCA Cultural Entrepreneurship Accelerator
CES Innovation Award
Taiwan Excellence Award
近期音樂工具與持續維護的工程專案。
整合 Beat This! 與 S-KEY,透過瀏覽器 ONNX 或本機 Python 分析 BPM、拍號與調性。支援片段選取、波形試聽及 MIDI Tempo 匯出,將分析結果接進 DAW 製作流程。
基於 JS Inflator 開源音訊效果器,開發 AAX 適配、修復電表與介面同步,建立 macOS/Windows 多格式建置與回歸測試。AAX 仍為測試版,僅適用 Pro Tools Developer。
集中管理多個 GitHub 專案的 staging → main 流程,自動建立或沿用 PR,依各專案的 CI、review 與分支保護條件推進合併。
為物理資訊神經網路(PINN)應用開發前端展示介面,整理模型操作與結果呈現流程。
整合文件處理、語意搜尋與 LLM 回答流程,讓企業內部知識可供檢索,並保留回答的來源脈絡。
以 LLM 協助 Discord 內容審核、話題整理與頻道分析,支援繁體中文的社群管理流程。
以 LLM 與實況主人設設定回覆 Twitch 聊天室,結合對話脈絡、回覆規則與冷卻控制,支援直播互動。
開發 OpenCart 藍新金流支付模組,串接購物網站的付款流程與交易回應。
從 C++ 音訊處理、Python 模型到瀏覽器推論,我關心的不只是輸出結果,也包括操作方式、測試與部署。音樂創作經驗讓我能理解製作端的需求,AI 與軟體工程則是把需求做出來的方法。
C++ 音訊處理、oversampling、相位與重取樣、參數/電表同步、DSP 回歸測試
BPM、拍點與調性分析、頻譜前處理、MIDI Tempo、ONNX、WebGPU / WASM
符號音樂生成、可編輯多軌音樂、SVS 歌聲合成、模型訓練與音樂製作流程
PINN、PhysicsNeMo、RAG、LLM 應用、AI Agent、機器學習
VST3、AUv2、AAX 適配、VSTGUI、CMake、macOS Universal/Windows 建置
TypeScript、JavaScript、Python、FastAPI、Web Worker、GitHub Actions 與 PR 自動化
獨立音樂創作、藝人/VTuber 合作、Discord / Twitch Bot、社群互動工具
OpenCart 模組、藍新金流串接、購物車與後台營運流程
智慧音箱、嬰兒哭聲辨識、聲音事件與裝置動作整合
移動游標或使用方向鍵 · 調整頻率/強度
開放 AI/音訊軟體相關職缺與專案合作:音樂分析、歌聲合成、DSP 外掛、模型部署,也承接 RAG 與創作者工具開發。