碩士級專任研究助理 三名 (研發替代役可)電腦系統實驗室 Machine Learning Systems 研究團隊

深度學習模型推論和訓練優化研究 (Optimization of Deep Learning Model Inference and Training) Machine Learning Systems團隊的研究方向包括：平行與分散式計算、編譯器、以及計算機架構。我們利用電腦系統的技術加速深度學習模型推論和訓練，並研究下一世代機器學習模型的系統開發和優化。 我們的研究方向著重於： 1. 模型壓縮與計算優化研究。 模型壓縮技術 (pruning and quantization) 透過減少AI模型容量與運算量，實現模型執行加速，對於嵌入式系統等資源受限的計算平台以及記憶體有限的AI加速器至關重要。為了有效執行壓縮後的模型，許多次世代處理器設計了新的運算功能，例如向量運算 (Intel AVX512, ARM SVE, RISC-V RVV) 和矩陣加速器 (matrix-multiplication unit on GPUs and NPUs) 等強化功能。我們將研究 (1) 如何利用這些強化運算功能加速壓縮模型的執行，(2) 各種計算平台，例如伺服器、邊緣裝置、異質系統等的壓縮模型的佈署方法。 2. AI加速器設計。 針對深度學習模型的推理加速，在FPGA板上實現AI加速器硬體設計，並進行軟硬體協同設計與優化研究。 3. 異質環境下深度學習模型推論優化研究。 智慧系統如自駕車與語音助理，通常需執行複雜的深度學習模型 (complex deep learning models: hybrid models, multi-models, and multi-task models)。與此同時，電腦架構正朝向異質多處理器設計發展 (heterogeneous architecture: CPUs+GPUs+AI accelerators)。如何整合異質處理器來執行複雜模型並達到高效能的運算，成為一項關鍵且具挑戰性的研究。針對此問題，我們將探討以下方向：(1) 模型運算與異質處理器的分配策略，(2) 排程演算法設計，(3) 模型執行平行化方法，包括資料平行（data parallelism）、模型平行（model parallelism）與張量平行（tensor parallelism）。 上述研究議題為國內外深度學習系統領域之重要發展方向，產業界及學術界均需此方面人才。適合擬專心研究，未來從事學術工作者或研發工作者，對於未來規劃進修博士學位者, 本實驗室之研究計畫提供優良之訓練環境與研究經歷。