過去處理AI人工智慧的大量運算集中在雲端資料中心，大型企業爭相搶建雲端GPU伺服器叢集，以訓練AI模型進行語音辨識、影像判讀、聊天機器人等。然而，並非所有任務都適合送到雲端執行。

 

 

邊緣AI在許多領域的需求都在快速上升中，隨著模型縮小、硬體效率提升、軟體工具成熟，以及資料治理體系逐漸建立，未來AI將無所不在，從工廠中判斷設備異常到醫療儀器即時監測，再到零售與交通的智慧化管理，所有運算都將更即時、更節能也更貼近使用者需求，AI從雲端「降落」到邊緣設備的「邊緣AI」逐漸成為重要趨勢。

 

然而，邊緣運算由於裝置通常受限於功耗、散熱與空間，能使用的算力有限，且資料分散在各終端機器，也讓資料的治理、保護、追蹤變得複雜，這些都是邊緣AI必須面對的現實挑戰。

 

邊緣設備擔負部分AI運算工作，但仍需與雲端的資料中心相互偕同打造完整解決方案，雲、邊混合運用各類不同晶片以發揮最大效益。

 

在邊緣設備部署考量上，若應用無法容忍延遲，例如機械手臂安全控制、電力系統保護、無人機導航等，運算就必須放在邊緣；若能接受較長反應時間，雲端或混合模式會是更靈活的選擇。許多企業在專案初期會以雲端驗證想法，但在進入大量部署後，往往將AI推理移至邊緣，以節省整體成本。

 

此外，邊緣端設備規格多樣、系統分散，因此需要高度標準化的部署方式。例如：容器化技術（Docker）能封裝應用程式，使模型與環境能被完整移植，而Kubernetes（K8s）負責管理龐大的容器群，確保部署穩定且可擴展、GitOps更讓模型更新過程能版本化與自動化，使多地端的AI模組都能保持一致。

 

AI運算是一連串矩陣乘法運算，而資料在運算單元與記憶體之間的來回搬移最為費時及耗能。傳統馮紐曼架構中，有將近一半的能量浪費在資料搬運，因此AI晶片的設計盡量拉近存放資料與運算單元的距離。

 

除了運算儲存整合，大型語言模型推理過程在Decode階段需要存取prefill階段運算後儲存的結果，記憶體資料讀寫頻繁，若溝通連結的速度無法提升將形成限制運算速度的瓶頸。可行的方式如透過NVLink、NVSwitch、CXL與SuperNIC等形成更高速的資料互聯、讓GPU-GPU之間或CPU-GPU之間能快速共享資料、以KV cache技術暫存向量值避免重複計算的消耗等，這些技術漸成加速邊緣AI模型推理的關鍵。

 

台灣在半導體產業鏈具有全球領先技術優勢，在先進製程、高階封裝與記憶體技術深耕多年，在邊緣AI產業鏈中扮演重要角色。新興技術方面，如台積電投入ReRAM與SOT-MRAM等新型態記憶體、旺宏與國研院共同推進新型3D DRAM結構等，以期突破邊緣AI裝置中記憶體形成的瓶頸。