工商時報 產業分析 文／張世杰■工研院電子與光電系統研究所所長 2024.10.07
隨著生成式AI（如ChatGPT）和機器學習技術的崛起，半導體企業亟需開發更高效能的AI晶片，以支持日益增長的數據處理需求。因此，如何在現有製程技術中，實現效能與成本的最佳平衡，成為業界關注重點，凸顯出未來AI和晶片製造的深度融合，為全球半導體市場注入新的活力。
■3D堆疊技術的應用前景
當摩爾定律逐漸接近其物理極限，半導體產業也開始探索新的技術來提高晶片的效能。3D堆疊技術因此應運而生。這項技術通過將多層晶片垂直堆疊在一起，不僅能夠提升晶片的計算能力，還能夠顯著減少晶片面積和功耗。
3D堆疊技術的應用潛力巨大，特別是在AI、邊緣運算和高效能運算領域。這項技術使得AI晶片能夠在不增加晶片面積的情況下，實現更強大的計算能力，滿足自動駕駛、智慧城市、5G基站等應用對於高效能運算的需求。
同時，由於3D堆疊技術能夠將不同製程和不同功能的晶片整合在一起，因此它將成為異質整合技術的關鍵之一，推動AI、存儲器和傳感器等不同領域的技術融合。
此外，3D堆疊技術還可以減少晶片之間的數據傳輸距離，從而顯著降低延遲，這對於需要實時處理大量數據的AI應用至關重要。未來3D堆疊技術有望成為半導體技術的主流，推動整個產業向更高效能、更低功耗的方向來發展。
■MOSAIC 3D AI晶片-全球首創運算與儲存彈性延伸方案
隨著AI處理器性能的提升，對於提供高算力和大頻寬的高速記憶體需求也愈來愈迫切。目前關鍵記憶體存取技術就是高頻寬記憶體（HBM），但因製作工序複雜且價格高貴，僅限用於高階伺服器產品。
HBM記憶體雖是目前AI應用的首選，但許多科技業者也正積極尋求替代方案。工研院與力積電合作研發全球首款採用晶圓級記憶體＋邏輯堆疊方案，設計出可彈性延伸的3D堆疊技術「MOSAIC 3D AI晶片」（Memory-cube Operability in a Stacked AI Chip；MOSAIC），使晶片間的傳輸距離從微米（um）大幅縮短至奈米（nm），大幅縮短記憶體與運算核心間的傳輸距離，顯著提升資料傳輸頻寬，產生的熱能也僅十分之一，而最大優勢在於靈活性與可擴展性，它使得不同應用場景下的晶片設計更加靈活，並能夠快速響應市場需求變化，尤其共同打造的全球領先3D晶片堆疊一站式服務，成本也僅傳統製程的五分之一。
MOSAIC技術的應用範圍十分廣泛，從高效能運算到AI加速器，甚至在物聯網設備中也能發揮作用。此外，由於這種技術能夠顯著降低生產成本，工研院推出全球首款專為生成式AI應用所設計的MOSAIC 3D AI晶片，不僅拿下2024 R&D100大獎，更劍指市場一片難求的HBM，提供AI產業更高效能、高彈性、高性價比的替代方案，預計將會廣泛推動AI和邊緣運算的應用，從而徹底改變現有的半導體製造方式，視為一大革命性創新。
■AI晶片驅動半導體新世代
生成式AI技術興起，各行各業對於高效能計算的需求倍增，促使晶片設計公司不斷創新以應對新的挑戰。AI晶片的趨勢主要體現在：
- 定制化設計：隨著不同AI應用場景的多樣化，市場對於定制化AI晶片的需求增加。例如，針對自動駕駛、智能製造等領域的AI晶片要求具有高效能與低功耗的特性，而在智慧醫療和語音識別等領域，則需要更強大的數據處理能力與更高的精度。
- 異質整合：AI晶片不再僅限於傳統的CPU與GPU架構，越來越多的設計公司開始探索異質整合，將CPU、GPU、NPU（神經處理單元）等不同的計算單元整合在一個晶片內，實現更高的計算效能與更低的能耗。這樣的設計將使AI運算更加靈活，滿足多樣化的應用需求。
- 邊緣運算的需求增長：隨著5G與物聯網技術的發展，邊緣AI晶片的需求逐漸增加。這些晶片被設計用來在設備本地進行AI運算，降低了數據傳輸的延遲，同時也提高了隱私保護的水平。在未來，AI晶片不僅僅會應用於大型數據中心，還將廣泛應用於智能家居、醫療設備、自動駕駛等領域。