0
AI發展正酣，隨著終端芯片算力越來越高、端側模型能力越來越強、實時響應及隱私保護的端側應用需求增加，端側AI已然具備落地的條件。端側AI離客戶和應用場景更近，也是具象化AI的重要方式。可以看到，端側AI的浪潮“涌現”而至，原有的用戶體驗和生態格局將迎來革命性重塑。
端側AI是指在終端設備（如車載智能座艙、智能除草機、機器人等終端場景或設備）上進行人工智能計算和處理，運行端側模型。相較于云端大模型，端側大模型在資源有限的設備上高效運行，需進一步對模型進行壓縮、推理加速及能耗優化。目前輕量化模型技術包含模型剪枝、知識蒸餾和量化，以上技術往往組合使用，以達到最優的輕量化效果。將大模型部署在端側設備中，可高效賦能智能終端，如降低延遲，更快地響應用戶請求；隱私保護，減少數據傳輸，從而降低隱私泄露的風險；減輕云端服務器的計算負擔，降低對中心化計算資源的依賴，從而降低成本；根據用戶的具體設備和使用習慣進行定制化優化，提供更加個性化的服務；無網絡連接的情況下也能使用，提高了應用的可用性和靈活性。
基于大模型在端側部署的特點和優勢，已落地或即將落地的應用場景包括：智能手機、智能家居、可穿戴設備、自動駕駛汽車、工業自動化、醫療設備等。隨著AI技術的進步和芯片產業的發展，端側部署AI的挑戰正逐步被克服，更多的端側應用場景正在落地實現并逐漸成熟。
首先，大模型本身的算法逐步在優化，在眾多細分行業，模型的計算效率相較上一代均有一定量級的效率提升。模型參數變得更小，用戶體驗卻更加智能。再者，更多參數較小的大模型被開源，且AI能力日趨成熟，例如智譜AI、阿里千問等大模型廠商都開源了億級（0.xB左右）到百億級（x0B）的大模型預訓練模型。這大大降低了大模型應用開發者的使用門檻，同時加速端側AI部署。此外，算法層級的技術，包括模型量化、剪枝、蒸餾為基礎的模型壓縮算法，以及專為端側部署設計的軟硬件平臺，都正在快速發展，這使得大模型在端側設備的部署變得更加高效。以上模型變化趨勢使得端側AI在本地所需算力、部署成本、運行效率得到大大提升，將助力各行各業智能升級。
目前，端側AI芯片廠商、中游模組及軟件廠商、下游終端廠商的產業鏈上下游正積極推動 AI在端側部署落地。多個芯片廠商已推出最新處理器，支持終端側多模態生成式AI，并完成多款大模型的適配。廣和通持續為AIoT產業提供模組及解決方案，正積極探索端側AI相關技術，并已推出多款可應用于機器視覺、具身智能、智能割草等場景的端側AI解決方案，滿足不同終端對算力及模型的需求。
在端側AI應用上，廣和通深度布局視覺與聽覺計算，推出高算力和輕量化機器視覺解決方案，融合了先進的處理能力與邊緣計算優勢，采用了目標檢測、關鍵點檢測、圖像分割、超分辨率、圖像增強、360環視拼接等高效的視覺處理算法。此外，廣和通機器視覺解決方案支持藍牙、Wi-Fi等多種無線通信連接方式，在高端智能影像終端、工業視覺終端、車載終端、機器人均具有廣泛應用場景。 
AI大模型作為當前人工智能領域的重要技術，是孕育新質生產力的重要手段。作為大模型應用的一個重要的實踐領域，端側 AI大模型的全面落地發展需要全產業鏈推動，包括芯片算力增強、模型優化、軟件廠商適配以及終端廠商的落地應用。廣和通積極整合產業上下游資源，為產業提供融合通信、算力、AI算法、AI引擎、模型等能力的端側AI解決方案，加速AI商用至終端。
