Arm KleidiAI 協助开发人员加速创新

 

June 28, 2024

 

作者：Arm 開發者平台副總裁 Geraint North

 

無需开发人员自行整合，Arm Kleidi 可協助在各類軟體平台上釋放 Arm CPU 的 AI 功能和效能。

 

 

在持續快速發展的人工智慧（AI）時代，我們堅定地支持全球數百萬开发人员，確保他們能夠獲得所需的效能、工具和軟體函式庫，進而順利地打造下一波令人驚歎的 AI 體驗。

 

為此，我们推出了 Arm Kleidi，這是一項廣泛的軟體和軟體社群參與計畫，目的在於加速 AI 發展。首先推出運用於熱門 AI 框架的 Arm Kleidi 軟體函式庫。开发人员可以直接取得 Arm CPU 出色 AI 功能，而如今全球從雲端到邊緣的大多數 AI 推理工作負載，都在這些 Arm CPU 上運行。开发人员可以借助 Arm 超過 20 年的架构创新，從 首次导入扩展以支援机器学习（惭尝）工作负载，到现今的 Armv9 架构在 Arm CPU 上囊括了加速和保護高階生成式 AI 工作負載的功能，這些创新持續推動著AI 能力和效能的提升。

 

Kleidi 軟體函式庫包含運用於 AI 工作負載的 KleidiAI 和運用於 Arm CPU 上出色的電腦視覺工作負載的 KleidiCV。該軟體函式庫可以被直接嵌入到熱門的 AI 框架中，开发人员無需進行任何操作。如此一來，开发人员可以輕鬆地啟用 Arm CPU 的 AI 功能，進而快速建構 AI 應用，並在最廣泛的裝置上實現最出色效能。

 

加速 AI 發展

 

因應裝置類型、類神經網路和推理引擎的爆發式成長，KleidiAI 是我們提出的解決方案。它由一系列高度最佳化的 AI 核心組成，可在生成式 AI 等場景中展現高效能。KleidiAI 的優勢在於不會為开发人员增加額外工作量，而是直接與先進的 AI 框架合作，包括 MediaPipe（通過 XNNPACK）、LLAMA.cpp、PyTorch（通過 ExecuTorch）和 TensorFlow Lite（通過 XNNPACK），以整合 KleidiAI。這不僅加快了開發流程，並釋放了 AI 效能，為开发人员提供了內建的高效能，使他們能夠順利地打造出色的 AI 體驗。KleidiAI 還提供了前瞻性的相容性，隨著更多技術的推出，將確保开发人员能夠充分利用未來 AI 加速機會。

 

KleidiAI 的預先整合為生成式 AI 工作負載帶來顯著的效能提升。與參考實現方案（基於 llama.cpp，但不含 Arm 的軟體 Kleidi 優化）相比，在新的 Arm Cortex-X925 CPU 上，使用（整合了 KleidiAI 的）llama.cpp 的 Meta Llama 3 和微軟 Phi-3 大語言模型（LLM）的詞元（Token），首次回應時間加快了 190%。KleidiAI 非常易於整合，Arm 的工程團隊只用不到 24 小時就測出了 Llama 3 的優化效能。此外，KleidiAI 還通過 XNNPACK 與 MediaPipe 整合，為在行動裝置上運行的開源 Gemma LLM 提供支援。因此，Google Pixel 8 Pro 智慧手機上 Gemma 2B 的詞元首次回應時間縮短了 25%。

 

同時， Arm 正在與 Unity 合作開發 Sentis，這是一個邊緣 AI 推理引擎，可讓游戏开发人员在所有支援 Unity 游戏引擎的裝置上打造创新的 AI 游戏體驗。在整合 KleidAI 後，Unity Sentis 成功啟用了 int4 量化功能，將模型記憶體佔用率降低了 72.5%，同時在運行 Phi-2 LLM 時效能提升了 660%。

 

加速电脑视觉发展

 

KleidiCV 能夠加速許多攝影鏡頭場景中的電腦影像線路。OpenCV 是全球最大的電腦影像庫，包含 2,500 多種演算法，為數十萬开发人员提供支援。基於 KleidiCV 整合，OpenCV 發現各種影像處理任務的典型效能提升高達 75%。做為我們與 OpenCV 的策略軟體合作關係的一部分，我們還首次將安卓建構導入 Maven Central，這是一個運用於 Java 開發的开源软体元件、軟體庫的资源庫。

 

CPU 上的 AI 優勢

 

Arm Kleidi 專注於加速 CPU 上的 AI 功能，因為在大多數情況下，所有 AI 工作負載都會從 CPU 上開始運行。這使得 CPU 成為开发人员在為其 AI 工作負載設定目標時的最便捷的路徑。因此，我們為开发人员提供的這一路徑的效能越出色，他們就更可能在開發過程中繼續使用 CPU 並將其作為目標。此外，隨著 LLM 變得更小、效能更高，越來越多的 AI 工作負載將適合在 CPU 上處理。最後，這將使開發過程變得更加順暢、無縫，進而優化开发人员的 AI 工作負載效能。

 

在 Arm 平台上建構 AI 的未來

 

Arm Kleidi 的推出再次突顯了 Arm 作為邊緣生成式 AI 運算平台的領先地位。它使开发人员無需學習額外的工具和技能，就能夠在非常廣泛的硬體中獲得 Arm CPU 的出色 AI 效能。隨著我們不斷创新，持續為新一代 AI 打造領先架构，开发人员未來將能夠獲得更強大、更先進的 AI 功能。對於最終使用者來說，這意味著更快速、更智慧、更具互動性、更沉浸式、更安全的出色 AI 體驗。

 

Arm Kleidi 的推出只是一個開端，我們未來還計畫推出更多軟體函式庫、運算核心和引擎整合。我們將持續在 Arm 平台上建構 AI 的未來。

 

原文连结：