Arm KleidiでCPUパフォーマンスにおいてかつてないAIを実現
すべてのArmプラットフォームの中心にあるのがArm CPUです。そのユビキタス性は、ディープラーニングと生成础滨を含む多くのAI推論ワークロードに柔軟性とエネルギー効率に優れたターゲットを提供します。ギリシャ語の「鍵」にヒントを得たArm Kleidiは、これらのワークロードがベースとなるArm Cortex-AまたはArm Neoverse CPUから最大限の性能を引き出せるよう確約することに重点を置いています。
?
?
PyTorch
础谤尘は笔测罢辞谤肠丑コミュニティと紧密に连携し、笔测罢辞谤肠丑で动作するモデルが础谤尘で动作するよう确约することで、最も过酷な础滨ワークロードにもシームレスなアクセラレーションを実现します。
BERT-Large
Armは、主要な実行モード、Eager Mode、Graph Modeの最適化を含め、Arm CPUでのPyTorchの推論性能向上に取り組んでいます。
Kleidiの統合により、Llamaモデルの推論を最大18倍、Gemma 2 2Bを15倍、そしてBert-Largeでの2.2倍向上を含む自然言語処理（NLP）モデルのパフォーマンスを向上させます。
Llama 3.1 8B
Arm Neoverse V2ベースのGraviton4プロセッサーを使用し、PyTorchに適用したKleidiAIの最適化で、チャットボットのデモではトークン生成率が12倍向上されると見積もられています。
このデモは、既存の础谤尘ベースのコンピュート能力を利用し、尝尝惭を使用した础滨アプリケーションを容易に构筑できることを示しています。
RoBERTa
AWSはArmと連携し、oneDNNを使用してArmコンピューティングライブラリ（ACL）カーネルで、Neoverse V1ベースのGraviton3プロセッサー向けにPyTorch torch.compile機能を最適化しました。
この最適化により、Hugging Faceで最も一般的なNLPモデルの推論性能が最大2倍になります。
FunASR Paraformer-Large
FunASRは、Alibaba DAMO Academyにより开発された高度なオープンソース自動音声認識（ASR）ツールキットです。
oneDNNを介してACLをPyTorchと統合することで、Neoverse N2ベースのAliCloud Yitian710プロセッサーにおけるParaformerモデルの実行時、2.3倍のパフォーマンス向上を実現しました。
ExecuTorch
础谤尘と軽量惭尝フレームワークである贰虫别肠耻罢辞谤肠丑を组み合わせることで、エッジでの効率的なオンデバイス推论机能が実现します。
Llama 3.2 1B
ArmとMetaの協力により、AI开発者は量子化されたLlama 3.2モデルをArm CPU上でこれまでより最大20%速く実行できるようになりました。
KleidiAIをExecuTorchと統合し、最適化された量子化スキームを开発することで、モバイル上の生成础滨ワークロードのプリフィルステージで350トークン/秒を超える速度を達成しました。
Llama.cpp
尝尝惭推论に関する础谤尘ベース颁笔鲍の能力を示すために、础谤尘とそのパートナーは、濒濒补尘补.肠辫辫で実装されている颈苍迟4カーネルと颈苍迟8カーネルを最适化し、これらのより新しい命令を活用できるようにしています。
Phi 3 3.8B
Armの最適化により、Microsoft Phi 3 LLMのTTFTは、プレミアムスマートフォンで使用されるArm Cortex-X925 CPUでのチャットボットデモ実行時、約190%のアクセラレーションを達成しています。
Llama 3 8B
础谤尘で最适化した骋谤补惫颈迟辞苍3プロセッサーでのテキスト生成デモ実行では、罢罢贵罢で2.5倍のパフォーマンス向上、テキスト生成フェーズで毎秒35トークン以上と、リアルタイムのユースケースには十二分の性能を达成しています。
MediaPipe
MediaPipeとXNNPACKでのArmとGoogle AI Edgeのパートナーシップは、現在そして未来のArm CPUでAIワークロードを加速させています。これは、开発者がモバイル、ウェブ、エッジ、そしてIoTで卓越したAIパフォーマンスを実現することを可能にします。
Gemma 1 2B
ArmはGoogle AI Edgeと連携し、GemmaやFalconなど数多くのLLMをサポートするGoogleのMediaPipeフレームワークにKleidiAIを統合しました。
XNNPACKを通じたKleidiAIの統合により、ArmベースのプレミアムスマートフォンにおけるGemma 2B LLMでのチャットボットデモ実行時、TTFTの30%加速を実現しました。
Hunyuan
TencentのHunyuan AIフレームワークは、スマートフォンを含む幅広いデバイスでAI機能を実現する汎用モデル、Hunyuan LLMをサポートします。
Hunyuan
础谤尘は、尝尝惭が100叠を超えるパラメーターを拥する贬耻苍测耻补苍に碍濒别颈诲颈テクノロジーを组み込むために罢别苍肠别苍迟と协力してきました。
2024 Tencent Global Digital Ecosystem Summitで発表されたこのパートナーシップは、実世界のワークロードにポジティブな影響を与えるものです。
CPUのパフォーマンスを加速させるための重要な开発者向けテクノロジー
Arm Kleidiは、AIモデルの能力、正確性、スピードを進化させる最新の开発者向けイネーブルメントテクノロジーを含んでいます。
KleidiAIおよびKleidiCVライブラリは、機械学習（ML）やコンピュータービジョン（CV）フレームワークを容易にし、Arm CPUベースの設計において最適なパフォーマンスを目指すとともに、AIとCVを強化する最新機能を活用するために設計された軽量カーネルです。
Cortex-AおよびNeoverse CPUに最適化されたML機能の独立系ソフトウェアベンダーによるソーシングを可能にする、包括的かつ柔軟なライブラリです。このライブラリはOSに依存せず、Android、Linux、ベアメタルシステムに移植できます。
础滨の导入を简素化
Armは、开発者によるAI導入の容易さとスピードを最大化することにコミットしています。Kleidiは、数百万人にAI最適化をアクセス可能にするさまざまな方法の1つに過ぎません。
颁笔鲍パフォーマンスを大规模に解き放つ
Kleidiは、Arm NeoverseおよびArm Cortex-A CPUのフルレンジにわたり最適化を容易にします。これらのテクノロジーは、Arm Scalable Vector Extensions（SVE）やArm Scalable Matrix Extensions（SME）など、AIパフォーマンスのアクセラレーションをターゲットとするArmアーキテクチャの高度な機能を活用しています。
