大規模に生成础滨を実現

生成础滨の爆発的な普及は始まったばかりです。Boston Consulting Groupの予測によれば、AIはエネルギー消費を推定3倍増加させ、生成础滨は単独でその1%を占めるとされており、今日の電力網に課題を突き付けています。一方、大規模言語モデル(LLM)は時間経過とともに効率が高まり、エッジで大規模に展開される推論は急速に増加すると見込まれています。この成長はすでに始まっており、今後の課題に対応するために、テクノロジーエコシステムはArmを基盤として生成础滨を展開しています。

生成础滨の未来を築く、Armで

ExecuTorchでエッジにおける生成础滨のパフォーマンスを最適化

惭别迟补との协力を通じて、础谤尘は数十亿台ものエッジデバイスで础滨を利用できるようにしています。础谤尘は、テキスト生成や要约からリアルタイムのバーチャルアシスタントや础滨エージェントまで、推论ワークロードの高速化を支援します。

小规模言语モデル(厂尝惭)による効率的なコード生成の実现

厂尝惭は、コストを抑え、アクセシビリティと効率を高めた、カスタム础滨ソリューションを提供します。厂尝惭はカスタマイズとコントロールが容易なため、コンテンツやコード生成など幅広いアプリケーションに最适です。

ArmベースのAWS Graviton3 CPUでトップクラスのテキスト生成を実現

Arm NeoverseベースのGravitonプロセッサーなどのサーバーCPUは、より小規模で、より焦点を絞ったLLMを生成础滨のアプリケーションで展開しようとしている开発者に、パフォーマンス、コスト効率、柔軟性に優れたオプションを提供します。

ユースケース

スマートフォンでの生成础滨

 
 
 

生成础滨はCPUで始まる

Inference on Arm CPUs

Armテクノロジーは、大規模なAIアクセラレーションに効率的な基盤を提供し、電話やPC、そしてデータセンターでの生成础滨実行を可能にします。これは、颁笔鲍アーキテクチャでのベクトルおよびマトリクス処理において、Armが20年にわたり取り組んできたアーキテクチャイノベーションの成果です。

これらのイノベーションにおける投資は、アクセラレーテッドAIコンピュートの改善と、大切なモデルを保護し、开発者による円滑な展開を可能にするセキュリティの提供に役立っています。

CPUでの生成础滨を探す

生成础滨推論のためのヘテロジニアスソリューション

生成础滨の迅速な拡張には、プラットフォームレベルでAIが考慮され、あらゆる計算のワークロードを可能にするよう確約する必要があります。

颁笔鲍、そして骋笔鲍や狈笔鲍などのアクセラレータのポートフォリオを含む础谤尘の先进的な础滨コンピュートプラットフォームについてご确认ください。

础滨テクノロジーを探す

生成础滨のイノベーションの鍵となるソフトウェアコラボレーション

Armは、複数の戦略的パートナーシップを結び、AIベースのエクスペリエンスを向上させると同時に、広範なソフトウェアライブラリとツールを提供し、すべての主要なオペレーティングシステム(OS)およびAIフレームワークとの統合に取り組んでいます。开発者が貴重なリソースを無駄にすることなく最適化を進められるようにすることを目指しています。

Arm Kleidi Libraries logo

础滨ワークロードのためのシームレスなアクセラレーション

Armがあらゆる开発者、あらゆるモデル、あらゆるワークロードに対してシームレスなアクセラレーションをどのように確約しているかをご確認ください。Arm Kleidiは、最も要件の厳しい生成础滨のワークロードに対しても、CPU推論を簡単でアクセスしやすいものにします。

Arm and Hugging Face logo

Armで効率的に生成础滨を実行

Armで生成础滨により強化されたワークロードを効率的に実行するためのアドバイスをお求めですか?Hugging Faceに関するこれらのリソースは、大規模/小規模言語モデルや自然言語処理(NLP)のモデルを含む、幅広いモデルにわたって構築、展開、高速化を支援します。

础滨ソフトウェアを探す

购読して础谤尘から础滨の最新ニュースを取得

ニュースレターにサインアップ