arxiv.org/abs/2603.28768

最新の保存

[2603.28768] CRAFT: Cost-aware Expert Replica Allocation with Fine-Grained Layerwise Estimations

このURLで現在いちばん新しい公開保存版です。まずここから中身を確認できます。

対象URL

https://arxiv.org/abs/2603.28768

このページの概要

このページは、大規模言語モデルの効率的なスケーリングに用いられるMixture-of-Experts(MoE)アーキテクチャにおける専門家レプリケーション手法に関する研究論文です。既存のレプリケーション方式が過剰なレプリケーションを行い、GPU メモリを消費することが課題です。論文で提案されるCRAFTフレームワークは、メモリ予算制約下で、層ごとの細粒度推定に基づいた効率的なレプリケーションを実現します。モデル修正や追加学習なしに既存フレームワークに統合でき、平均1.14倍（最大1.2倍）のスループット向上が確認されています。