キーワード解説
DeepSpeed-InferenceによるマルチGPU環境でのAI推論並列化
DeepSpeed-Inferenceは、マルチGPU環境でのLLM推論を効率的に並列化し、スループットとレイテンシを最適化するためのライブラリです。
0 関連記事
DeepSpeed-InferenceによるマルチGPU環境でのAI推論並列化とは
親クラスター「推論高速化手法」の解説よりDeepSpeed-Inferenceは、マルチGPU環境でのLLM推論を効率的に並列化し、スループットとレイテンシを最適化するためのライブラリです。
このキーワードが属するテーマ
このキーワードに紐付く記事はまだありません