キーワード解説
PrometheusとGrafanaを用いたLLMインフラの推論レイテンシ可視化
LLMアプリケーションの推論レイテンシやリソース使用率を、オープンソースの監視ツールPrometheusと可視化ツールGrafanaを組み合わせてリアルタイムに監視する方法を紹介します。
0 関連記事
PrometheusとGrafanaを用いたLLMインフラの推論レイテンシ可視化とは
親クラスター「LLM監視・評価」の解説よりLLMアプリケーションの推論レイテンシやリソース使用率を、オープンソースの監視ツールPrometheusと可視化ツールGrafanaを組み合わせてリアルタイムに監視する方法を紹介します。
このキーワードが属するテーマ
このキーワードに紐付く記事はまだありません