ONNX Runtimeを活用した複数GPUベンダー混在環境での推論ベンチマーク

ONNX Runtimeを活用した複数GPUベンダー混在環境での推論ベンチマークとは

ONNX Runtimeを利用して、NVIDIAとAMDなど異なるGPUベンダーが混在する環境でのLLM推論性能をベンチマークし、ハードウェアの柔軟な活用を探ります。

このキーワードが属するテーマ