
Red Hat, MLPerf Inference v6.1에서 Kubernetes 및 CPU로 최고 성능 달성
WHY IT MATTERS · Red Hat은 업계 표준 MLPerf Inference v6.1 벤치마크 결과를 발표하게 되어 자랑스럽습니다. 이번 제출은 최근 여러 라운드에서 쌓아온 우리의 실적을 기반으로 합니다. v5.1에서는 NVIDIA H100에서 vLLM을 사용하여 비용 효율적인 Llama-3.1-8B-FP8 추론을 시연했습니다.
· 1 MIN





















