#llm-serving

Kubernetes Inference Perf：基准测试服务栈，而不只是模型

Kubernetes Inference Perf 让模型服务器比较更加一致，但其结果仍取决于提示词、负载模式、token 数量和集群。