LLM API 性能测试

TTFB / TTFT 基准测试工具 · 多 Provider · 自动加载模型

Provider
测试配置
就绪
实时输出
模型输出
等待测试...
测试日志
测试结果
轮次 状态 TTFB (ms) TTFT (ms) Prefill (ms) Total (ms) Tokens Tokens/s
平均 TTFB
-
平均 TTFT
-
平均 Total
-
平均 Tokens/s
-
P95 TTFB
-
P95 TTFT
-
TTFB / TTFT 对比
完成测试后将显示图表