Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 2 additions & 2 deletions docs/zh/docs/blogs/2025/kvcache-wins-you-can-see.md
Original file line number Diff line number Diff line change
@@ -1,4 +1,4 @@
# KV 缓存优势浅显易见:从 vLLM 的前缀缓存到 llm-d 的分布式调度
# KV 缓存的全面胜利:从 vLLM 前缀缓存到 llm-d 分布式调度

> 英文博客转载自 [https://llm-d.ai/blog/](https://llm-d.ai/blog/kvcache-wins-you-can-see)

Expand Down Expand Up @@ -37,7 +37,7 @@ llm-d 项目提供了一系列“明确的路径”:经过测试和基准验
其[定价模型](https://www.anthropic.com/pricing#api)中,处理已在缓存中的 Token
的成本比未缓存 Token 低 **10 倍**(每百万 Token 分别为 $0.30 和 $3.00)。在
OpenAI 的 [API 定价](http://openai.com/api/pricing/)页面上也能看到同样的规律。
高缓存命中率不仅让应用更快,更让其**本质上更便宜** 。这就是 KV 缓存的力量。
高缓存命中率不仅让应用更快,让其 **本质上更便宜** 。这就是 KV 缓存的力量。

在单实例环境下,像 vLLM 这样的引擎利用自动前缀缓存来消除冗余计算,
通过重用先前的计算结果来实现更快、更高效的性能。
Expand Down
2 changes: 1 addition & 1 deletion docs/zh/docs/blogs/index.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,7 +7,7 @@ hide:

本频道将紧跟技术趋势,收集 AI 行业新闻。

* [KV-Cache 可见的收益:从 vLLM 的前缀缓存到 llm-d 的分布式调度](./2025/kvcache-wins-you-can-see.md)
* [KV 缓存的全面胜利:从 vLLM 的前缀缓存到 llm-d 的分布式调度](./2025/kvcache-wins-you-can-see.md)

llm-d 如何实现更智能的、前缀感知的、负载和 SLO 感知的路由,从而带来更好的延迟和吞吐量?

Expand Down
4 changes: 2 additions & 2 deletions docs/zh/navigation.yml
Original file line number Diff line number Diff line change
Expand Up @@ -90,7 +90,7 @@ nav:
- 费用中心: videos/bills.md
- AI 行业新闻:
- 索引: blogs/index.md
- KV-Cache 优势浅显易见: blogs/2025/kvcache-wins-you-can-see.md
- KV 缓存的全面胜利: blogs/2025/kvcache-wins-you-can-see.md
- CUDA Core Dump调试内存访问: blogs/2025/cuda.md
- LMCache 上线即支持 GPT-OSS: blogs/2025/lmcache.md
- FlowSpeech 书面语转口语: blogs/2025/flowspeech.md
Expand Down Expand Up @@ -271,7 +271,7 @@ plugins:
FlowSpeech 书面语转口语: FlowSpeech Converts Text into Speech
LMCache 上线即支持 GPT-OSS: LMCache supports gpt-oss
CUDA Core Dump调试内存访问: CUDA Core Dump, A Tool to Debug Memory Access
KV-Cache 优势浅显易见: KV-Cache Wins You Can See
KV 缓存的全面胜利: KV-Cache Wins You Can See
什么是 AI 应用: What is AI App
计费规则: Billing Rules
退费规则: Refund Rules
Expand Down
Loading