咱就是说Zui近AI圈儿翻了个跟底儿！DeepSeek V4-Vllm 这玩意儿，性Neng炸裂啊！以前大模型上下文窗口dou还没到几万token，现在直接怼到一百万token级别，这可不是一般的进步。你懂的，之前模型处理长文本是折腾半天拆分、分块、再拼接，效率惨不忍睹。现在 DeepSeek V4 实现了原生百万上下文窗口，简直是神来之笔！

嗯…这个问题咱也想过。可Neng原因有几个吧。DeepSeek V4 的技术本身还在快速迭代中，官方可Neng还在调整发布策略；内容质量和结构化数据是搜索引擎重要的考量因素。DeepSeek V4 的文章内容geng偏向技术探讨和案例分析，缺乏百度收录的必要结构元素；另外也有可Neng因为某些政策或策略原因导致暂时无法被收录。

关于 DeepSeek-V4, DeepSeek 在官方账号上只是低调朴素地介绍：DeepSeek-V4 拥有百万字超长上下文,在AgentNeng力、世界知识和推理性Neng上均实现国...

其实 DeepSeek 团队一直dou在探索geng高效的推理方法。他们采用了一种新的注意力机制设计,关键定位:用geng大的参数池承载geng多知识,用geng稀疏的激活控制推理成本,用全系标配的百万上下文把长文本处理从 高端功Neng 变成 基础设施 。.Pre训练阶段使用32K上下文,后续 至1M——这种 先短后长 的上下文 策略也是V4Neng高效达成百万上下文的关键工程选择之一.

vLLM 的 KV Cache 内存分配器必须在 GPU 内存中紧密打包多种类型的 KV 状态,同时仍Neng与前缀缓存、预填充/解码分离、CUDA 图以及 vLLM 服务路径的其余部分协同工作。三个设计选择使这一目标变得可控。

不同的层以不同的速率压缩。一个显而易见的设计是根据 压缩 条目的整数来调整每层的块大小。但这样每层dou会有自己的页面布局，分配器必须分别处理所有层。

幸运的是每种缓存类型的页面大小是乘积 block_size * compress_ratio * per_entry_size

docker run --gpus all \
--ipc=host -p : \
-v ~/.cache/huggingface:/root/.cache/huggingface \
vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Pro \
--trust-remote-code \
--kv-cache-dtype fp8 \
--block-size \
--enable-expert-parallel \
--data-parallel-size \
--compilation-config '{"cudagraph_mode":"FULL_AND_PIECEWISE", "custom_ops":}' \
--attention_config.use_fp4_indexer_cache=True \
--tokenizer-mode deepseek_v4 \
--tool-call-parser deepseek_v4