说实话，大模型推理服务的部署是个老大难问题，咱就是说既要保证性Neng，又得控制成本，哈哈，这事儿得好好琢磨。

随着大语言模型、计算机视觉模型等在生产环境中的广泛应用，推理服务的部署面临着两大核心挑战：一是模型体积大、计算密集，对 CPU、GPU 资源依赖极高，需精准划分资源避免浪费或过载；二是高并发场景下需支持多实例弹性调度，确保服务稳定性与响应效率。

Docker 作为容器化技术基石，可实现推理服务的环境一致性打包；Kubernetes则凭借强大的编排Neng力，完成资源的动态分配与多实例的全生命周期管理。

Dockerfile 的核心是将运行环境、依赖包与启动脚本统一打包。

以下结合主流推理引擎 vLLM，提供生产级 Dockerfile 示例。

# 基础镜像：NVIDIA CUDA  + Ubuntu  运行时
FROM nvidia/cuda:.-runtime-ubuntu22.​
# 设置时区与环境变量
ENV TZ=Asia/Shanghai \ 
    DEBIAN_FRONTEND=noninteractive \ 
    PYTHONUNBUFFERED=​
# geng新系统源并安装基础依赖
RUN apt-get update && apt-get install -y --no-install-recommends \ 
    python3-pip python3-dev libibverbs1 \ 
    && rm -rf /var/lib/apt/lists/*​
# 核心：安装 vLLM 引擎，使用 --no-cache-dir 显著减小镜像体积
RUN pip3 install --no-cache-dir --upgrade pip && \ 
    pip3 install --no-cache-dir vllm==. torch==.​
WORKDIR /app​
# 复制启动脚本
COPY start.sh /app/start.sh
RUN chmod +x /app/start.sh​
# 暴露推理服务端口
EXPOSE ​
CMD 

#!/bin/bash
# 启动 vLLM 推理服务
# --gpu-memory-utilization 建议设为 ，预留部分显存防止碎片化导致的 OOM
vllm serve /app/model \ 
  --host . \ 
  --port  \ 
  --tensor-parallel-size ${TP_SIZE:-} \ 
  --gpu-memory-utilization ${GPU_MEM_UTIL:-} \ 
  --max-model-len  \ 
  --trust-remote-code

优先选用 NVIDIA 官方提供的 CUDA Runtime 镜像，确保驱动兼容性。

apiVersion: apps/v1
kind: Deployment
metadata: 
  name: llm-inference 
  namespace: llm-service
spec: 
  replicas:  
  selector: 
    matchLabels: 
      app: qwen-inference 
  template: 
    metadata: 
      labels: 
        app: qwen-inference 
    spec: 
      containers: 
      - name: inference-container 
        image: harbor.example.com/llm/inference:v1.  
        # 健康检查关键配置，防止模型加载中被 K8s“误杀”
        readinessProbe: 
          httpGet: 
            path: /health 
            port:  
          initialDelaySeconds:   # 为大模型加载预留 分钟以上时间
          periodSeconds:  
        livenessProbe: 
          httpGet: 
            path: /health 
            port:  
          initialDelaySeconds:   # 存活探测需geng宽松的策略，避免频繁重启
        resources:   # 资源定义直接决定调度是否成功以及 Pod 运行状态
          requests:
            cpu: ""
            memory: "32Gi"
            nvidia.com/gpu:
          limits:
            cpu: ""
            memory: "48Gi"
            nvidia.com/gpu:
        volumeMounts:
        - name : model-data   
          mountPath : /app/model    
      volumes :
      - name : model-data     
        hostPath :   # 生产环境建议改用 PVC          
          path : /data/models/qwen-14b     

探针宽限期大模型权重加载往往需要几分钟。原有的 秒极易触发 Pod 重启死循环，必须调大 initialDelaySeconds，你懂的，不然服务起不来就尴尬了。

健康检查接口vLLM 提供 /health 接口，利用就绪探针确保模型 Loaded 后再允许流量进入负载均衡，害，这一步hen重要。

Zui近kan到有人问“为什么百度不收录”，说实话，这个问题嘛，有点复杂，一般来说百度收录主要kan内容质量、网站权重这些因素，Ru果你的内容够优质，有一定的搜索量，那它自然会收录的，不对不对，应该是还有个前提——网站得被百度爬虫抓取到，所以保持网站活跃度也hen关键。

K8s 调度 GPU 不同于 CPU，需遵循以下约束：资源请求必须等于资源限制，否则调度会失败，这是 K8s 的硬性规定，不这么干不行。

推荐镜像nvidia/cuda:.​-runtime-ubuntu22.

K8s 调度器会根据 requests 值进行资源分配决策，而 limits 则决定 Pod 可使用的Zui大资源量。两者相等可保证调度后有足够的显存支撑推理任务运行，不然就会出现调度成功但运行失败的情况，那样就得不偿失了。

通过 Docker 实现环境标准化，利用 K8s 实现资源的精细化管理与自动纠错，是大模型推理服务的Zui佳落地路径。在 年的云原生环境下部署的重心Yi从“Neng跑通”转向了“高性Neng启动”与“显存精细化调度”。持续关注 vLLM 等引擎的geng新，Neng进一步压榨硬件性Neng，降低推理成本，咱就是说这事儿hen有必要。