Kubernetes生产环境常见故障解析

Kubernetes作为容器编排的事实标准，在生产环境中扮演着至关重要的角色。然而它的复杂性也带来了诸多挑战。本文将深入探讨K8s生产环境中的常见故障，并提供实用的解决方案，帮助你少走弯路。

当Pod不断重启时表明存在严重问题。使用kubectl get pods -n production命令查kanPod状态，若显示为CrashLoopBackOff，则需要进一步排查。

kubectl get pods -n production
# 输出：
# NAME                     READY   STATUS              RESTARTS   AGE
# api-server-5f4d7c8b9-abc   /     CrashLoopBackOff              2        2m

Pod不断重启，通常是由于应用内部错误或配置问题。

检查Pod日志以确定具体原因：

kubectl logs api-server-5f4d7c8b9-abc -n production --previous

常见原因包括应用启动失败、健康检查失败或OOMKilled。针对这些问题，调整应用配置、优化健康检查路径或增加内存限制。

错误的健康检查配置可Neng导致Pod频繁重启。正确的配置应确保健康检查路径与应用实际路径一致。

# 错误的Ingress配置
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: my-ingress
  annotations:
    nginx.ingress.kubernetes.io/proxy-body-size: "50m"
spec:
  rules:
  - host: api.example.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: api-service
            port:
              number: 80

添加正确的健康检查注解：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: my-ingress
  annotations:
    nginx.ingress.kubernetes.io/proxy-body-size: "50m"
    nginx.ingress.kubernetes.io/server-snippet: |
      location /health {
        return 200 'OK';
      }
spec:
  rules:
  - host: api.example.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: api-service
            port:
              number: 80

当应用报错“Forbidden”时通常是由于RBAC权限不足。使用kubectl get sa my-app -n default查kanServiceAccount详情。

# 应用报错
Forbidden: User "system:serviceaccount:default:my-app" cannot list pods in namespace "production"

创建合适的Role和RoleBinding，确保ServiceAccount具有必要的权限。

# 创建Role
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: pod-reader
  namespace: production
rules:
- apiGroups: 
  resources: 
  verbs: 

# 绑定到ServiceAccount
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: pod-reader-binding
  namespace: production
subjects:
- kind: ServiceAccount
  name: my-app
  namespace: default
roleRef:
  kind: Role
  name: pod-reader
  apiGroup: rbac.authorization.k8s.io

当Pod因内存超限被杀死时使用kubectl describe pod api-xxx -n production | grep -A5 "Limits"查kan资源限制。

kubectl get pods -n production
# NAME        READY   STATUS      RESTARTS   AGE
# api-xxx     /     OOMKilled             10m

调高内存限制以避免OOMKilled。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: api-server
spec:
  template:
    spec:
      containers:
      - name;api 
        resources;
          limits;
            memory; "2Gi"  
          requests;
            memory; "1Gi"

部署前必查：应用层、调度层、网络层、存储层和控制平面。任何一层出问题，dou会导致应用不可用。

┌─────────────────────────────────────────┐│              应用层                       ││   Pod / Deployment / StatefulSet        │├─────────────────────────────────────────┤│              调度层                       ││   Scheduler / Node / Taint/Toleration   │├─────────────────────────────────────────┤│              网络层                       ││   CNI / Service / Ingress / DNS         │├─────────────────────────────────────────┤│              存储层                       ││   PV / PVC / StorageClass               │├─────────────────────────────────────────┤│              控制平面                     ││   API Server / etcd / Controller        │└─────────────────────────────────────────┘

    众所周知，Kubernetes Service 是用于暴露 Pod 服务的抽象资源类型。它通过标签选择器来关联后端 Pod。当我们创建一个 Service 时Kubernetes 会自动为其分配一个 ClusterIP，用于在集群内部访问服务。然而在某些情况下你可Neng会遇到 Service 访问失败的问题。比如：在 Pod 内通过 curl 访问 Service 时提示连接失败；或者外部流量无法通过 Ingress 或 NodePort 访问到你的服务。这类问题的根源往往在于 Service 的配置错误、Endpoint 不正确，或者网络策略限制等。接下来我们将逐一分析可Neng的原因，并提供相应的排查方法与解决方案，以帮助你快速恢复服务可用性。。

❶ 检查 Service 配置是否正确：
确保 Service 的 selector 与目标 Pod 的标签匹配。

❷ 验证 Endpoint 是否存在：
使用 kubectl get endpoints <service-name> 确认 Endpoint 是否被正确生成。

❸ 检查网络策略：
确认是否有网络策略阻止流量到达 Pod。

❹ 调试 DNS 解析：
在 Pod 中使用 nslookup 或 dig 检查 Service 的 DNS 解析是否正常。

❺ 检查 kube-proxy 状态：
kube-proxy 是负责实现 Service 流量的关键组件，Ru果它出现异常，可Neng导致流量无法正确转发。

    通过对上述案例的分析，我们Ke以kan出Kubernetes生产环境中的故障多种多样，但大多数问题douKe以通过系统的排查方法和合理的工具定位并解决。为了减少故障的发生，建议在日常运维中加强监控和日志收集，制定详细的故障应急预案，并定期进行演练。此外保持对Kubernetes社区的关注，及时了解Zui新的功Neng特性和Zui佳实践，也是提升集群稳定性的关键。随着Kubernetes生态的不断发展，未来还将出现geng多高效的工具和方法来帮助我们geng好地管理和维护集群。不管是新手还是经验丰富的运维人员，dou应该持续学习，不断积累经验，以应对日益复杂的生产环境挑战。。