概述

如何高效地将数据分片到各节点并在节点增删时最小化迁移成本是每个架构师面临的主要痛点。传统负载均衡算法假设所有节点拥有相同的数据副本，无法满足分布式 KV 缓存或数据库的实际需求。

因为业务规模扩张。单机并发与存储能力已不堪重负，往往需要水平切分数据到多台服务器上。此时一个 key 必须确定性地映射到某个节点，而不是随意访问任何一台机器。哈希算法提供了这一功能，但在节点数量变化时会产生大量数据迁移。从而导致性能波动和可用性风险。

一致性哈希作为传统哈希的提高版，通过引入哈希环概念来降低这些迁移成本。

传统哈希出现的问题

最常见的做法是：hash % N 直接映射到 N 个节点。只是当集群扩容或缩容时：

• 几乎所有 M 条数据都需要重新映射；老实说，
• 迁移成本为 O对业务造成显著影响；
• 使用者会经历不可预期的查询失效或性能下降。

一致性哈希

主要思想：

• 定义一个闭环哈希空间。
• key 和 服务节点 都被映射到该环上。
• 顺时针方向寻找第一个>= key 哈希值的节点，即为该 key 的归属节点。

优点：

• Add/Remove 节点仅影响其后继节点——极大减少迁移量。
• Keeps overall system stability during scaling.

数据倾斜问题

尽管一致性哈希降低了迁移量。但它并不保证节点均匀分布于环上. 这导致：

• A 节点承载过多请求，成为瓶颈。
• A 节点宕机后其全部 key 必须立即迁移到邻近 B 节点，瞬间压力骤增。
• User experience deteriorates due to uneven load distribution.

引入虚拟节点方法

思路：

• 将每个物理节点拆分成多个虚拟节点，例如：A#0、A#1、A#2…，等。
• 虚拟节点被映射到同一哈希环上，每个真实节点对应多份位置。
• 请求先定位虚拟节点，再通过映射表找回其所属的物理服务器。
• 这样即使某个真实节点下线。其对应的多个虚拟位置也会被重新映射到不同的物理服务器，实现更细粒度、均衡的数据重分配。
优势：
• Migrating a single physical node now affects multiple smaller shards rar than a massive contiguous block.
• The load is distributed across many more positions,reducing hotspots.
• You can assign more virtual nodes to high‑capacity servers .
Result:Your cluster becomes far more resilient to both scaling events and individual node failures.

基础实现示例

public class ConsistentHash {
private final int numberOfReplicas;// 虚拟节点数量
private final SortedMap circle = new TreeMap<>;public ConsistentHash {
this.numberOfReplicas = numberOfReplicas;for {
addNode;}
}
// 添加物理/虚拟节点
public void addNode {
for {
String virtualNode = node + "#" + i;int hash = getHash;老实说，circle.put;}
}
// 移除物理/虚拟节点
public void removeNode {
for {
String virtualNode = node + "#" + i;int hash = getHash;circle.remove;}
}
// 根据 key 找到对应物理服务器
public String getNode {
if ) return null;不过，int hash = getHash;// 如果没有大于等于该 hash 值的键，则取第一个键
if ) {
SortedMap tailMap = circle.tailMap;hash = tailMap.isEmpty?circle.firstKey : tailMap.firstKey;}
return circle.get;}
/** FNV1_32_HASH */
private long getHash {
final int p = 16777619;int hash = 2166136261L;for，i++) {hash=)*p;}
/* ... additional mixing steps ... */
if{hash=Math.abs;}
return hash;}
}

与实践建议

• Cohesive Hash provides a principled way to minimize data movement when nodes change.
• The main drawback is *data skew*,which can create hot spots and degrade performance.
• The introduction of *virtual nodes* addresses this by distributing each physical server’s responsibilities across many positions on ring。improving balance and fault tolerance.
• A production system typically uses dozens or hundreds of virtual nodes per real machine and may weight m according to hardware capacity.
Tune your cluster:
- Start with a reasonable replica count .
- Monitor key distribution histograms and adjust replica numbers or weights accordingly.
- Use consistent hashing libraries that expose metrics so you can detect skew early.

Your goal: "Keep most of your data stationary during scale‑ups while ensuring no single server becomes a bottleneck.".