我不敢苟同... 嘿，兄弟们！今天要聊的就是怎么把那一坨“2亿”个key一次性塞进Redis里 还不让内存爆炸，也不让连接池被打死。先别急着给我点赞，我先说点背景吧。

前言：为什么这么难？

先说一句：“大数据导入不是一件小事儿”。如果你用的是传统的单key写法， 那每写一个key都要走一次网络往返，这样在百万级并发下就会卡得跟老鼠在笼子里一样。再加上， 每个key都单独占一块内存，如果是字符串类型，一条记录大概需要几十到几百字节，可想而知——两百毫升的水能装多少瓶水啊！

所以我们往往会想到两件事：

• 压缩内存占用：把相似的数据聚合到一个Hash里。
• 降低网络开销：使用管道或脚本一次性发送多条命令。

但是 要做到这两点还得考虑连接池大小AOF/RDB持久化关闭以及SCRIPT/PIPELINE的限额. 一不留神，就会出现OOM或者服务器崩溃。

Hash聚合：把20000个key塞进10万个bucket

// 将 2亿个 key → 归入 10万个 hash， 每个hash存2000个field // key格式: “bucket:00001”, field: “original_key”, value: “maxCount”

// Go 示例代码
func loadToHash error {
    const hashBatchSize = 2000
    for i := 0; i 
我裂开了。 // 提示：HASH结构可降低40%–70%内存占用，且支持HGETALL/HSCAN高效遍历。

HASH 优点：

字段压缩：MULTI/EXEC 能一次性提交多条字段写入。
MGET 等命令可以直接对桶进行扫描。
但注意哈希碰撞导致桶过大时会变慢哦~

健壮连接池升级——别再随便用defer
全局说明： 加载到redis需要多大的内存？你想知道吗？这里给你一份简易指南， 躺平... 让你明白 redis 内部到底是怎么玩儿的。
// 示例：禁用defer，手动关闭才是正道
func loadKeyBatch error {
    conn := GetConnOrPanic
    // 不要忘了手动释放
    defer conn.Close
    conn.Send
    for 弄一下...  _, k := range keys {
        conn.Send
        conn.Send
    }
    _, err := conn.Do
    if err != nil { return err }
    return nil
}

关键注意事项👇👇👇🤪🤪🤪😜😜😜🎉🎉🎉✨✨✨🏆🏆🏆🐶🐶🐶🦄🦄🦄👀👀👀🌈🌈🌈🔧🔧🔧🚀🚀🚀🚗🚗🚗💻💻💻🍕🍕🍕🍔🍔🍔🛠️🛠️🛠️📚📚📚📞📞📞✉️✉️✉️🎁🎁🎁👏👏👏🥳🥳🥳🦸‍♂️🦸‍♂️🦸‍♂️☕☕☕☂️☂️☂️🙌🙌🙌🔥🔥🔥💡💡💡⚡⚡⚡👍👍👍✅✅✅❌❌❌🌟🌟🌟💬💬💬🔎🔎🔎🏅🏅🏅⏱️⏱️⏱️👾👾👾✖️✖️✖️⭐⭐⭐')

• 监控先行： redis-cli info memory | grep -E "" 看看现在有多少碎片呀！😵‍💫😵‍💫😵‍💫
• 禁用持久化临时加速： save "" 和 appendonly no 可让写更快，但记得完成后记得打开回来！否则以后重启就跑不起来啦～😂😂😂
• 避免defer在循环里： 它会导致连接延迟释放， 快速耗尽 MaxActive；这可不是好事啊～😭😭😭
• 错误处理要区分类型： /connection refused 往往意味着服务端已崩，应暂停重试并告警，而非盲目重试10次；别让服务器给你整活啦～ 😤😤😤
• 预估内存用量： 使用 redis-memory-for-key 工具抽样分析单KEY开销，再乘以总量做容量规划；这一步很关键，不然娱乐OOM又来了 😱😱😱

分片横向 ：当单机撑不住时怎么办？

// 推荐一致性哈希或取模分片： function getShardAddr string { idx := crc32.ChecksumIEEE) % uint32) return shards } 然后把keys按shard分组， 又爱又恨。 并行写入各节点。 这一步省了不少心力，你只需要保证所有节点都启动好即可。😉😉😉 如果你还没开启 Cluster，可以先改成集群模式，然后再做 sharding 。不过记得每个节点都配置 maxmemory，以免单节点 OOM 啊！🙈🙈🙈

"Pipeline & 批量操作"

换言之... 再说一个， 还有一种更高级的方式，就是 Lua 脚本，一次性把所有操作放进去，让 redis 在服务端直接跑完，然后返回后来啊。这种方法可以进一步减少网络延迟，但是编程上略微麻烦一点。