#2 分块读取大文件：

def read_in_chunks:
    with open as f:
        while chunk:=f.read:
            yield chunk
 

#3 用 itertools.islice 实现分页：

import itertools
def paginate:
    it = iter
    while True:
        page = list)
        if not page:
            break
        yield page
  

 

A/B 测试：列表 vs 生成器 的实际内存占用对比

实验环境： Python 3.11 / Linux / 8GB RAM
任务： 计算1亿整数的平方和
方式一： 列表推导式
方式二： 生成器 + sum
结果：

列表：峰值约 7.5GB 
生成器：峰值约 120MB 


 
"我真的Neng把所有数据dou扔进 generator 吗？"
哈哈，这个问题hen常见。其实 generator 本身并不储存数据，它只保存当前状态和局部变量。所以即使你遍历十亿次只要每次只保留一个元素，就不会占用额外空间。
不过Ru果在循环内部不小心创建了大列表，那就白忙活了。比如：
python
for i in range:
    tmp =    # ← 每轮dou造出千条数据，瞬间炸掉内存

改成：
python
for i in range:
    tmp = )
    # 按需使用，不保存整个列表

就安全多了。
"那什么时候还是要用 list 呢？"
别急着全抛掉 list，有些场景必须要随机访问或者多次遍历，这时候 list 才是王者。
典型例子：对Yi经加载好的小规模配置进行频繁查询；或者需要对序列进行切片操作。这个时候，用 list geng直观、geng高效。

"如何在函数之间传递 generator 而不失去它的惰性特性？"
只要你不要把它强行转成 list 或者调用 len，它就会保持惰性。
比如：

python
def source:
    for i in range:
        yield i
def double:
    for x in seq:
        yield x*2
pipeline = double)
for v in pipeline:
    print


整个链路dou是 lazy 的，只有在打印时才真正计算。
"一下要点到底有哪些？"

- 用yield/generator expression 替代一次性构建的数据结构。
- 文件、网络流、数据库游标本身dou是迭代器，可直接遍历。
- 当需要随机访问或多次遍历时再考虑转成 list 或 tuple。
- 合理使用 itertools组合多个 generator，保持流水线式处理。
- 注意避免在循环内部创建大对象，否则省下来的内存会被新对象填满。
- SEO 小技巧：文章中自然嵌入关键词“Python 迭代 器”“生成 器 优化 内存”“懒加载”等，多出现几次有助于被搜索引擎抓取。.


本文由热爱 Python 的老友随手写成，若有疏漏，请大胆指正~ 哈哈~ 咱就是说希望你们douNeng写出省内存又好读的代码！懂得dou点个赞呗~ 😄