一、基础知识

列表推导式(list comprehension)和生成器表达式(generator expression)都是 Python 里"用一行代码从已有序列生成新序列"的写法,但它们的求值时机完全不同,这也是所有差异的根源。

列表推导式的语法是 [表达式 for 变量 in 可迭代对象 if 条件],它会立刻执行,把所有结果一次性算出来,返回一个完整的列表。比如 [x * x for x in range(5)] 会马上得到 [0, 1, 4, 9, 16] 这个列表,占用相应的内存。

生成器表达式的语法几乎一样,只是把方括号换成圆括号:(x * x for x in range(5))。它返回的是一个生成器对象,不会立刻计算,而是当你遍历(比如用 for 或 next())它时,才逐个产出结果。这叫"惰性求值"或"按需计算"。

两者的核心取舍:

  • 列表推导式:结果会反复使用、需要随机访问(如下标取值、切片)、需要 len() 时用它。
  • 生成器表达式:数据量大、只遍历一次、关心内存占用时用它。

理解"生成器只消耗一次"很关键:生成器产出完就耗尽了,第二次遍历会得到空结果,而列表可以反复使用。很多隐蔽的 bug 都来自这里。

另外,在 Python 3 中,推导式里的变量有独立的作用域,不会泄漏到外部。历史上 Python 2 确实存在泄漏,但当时只有"列表推导式"的循环变量会泄漏,生成器表达式从一开始就有独立作用域。但循环变量与闭包结合时,仍有一些需要注意的边界,后文会讲。

二、实操步骤

第 1 步:从普通循环改写成列表推导式

先看一个普通循环:

squares = []
for x in range(10):
    squares.append(x * x)
print(squares)

等价的列表推导式:

squares = [x * x for x in range(10)]
print(squares)

两者结果完全一致,推导式更紧凑。

第 2 步:加入条件过滤

# 只保留偶数
evens = [x for x in range(20) if x % 2 == 0]
print(evens)

# 带 else 的条件表达式(注意 if/else 的位置)
labels = ["偶" if x % 2 == 0 else "奇" for x in range(6)]
print(labels)

注意区分两种 if:

  • 放在 for 后面的 if x % 2 == 0 是过滤条件,不满足就跳过。
  • A if 条件 else B 是条件表达式,用于决定产出什么值,必须带 else。

第 3 步:多重循环与嵌套

# 两个循环:相当于嵌套 for
pairs = [(x, y) for x in range(3) for y in range(3) if x != y]
print(pairs)

# 矩阵转置
matrix = [[1, 2, 3], [4, 5, 6]]
transposed = [[row[i] for row in matrix] for i in range(3)]
print(transposed)

第 4 步:改写成生成器表达式

gen = (x * x for x in range(10))
print(type(gen))        # <class 'generator'>

# 逐个取值
print(next(gen))
print(next(gen))

# 或者一次性消费
print(list(gen))

注意:上面的 next() 消费了两个元素,再用 list(gen) 只会拿到剩下的部分,这正体现了"消耗一次"的特性。

第 5 步:用代码对比内存差异

import sys

list_result = [x * x for x in range(1_000_000)]
gen_result = (x * x for x in range(1_000_000))

print("列表占用字节:", sys.getsizeof(list_result))
print("生成器占用字节:", sys.getsizeof(gen_result))

你会看到列表占用远大于生成器——列表把一百万个结果全存了下来,生成器只保存了生成规则和一个内部状态。

第 6 步:把生成器交给聚合函数

data = range(1_000_000)
total = sum(x * x for x in data)   # 无需中转列表,写法更省内存
print(total)

sum、any、all、max、min 等函数都接受迭代器,配合生成器表达式可以边算边丢,内存友好。

三、关键细节

  • 生成器只能遍历一次:先用 list() 收集起来再复用,或者每次重新创建生成器,不要指望它能像列表一样反复读取。
  • 惰性求值的"延迟"会隐藏错误:生成器里的异常只有在真正迭代时才抛出。如果需要尽早发现问题,可在生成后立刻 list() 触发。
  • 闭包捕获循环变量要小心:若推导式里创建的 lambda 引用了循环变量,所有 lambda 可能拿到的是同一个最终值。可用默认参数绑定当前值(如 lambda x=x: x)解决。
  • 别为了"省内存"滥用生成器:数据量很小时,列表推导式的可读性更强,也不会带来实际收益。
  • 推导式不是万能的:逻辑一旦复杂(多层嵌套、需要异常处理、多个语句),老老实实写循环更清晰。

四、常见错误

现象 原因 修正
生成器遍历第二次变空 生成器产出后即耗尽 需要复用就转成列表,或每次重新生成
写了 [A if c else B for x in xs] 却想过滤 把条件表达式当成过滤条件,结果长度不变 过滤用 for ... if 条件,只决定值才用 A if c else B
if 与 else 搭配报语法错 过滤用的 if 后面不能跟 else 检查是"过滤"还是"条件表达式",分别使用正确语法
一组 lambda 返回相同结果 闭包延迟绑定了同一个循环变量 用默认参数 lambda x=x: x 固定当前值
以为推导式里的变量会污染外部 沿用了旧版本认知 Python 3 中推导式变量作用域独立,可放心使用
对超大范围用列表推导导致内存暴涨 一次性物化了全部结果 改用生成器表达式或直接交给聚合函数

五、排查方法

遇到"结果不对"或"内存爆了",按这个顺序查:

  1. 确认类型:print(type(x)),看拿到的是 list 还是 generator,先排除类型用错。
  2. 确认是否被消费过:对可疑的生成器,先 print(list(x)) 看是否为空,判断是否已耗尽。注意:此操作会耗尽生成器,仅用于诊断、且不再需要原生成器时执行。
  3. 缩短数据复现:把 range(1_000_000) 改成 range(10),用小数据验证逻辑是否正确。
  4. 打印中间结果:在推导式外层先用普通循环写出等价逻辑,逐步 print 对比两者输出。
  5. 检查条件位置:确认 if 是过滤还是条件表达式,必要时给条件加括号帮助阅读。
  6. 测内存:用 sys.getsizeof() 或 tracemalloc 模块对比不同写法的占用,定位内存热点。
  7. 查闭包:若涉及 lambda,打印每个 lambda 的调用结果,确认是否发生了延迟绑定。

六、注意事项

  • 本文语法以 Python 3 为准,Python 2 在推导式作用域、生成器行为上存在差异,遇到老代码需另行核对。
  • 性能结论要自己验证:不同 Python 实现(如 CPython、PyPy)和数据规模下,性能表现可能不同,本文不给出具体数字,建议用 timeit 模块在你的环境实测。
  • sys.getsizeof() 只反映对象本身:它不计入列表里元素对象的内存,适合做相对比较,不要当作精确的"内存占用总量"。
  • 可读性优先:推导式是表达力工具,不是炫技手段。当你需要写注释才能看懂时,就说明该改回循环了。
  • 调试友好度:生成器不易在调试器里查看内容,排查阶段可临时转成列表辅助观察。

免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。