一、基础知识
列表推导式(list comprehension)和生成器表达式(generator expression)都是 Python 里"用一行代码从已有序列生成新序列"的写法,但它们的求值时机完全不同,这也是所有差异的根源。
列表推导式的语法是 [表达式 for 变量 in 可迭代对象 if 条件],它会立刻执行,把所有结果一次性算出来,返回一个完整的列表。比如 [x * x for x in range(5)] 会马上得到 [0, 1, 4, 9, 16] 这个列表,占用相应的内存。
生成器表达式的语法几乎一样,只是把方括号换成圆括号:(x * x for x in range(5))。它返回的是一个生成器对象,不会立刻计算,而是当你遍历(比如用 for 或 next())它时,才逐个产出结果。这叫"惰性求值"或"按需计算"。
两者的核心取舍:
- 列表推导式:结果会反复使用、需要随机访问(如下标取值、切片)、需要
len()时用它。 - 生成器表达式:数据量大、只遍历一次、关心内存占用时用它。
理解"生成器只消耗一次"很关键:生成器产出完就耗尽了,第二次遍历会得到空结果,而列表可以反复使用。很多隐蔽的 bug 都来自这里。
另外,在 Python 3 中,推导式里的变量有独立的作用域,不会泄漏到外部。历史上 Python 2 确实存在泄漏,但当时只有"列表推导式"的循环变量会泄漏,生成器表达式从一开始就有独立作用域。但循环变量与闭包结合时,仍有一些需要注意的边界,后文会讲。
二、实操步骤
第 1 步:从普通循环改写成列表推导式
先看一个普通循环:
squares = []
for x in range(10):
squares.append(x * x)
print(squares)
等价的列表推导式:
squares = [x * x for x in range(10)]
print(squares)
两者结果完全一致,推导式更紧凑。
第 2 步:加入条件过滤
# 只保留偶数
evens = [x for x in range(20) if x % 2 == 0]
print(evens)
# 带 else 的条件表达式(注意 if/else 的位置)
labels = ["偶" if x % 2 == 0 else "奇" for x in range(6)]
print(labels)
注意区分两种 if:
- 放在
for后面的if x % 2 == 0是过滤条件,不满足就跳过。 A if 条件 else B是条件表达式,用于决定产出什么值,必须带else。
第 3 步:多重循环与嵌套
# 两个循环:相当于嵌套 for
pairs = [(x, y) for x in range(3) for y in range(3) if x != y]
print(pairs)
# 矩阵转置
matrix = [[1, 2, 3], [4, 5, 6]]
transposed = [[row[i] for row in matrix] for i in range(3)]
print(transposed)
第 4 步:改写成生成器表达式
gen = (x * x for x in range(10))
print(type(gen)) # <class 'generator'>
# 逐个取值
print(next(gen))
print(next(gen))
# 或者一次性消费
print(list(gen))
注意:上面的 next() 消费了两个元素,再用 list(gen) 只会拿到剩下的部分,这正体现了"消耗一次"的特性。
第 5 步:用代码对比内存差异
import sys
list_result = [x * x for x in range(1_000_000)]
gen_result = (x * x for x in range(1_000_000))
print("列表占用字节:", sys.getsizeof(list_result))
print("生成器占用字节:", sys.getsizeof(gen_result))
你会看到列表占用远大于生成器——列表把一百万个结果全存了下来,生成器只保存了生成规则和一个内部状态。
第 6 步:把生成器交给聚合函数
data = range(1_000_000)
total = sum(x * x for x in data) # 无需中转列表,写法更省内存
print(total)
sum、any、all、max、min 等函数都接受迭代器,配合生成器表达式可以边算边丢,内存友好。
三、关键细节
- 生成器只能遍历一次:先用
list()收集起来再复用,或者每次重新创建生成器,不要指望它能像列表一样反复读取。 - 惰性求值的"延迟"会隐藏错误:生成器里的异常只有在真正迭代时才抛出。如果需要尽早发现问题,可在生成后立刻
list()触发。 - 闭包捕获循环变量要小心:若推导式里创建的 lambda 引用了循环变量,所有 lambda 可能拿到的是同一个最终值。可用默认参数绑定当前值(如
lambda x=x: x)解决。 - 别为了"省内存"滥用生成器:数据量很小时,列表推导式的可读性更强,也不会带来实际收益。
- 推导式不是万能的:逻辑一旦复杂(多层嵌套、需要异常处理、多个语句),老老实实写循环更清晰。
四、常见错误
| 现象 | 原因 | 修正 |
|---|---|---|
| 生成器遍历第二次变空 | 生成器产出后即耗尽 | 需要复用就转成列表,或每次重新生成 |
写了 [A if c else B for x in xs] 却想过滤 |
把条件表达式当成过滤条件,结果长度不变 | 过滤用 for ... if 条件,只决定值才用 A if c else B |
if 与 else 搭配报语法错 |
过滤用的 if 后面不能跟 else |
检查是"过滤"还是"条件表达式",分别使用正确语法 |
| 一组 lambda 返回相同结果 | 闭包延迟绑定了同一个循环变量 | 用默认参数 lambda x=x: x 固定当前值 |
| 以为推导式里的变量会污染外部 | 沿用了旧版本认知 | Python 3 中推导式变量作用域独立,可放心使用 |
| 对超大范围用列表推导导致内存暴涨 | 一次性物化了全部结果 | 改用生成器表达式或直接交给聚合函数 |
五、排查方法
遇到"结果不对"或"内存爆了",按这个顺序查:
- 确认类型:
print(type(x)),看拿到的是list还是generator,先排除类型用错。 - 确认是否被消费过:对可疑的生成器,先
print(list(x))看是否为空,判断是否已耗尽。注意:此操作会耗尽生成器,仅用于诊断、且不再需要原生成器时执行。 - 缩短数据复现:把
range(1_000_000)改成range(10),用小数据验证逻辑是否正确。 - 打印中间结果:在推导式外层先用普通循环写出等价逻辑,逐步
print对比两者输出。 - 检查条件位置:确认
if是过滤还是条件表达式,必要时给条件加括号帮助阅读。 - 测内存:用
sys.getsizeof()或tracemalloc模块对比不同写法的占用,定位内存热点。 - 查闭包:若涉及 lambda,打印每个 lambda 的调用结果,确认是否发生了延迟绑定。
六、注意事项
- 本文语法以 Python 3 为准,Python 2 在推导式作用域、生成器行为上存在差异,遇到老代码需另行核对。
- 性能结论要自己验证:不同 Python 实现(如 CPython、PyPy)和数据规模下,性能表现可能不同,本文不给出具体数字,建议用
timeit模块在你的环境实测。 sys.getsizeof()只反映对象本身:它不计入列表里元素对象的内存,适合做相对比较,不要当作精确的"内存占用总量"。- 可读性优先:推导式是表达力工具,不是炫技手段。当你需要写注释才能看懂时,就说明该改回循环了。
- 调试友好度:生成器不易在调试器里查看内容,排查阶段可临时转成列表辅助观察。
免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。

评论
还没有评论,来说两句吧。