大文件逐行处理

在处理日志文件、大型数据集或文本文件时，如果一次性将整个文件加载到内存中可能会导致内存不足。使用生成器表达式可以逐行读取和处理文件，显著降低内存占用。

def process_large_file(file_path):    # 使用生成器表达式逐行读取    lines = (line.strip() for line in open(file_path, 'r'))    for line in lines:        # 对每一行进行处理        if 'error' in line:            print(line)

大数据集的条件筛选

当需要对一个庞大集合进行条件筛选时，生成器表达式可以避免创建完整的中间列表，只生成符合条件的结果。

# 假设有一个包含百万条记录的数据集big_dataset = range(1000000)# 使用生成器表达式筛选偶数even_numbers = (x for x in big_dataset if x % 2 == 0)# 只在实际需要时生成结果for num in even_numbers:    if num > 100:        break  # 提前终止，避免不必要的计算    print(num)

流式数据处理的管道操作

当需要将多个数据处理操作串联成管道时，生成器表达式可以实现流式处理，每个元素依次通过整个管道，避免在每一步创建完整的结果列表。

def data_processing_pipeline(data_stream):    # 多个生成器表达式形成处理管道    step1 = (x  2 for x in data_stream)  # 数据转换    step2 = (x for x in step1 if x > 10)  # 数据过滤    step3 = (x + 5 for x in step2)        # 再次转换        return step3# 使用管道处理数据result = data_processing_pipeline(range(100))for item in result:    print(item)

无限序列的惰性生成

对于无限序列或非常大的序列，生成器表达式可以按需生成值，而不需要预先计算和存储所有值。

import itertools# 生成无限序列的平方数squares = (x2 for x in itertools.count(1))# 只取前10个值for i, square in enumerate(squares):    if i >= 10:        break    print(square)

内存敏感的数据聚合

在对大数据集进行聚合操作（如求和、求平均值）时，使用生成器表达式可以避免存储所有中间值。

# 计算大数据的平均值，无需存储所有值def streaming_average(data_generator):    total = 0    count = 0        for value in data_generator:        total += value        count += 1        return total / count if count > 0 else 0# 使用生成器表达式作为数据源data_stream = (x for x in range(1000000))avg = streaming_average(data_stream)print(f平均值: {avg})