Python 线程池原理

大家都使用过迅雷下载，当同时下载 1000 个任务甚至更多的时候，就算开通 vip 同时下载的数量也只有 8 个。如果同时创建 1000 个线程，首先对计算器的开销也很大，而且每次只运行 8 个线程，需要不停的创建和销毁，这样会显得很麻烦

而使用线程池 ThreadPoolExecutor 就可以解决上面的问题，其实只需要 8 个线程就行了，每个线程各分配一个任务，剩下的任务排队等待，当某个线程完成了任务的时候，排队任务就可以安排给这个线程继续执行，这就是所谓的线程池 ThreadPoolExecutor 原理

Python 线程池 ThreadPoolExecutor 函数

• 1.ThreadPoolExecutor 构造实例的时候，传入 max_workers 参数来设置线程池中最多能同时运行的线程数目
• 2.使用 submit 函数来提交线程需要执行的任务（函数名和参数）到线程池中，并返回该任务的句柄（类似于文件、画图），注意 submit 不是阻塞的，而是立即返回
• **3.通过 submit 函数返回的任务句柄，能够使用 done 方法判断该任务是否结束。**下面的例子可以看出，由于任务有 2s 的延时，在 task1 提交后立刻判断， task1 还未完成，而在延时 4s 之后判断，task1 就完成了
• 4.使用 cancel 方法可以取消提交的任务，如果任务已经在线程池中运行了，就取消不了。这个例子中，线程池的大小设置为 2 ，任务已经在运行了，所以取消失败。如果改变线程池的大小为 1 ，那么先提交的是 task1，task2还在排队等候，这是时候就可以成功取消
• 5.使用 result 方法可以获取任务的返回值，注意：这个方法是阻塞的

Python 线程池 ThreadPoolExecutor 简单使用

from concurrent.futures import ThreadPoolExecutor
import time
# 参数times用来模拟下载的时间
def down_video(times):
    time.sleep(times)
    print("down video {}s finished".format(times))
    return times
executor = ThreadPoolExecutor(max_workers=2)
# 通过submit函数提交执行的函数到线程池中，submit函数立即返回，不阻塞
task1 = executor.submit(down_video, (3))
task2 = executor.submit(down_video, (2))
# done方法用于判定某个任务是否完成
print("任务1是否已经完成：",task1.done())
# cancel方法用于取消某个任务,该任务没有放入线程池中才能取消成功
print("取消任务2：",task2.cancel())
time.sleep(4)
print("任务1是否已经完成：",task1.done())
# result方法可以获取task的执行结果
print(task1.result())

Python 线程池as_completed函数使用

使用 as_completed 方法一次取出所有任务的结果。
as_completed 方法是一个生成器，在没有任务完成的时候，会阻塞，在有某个任务完成的时候，就能继续执行 for 循环后面的语句，然后继续阻塞住，循环到所有的任务结束。

from concurrent.futures import ThreadPoolExecutor, as_completed
import time
# 参数times用来模拟网络请求的时间
def download_video(index):
    time.sleep(2)
    print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime())))
    return index
executor = ThreadPoolExecutor(max_workers=2)
urls = [1, 2, 3, 4, 5]
all_task = [executor.submit(download_video, (url)) for url in urls]
for task in as_completed(all_task):
    data = task.result()
    print("任务{} down load success".format(data))
'''
输出结果：
download video 1 finished at 2021-05-05 07:10:00
任务1 down load success
download video 2 finished at 2021-05-05 07:10:00
任务2 down load success
download video 3 finished at 2021-05-05 07:10:02
任务3 down load success
download video 4 finished at 2021-05-05 07:10:02
任务4 down load success
download video 5 finished at 2021-05-05 07:10:04
任务5 down load success
'''

Python 线程池map函数使用

和 as_completed 方法不同的是：map 方法能保证任务的顺序性，举个例子：如果同时下载 5 个视频，就算第二个视频比第一个视频先下载完成，也会阻塞等待第一个视频下载完成并通知主线程之后，第二个下载完成的视频才回通知主线程，保证按照顺序完成任务，下面举个例子说明一下：

from concurrent.futures import ThreadPoolExecutor, as_completed
import time
# 参数times用来模拟网络请求的时间
def download_video(index):
    time.sleep(index)
    print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime())))
    return index
executor = ThreadPoolExecutor(max_workers=2)
urls = [3, 2, 1, 4, 5]
for data in executor.map(download_video,urls):
    print("任务{} down load success".format(data))
'''
输出结果：
download video 2 finished at 2021-05-05 07:10:55
download video 3 finished at 2021-05-05 07:10:56
任务3 down load success
任务2 down load success
download video 1 finished at 2021-05-05 07:10:56
任务1 down load success
download video 4 finished at 2021-05-05 07:10:00
任务4 down load success
download video 5 finished at 2021-05-05 07:10:01
任务5 down load success
'''

Python 线程池wait函数使用

wait 方法有点类似线程的 join 方法，能阻塞主线程，直到线程池中的所有的线程都操作完成！

from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED, FIRST_COMPLETED
import time
# 参数times用来模拟网络请求的时间
def download_video(index):
    time.sleep(2)
    print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S', time.gmtime())))
    return index
executor = ThreadPoolExecutor(max_workers=2)
urls = [1, 2, 3, 4, 5]
all_task = [executor.submit(download_video,(url)) for url in urls]
wait(all_task,return_when=ALL_COMPLETED)
print("main ")
'''
输出结果：
download video 2 finished at 2021-05-05 07:10:22
download video 1 finished at 2021-05-05 07:10:22
download video 3 finished at 2021-05-05 07:10:24
download video 4 finished at 2021-05-05 07:10:24
download video 5 finished at 2021-05-05 07:10:26
main
'''

wait 方法接收 3 个参数，等待的任务序列、超时时间以及等待条件。等待条件 return_when 默认为 ALL_COMPLETED ，表明要等待所有的任务都结束。可以看到运行结果中，确实是所有任务都完成了，主线程才打印出 main 。等待条件还可以设置为 FIRST_COMPLETED ，表示第一个任务完成就停止等待