9000 条视频要在 5 天内转完，单机实测要 20 天。我临时拉了 8 台机器搭了个分布式转码集群，中间踩了 NFS 的坑、重复执行的坑、负载不均的坑。这篇记录完整的设计、实测数据，以及为什么 8 台机器只快了 6.8 倍。
阅读全文
技术博客
分享开发技巧、工具使用教程与行业动态
筛选「并发」共 4 篇文章
查看全部
用户点了解析，页面转圈三十秒然后 504。我把任务从请求里挪到 Celery 之后，问题才刚开始：进度不更新、任务被执行两次、Redis 内存涨到 8G、beat 定时任务重复触发。这篇把这些坑和最终的方案完整写下来。
阅读全文
# Python 并发下载器设计与实战：从同步到 asyncio + 线程池的吞吐优化
做视频工具最怕的不是"下不下来"，而是"下一个要等半天、下一堆直接把机器拖垮"。本文用一个可取消的并发下载器为例，讲清楚同步 → 线程池 → 协程的演进，以及限速、重试、断点续传和背压这些生产级细节。
## ...
阅读全文
# 下载器并发模型踩坑：线程池、协程还是多进程？（压测实录）
写下载器绕不开一个问题：同时下 10 个、100 个任务，底层到底用线程、协程还是多进程？我最早用 `concurrent.futures.ThreadPoolExecutor` 一把梭，后来遇到 CPU 飙高、界面卡死、内存爆掉，才认...
阅读全文
1
第 1 / 1 页