按日常开发、数据处理、接口 / 网络、命令行、配置日志、文件、并发、调试、打包部署分类,都是工业界高频使用、能显著少写重复代码的库,附简要用途。
一、基础工具 & 通用工具(所有项目都很常用)
pydantic / pydantic-settings 数据校验、类型解析、配置管理;自动校验、自动转 JSON,替代手写大量参数判断。v2 性能很强。
from pydantic import BaseModel class User(BaseModel): id: int name: strpython-dotenv 读取
.env环境变量,开发环境隔离配置,不用硬编码密码。loguru 极简日志库,替代原生
logging,一行配置,自动轮转、格式化、异常捕获。tenacity 重试装饰器,网络请求、数据库不稳定场景,不用自己写 while 重试循环。
attrs 轻量数据类,比 dataclasses 更灵活;很多底层库依赖它。
dataclasses(标准库) 原生数据类,简单实体类首选,无需额外安装。
二、HTTP、接口、网络请求
httpx 新一代 HTTP 客户端,同步 + 异步都支持,替代 requests,支持 HTTP2。
requests 经典同步 HTTP 库,简单爬虫、调用第三方接口首选。
aiohttp 异步 HTTP 客户端 / 服务端,高并发爬虫、异步服务。
fastapi 高性能 Web 框架,自动 OpenAPI 文档、类型校验,写后端接口效率极高。
starlette FastAPI 底层,轻量异步 Web 框架。

三、数据处理 & 结构化数据
pandas 表格数据处理,CSV/Excel 清洗、统计;数据分析、报表神器。
polars 新一代高性能 DataFrame,比 pandas 更快、内存占用更低,支持异步,现在越来越火。
pyarrow 列式存储,配合 polars、pandas,parquet 文件读写。
orjson / ujson 极速 JSON 序列化,比内置 json 快很多,适合接口、大数据序列化。
croniter cron 表达式解析,判断什么时候触发定时任务。
faker 生成假数据:手机号、地址、姓名,单元测试、造测试数据必备。
四、命令行工具开发(写 CLI 脚本)
typer FastAPI 同作者,基于 click,用类型注解写命令行,自动生成帮助文档,非常优雅。
click 老牌 CLI 库,稳定强大。
rich 终端美化:彩色打印、进度条、表格、树状结构,日志和 CLI 界面质感拉满。
tqdm 极简进度条,循环里加一行
tqdm()就有进度。
五、文件、办公、压缩、路径处理
pathlib(标准库) 面向对象路径操作,替代
os.path,强烈推荐。python-docx / openpyxl docx、xlsx 读写,自动化报表。
pdfplumber PDF 文本、表格提取,比 PyPDF2 好用很多。
zipfile /tarfile(标准库) + patool patool 统一解压多种压缩包(rar、7z 等)。
watchdog 监控文件变化,自动热重载、同步脚本。
六、数据库 & ORM
sqlalchemy 2.0 主流 ORM,支持同步 / 异步,统一 SQL 写法,适配 MySQL/PG 等。
asyncmy / psycopg[binary] MySQL、PostgreSQL 异步驱动,搭配 sqlalchemy 异步。
redis-py Redis 客户端,支持异步。
pymongo MongoDB 驱动。
alembic SQLAlchemy 配套数据库迁移工具,版本管理 DDL。
七、异步、并发、任务调度
anyio 统一 asyncio/trio,跨异步后端,很多新库底层依赖。
APScheduler 定时任务调度,cron、固定间隔、一次性任务。
celery 分布式任务队列(需要 Redis/MQ),后台异步任务。
八、调试、性能分析
icecream (ic) 打印调试神器,替代 print,自动输出变量名、代码位置。
from icecream import ic ic(a, b)py-spy 采样性能剖析,不需要改代码,线上进程直接看 CPU 热点。
memory-profiler 内存占用分析。
pdb(标准库) /debugpy debugpy 给 vscode 做远程调试。
九、序列化、校验、加密
cryptography 安全加密库,AES、RSA、哈希,官方推荐,不要自己手写加密。
jose / pyjwt JWT 令牌签发校验。

十、打包、发布、环境管理
poetry 依赖管理 + 打包,替代 pip+requirements.txt,锁定版本、发布包。
pipenv 虚拟环境 + 依赖锁定。
pyinstaller Python 脚本打包成 exe(Windows)、二进制程序。
ruff 超高速 linter + formatter,替代 flake8、black,一键格式化代码,CI 必备。
mypy 静态类型检查,大型项目提前发现类型 bug。
十一、爬虫相关
scrapy:成熟爬虫框架
parsel:HTML/XML 解析,css/xpath 选择器
beautifulsoup4 + lxml:网页解析
极简推荐清单(优先上手)
做后端接口:
fastapi + pydantic + httpx + loguru + tenacity数据脚本:polars/pandas + rich + faker + icecreamCLI 工具:typer + rich + tqdm项目依赖管理:poetry + ruff + mypy
本文原创作者:易君召,详见:https://www.yijunzhao.cn/authors/yijunzhao,转载请注明出处。
原文链接
欢迎访问 小易撩挨踢