105、DuckDB 嵌入式分析：数据科学家的大数据查询利器，不需要 Spark上周帮一个数据团队排查ETL流水线卡顿问题，发现他们用Pandas处理一个2GB的CSV文件，内存直接爆了，然后他们准备上Spark。我看了眼代码，问了一句：“你们试过DuckDB吗？”对方一脸懵。后来我把那个脚本改成了DuckDB的SQL查询，内存占用从16GB降到200MB，跑完只用了12秒。团队Leader当场拍板：“以后这种中等规模的数据分析，别动不动就上Spark集群了。”这个场景我见过太多次了。数据科学家们习惯了Pandas的DataFrame操作，遇到数据量稍微大一点（比如超过内存的50%），就开始考虑分布式方案。但Spark的部署和维护成本摆在那里，很多时候我们需要的只是一个能跑SQL、能处理比内存大一点的数据、还能嵌入到Python脚本里的轻量级工具。DuckDB就是为这个场景设计的。为什么是DuckDB而不是SQLite或Pandas先说说DuckDB的定位。它是个嵌入式列式数据库，专门为分析型查询优化。和SQLite的区别在于，SQLite是行式存储，适合OLTP场景，做聚合查询慢得让人抓狂。DuckDB是列式存储，压缩率高，扫描数据快，特别适合那种“读几列、算聚合”的分析场景。和Pandas比，DuckDB的优势在于内存管理。Pandas处理数据时，整个DataFrame必须全部加载到内存里，一旦数据量超过可用内存，要么报MemoryError，要么触发疯狂的swap导致系统卡死。DuckDB