3FS 和smallpond：DeepSeek开源周第五天
3FS
https://github.com/deepseek-ai/3FS
3FS（Fire-Flyer File System）是一个专为AI时代设计的“超级数据管家”。简单来说，它解决了AI训练和推理中大规模数据处理的三大痛点：
数据存取太慢？
当数千块SSD硬盘和数百台存储节点组成集群时，3FS能让AI训练程序像访问本地硬盘一样快速读取数据，最高可达6.6TB/s的恐怖速度（相当于1秒下载完300部4K电影）
支持数千个计算节点同时读写，不会出现数据混乱。
数据管理太麻烦？
传统AI训练需要提前把数据加载到内存，而3FS允许直接随机访问存储系统里的数据，省去预加载步骤。
支持自动整理数据集的中间产物（比如清洗后的图片、标注文件等），像管理普通文件夹一样管理海量数据。
资源浪费严重？
大模型推理时需要的KV缓存，用3FS替代昂贵的DRAM内存，成本降低但性能不减（实测峰值吞吐40GB/s）。
训练中途保存进度时，支持数千个GPU同时写入检查点，避免因保存进度耽误训练时间
举个实际例子：假设要训练一个10万亿参数的大模型，传统系统可能需要数小时来保存训练进度，而用3FS就像同时用几万支笔一起记录笔记，30分钟就能完成110TB数据的排序存储，整个过程稳定可靠不丢数据。
这相当于给AI开发团队配备了一个能同时服务数万台服务器、既快又稳的“数据高速公路系统”。
smallpond
https://github.com/deepseek-ai/smallpond
简单来说：
smallpond 是一个帮你快速处理“超大数据”的工具。
它能干啥？
比如你有一个超级大的表格（比如全国所有人的网购记录），你想快速统计“每个商品卖了多少件”、“最贵最便宜多少钱”… 这种问题，smallpond 能帮你轻松搞定，而且速度贼快。
它牛在哪？
快！ 底层用了高性能数据库 DuckDB，比传统工具（比如Python自己处理）快很多。
能扛“巨无霸”数据！ 就算数据大到你的电脑根本存不下（比如PB级，相当于几百万部电影），它也能用分布式存储（3FS）轻松扩展。
简单！ 写几行Python就能用，不需要搭建复杂系统。
适合谁用？
程序员、数据分析师，需要快速分析海量数据，又不想折腾复杂技术栈的人。
关注我的微信公众号
