
3FS:为AI训练装上“分发利器”,DeepSeek压轴开源揭秘 - 知乎
简单来说, 3FS就是一个为AI训练和推理场景打造的高性能分布式文件系统。 它的关键特征在于“ 存算分离 ”——也就是将存储节点和计算节点物理分开,让数据在网络中自由流动,打破了传统绑定架构下的数据“堵车”难题。 高效读写:面对成百上千计算节点对训练样本的随机访问请求,3FS通过一系列协议优化以及对 SSD 和 RDMA (远程直接内存访问)的深度整合,实现了6.6 TiB/s的聚合读取吞吐量,也就是每秒能传输1400部4K电影的量级。 分解式架构:3FS不再把 …
DeepSeek开源周第五弹之一!3FS:支撑V3/R1模型数据访问的高 …
2025年3月1日 · 3fs利用现代ssd和rdma网络技术,基于分离式架构聚合数千个ssd的吞吐量和数百个存储节点的网络带宽,提供高达6.6 tib/s的读取吞吐量。 3fs提供强一致性保障,提供通用文件接口,无需学习新的存储api。
DeepSeek开源周 Day05:从3FS盘点分布式文件存储系统 - 知乎
3FS支持每个客户端节点40+ GiB/s的峰值吞吐量,特别适合KVCache的高频查找需求。 针对大模型的意义 :DeepSeek V3和R1在推理中广泛使用KVCache来加速生成过程。
幻方萤火 | 高速读写文件系统 3FS - 知乎 - 知乎专栏
3FS是幻方AI自研的高速读写文件系统,是幻方AIHPC“萤火二号”计算存储分离后,存储服务中的重要一环,全称是萤火超算文件系统(Fire-Flyer File System),因为有三个连续的 F,因此被简称为 3FS。
从青铜到王者系列:深入浅出理解 DeepSeek 3FS(1)-腾讯云开 …
4 天之前 · 我可以看 deepseek-ai/3FS吗? 它就在哪里,为什么不能。 我问的是没有GPU设备情况 还可以看吗? 依然可以,既然无法安装就看背后设计原理。 3FS出现的背景是什么? 3FS 专为应对 AI 训练和推理工作负载的挑战而设计。 分布式文件系统成为 AI 训练中一项关键的 ...
XSKY CTO 深度揭秘:DeepSeek 3FS 如何定义端到端无缓存的存储 …
2025年3月4日 · XSKY 正密切关注 3FS 为代表的无客户端缓存方向,结合过去的 XEOS 强大的元数据引擎和文件客户端积累,协同上下游合作伙伴,为 AI 存储提供前沿解决方案,欢迎联系 XSKY 销售代表! 注: 【1】DeepSeek 3FS. https://github.com/deepseek-ai/3FS 【2】《Evolution of ONTAP to Low-Latency ...
DeepSeek 3FS:端到端无缓存的存储新范式 - CSDN博客
2025年3月6日 · 3FS 采用典型的分布式文件系统架构,客户端直接连接元数据和数据服务,整体设计清晰且高效。其核心组件包括: 元数据集群:元数据服务负责将文件语义转化为键值(KV)语义,底层选用 FoundationDB 作为 KV 存储。FoundationDB 以高可用性和数据冗余著称,这种 ...
DeepSeek开源3FS:开启AI数据处理的“超音速”时代
2025年2月28日,中国人工智能领军企业DeepSeek在开源周第五日宣布重磅消息:正式开源其自主研发的Fire-Flyer文件系统(3FS)。 这款专为大规模AI训练与推理优化的并行文件系统,凭借其突破性的性能指标,而且有着全场景适配能力,被视为AI数据处理领域的 ...
DeepSeek开源第五弹,开源并行文件系统3FS代码库
新浪科技讯 2月28日上午消息,DeepSeek开源周第五天,DeepSeek宣布开源了Fire-Flyer文件系统(3FS)。 据介绍,这是一个高性能并行文件系统,能应对AI训练和推理工作负载的挑战,它利用现代SSD和RDMA网络提供共享存储层,能简化分布式应用程序的开发。 在由180个存储节点组成的大型测试集群上,3FS最终的总读取吞吐量达到约6.6个TIB/S; KVCache 查询每个客户端节点达到40+GiB/s的峰值吞吐量。 目前,3FS文件系统代码库已经发布于GitHub平台上,并且 …
3FS优化 03 | 数据读取模式适配 - high-flyer.cn
2020年9月15日 · 幻方AI设计了一套非常适合深度学习训练的样本读取文件系统,3FS,其采用 Direct IO 和 RDMA Read 的读取方式,让模型训练在样本读取部分只用极小的CPU和内存开销,就可以获得超高的读取带宽,从而无需再训练过程中等待加载数据,更充分地利用GPU的计算性 …
- 某些结果已被删除