主页 > 快资讯 > 正文

EROFS文件系统升级,48位寻址助力AI训练突破容量限制

2025-03-24 10:28来源:今日头条编辑:张易川

扫一扫

分享文章到微信

扫一扫

关注99科技网微信公众号

  在科技界的一则最新动态中,知名科技博客Phoronix于3月23日披露,随着Linux 6.15内核版本的临近,开源社区中的EROFS(增强型只读文件系统)即将迎来一次重大革新。此次升级的核心亮点在于,EROFS将引入48位寻址支持,以满足人工智能模型训练过程中对数据存储容量的迫切需求。

  一直以来,EROFS受限于32位块寻址机制,其最大容量被限定在16TiB(在4KiB块大小下)。而48位寻址技术的加入,将彻底打破这一瓶颈,使得EROFS能够轻松应对AI训练中所需的大规模数据集存储挑战,同时也为对象存储客户端提供了更为广阔的存储空间。

  除了容量上的大幅提升,此次EROFS的更新还涉及到了核心磁盘结构的全面扩展,包括inode、设备槽以及inode块的优化。为了支持基本的时间戳功能,新版EROFS引入了32字节紧凑inode的mtime字段,这一改进无疑将进一步提升文件系统的实用性和灵活性。

  在性能优化方面,新版EROFS同样不遗余力。针对Zstd压缩算法,新版EROFS引入了字节导向的编码扩展,这一改进使得压缩器能够保持其原有的高效压缩方法,从而在提升压缩效率的同时,也确保了数据压缩质量。据测试数据显示,在启用48位寻址后,Zstd镜像的构建时间得到了显著缩短,特别是在Intel Xeon Platinum 8163 CPU上,构建时间从原先的3分52秒骤降至12秒,这一提升无疑将为AI训练等高性能应用场景带来极大的便利。

  EROFS,这一由华为最初开发并随后由全球开源社区共同维护的轻量级只读文件系统,自问世以来便以其出色的存储效率和性能表现赢得了业界的广泛关注。此次重大升级,不仅进一步巩固了EROFS在只读文件系统领域的领先地位,更为AI、大数据等前沿科技领域的发展提供了强有力的支持。

  随着人工智能技术的不断发展和普及,对于数据存储和处理能力的需求也将持续增长。EROFS此次的升级,无疑为这一趋势提供了强有力的技术支撑,我们有理由相信,在未来的科技发展中,EROFS将继续发挥其独特优势,为更多领域的应用场景提供高效、可靠的存储解决方案。

     投稿邮箱:jiujiukejiwang@163.com   详情访问99科技网:http://www.fun99.cn

相关推荐
三星One UI 8.5测试版日志揭秘:AI修图升级,设备 三星One UI 8.5测试版日志揭秘:AI修图升级,设备

近日,科技圈传来新动态,消息源@tarunvats33在X平台发布推文,分享了一组关于

快资讯2025-12-04

萝卜快跑布局广东鹤山!新设科技公司注册资本 萝卜快跑布局广东鹤山!新设科技公司注册资本

近日,一家名为萝卜快跑(鹤山)科技有限公司的新企业正式注册成立,引发市

快资讯2025-12-04

美光宣布退出Crucial消费级业务,近三十年品牌将 美光宣布退出Crucial消费级业务,近三十年品牌将

12月4日消息,全球存储巨头美光科技(Micron Technology)正式宣布,将全面退出其

快资讯2025-12-04

OpenAI在"玩火"?头号对手罕见开炮 OpenAI在"玩火"?头号对手罕见开炮

作者 | 小小 出品 | 网易科技 通往AGI不需要魔法,只需要“暴力计算”。但前提

快资讯2025-12-04

灵光闪应用升级 不会代码也能用AI生成小游戏 灵光闪应用升级 不会代码也能用AI生成小游戏

12月4日消息,今日,通用AI助手灵光宣布重要升级,上线闪游戏功能。区别于传

快资讯2025-12-04

亚马逊云科技re:Invent 2025发布Nova 2系列,多款中国 亚马逊云科技re:Invent 2025发布Nova 2系列,多款中国

在亚马逊云科技举办的re:Invent 2025全球大会上,首席执行官Matt Garman宣布推出四

快资讯2025-12-04

iPhone 17系列立大功!苹果10月全球份额24.2%:创历 iPhone 17系列立大功!苹果10月全球份额24.2%:创历

12月4日消息,据市场调研机构Counterpoint Research最新报告,2025年10月,苹果在全球

快资讯2025-12-04

东风日产法务:多个自媒体账号发布 N6 不实信息 东风日产法务:多个自媒体账号发布 N6 不实信息

12 月 4 日消息,东风日产法务昨晚在官微发布声明,称东风日产 N6 上市后,注

快资讯2025-12-04

卢伟冰回应罗福莉加盟 小米在大模型应用方面进 卢伟冰回应罗福莉加盟 小米在大模型应用方面进

12月4日消息,小米集团总裁卢伟冰近日通过社交媒体 "答网友问" 第十二期,首

快资讯2025-12-04

一加 Ace 6T深度评测:性能影像双在线,打造全能 一加 Ace 6T深度评测:性能影像双在线,打造全能

在手游市场持续升温的当下,性能旗舰手机的竞争愈发激烈。一加 Ace 6T的登场

快资讯2025-12-04