主页 > 快资讯 > 正文

英伟达Blackwell GPU助力AI推理速度飞跃,达成千TPS/用户新高度

2025-05-24 14:26来源:今日头条编辑:张易川

扫一扫

分享文章到微信

扫一扫

关注99科技网微信公众号

  英伟达近日宣布了一项令人瞩目的成就:其最新推出的Blackwell GPU在meta的Llama 4 Maverick模型上,成功刷新了大型语言模型(LLM)推理速度的世界纪录。这一突破发生在周四,当时英伟达正式对外公布了这一消息。

  据悉,为了达到这一里程碑,AI基准测试权威机构Artificial Analysis采用了配置了8块Blackwell GPU的DGX B200节点。这一配置使得系统每用户每秒能够生成高达1000个tokens(TPS),这在之前是难以想象的。

  英伟达的技术团队通过深度优化TensorRT-LLM软件栈,并结合EAGLE-3技术,对推测解码草稿模型进行了训练。这种加速技术通过小型快速草稿模型预测token序列,再由大型目标LLM进行并行验证。英伟达表示,这种方法的优势在于单次迭代可能生成多个token,尽管这需要额外的草稿模型计算开销。经过这些优化,整套服务器系统在峰值吞吐配置下,每秒能够处理72,000个tokens。

  英伟达进一步解释说,Blackwell架构与Llama 4 Maverick级别的超大规模语言模型完美适配,这得益于其专为大型语言模型推理加速设计的EAGLE3软件架构。这一架构与GPU硬件架构形成了协同效应,从而实现了性能的显著提升。

  英伟达还强调,他们在提高性能的同时,也确保了响应的准确性。测试结果显示,使用FP8数据格式的准确性与人工分析的BF16数据格式相当。这意味着,在保持高准确性的前提下,英伟达成功地大幅提高了系统的性能。

  英伟达的这一突破,不仅展示了其在GPU技术领域的领先地位,也为大型语言模型的推理加速提供了新的解决方案。随着人工智能技术的不断发展,这一突破将对未来的AI应用产生深远的影响。

     投稿邮箱:jiujiukejiwang@163.com   详情访问99科技网:http://www.fun99.cn

相关推荐
亚马逊Zoox自动驾驶车月内两度召回,安全问题再 亚马逊Zoox自动驾驶车月内两度召回,安全问题再

原标题:亚马逊Zoox自动驾驶车月内两度召回,安全问题再引关注 亚马逊旗下的自

行业资讯2025-05-24

雷军谦逊发声:玄戒O1征途初启,与国际巨头尚有 雷军谦逊发声:玄戒O1征途初启,与国际巨头尚有

原标题:雷军谦逊发声:玄戒O1征途初启,与国际巨头尚有距离 近期,小米集团

快资讯2025-05-24

丰田新车后加装服务全面铺开,能否引领汽车市 丰田新车后加装服务全面铺开,能否引领汽车市

原标题:丰田新车后加装服务全面铺开,能否引领汽车市场新风尚? 丰田汽车

行业资讯2025-05-24

广汽国际与安利捷埃及签约CKD项目,2026年下半年 广汽国际与安利捷埃及签约CKD项目,2026年下半年

原标题:广汽国际与安利捷埃及签约CKD项目,2026年下半年预计量产 在埃及开罗

行业资讯2025-05-24

赛力斯携手德国TÜV莱茵,共拓海外市场认证新篇 赛力斯携手德国TÜV莱茵,共拓海外市场认证新篇

原标题:赛力斯携手德国TV莱茵,共拓海外市场认证新篇章! 赛力斯集团与国际

行业资讯2025-05-24

荣耀手表Fit全球首发在即,DeepSeek语音对话功能成 荣耀手表Fit全球首发在即,DeepSeek语音对话功能成

荣耀手表Fit系列即将于5月28日迎来全球首秀,其部分亮点与规格参数已提前揭晓

快资讯2025-05-24

小米YU7车型高清壁纸大放送!手机平板折叠屏全 小米YU7车型高清壁纸大放送!手机平板折叠屏全

小米汽车近日在其官方微博上发布了一系列高清壁纸,这些壁纸以YU7车型为主题

快资讯2025-05-24

诺顿Neo浏览器来袭:AI如何重新定义你的网络冲浪 诺顿Neo浏览器来袭:AI如何重新定义你的网络冲浪

近期,知名安全软件提供商诺顿宣布了一项创新举措,其全新研发的Neo浏览器已

快资讯2025-05-24

中国钙钛矿光伏技术突破:量产良率超98.5%,创世 中国钙钛矿光伏技术突破:量产良率超98.5%,创世

近日,一项令人瞩目的科技创新正悄然改变着我们对能源利用的想象边界。想象

快资讯2025-05-24

AI存储需求激增,希捷预警:数据存储业或将面临 AI存储需求激增,希捷预警:数据存储业或将面临

近期,数据存储行业迎来了一位新的竞争者——生成式AI,这一趋势在科技界引

快资讯2025-05-24