Edge0 重磅开源 145B 端侧模型，内存狂省 60% 还能满血写代码

　　人工智能在端侧部署领域迎来了里程碑式的突破。开源项目 Edge0近日正式发布并开源了 Edge0-145B 与 Edge0-120B 模型，同时带来了一套统一的推理框架与部署工具。作为全球首个宣称可在个人电脑本地流畅运行的1450亿参数开源模型，Edge0-145B 成功将足以比肩云端前沿大模型的编程、推理与智能体能力，直接带到了用户的本地笔记本上。

　　突破硬件极限:它是如何在笔记本上运行145B 模型的?

　　长期以来，端侧 AI 一直在模型能力与硬件可运行性之间艰难平衡:大模型参数多、对内存和带宽要求极高;小模型虽然不占地方，却难以胜任复杂的专业任务。把繁重工作交给云端，又不可避免地面临持续的 API 费用、数据隐私限制以及对网络的强依赖。

　　为了解决这一行业痛点，Edge0团队从底层架构、训练、加载到调度四个层面进行了全面创新:

　　稀疏专家架构（MoE）: 模型在海量稀疏专家之间巧妙共享大矩阵，在保持专家总数不变的前提下大幅减少了需要存储和搬运的权重。在145B 的总参数中，每次推理计算仅有约10B 参与。

　　从零开始的端侧协同训练: 该模型在训练初期就将端侧部署的硬性约束融入设计，避免了传统云端模型事后压缩或剪枝带来的性能损失。

　　三层存储智能流水线: 通过巧妙的设计，让 GPU 内存、系统内存和固态硬盘（SSD）访问形成高效流水线。高频的“热专家”常驻 GPU 内存，约40GB 的专家库放在系统内存中按需调入，约48GB 的词表数据则存放在 SSD 上实时读取，避免了串行等待。

　　CPU 与 GPU 高效协同: GPU 负责计算已缓存的专家，CPU 则并行处理其余工作，并借助投机解码技术将权重读取成本分摊到更多输出上。

　　通过上述创新，Edge0-145B 在兼容的个人电脑（如搭载苹果 M 系列芯片的 MacBook Pro，或者配备 RTX4090/5090等的 Windows 平台）上实现了令人瞩目的实测表现:峰值内存占用仅为29GB，提示词预处理速度超过1，100tokens/s，解码生成速度超过80tokens/s，典型功耗控制在120W 左右，支持128K 至256K 的超长上下文。

　　编程与推理能力对标云端，从容驾驭复杂本地工作流

　　在核心能力方面，Edge0-145B 在多项国际权威基准测试中展现出了极强的竞争力。其六项基准测试平均得分达到72.8，与标准4-bit 部署下动辄需要70GB 至87GB 内存的主流云端或大体积基线模型相比，其实测内存占用缩减了约40% 至60%，能力却处于同一梯队:

　　编程与智能体: 在 DeepSWE1.1上得分64.6，在 Terminal-Bench2.1上得分86.52，在指令遵循 IFBench 上得分80.6。

　　推理与知识: 在 GPQA-Diamond 上的得分高达90.4，展现出扎实的逻辑与知识底蕴。

　　凭借出色的代码生成、工具调用、自我调试和视觉检查能力，Edge0-145B 能够独立支撑复杂的本地端工作流。在官方展示的实际应用场景中，它不仅能用于日常聊天，更能在本地一小时内完成特斯拉 Roadster 讲解视频的全套制作、在 Blender 中从零搭建曼哈顿3D 城市场景、开发可玩的中世纪 RPG 游戏、编写控制真实无人机穿过障碍的飞行代码，甚至在 KiCad 中完成从 PCB 电路板布局到 Unreal Engine 装配动画的渲染。整个过程完全在本地离线运行，不仅省去了可观的云端 API 费用，也让核心敏感数据牢牢掌握在用户手中。

　　构建端侧开源全家桶，推动 AI 走向“端侧优先”

　　除了重磅的145B 模型外，Edge0过去一年共发布了四大系列、总计200个不同规模的模型，形成了覆盖语音、文本、视觉与记忆的完整矩阵:

　　Edge0系列: 覆盖145B、120B（面向笔记本），以及35B、8B(面向手机)，全面赋能 vibe coding 与智能体任务。

　　Audio8系列: 专注听与说，包含从0.1B 到3B 的多语种语音识别、合成及端到端交互模型。

　　Decision0系列:0.6B 与3B 的多模态快速决策模型，将决策延迟压制在40毫秒级别。

　　Embedding0系列:0.6B 多模态嵌入模型，全面支持文本、语音、图像和视频的本地长期记忆与 RAG 检索。

　　目前，Edge0-145B 与 Edge0-120B 的完整模型权重已在 Hugging Face 正式开源，统一推理框架与一键部署指南也已同步登陆 GitHub，同时官方还推出了免环境配置的 Edge0App。随着大模型在端侧硬件上的效率不断突破，AI 的应用范式正从过去的“云端优先”稳步迈向“端侧优先，云端辅助”的全新时代。