英伟达宣布推出 NVIDIA Nemotron™ 3 系列开放模型、数据和库,为各个行业透明、高效的专业代理式 AI 开辟供给助力。

Nemotron 3 系列MoE 模型供给 Nano、Super 和 Ultra 三种范围,采取冲破性的异构潜在混淆专家 (MoE) 架构,赞助开辟者大年夜范围开辟并安排靠得住的多智能系一切。

  • Nemotron 3 Nano:是一款具备 300 亿参数的小型模型,每次运行最多激活 30 亿参数,实用于针对性、高效的义务。
  • Nemotron 3 Super:是一款具备约 1,000 亿参数的高精度推理模型,每个 token最多激活 100 亿参数,实用于多智能体应用。
  • Nemotron 3 Ultra:是一款具备约 5,000 亿参数的大年夜型推理引擎,每个 token 最多激活 500 亿参数,实用于复杂的 AI 应用。

Nemotron 3 Nano 已正式上线,是计算成本效益极高的模型,其针对软件调试、内容摘要、AI 助手工作流及信息检索等义务进行了优化,同时保持了较低的推理成本。该模型采取独特的异构 MoE 架构,以实现效力与可扩大性的晋升。

这一设计使其 token 吞吐量较 Nemotron 2 Nano 至高晋升 4 倍,并削减了多达 60% 的推理 token 生成量,大年夜大年夜降低了推理成本。具备 100 万 token 的高低文处理才能,Nemotron 3 Nano 具有更强的记忆才能,在处理长时光多步调义务时能更精准地接洽关系信息。

模型地址:https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部