天气 
2026-07-03
IT之家 7 月 3 日消息，英伟达昨日（7 月 2 日）发布博文，宣布推出 Nemotron-Labs-TwoTower，是一种基于预训练自回归骨干网络的离散扩散语言模型，致力于解决大模型 Token 生成速度瓶颈。
在开源方面，该模型以开源权重形式在 Huggingface 平台发布，授权协议为 NVIDIA Nemotron Open Model License。
参数方面，该模型总参数为 60B，采用双塔（TwoTower）架构，包括 30B 的自回归模型（AR）/context Tower 和 30B 的扩散 / 降噪 Tower，每个 Tower 激活 3B 模型，128 个可路由专家。
架构方面，TwoTower 最大的亮点，在于拆分传统扩散语言模型中的网络任务，将文本生成任务中的上下文表示与去噪过程分离到两个独立的神经网络“塔”中。
其中一个塔（上下文塔）保持冻结，专注于维护文本的自回归上下文；另一个塔（去噪器塔）经过训练，负责对噪声块进行去噪，两个塔通过逐层交叉注意力连接协作。
性能方面，英伟达表示从综合基准测试质量来看，双塔架构保留 98.7% 的质量表现，但是实际运行时间吞吐量提高了 2.42 倍。IT之家附上相关测试结果如下：
| 任务 | Nemotron-3-Nano-30B-A3B (AR) | Nemotron-Labs-TwoTower (diffusion) |
|---|---|---|
| MMLU (5-shot, acc) | 78.56 | 78.24 |
| MMLU-Pro (5-shot, CoT EM) | 62.59 | 60.93 |
| ARC-Challenge (25-shot, acc_norm) | 91.72 | 92.66 |
| WinoGrande (5-shot, acc) | 76.09 | 76.09 |
| RACE (0-shot, acc) | 88.90 | 88.90 |
| HumanEval (0-shot) | 79.27 | 75.58 |
| MBPP-Sanitized (3-shot) | 74.71 | 74.28 |
| GSM8K (8-shot, acc) | 92.49 | 90.14 |
| MATH-500 (4-shot) | 84.40 | 80.60 |
| MMLU Global Lite (5-shot) | 73.97 | 73.94 |
| MGSM (8-shot, avg acc) | 80.80 | 80.40 |
| Quality retained | 100% | 98.7% |
| Generation throughput (× AR) | 1.0× | 2.42× |
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。
来源于：https://www.ithome.com/0/972/162.htm 如有侵权请联系我们
猜你喜欢
2026-07-03
中国团队摘得 2026 年欧洲发明家奖：...
IT之家 7 月 3 日消息，据新华社报道，总部设在德国慕尼黑的欧洲专利局 2 日在柏林举行颁奖典礼，公布 2026 年欧洲发明家奖获奖名单。中国发明家余海军、...
READ MORE
2026-07-03
英伟达开源 TwoTower AI 模型...
IT之家 7 月 3 日消息，英伟达昨日（7 月 2 日）发布博文，宣布推出 Nemotron-Labs-TwoTower，是一种基于预训练自回归骨干网络的离散...
READ MORE
2026-07-03
AI 交互革命：Claude Code ...
IT之家 7 月 3 日消息，科技媒体 The Decoder 昨日（7 月 2 日）发布博文，报道称 Anthropic 表示为迎合 Claude Fable...
READ MORE
2026-07-03
威胁平面设计等远程工作者：AI 自动化 ...
IT之家 7 月 3 日消息，AI 安全中心（CAIS）于 7 月 1 日更新远程劳动指数（RLI），指出 AI 远程劳动自动化率正在经历快速跃升，Claude...
READ MORE最新发布
-
Meta卖算力内情曝光
综合新闻, 2026-07-03 -
中国团队摘得 2026 年欧洲发明家奖：新技术可将废旧电池直...
综合新闻, 2026-07-03 -
英伟达开源 TwoTower AI 模型：保留 98.7% ...
综合新闻, 2026-07-03 -
AI 交互革命：Claude Code 系统提示词精简 80...
综合新闻, 2026-07-03 -
威胁平面设计等远程工作者：AI 自动化 16.1% 项目已被...
综合新闻, 2026-07-03
