天气 
2026-07-08
IT之家 7 月 8 日消息，英伟达于今年 6 月发表论文，推出 Audex（Nemotron-Labs-Audex-30B-A3B）统一音频-文本大语言模型，总参数量 30B，激活参数 3B，在保留核心文本智能情况下，能理解和生成音频（audio）和语音（speech）。
该模型骨干为文本模型 Nemotron-Cascade-2-30B-A3B，后者为 52 层混合 Mamba-Transformer 结构，包含 128 个可路由专家、每次激活 6 个专家。
该模型的设计目标是避免多模态扩展后文本能力下滑问题。论文显示，Audex 将音频输入编码后映射到文本嵌入空间，并把量化后的音频输出标记与文本标记统一处理。
在音频组件上，Audex 使用 AF-Whisper（音频编码器）处理 16kHz 输入，配合两层 MLP 适配器映射特征，输出词表从原始 131072 个 Token 扩展至 205312 个 Tokens。
语音输出采用 X-Codec2（语音编解码器），速率为每秒 50 个标记，使用单层 finite scalar quantization（有限标量量化），码本大小为 65536。非语音音频采用 X-Codec（音频编解码器），速率为每秒 200 个标记，使用 4 层展平残差向量量化。
文本评测方面，Audex 在 MMLU-Redux 上得分 86.4，高于骨干模型的 86.3；在 IMO AnswerBench 上为 81.1，高于骨干的 79.3，但在 MMLU-Pro 与 GPQA-Diamond 上出现小幅下降。
IT之家附上参考地址
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。
来源于：https://www.ithome.com/0/973/992.htm 如有侵权请联系我们
猜你喜欢
2026-07-08
英伟达发布 Audex 统一模型：30B...
IT之家 7 月 8 日消息，英伟达于今年 6 月发表论文，推出 Audex（Nemotron-Labs-Audex-30B-A3B）统一音频-文本大语言模型，...
READ MORE
2026-07-08
OpenAI 更新 2.1 系列 GPT...
IT之家 7 月 8 日消息，OpenAI 昨日（7 月 7 日）发布公告，宣布在其 API 调用中，新增 gpt-realtime-2.1 和 gpt-rea...
READ MORE
2026-07-08
美国银行：AI 投资者将面临严峻的现实考...
IT之家 7 月 8 日消息，据《财富》报道，标普 500 指数刚创下 2020 年以来最佳季度表现，今年以来累计上涨约 9%。但美国银行认为，后面的路可能将明...
READ MORE
2026-07-08
68岁天后现状：被母亲毁掉一生？终生未婚...
陈淑桦今年68岁了。 这个名字，很多年轻人已经陌生。 可只要《梦醒时分》的前奏一响，几代人的耳朵还是会立刻竖起来。 奇怪的是。 这位曾经的华语乐坛顶流，最近几年...
READ MORE
2026-07-08
马斯克：SpaceXAI将于明日向公众开...
马斯克7月8日在社交媒体平台X发文称，基于内测用户的积极反馈，SpaceXAI将于明日向公众开放Grok 4.5。马斯克称，这是一款Opus级别的模型，但速度更...
READ MORE最新发布
-
英伟达发布 Audex 统一模型：30B 总参数，避免多模态...
综合新闻, 2026-07-08 -
OpenAI 更新 2.1 系列 GPT Realtime ...
综合新闻, 2026-07-08 -
美国银行：AI 投资者将面临严峻的现实考验，投机情绪已达极端...
综合新闻, 2026-07-08 -
68岁天后现状：被母亲毁掉一生？终生未婚、没性没爱、流落街头...
综合新闻, 2026-07-08 -
马斯克：SpaceXAI将于明日向公众开放Grok 4.5
综合新闻, 2026-07-08
