
IT之家 8 月 6 日消息,Bilibili Index 团队于 8 月 4 日发布博文,宣布通过自研 IndexTTS2 模型,推出“原声风格”视频配音功能,可以支持将部分中文视频翻译为外语的原声风格配音。
IT之家此前曾介绍该功能上线,而在最新博文介绍中,官方介绍了该功能背后的 AI 模型。
该团队表示通过该自研模型,让视频人物不再是千篇一律的“代言人声线”,而是像本人亲自讲外语一样自然,声音、语气、节奏,甚至个性表达都和原片几乎一致,观众可以听到“这个人用另一种语言在说话”。
BILIBILI IndexTTS2 模型架构
该模型创新性地提出了一种通用于 AR 系统的“时间编码”机制,首次解决了传统 AR 模型难以精确控制语音时长的问题。这一设计在保留 AR 架构在韵律自然性、风格迁移能力、多模态扩展性等方面优势的同时,也具备了合成定长语音的能力。
团队还推出通过音色克隆、声场一致性、多声源融合等技术,解决了传统配音中声音人格缺失、字幕干扰及本地化成本高等痛点。
系统还针对多说话人场景优化说话人分割、情绪迁移与语速控制,并引入 RIVAL 对抗式强化学习框架提升翻译质量与风格适配度。
在视频层面,结合字幕擦除与基于 Diffusion 的高保真唇形同步,确保音画一致与沉浸感。B站表示,未来将支持更多语言,并计划开源模型,推动多语言、跨模态内容全球化传播。
参考
猜你喜欢

全新上汽奥迪A5L Sportback开...
全新上汽奥迪A5LSportback开启预售,分为5款车型,豪华型、尊享quattro型、首发限量版,以及标配华为乾崑智驾技术的智领型和智领quattro型,限...
READ MORE
香港回归祖国28周年 同心携手创辉煌
6月30日,香港体育馆举办了庆祝香港回归祖国28周年的活动启动仪式。此次活动主题为“同心携手创辉煌 由治及兴谱新篇”。 香港特区行政长官李家超在启动礼上致辞表示...
READ MORE
DOTA2青训计划开启,迎接赛事黄金时代
在CNDOTA2电竞生态即将迎来变革的2025年,XG老板杨一清正在以破釜沉舟的姿态重塑人才培养体系,于6月26日与亚运冠军教练张志成...
READ MORE
《神奇4侠》曝终极预告 神奇先生×隐形女...
6月26日,MCU漫威电影宇宙第六阶段开篇作《神奇4侠:初露锋芒》(TheFantasticFour:FirstSteps)发布终极预告及海报,由马特·沙克曼执...
READ MORE
无主之地4真会玩!成都郑州北京彩蛋接连整...
众所周知,无主之地系列一直是国内玩家的忠实“舔狗”,三代在2019年就上了全中文配音,国区定价全球最低,四代也是同款套餐跟上!
READ MORE最新发布
-
全新上汽奥迪A5L Sportback开启预售 限时臻享26...
综合新闻, 2025-07-04 -
香港回归祖国28周年 同心携手创辉煌
综合新闻, 2025-07-01 -
DOTA2青训计划开启,迎接赛事黄金时代
综合新闻, 2025-06-27 -
《神奇4侠》曝终极预告 神奇先生×隐形女宝宝亮相
综合新闻, 2025-06-27 -
无主之地4真会玩!成都郑州北京彩蛋接连整活,上海BW终极一“...
综合新闻, 2025-07-04
热门
-
全新上汽奥迪A5L Sportback开...
- 作者
- 2025-07-04
-
香港回归祖国28周年 同心携手创辉煌
- 作者
- 2025-07-01
-
DOTA2青训计划开启,迎接赛事黄金时代
- 作者
- 2025-06-27
-
《神奇4侠》曝终极预告 神奇先生×隐形女...
- 作者
- 2025-06-27
-
无主之地4真会玩!成都郑州北京彩蛋接连整...
- 作者
- 2025-07-04
-
全新上汽奥迪A5L Sportback开...
- 作者
- 2025-07-04
-
香港回归祖国28周年 同心携手创辉煌
- 作者
- 2025-07-01
-
DOTA2青训计划开启,迎接赛事黄金时代
- 作者
- 2025-06-27
-
《神奇4侠》曝终极预告 神奇先生×隐形女...
- 作者
- 2025-06-27
-
无主之地4真会玩!成都郑州北京彩蛋接连整...
- 作者
- 2025-07-04