天气 
2025-08-23
IT之家 8 月 23 日消息，科技媒体 9to5Mac 今天发布博文，报道称苹果研究团队开源 SlowFast-LLaVA-1.5 长视频多模态大语言模型，在 1B、3B、7B 参数规模下，均刷新 LongVideoBench、MLVU 等 SOTA 基准纪录。
IT之家援引博文介绍，当前大语言模型在处理和理解视频方面，通用做法是在 AI 预训练中集成视频感知，但这种做法存在以下 3 重局限性：
-
现有模型往往严重依赖长上下文窗口，而处理时通常会遇到大量冗余帧，易超出上下文窗口限制，从而丢失信息。
-
大多数训练需要复杂的多阶段训练管道（通常使用私有数据集），难以重现。
-
许多模型仅针对视频任务优化，限制了在图像的理解，从而降低通用模型的实用性。
苹果公司针对上述 3 个局限性，首先研究推出了 SlowFast-LLaVA 开源模型，最大的亮点是创新双流（two-stream）设置，其中“慢流”选取少量高分辨率帧捕捉场景细节，“快流”选取更多低分辨率帧追踪运动变化。
苹果进一步在开源模型 SlowFast-LLaVA 模型上，通过微调图像模型，进一步增强视觉推理能力，再联合图像与视频训练，保留图像理解优势，推出了 SlowFast-LLaVA-1.5 版本。
在设计上，SF-LLaVA-1.5 将输入视频帧数固定为 128，其中快流 96 帧，慢流 32 帧，适配各种时长视频。这种方法虽可能漏掉关键帧或影响播放速度判断，但显著降低了计算和显存需求。研究团队指出，可通过引入内存优化技术（如随机反向传播）进一步改进，但需解决高显存占用问题。
测试显示，该模型在长视频基准 LongVideoBench、MLVU 上均取得新纪录，而且 1B 版本也能领先竞争对手。同时，它在知识问答、数学推理、OCR 等图像相关任务上表现出色，实现视频与图像的通用理解能力。
该项目完全基于公开数据集训练，方便学术与产业复现，并已在 GitHub 与 Hugging Face 开源。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。
来源于：https://www.ithome.com/0/877/514.htm 如有侵权请联系我们
猜你喜欢
2025-07-04
全新上汽奥迪A5L Sportback开...
全新上汽奥迪A5LSportback开启预售，分为5款车型，豪华型、尊享quattro型、首发限量版，以及标配华为乾崑智驾技术的智领型和智领quattro型，限...
READ MORE
2025-08-13
安吉丽娜·朱莉×道格·里曼！出演电影《主...
据外媒报道，安吉丽娜·朱莉将与《史密斯夫妇》的老搭档道格·里曼再度合作，出演一部间谍惊悚片《主动出击》（TheInitiative），环球影业正在洽谈接手这个热...
READ MORE
2025-08-10
男子发评论被拘后翻案 官方调查 两年曲折...
2025年6月25日，49岁的湖南湘阴人肖新良收到了一份期待已久的判决，这份判决撤销了他曾接受的行政拘留处罚。从2023年7月开始，经历两年时间，两次上诉，三次...
READ MORE
2025-08-09
莫迪与普京通话讨论俄乌冲突等问题 重申和...
当地时间8日晚间，印度总理莫迪与俄罗斯总统普京进行了电话交谈。普京简要介绍了乌克兰问题的最新进展，莫迪重申了对于和平解决冲突的一贯立场。双方领导人重申致力于进一...
READ MORE
2025-08-07
从 DeepSeek-V3 到 Kimi...
选自 Ahead of AI 作者：Sebastian Raschka 机器之心编译 自首次提出 GPT 架构以来，转眼已经过去了七年。 如果从 2019 年的...
READ MORE最新发布
-
全新上汽奥迪A5L Sportback开启预售 限时臻享26...
综合新闻, 2025-07-04 -
安吉丽娜·朱莉×道格·里曼！出演电影《主动出击》
综合新闻, 2025-08-13 -
男子发评论被拘后翻案 官方调查 两年曲折终获清白
综合新闻, 2025-08-10 -
莫迪与普京通话讨论俄乌冲突等问题 重申和平解决立场
综合新闻, 2025-08-09 -
从 DeepSeek-V3 到 Kimi K2 ，一文看懂 ...
综合新闻, 2025-08-07
