天气 
2026-03-21
科技博主Avi Chawla在X上发了一条长帖，详细拆解了月之暗面Kimi团队刚刚发布的一篇技术报告。帖子发出后不久，马斯克回复说：“月之暗面做出了令人印象深刻的结果”。马斯克在AI领域的表态向来以挑剔著称，甚至曾批评过Anthropic和OpenAI。他自己的xAI最近也在经历大规模重组，多位华人联合创始人离职，Grok的表现也不尽如人意。然而，在这个关键时刻，他对一家中国AI公司的技术论文表示认可，确实出人意料。
被马斯克点赞的这篇论文实际上是一篇纯粹的技术论文，它提出了一种新的方式，试图替换掉Transformer架构里一个自2015年以来几乎没人动过的基础组件。尽管普通用户可能不会直接感受到这篇论文的影响，但它触及了整个深度学习的基石。
要理解这篇论文的内容，需要了解现代大语言模型，无论是GPT、Claude还是国内的一些模型，其底层架构都是Transformer。Transformer之所以能训练到几十层甚至上百层而不崩溃，是因为“残差连接”机制在起作用。残差连接的原理是每一层网络在做完计算后，将自己的输出和输入加在一起传到下一层，这样梯度在反向传播时可以直达底层，不会因为层数太深而消失。但这种“加法”是完全平等的，导致早期层的信息逐渐被稀释，后期层的信息变得不稳定，这就是所谓的“PreNorm稀释”。
Kimi团队注意到这个问题，并提出了一种新的方法——全注意力残差。具体做法是给每一层赋予一个可学习的查询向量，这个向量会对之前所有层的输出做一次注意力计算，产生一组归一化的权重。当前层的输入不再是之前所有层输出的简单求和，而是按照这组权重的加权组合。然而，全注意力残差在实际应用中存在内存和通信开销问题，因此他们又提出了块注意力残差，将所有层分成若干个块，每个块内部使用传统的残差连接，块与块之间使用注意力机制选择性聚合。这样只需要存储和传输每个块的汇总表示，大大降低了内存占用。
猜你喜欢
2025-06-27
年薪2亿欧仍为足坛第一！40岁C罗继续征...
6月26日，据FIFA国际足联消息，40岁的葡萄牙前锋C罗已与沙特联球队利雅得胜利完成续约。C罗于2023年转会加盟利雅得胜利，至今共代表球队出场105次，贡献...
READ MORE
2025-10-24
人民日报点赞“卷尺哥” 城市治理新标杆
近日，深圳一位热心市民“卷尺哥”引起了广泛关注。从2023年3月起，他带着一把卷尺，在深圳的大街小巷穿梭，专门寻找公共设施的问题。令人惊讶的是，他指出的每个问题...
READ MORE
2025-07-01
钟睒睒34亿投资山西女首富 布局重组胶原...
当华熙生物与巨子生物在重组胶原蛋白领域的竞争稍歇，前首富钟睒睒已悄然进入这一赛道。锦波生物发布公告称，其向钟睒睒旗下养生堂定向发行股份募资不超过20亿元，同时创...
READ MORE
2025-07-01
37岁男子糖尿病7年不重视致截肢失明 忽...
37岁男子糖尿病7年不重视致截肢失明 忽视并发症酿悲剧！近日，福建一名37岁的陈先生因长期忽视糖尿病管理而遭受严重后果。七年前，陈先生被确诊为糖尿病患者，但他并...
READ MORE
2025-07-01
湖北咸丰暴雨公交停运学校停课 当地已紧急...
7月1日，湖北恩施咸丰遭遇特大暴雨袭击，咸丰县城4时断电，目前抢修中，当地已紧急转移8000余人。 据咸丰县教育局综合办公室消息，城区学校（含曲江）各走读制学校...
READ MORE最新发布
-
年薪2亿欧仍为足坛第一！40岁C罗继续征战沙特联，续约2年至...
国际新闻, 2025-06-27 -
人民日报点赞“卷尺哥” 城市治理新标杆
国际新闻, 2025-10-24 -
钟睒睒34亿投资山西女首富 布局重组胶原蛋白赛道
国际新闻, 2025-07-01 -
37岁男子糖尿病7年不重视致截肢失明 忽视并发症酿悲剧
国际新闻, 2025-07-01 -
湖北咸丰暴雨公交停运学校停课 当地已紧急转移8000余人
国际新闻, 2025-07-01
