天气 
2025-07-24
IT之家 7 月 24 日消息，科技媒体 NeoWin 今天（7 月 24 日）发布博文，报道称苹果公司携手剑桥大学，提出一种新的 AI 评估系统，通过引入外部验证工具增强 AI 评审员的能力，以提高评审质量。
在评估大语言模型（LLM）时，研究人员和开发者越来越多地借助 AI 力量，这种方式也称为“LLM-as-a-judge”。不过这种方式也存在诸多挑战，在长篇事实核查、高级编码和数学问题等复杂任务中，评估质量往往会下降。
苹果携手剑桥大学发表了一篇新研究论文，概述了一种新系统，通过为 AI 评审员配备外部验证工具，以提高其评审质量，从而克服人类和 AI 注释中的局限性。
人类评审员由于时间限制、疲劳以及更倾向于写作风格而非事实准确性，面临挑战和偏见，而 AI 在上述复杂任务上则遇到困难。
研究人员创建的评估代理是具有自主性的，它能够评估响应以确定是否需要外部工具，并使用正确的工具。每个评估都经过三个主要步骤：初始领域评估、工具使用和最终决策。
事实核查工具使用网络搜索来验证响应中的原子事实；代码执行利用 OpenAI 的代码解释器运行并验证代码的正确性；数学核查工具是代码执行工具的一个专门版本，用于验证数学和算术运算。
如果发现没有工具对判断有帮助，系统将使用基线 LLM 注释器，以避免在简单任务上不必要的处理和潜在的绩效回归。
IT之家附上参考地址
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。
来源于：https://www.ithome.com/0/870/351.htm 如有侵权请联系我们
猜你喜欢
2025-07-04
全新上汽奥迪A5L Sportback开...
全新上汽奥迪A5LSportback开启预售，分为5款车型，豪华型、尊享quattro型、首发限量版，以及标配华为乾崑智驾技术的智领型和智领quattro型，限...
READ MORE
2025-07-01
香港回归祖国28周年 同心携手创辉煌
6月30日，香港体育馆举办了庆祝香港回归祖国28周年的活动启动仪式。此次活动主题为“同心携手创辉煌 由治及兴谱新篇”。 香港特区行政长官李家超在启动礼上致辞表示...
READ MORE
2025-06-27
DOTA2青训计划开启，迎接赛事黄金时代
在CNDOTA2电竞生态即将迎来变革的2025年，XG老板杨一清正在以破釜沉舟的姿态重塑人才培养体系，于6月26日与亚运冠军教练张志成...
READ MORE
2025-06-27
《神奇4侠》曝终极预告 神奇先生×隐形女...
6月26日，MCU漫威电影宇宙第六阶段开篇作《神奇4侠：初露锋芒》（TheFantasticFour:FirstSteps）发布终极预告及海报，由马特·沙克曼执...
READ MORE
2025-07-04
无主之地4真会玩！成都郑州北京彩蛋接连整...
众所周知,无主之地系列一直是国内玩家的忠实“舔狗”,三代在2019年就上了全中文配音,国区定价全球最低,四代也是同款套餐跟上!
READ MORE最新发布
-
全新上汽奥迪A5L Sportback开启预售 限时臻享26...
综合新闻, 2025-07-04 -
香港回归祖国28周年 同心携手创辉煌
综合新闻, 2025-07-01 -
DOTA2青训计划开启，迎接赛事黄金时代
综合新闻, 2025-06-27 -
《神奇4侠》曝终极预告 神奇先生×隐形女宝宝亮相
综合新闻, 2025-06-27 -
无主之地4真会玩！成都郑州北京彩蛋接连整活，上海BW终极一“...
综合新闻, 2025-07-04
