评估大模型智能体推理能力的7大关键基准
随着 AI 智能体从研究演示逐步走向生产部署,如何有效评估其实际性能成为行业关键问题。传统的困惑度和 MMLU 排行榜分数已难以真实反映模型在复杂现实场景中的表现。 文章指出,评估模型能否顺利浏览真实网站、解决 GitHub 问题或可靠处理客户服务,需要更具针对性的测试标准。本文梳理了 7 个对大语言模型智能体推理能力真正具有重要意义的基准测试,为开发者与研究者提供了更贴合实际应用的评估参考。
随着 AI 智能体从研究演示逐步走向生产部署,如何有效评估其实际性能成为行业关键问题。传统的困惑度和 MMLU 排行榜分数已难以真实反映模型在复杂现实场景中的表现。 文章指出,评估模型能否顺利浏览真实网站、解决 GitHub 问题或可靠处理客户服务,需要更具针对性的测试标准。本文梳理了 7 个对大语言模型智能体推理能力真正具有重要意义的基准测试,为开发者与研究者提供了更贴合实际应用的评估参考。
OpenAI CEO萨姆·奥特曼致信加拿大坦布勒里奇(Tumbler Ridge)社区居民,就公司未能向执法部门预警近期大规模枪击案嫌疑人表示“深感抱歉”。此前,18岁嫌疑人Jesse Van Rootselaar涉嫌杀害8人。 据悉,OpenAI曾于2025年6月因该嫌疑人描述枪支暴力场景而标记并封禁其ChatGPT账户。公司内部曾就是否报警进行讨论,但最终决定不报警,直至枪击案发生后才联系加拿大当局。 奥特曼在信中表示,公司正改进安全协议,包括制定更灵活的标准以决定何时将...
Anthropic近期进行了一项名为“Project Deal”的实验,创建了一个由AI代理代表买卖双方的分类广告测试市场。在该市场中,AI代理使用真实的资金就真实的商品达成交易。 此次试点共有69名Anthropic员工参与,每人获得100美元预算。实验共达成186笔交易,总价值超过4000美元。Anthropic表示,共运行了四个采用不同模型的市场,其中一个为“真实”市场,使用最先进的模型且交易在实验后兑现。 实验结果显示,使用更先进模型代理的用户能获得“客观上更好的结果...
TechCrunch 2026年首场StrictlyVC活动将于4月30日在旧金山举行,Uber CTO Praveen Neppalli Naga确认加入演讲阵容。他将与TechCrunch主编探讨在AI时代如何实现规模化运营,以及在AI革命背景下构建复杂系统的经验。 Naga自2015年起在Uber任职,长期负责复杂系统的构建,并专注于为平台司机和外卖员开发收入系统。此外,本次活动还邀请了多位AI领域的重要嘉宾。 其他演讲者包括Eclipse创始人兼CEO Lior Su...
Meta已与亚马逊签署协议,将使用数百万颗AWS Graviton芯片来满足其日益增长的AI需求。值得注意的是,AWS Graviton是一款基于ARM架构的CPU,而非通常用于大模型训练的GPU。 这一举措反映了AI芯片需求的新趋势:尽管GPU仍是训练大模型的首选,但基于大模型构建的AI智能体在实时推理、代码编写、搜索及多步任务协调等方面产生了密集的计算需求,促使芯片需求发生转变。亚马逊表示,最新版本的Graviton正是专为处理此类AI计算需求而设计的。 此次交易也将Me...
4月24日,美团新一代基础大模型 LongCat 2.0 Preview 正式开放测试。该模型总参数规模突破万亿,跻身全球顶尖大模型行列。同日,DeepSeek 发布的新一代 V4 大模型,其总参数量和激活参数量与美团该模型基本一致。 值得注意的是,LongCat 2.0 Preview 的训练与推理全程依托国产算力集群完成。训练阶段动用的算力卡数量在 5 万至 6 万张之间,这也是迄今为止在国产算力上完成的规模最大的大模型训练任务。
AI模型正越来越多地依赖实时、连续的数据流来解读市场行为,加密货币市场是典型的应用场景。与传统静态数据集不同,加密货币市场的价格和交易数据持续更新且波动剧烈,这为AI模型带来了挑战,但也提供了更多可解读的信号。实时数据使系统能够捕捉最新变化,而非依赖过时的假设。 据Binance洞察数据,以太坊日交易量已达约300万笔,活跃地址超100万个;2025年底加密货币总市值约为3万亿美元。面对如此高频的数据环境,AI模型需要处理非线性的市场行为,例如在负Gamma环境下价格波动的自...
4月24日,针对美方指责中国“偷窃”美国人工智能实验室知识产权的言论,外交部发言人郭嘉昆在例行记者会上予以驳斥。 郭嘉昆表示,美方有关说法毫无根据,是对中国人工智能产业发展成就的污蔑抹黑,中方对此坚决反对。 中方敦促美方尊重事实,摒弃偏见,停止对华科技遏压,多做有利于两国科技交流与合作的事。
4月24日,Anthropic与NEC Corporation宣布达成战略合作。NEC将使用Claude构建日本最大的AI原生工程组织之一,并向全球约3万名NEC集团员工提供该模型。同时,NEC成为Anthropic首个位于日本的全球合作伙伴。 双方将共同为日本市场开发安全且针对特定行业的AI产品,首批工具将面向金融、制造和地方政府领域。目前,NEC已将Claude整合至其安全运营中心服务和下一代网络安全服务中,以应对日益复杂的网络威胁。 此外,Claude(包括Claude...
2026年首场StrictlyVC活动将于4月30日在旧金山Sentro Filipino Cultural Center举办,汇聚风险投资人与初创企业创始人进行深度交流。 Eclipse创始人兼CEO Lior Susan确认出席,其近期筹集13亿美元专项投资“物理AI”初创企业,届时将分享数字AI与物理世界融合的自主性愿景。Replit CEO Amjad Masad将探讨AI驱动的软件开发范式变革;Forum AI CEO Campbell Brown将围绕构建可信AI...
NASA宣布将于2026年9月提前8个月发射南希·格雷斯·罗曼空间望远镜,预计其生命周期内将交付2万太字节(TB)的数据。加上詹姆斯·韦伯空间望远镜每日下传的57GB数据,以及薇拉·鲁宾天文台预计每晚收集的20TB数据,天文学正迎来数据量的爆炸式增长。 面对海量数据,天文学家正转向GPU和AI技术进行处理。加州大学圣克鲁兹分校天体物理学家Brant Robertson等人开发了深度学习模型Morpheus,用于在大型数据集中识别星系。目前,该模型正从卷积神经网络架构转向Tra...
OpenAI首席执行官Sam Altman近日在Core Memory播客节目中指责竞争对手Anthropic利用“恐惧营销”推广其新模型Claude Mythos。Altman表示,这种基于恐惧的营销手法旨在将AI技术保留在少数人手中。他比喻称:“这就好比说‘我们造了一颗炸弹,即将砸到你头上,我们可以卖给你一个1亿美元的防空洞,但前提是我们选中你作为客户’。” Anthropic此前因Claude Mythos在识别软件漏洞和执行复杂网络行动方面的强大能力,决定不公开发布该...
Sony AI开发的自主乒乓球机器人Ace在正规比赛中击败高水平人类选手。该系统属于“实体AI”范畴,比赛遵循国际乒联规则。在2025年4月的测试中,Ace对阵精英选手取得3胜2负,并于2025年底至2026年初击败职业选手。相关研究已发表于《Nature》。 Ace配备9个同步摄像头与3套视觉系统追踪球路及旋转,处理速度超越人眼极限。其机械臂通过8个关节控制球拍。与模仿人类打法的AI不同,Ace通过模拟环境自我训练,形成独特策略。职业选手反馈,因机器人缺乏情绪与肢体暗示,其...
谷歌在Cloud Next大会上宣布对其生产力套件Workspace进行一系列重大更新,重点整合了全新的AI自动化工具,旨在帮助办公人员减少繁琐的日常工作。此次更新引入了名为“Workspace Intelligence”的全新AI系统,该系统可接入用户的Gmail、日历、Chat和Drive数据,以提供跨任务自动化协助。用户拥有管理控制权,可随时限制AI对特定数据源的访问。 在Google Sheets方面,Gemini新增了多项功能。用户可通过提示词让Gemini自动构建...
巴黎AI原生咨询公司负责人Olivier Chaduteau指出,法律行业的AI应用正经历三个阶段:初期律师认为AI与专业工作无关;随后机构购买大语言模型(LLM)许可仅为向合伙人或客户展示;目前市场已进入第三阶段,律所开始真正将AI工具投入实际运营。 在运营层面,律所需重点关注变革管理、优化运营模式及改革商业模式。这要求重写工作流程、对律师进行再培训、制定AI使用标准并明确人工审核环节。此外,AI的引入正在削弱律师工作时间与收入之间的关联,传统的按小时计费和成本加成定价模式...
人工智能正成为金融市场的重要驱动力,外汇交易领域尤为明显。AI驱动的外汇机器人正逐步取代传统的静态规则算法,转向能够处理海量市场数据并识别人工难以察觉模式的自动化系统。与早期仅依赖预设规则的机器人不同,现代AI系统具备数据驱动学习、适应性调整和持续改进的能力。 现代外汇机器人集成了多种核心AI技术:机器学习模型用于分析历史数据并生成预测信号;自然语言处理(NLP)可扫描财经新闻和央行公告以识别市场情绪变化;深度学习架构用于评估技术指标与价格走势的复杂关系;强化学习则通过试错机...
OpenAI 近日开源了名为 Euphony 的浏览器端可视化工具,旨在帮助开发者解决 AI 智能体调试难题。面对多步骤运行的智能体,开发者通常需处理冗长晦涩的原始 JSON 数据,而 Euphony 可将 Harmony 对话格式与 Codex 会话日志转化为清晰、可交互的对话时间轴视图。 该工具专为 OpenAI 的 Harmony 格式及 Codex 会话 JSONL 文件设计,支持自动格式检测与渲染。用户可通过剪贴板粘贴、本地文件导入或 URL 链接加载数据。Euph...
MarkTechPost 发布最新技术教程,详细演示了如何使用 Hyperopt 与树状结构 Parzen 估计器(TPE)算法构建高级贝叶斯超参数优化工作流。该实现通过构建条件搜索空间,支持在逻辑回归与 SVM 等不同模型族间动态切换,展示了处理分层参数图的能力。工作流结合 scikit learn 管道与交叉验证构建生产级目标函数,并引入早停机制与 Trials 对象分析,形成了一套可扩展、可复现的超参数调优框架,适用于深度学习及分布式环境。
Meta正在为其AI模型寻找新的训练数据来源:公司内部员工。该公司计划收集员工的鼠标移动和键盘敲击数据,以构建更强大、更高效的人工智能。此举凸显了科技公司在寻找AI训练数据时所采取的极端手段。 Meta发言人表示,为了构建帮助人们使用计算机完成日常任务的AI代理,模型需要人们实际使用计算机的真实示例,如鼠标移动、点击按钮和导航下拉菜单。为此,Meta正在推出一款内部工具,用于捕获特定应用程序上的此类输入。该发言人强调,目前已采取保护措施以保护敏感内容,且数据不会用于其他目的。...
据报道,一个未经授权的群体获得了 Anthropic 新推出的网络安全工具 Mythos 的访问权限。该工具专为企业安全设计,但 Anthropic 曾警告其若落入不当之手可能成为强大的黑客工具。 彭博社报道称,该群体通过第三方供应商环境获得了访问权限,并根据 Anthropic 过往模型的格式推测出了其在线位置。该群体成员来自一个专注于探索未发布 AI 模型的 Discord 频道,他们声称仅出于好奇测试并无恶意破坏意图,并提供了截图和现场演示作为证据。 Anthropic...
约翰·特努斯即将接替蒂姆·库克出任苹果CEO,执掌这家市值约4万亿美元的科技巨头。然而,他将继承一系列复杂的挑战,包括悬而未决的AI战略、反垄断诉讼以及地缘政治博弈。库克将转任执行董事长,继续协助处理复杂的地缘政治关系。 在诸多挑战中,AI是特努斯面临的最紧迫问题。苹果AI主管约翰·詹南德雷亚已于本月离职,更强大的AI版Siri屡次延期。目前,苹果不得不依赖谷歌Gemini和OpenAI的ChatGPT来支持部分Apple Intelligence功能。分析师指出,特努斯的最...
据报道,AI平台Clarifai已删除其从OkCupid获取的用于训练面部识别AI的300万张照片,并删除了使用该数据训练的所有模型。此举是在Clarifai与美国联邦贸易委员会(FTC)达成和解后进行的。 根据FTC的调查,Clarifai于2014年向OkCupid索要数据,OkCupid随后提供了用户上传的照片以及人口统计和位置数据。然而,OkCupid自身的隐私政策本应禁止此类行为。法庭文件显示,Clarifai创始人兼CEO Matthew Zeiler曾在邮件中对...
YouTube宣布将其“肖像检测”技术扩展至娱乐行业,涵盖人才经纪公司、管理公司及其代理的名人。该机制类似现有的Content ID系统,但专用于识别AI生成的深度伪造面部,旨在帮助公众人物防止身份被未经授权使用(如诈骗广告)。 该技术无需名人拥有YouTube频道即可接入,系统会自动扫描AI生成内容以匹配已注册者的面部特征。发现违规后,权利人可选择以隐私政策违规为由要求下架、提交版权移除请求或暂不处理。CAA、UTA、WME等头部经纪机构已参与反馈并支持该工具。YouTub...
谷歌宣布在七个新市场推出 Chrome 浏览器中的 Gemini 功能,包括澳大利亚、印度尼西亚、日本、菲律宾、新加坡、韩国和越南。除日本仅限桌面端外,其余国家的桌面端和 iOS 端均已支持该功能。 Chrome 内置的 Gemini 侧边栏助手可帮助用户跨标签页解答问题,并支持连接 Gmail 和 Google 相册等服务以提供个性化回答。用户还能通过该功能调用日历安排会议、查看地图位置、起草发送邮件,以及处理网页图像。 该功能此前已于今年 1 月面向美国用户上线,3 月扩...
“不仅是……更是……”(It's not just this — it's that)的句式在AI生成的文本中变得极为普遍,如今已成为判断文章是否由AI撰写的显著标志。据《巴伦周刊》报道,市场情报公司AlphaSense的数据库扫描显示,这种句式在企业新闻稿、财报和政府文件中的使用频率急剧上升。 数据显示,该句式的使用量从2023年的约50次激增至2025年的200多次,增幅超过四倍。思科、埃森哲、Workday、麦肯锡以及微软等公司的公开声明和博文中均出现了此类表达。 此外...
据报道,美国国家安全局(NSA)正在使用 Anthropic 近期推出的受限版 AI 模型 Mythos Preview。该模型专为网络安全任务设计,但因具备较强的网络攻击能力,Anthropic 未将其公开发布,仅向约 40 家机构开放权限,NSA 疑似为未公开的接收方之一。 据悉,NSA 主要利用 Mythos 扫描环境中的可利用漏洞。英国 AI 安全研究所也已确认获得该模型访问权。值得注意的是,NSA 的上级机构美国国防部此前刚将 Anthropic 列为“供应链风险”...
AI核能初创公司Fermi宣布,联合创始人兼首席执行官Toby Neugebauer和首席财务官Miles Everson已突然离职。受此消息影响,该公司股价周一下跌22%。Neugebauer已辞去董事长职务,但仍留在董事会;首席独立董事Marius Haas接任董事长一职。Everson则因相关信托行使董事指定权而被选为董事会董事。 Fermi由前美国能源部长Rick Perry联合创立,目前正在德克萨斯州阿马里洛开发名为“Project Matador”的AI园区,计划...
传统表格数据处理多依赖Random Forest、XGBoost和CatBoost等基于决策树的模型。近期,TabPFN提出了一种新方法,通过在数百万合成表格任务上进行预训练,利用上下文学习直接进行预测,无需针对特定数据集进行迭代训练。 在一项包含5000个样本的合成数据集测试中,TabPFN实现了98.8%的准确率,高于Random Forest的95.5%和CatBoost的96.7%。同时,TabPFN的拟合时间仅为0.47秒,远低于前两者的9.56秒和8.15秒。 然...
传统大语言模型(LLM)推理受限于高带宽RDMA网络,预填充(Prefill)与解码(Decode)通常被限制在同一数据中心内。月之暗面(Moonshot AI)与清华大学研究人员近日提出Prefill as a Service(PrfaaS)跨数据中心服务架构,打破这一物理限制。 该架构将长上下文预填充任务选择性卸载至独立的高算力集群,并通过商用以太网将生成的KVCache传输至本地集群进行解码。其可行性得益于混合注意力模型(如Kimi Linear、Qwen3.5等)的普...
尽管美国国防部高层坚称 Anthropic 公司构成「供应链风险」,美国国家安全局目前仍在使用该公司迄今最强大的模型「Mythos 预览版」。 有消息指出,Mythos 模型在国防部内部的使用范围可能更广。虽然国安局的具体用途尚不明确,但其他获授权访问该模型的组织主要利用它来扫描自身环境中的可利用安全漏洞。 由于认为 Mythos 的进攻性网络能力过于危险,不宜更广泛发布,Anthropic 将其访问权限限制在约 40 个组织内,且仅公布了其中 12 个。国安局正是拥有访问权...