科技中国

AI
业界 手机 电脑 数码 智车 AI 苹果 直播
当前位置: 首页 > AI > 正文

英伟达发布 Eagle 2.5 视觉语言AI大模型:8B参数堪比GPT-4o

2025-04-24 09:47:12 来源:IT之家 A+A-

4 月 23 日消息,科技媒体 mARktechpost 昨日(4 月 22 日)发布博文,报道称英伟达最新推出 Eagle 2.5,一款专注于长上下文多模态学习的视觉-语言模型(VLM)。

该模型专注于理解大规模视频和图像,尤其擅长处理高分辨率图像和长视频序列。尽管参数规模仅为 8B,Eagle 2.5 在 Video-MME 基准测试(512 帧输入)中得分高达 72.4%,媲美 Qwen2.5-VL-72B 和 InternVL2.5-78B 等更大规模模型。

创新训练策略

Eagle 2.5 的成功离不开两项关键训练策略:信息优先采样(Information-First Sampling)和渐进式后训练(PROGressive Post-TrAIning)。

信息优先采样通过图像区域保留(IAP)技术,保留超过 60% 的原始图像区域,同时减少宽高比失真;自动降级采样(ADS)则根据上下文长度动态平衡视觉和文本输入,确保文本完整性和视觉细节的优化。

渐进式后训练逐步扩展模型上下文窗口,从 32K 到 128K token,让模型在不同输入长度下保持稳定性能,避免过拟合单一上下文范围。这些策略结合 SigLIP 视觉编码和 MLP 投影层,确保了模型在多样化任务中的灵活性。

定制数据集

Eagle 2.5 的训练数据管道,整合了开源资源和定制数据集 Eagle-Video-110K,该数据集专为理解长视频设计,采用双重标注方式。

自上而下的方法采用故事级分割,结合人类标注章节元数据、GPT-4 生成的密集描述;自下而上的方法则利用 GPT-4o 为短片段生成问答对,抓取时空细节。

通过余弦相似度(cosine similarity)筛选,数据集强调多样性而非冗余,确保叙事连贯性和细粒度标注,显著提升了模型在高帧数(≥128 帧)任务中的表现。

性能表现

Eagle 2.5-8B 在多项视频和图像理解任务中表现出色。在视频基准测试中,MVBench 得分为 74.8,MLVU 为 77.6,LongVideoBench 为 66.4;在图像基准测试中,DocVQA 得分为 94.1,ChartQA 为 87.5,InfoVQA 为 80.4。

消融研究(Ablation studies)表明,IAP 和 ADS 的移除会导致性能下降,而渐进式训练和 Eagle-Video-110K 数据集的加入则带来更稳定的提升。

附上参考地址

  • Eagle 2.5: Boosting Long-Context Post-Training for Frontier Vision-Language Models

  • GitHub 页面

  • 项目页面

(责任编辑:Diy92)

推荐阅读 相关文章

豆包上线视频通话功能:支持实时问答互动,具备视觉理解能力

5月23日消息,从豆包公众号获悉,豆包今日宣布在 App 端上线实时视频通话功能,用户在“...[详细]

2025-05-25 10:51:15

今年前4月我国智能家居类消费品新增3万种,同比增长1985.5%

5月23日消息,市场监管总局今日发布统计数据,今年1—4月,我国消费品新增809.8万种,同比...[详细]

2025-05-25 10:51:15

联想展出国内首个轮胎 AI 质检智能体方案,效率较人工提升1.5倍

5月23日消息,据联想官方今日消息,在上周的2025中国国际橡胶轮胎暨汽车配件展览会上,...[详细]

2025-05-25 10:51:15

京东内部的智能体数量已超1.4万个,JoyAgent2.0发布

5月23日消息,京东云城市大会于5月20日在上海举行,京东云发布 JoyAgent 智能体2.0。...[详细]

2025-05-25 10:51:15

0.103秒!全球最快魔方机器人问世,解魔方比眨眼还快

5月23日消息,科技媒体 scitechdaily 昨日发布博文,报道称来自普渡大学的工程团队研...[详细]

2025-05-25 10:51:15

据称 Meta公司正计划投资Scale AI,价值预计超过100亿美元

6月8日消息,彭博社今日报道称,Meta 正在就投资 AI 初创公司 Scale AI 进行谈判,这笔...[详细]

2025-06-10 07:22:44

“氪星科技中国造”:DC《超人》电影角色“机器人4号”搭载脉塔智能关节模组

6月8日消息,DC 电影官方微博上月发文宣布,DC 影业首部大银幕作品《超人》内地定档 7...[详细]

2025-06-10 07:22:44

首月仅需1美元,ChatGPT Team 会员美/英/欧/澳迎优惠

6月8日消息,ChatGPT Team订阅现已在美区/英区/欧洲区/澳洲区迎来限时优惠,任何 IP ...[详细]

2025-06-10 07:22:44

ChatGPT 高级语音模式再次升级:更有“人情味”,新增加多国语言翻译功能

6月8日消息,ChatGPT 针对其付费用户升级了其高级语音模式,此次更新在语音语调、自然...[详细]

2025-06-10 07:22:44

英国法院警告:律师若引用虚假的 AI 获取内容,不排除面临严厉处罚的可能性

6月8日消息,英格兰和威尔士高等法院表示,律师需要采取更有力的措施,防止在工作中滥用...[详细]

2025-06-10 07:22:44

联系方式