中国科技网

AI
手机 电脑 数码 智车 AI 苹果 直播
当前位置: 首页 > AI > 正文

英伟达发布 Eagle 2.5 视觉语言AI大模型:8B参数堪比GPT-4o

2025-04-24 09:47:12 来源:IT之家 A+A-

4 月 23 日消息,科技媒体 mARktechpost 昨日(4 月 22 日)发布博文,报道称英伟达最新推出 Eagle 2.5,一款专注于长上下文多模态学习的视觉-语言模型(VLM)。

该模型专注于理解大规模视频和图像,尤其擅长处理高分辨率图像和长视频序列。尽管参数规模仅为 8B,Eagle 2.5 在 Video-MME 基准测试(512 帧输入)中得分高达 72.4%,媲美 Qwen2.5-VL-72B 和 InternVL2.5-78B 等更大规模模型。

创新训练策略

Eagle 2.5 的成功离不开两项关键训练策略:信息优先采样(Information-First Sampling)和渐进式后训练(PROGressive Post-TrAIning)。

信息优先采样通过图像区域保留(IAP)技术,保留超过 60% 的原始图像区域,同时减少宽高比失真;自动降级采样(ADS)则根据上下文长度动态平衡视觉和文本输入,确保文本完整性和视觉细节的优化。

渐进式后训练逐步扩展模型上下文窗口,从 32K 到 128K token,让模型在不同输入长度下保持稳定性能,避免过拟合单一上下文范围。这些策略结合 SigLIP 视觉编码和 MLP 投影层,确保了模型在多样化任务中的灵活性。

定制数据集

Eagle 2.5 的训练数据管道,整合了开源资源和定制数据集 Eagle-Video-110K,该数据集专为理解长视频设计,采用双重标注方式。

自上而下的方法采用故事级分割,结合人类标注章节元数据、GPT-4 生成的密集描述;自下而上的方法则利用 GPT-4o 为短片段生成问答对,抓取时空细节。

通过余弦相似度(cosine similarity)筛选,数据集强调多样性而非冗余,确保叙事连贯性和细粒度标注,显著提升了模型在高帧数(≥128 帧)任务中的表现。

性能表现

Eagle 2.5-8B 在多项视频和图像理解任务中表现出色。在视频基准测试中,MVBench 得分为 74.8,MLVU 为 77.6,LongVideoBench 为 66.4;在图像基准测试中,DocVQA 得分为 94.1,ChartQA 为 87.5,InfoVQA 为 80.4。

消融研究(Ablation studies)表明,IAP 和 ADS 的移除会导致性能下降,而渐进式训练和 Eagle-Video-110K 数据集的加入则带来更稳定的提升。

附上参考地址

  • Eagle 2.5: Boosting Long-Context Post-Training for Frontier Vision-Language Models

  • GitHub 页面

  • 项目页面

(责任编辑:Diy92)

推荐阅读 相关文章

训练时间可缩短一半,阿里云正式推出自驾模型加速框架PAI-TurboX

6月23日消息,阿里云今日宣布推出面向自动驾驶领域模型的训练、推理加速框架PAI-TurboX。据介绍,该框架可提升...[详细]

2025-06-25 09:37:18

小米:我们无计划造油车

6月23日消息,今日有网友在小米创办人、董事长兼CEO雷军的评论区询问:"雷总,咱啥时候组建车队?",雷军回复称:"这是...[详细]

2025-06-25 09:37:18

广汽三大自主品牌即将推出赛马机制,但资源不会平均分配

6月23日消息,据第一财经报道,广汽集团董事长、总经理冯兴亚上周就广汽集团改革等多个热点话题进行了回应。过...[详细]

2025-06-25 09:37:18

李想、雷军互发“贺电”,分别祝贺小米 YU7、理想 i8销量大卖

6月23日消息,今天中午,雷军在微博上介绍了小米首款SUV"为何不是最热门的6座车"。随后,理想汽车CEO李想转发这则...[详细]

2025-06-25 09:37:18

据称自动驾驶科技公司文远知行已悄悄提交香港上市申请

6月23日消息,据界面新闻今日援引知情人士消息,自动驾驶科技公司文远知行已秘密提交香港上市申请。查询获悉,文...[详细]

2025-06-25 09:37:18

小米 澎湃OS3系统将支持NFC刷卡上岛 拓展便捷交互解锁智慧场景新体验

8月28日消息,小米澎湃OS3系统今日正式发布,小米产品总监MIUI/HyperOS体验总负责人金...[详细]

2025-12-24 14:04:05

荣耀 MagicOS10.0系统将支持更多产品开关智慧运存功能 主打听劝优化个性流畅体验

8月28日消息,目前各手机厂商已开启新系统的预热,小米在今日便推出了澎湃HyperOS3系...[详细]

2025-12-24 14:04:05

大眼橙 C3Air/C3D/C3Ultra 系列投影仪发布 轻携高清多场景畅享 预售专享价699元起

8月28日消息,大眼橙投影今日发布了C3系列投影仪新品,包括C3Air、C3D、C3Ultra 三款,...[详细]

2025-12-24 14:04:05

小米 澎湃OS3系统“手表”部分功能预计10月陆续开始推送

8月28日消息,小米澎湃OS3系统今日正式发布,官方在发布会的最后公布了Beta 版推送计...[详细]

2025-12-24 14:04:05

大疆发布DJIMic3进阶迷你无线麦克风 支持最高4发8收 1299元起

8月28日消息,大疆今日发布DJIMic3进阶迷你无线麦克风,售价1299元起。轻巧易用,一体收...[详细]

2025-12-24 14:04:05

联系方式

商务QQ:19667318