给多模态大模型选「眼睛」,两个简单改进让评测相关性接近翻倍
针对多模态大模型视觉编码器筛选需大量计算资源、现有跨模态评测方法在大规模多样化候选池中性能下降的问题,研究团队提出免训练评测方法 RAVEL,通过带稳定项的 PCA 白化、基于图像块匹配的相似度计算两项改进,衡量视觉与语言表征的近邻一致性,大幅提升评测准确性与稳定性。实验显示其平均 Spearman 相关系数达 0.85,远超现有各类评测方法。团队训练了 210 个覆盖多种组合的多模态大模型并开源相关代码、权重,为相关研究提供高效可靠的新方法与可复用资源。
媒体报道
给多模态大模型选「眼睛」,两个简单改进让评测相关性接近翻倍 机器之心/腾讯网
事件追踪
2026-10-18 给多模态大模型选「眼睛」,两个简单改进让评测相关性接近翻倍
2026-09-05 微信视觉团队开源 WeMM-Embedding 模型,多版本支持多模态输入助力技术发展
#热门话题
Post #357352
6