预备机视觉手艺在真实宇宙的行使场景相称等闲。关联词，往时主流的小模子决策，难以应酬碎屑化、多变的长尾需求，截止了手艺落地限制。

源自当然话语有计划的Transformer架构出死后，视觉模子与之结合，走上一条“从小变大，从N变1”之路。自2022年起，IDEA团队从指标检测登程，打造精确度、通用性、泛化智商兼优的DINO系列视觉大模子。

11月22日，IDEA大会在深举办，在本次大会上，IDEA有计划院发布了该系列最新的DINO-X通用视觉大模子，领有简直的物体级别联接智商，收尾绽放宇宙（Open-world）指标检测。无需用户请示，径直检测万物。

与此同期，IDEA团队还推出行业平台架构，通过一个大模子基座，结合通用识别手艺结合，让模子不需再行查考，就可边用边学，撑合手多千般种的B端行使需求。

万物识别：无谓率领，罕物尽览

全面检测：DINO-X在物体检测边界缔造新标杆，无需任何请示，即可识别简直统统物体，并给出其类别，包括荒原的长尾物体（出现频率低但种类稠密的物体）。

在零样本评估设备中，DINO-XPro在业界公认的LVIS-minival数据集上取得了59.7%的AP，遥遥最初于其它现有算法。在LVIS-val数据集上，DINO-X Pro也施展亮眼，取得了52.4%的AP。具体到LVIS-minival数据集上的各个长尾类别评估中，DINO-X Pro在襄助类别上取得了63.3%的AP（比Grounding DINO 1.5 Pro还要进步7.2%），在常见类别上取得了61.7%的AP，在连接类别上取得了57.5%的AP。DINO-X称得受骗今业界检测最全的通用视觉模子。

泛化和通用性：成绩于终点1亿高质料样本的大限制数据集千般化查考，DINO-X对未知场景和新物体具有更强的适合性。这意味着在靠近未见过的物体或环境时，模子仍能保合手高水平的检测性能。这种超强的泛化智商，使其在现实行使中愈加天真。

多任务感知与联接：DINO-X整合了多个感知头，支合手包括分割、姿态臆测、区域形色和基于区域的问答在内的多种区域级别任务，让感知到联接渐渐成为了现实。

长尾指标检测优化：为了支合手长尾指场所检测任务，DINO-X不仅支合手文本请示和视觉请示，还支合手进程视觉请示优化的自界说请示。

绽放宇宙：管事丰富场景，迈向具身智能

DINO-X的万物识别智商，让其领有了对绽放宇宙（Open World）的视觉感知，平缓应酬真实宇宙中的稠密不细目性和绽放环境，赋能具身智能、大限制多模态数据的自动标注、视障东谈主士管事等高难度场景。

对具身智能而言，开发环境感知和联接是中枢智商，这其中的视觉感知更是机器和物理宇宙交互的基础。近期，聚焦东谈主居环境具身智能中枢手艺攻关的福田实验室追究挂牌，该实验室追究由IDEA有计划院与腾讯吞并组建，竭力于于打造最前沿的具身智能鼎新平台。

多模态模子正常需要处理多量的图片并生成图文对，而仅依靠东谈主工标注的方式不仅耗时、资本高，况且在靠近海量数据时难以保险标注的一致性和后果。DINO-X的万物识别智商，不错匡助标注公司快速完成多量量的高质料图像标注或者为标注员提供自动化的赞成终结，从而镌汰手工标注的责任量。

视障东谈主士孤独性和活命质料的进步对信息取得与感知等方面有着极高的条目，DINO-X的万物识别智商恰逢当时地为助盲器具开发带来福音，为视障东谈主士的改日活命带来好意思好但愿。

在自动驾驶、智能安防、工业检测等边界，DINO-X也将施展要津作用。其特等的通用检测智商，使得系统或者应酬各式复杂场景，识别出传统模子难以检测的物体，为产业升级和社会发展注入新的活力。

Dino-X基座大模子零样本检测智商，为弘大中小企业客户提供浅薄高效的计数和标注器具

IDEA有计划院一系列视觉大模子，包括DINO-X，为措置业务场景现有的小模子稠密、襄助迭代资本腾贵、准确率不及等问题，提供了可行的决策。IDEA有计划院与多家企业鸠合开展视觉大模子及行使场景的探索有计划责任，在视觉大模子的落地方面取得了本体性进展。

IDEA有计划院通用视觉大模子行业平台架构

从DINO到DINO-X，IDEA有计划院弥远站在视觉感知手艺的前沿。通过对绽放宇宙的探索和对具身智能的赋能，DINO-X的特等性能和通用检测智商愈加突显。雷峰网雷峰网

值得一提的是，IDEA有计划院也绽放了DINO-XAPI：

https://user.deepdataspace.com/login?redirect=https://cloud.deepdataspace.com/apply-token

关系DINO-X 的手艺细节，请参考同期发布的论文。

► 论文承接：https://arxiv.org/abs/2411.14347