(7分钟全面了解)卢昱晓被❌到喷水18禁视频电脑版v76.173.18.5.900.98.28-2265安卓网_新万博体育

新万博体育

图片
搜索
猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

刚刚,DeepSeek重要突破!大模型上下文紧箍咒打破

2025-10-20 04:31:15
来源:

猫眼电影

作者:

费舟

手机查看

  猫眼电影记者 白启堂 报道Q8X2R7L1T4J5M9B6W3

智东西作者 陈骏达编辑 云鹏

在大语言模型不断拉长上下文窗口的竞争中,DeepSeek刚刚提出了一条与众不同的技术路径。

智东西10月20日报道,今天上午,DeepSeek开源了DeepSeek-OCR模型,首次提出了“上下文光学压缩(Contexts Optical Compression)”的概念,通过文本转图像实现信息的高效压缩。

这一方法的可行性已经得到验证,在10倍压缩比下,DeepSeek-OCR的解码精度可达97%,近乎实现无损压缩;在20倍压缩比下,精度仍保持约60%。

当把等量的文本token转化为视觉token(图像)后,DeepSeek-OCR能用更少的token数表达相近的文本内容,这为解决大语言模型在长文本处理中的高算力开销提供了新的思路。

除此之外,DeepSeek-OCR还表现出很高的实际应用价值。在OmniDocBench上,它只使用100个视觉token就超越了GOT-OCR2.0(每页256个token),并且在使用少于800个视觉tokens的情况下,性能超过了MinerU2.0(平均每页近7000个token)。

在生产环境中,DeepSeek-OCR可以每天在单个A100-40G GPU上生成20万页以上的训练数据,为大规模文档理解和多模态模型训练提供支持。

目前,这一模型已在Hugging Face上开源,而介绍DeepSeek-OCR模型技术细节与背后理论的技术报告也已同步公开。DeepSeek-OCR团队称,他们此番开源的模型是对一种潜在解决方案的初步探索,即利用视觉模态作为文本信息的高效压缩媒介。

值得一提的是,与DeepSeek过往新模型动辄数十人的作者团队不同,这篇论文的作者仅有3人,分别为Haoran Wei、Yaofeng Sun、Yukun Li。DeepSeek-OCR论文的第一作者Haoran Wei也是GOT-OCR2.0论文的第一作者,GOT-OCR2.0是阶跃星辰去年9月发布的一款OCR模型。

开源地址:

https://huggingface.co/deepseek-ai/DeepSeek-OCR

论文链接:

https://github.com/deepseek-ai/DeepSeek-OCR/tree/main

一、光学压缩可实现高压缩比,解码到底需要多少视觉token?

过去几年,AI模型的上下文能力不断被拉长——从4K到128K,再到上百万token,但代价是成倍增加的算力与显存消耗。

但文本其实是一种冗余的信息形式。DeepSeek-OCR的团队认为:“一张包含文档文本(document text)的图像,可以用比等效数字文本(digital text)少得多的token,来表示丰富信息。这表明,通过视觉token进行光学压缩可以实现更高的压缩比。”

目前,业内已经在VLM视觉编码器和端到端OCR模型上有一定探索。基于此前的研究,DeepSeek-OCR团队发现了目前尚未解决的一个关键研究问题:对于包含1000个单词的文档,解码至少需要多少视觉token?这一问题对于研究“一图胜千言”的原则具有重要意义。

围绕这一问题,DeepSeek打造了一个验证系统——DeepSeek-OCR。该模型通过将文本“光学化”,把原本数千个文字token压缩成几百个视觉token,再由语言模型解码回原文。

DeepSeek-OCR的架构分为两部分。一是DeepEncoder,一个专为高压缩、高分辨率文档处理设计的视觉编码器;二是DeepSeek3B-MoE,一个轻量级混合专家语言解码器。

DeepEncoder:显著压缩vision token数量

DeepEncoder采用SAM + CLIP的双结构设计,通过局部窗口注意力结合全局注意力实现高保真视觉理解,并用一个双层的16×卷积压缩模块显著减少vision token数量。

举个例子,当输入1024×1024的文档图片时,传统视觉模型会生成4096个token,DeepEncoder能将其压缩至仅256个token,让激活内存的数量更可控。

此外,它支持多种“分辨率模式”。从轻量的Tiny(64 token)到高保真的Gundam(795 token),模型可根据任务复杂度自动选择压缩等级。

论文展示了不同分辨率的压缩效果。对肉眼而言,Tiny模式下图片中的文字略显模糊,但基本能看清;而在高保真的Gundam模式下,图中文字的阅读体验基本和原文件的阅读体验没有差别。

▲实际阅读效果需参照原论文中的图片

在实际使用中,一页普通论文或幻灯片仅需100个视觉token即可精准识别;而密集文本的报纸或科学论文,则可通过Gundam模式实现高精度还原。

DeepSeek3B-MoE:激活参数仅5.7亿

在解码端,DeepSeek采用自研DeepSeek3B-MoE架构,推理时仅激活6个专家模块,总激活参数量约5.7亿。

这种“按需激活”的机制让模型既具备强表达能力,又能保持低延迟和高能效,极其适合文档OCR、图文生成等场景。

数据引擎:从文档到图表、化学式、几何图

DeepSeek还搭建了一个庞大的数据数据集,包含四大数据类型:

(1)OCR 1.0数据:3000万页多语言文档与自然场景文字等;

(2)OCR 2.0数据:图表、化学公式、几何图形解析等;

(3)通用视觉数据:为模型注入基础图像理解能力;

(4)纯文本数据:维持语言流畅度与上下文建模。

得益于这一体系,DeepSeek-OCR不仅能识字、断句,还能看懂图表、解读化学式、识别几何图形,处理常见的图文交错文档。

二、10倍压缩效果几乎无损,数百token表示效果超7000 token

DeepSeek-OCR的训练流程整体上相对简洁,主要分为两个阶段:独立训练DeepEncoder和训练完整的 DeepSeek-OCR模型。

此外,所谓的“Gundam-master模式(超高分辨率)”是在预训练好的DeepSeek-OCR模型基础上,继续使用600万条采样数据进行微调得到的。由于其训练协议与其他模式相同,DeepSeek-OCR团队省略了详细描述。

DeepEncoder的训练遵循Vary的做法,使用一个轻量级语言模型,并基于下一token预测框架进行训练。在此阶段,模型使用了前述的OCR 1.0与OCR 2.0数据,以及从LAION 数据集中采样的1亿条通用图像数据。

当DeepEncoder训练完成后,DeepSeek-OCR团队使用多模态数据和纯文本数据,采用流水线并行策略来训练完整的模型。

为验证DeepSeek-OCR在文本密集型文档中的压缩与解压能力,研究团队选取了Fox基准进行实验。实验结果显示,在10×压缩率下,DeepSeek-OCR的解码精度可达约97%。这表明未来有望实现近乎无损的10×文本压缩。

当压缩率超过10×时,性能有所下降,主要原因包括文档版式复杂度的提升,以及长文本在512×512或640×640分辨率下出现模糊。前者可通过将文本渲染为统一版面解决,而后者则可能成为未来“遗忘机制”的研究特征。

即便在近20×压缩时,模型仍能保持约60%的精度。这些结果充分说明,光学上下文压缩是一条前景广阔的研究方向,且无需额外计算开销,因为多模态系统本身已具备视觉编码器结构。

除实验验证外,DeepSeek-OCR在实际场景中同样表现出不错的能力,可为LLM/VLM的预训练构建高质量数据。在OmniDocBench上,DeepSeek-OCR仅使用100个视觉toke(640×640 分辨率)的情况下,超越使用256个token的GOT-OCR 2.0。而在少于800个tokens(Gundam 模式)的条件下,DeepSeek-OCR甚至超越了需约7000个视觉token的MinerU 2.0。

进一步分析显示,不同类型文档对token数量的需求存在差异:幻灯片类文档仅需约64个视觉token即可获得良好效果;书籍与报告在100个视觉token下即可实现稳定性能;报纸类文档由于文本量庞大,需采用Gundam或Gundam-master模式才能实现可接受的效果。

三、从金融图表到化学表达式,各类文档均可深度解析

DeepSeek-OCR团队在论文中展示了DeepSeek-OCR在具体场景的能力。DeepSeek-OCR具备版面识别与OCR 2.0能力,可通过二次模型调用实现文档图像的进一步解析。DeepSeek将这一功能称为“深度解析(Deep Parsing)”。模型可在图像中识别不同类型的内容,包括图表、几何图形、化学结构式及自然图像等。

在金融研究报告中,DeepSeek-OCR能自动提取文档中图表的结构化信息,这一功能对金融与科学领域尤为重要。

在书籍与论文场景中,深度解析模式能够生成密集的图像描述,实现自动化的图文内容识别与转写。

对于化学文献,模型不仅可识别化学结构式,还能将其转化为SMILES格式,展现出在STEM(科学、技术、工程与数学)领域的潜在应用价值。

此外,DeepSeek-OCR还能解析平面几何图形的结构,尽管当前任务仍具有较高难度,但模型已显示出对几何要素与空间关系的初步理解能力。

互联网上的PDF数据涵盖多种语言,包括中文、英文以及大量多语种内容,这对训练具备全球通用性的大语言模型至关重要。DeepSeek-OCR已具备处理近百种语言的OCR能力,支持带版面与非版面两种输出格式。

在多语言测试中,DeepSeek-OCR对阿拉伯语与僧伽罗语等小语种文档同样能够生成高质量识别结果。该能力确保DeepSeek-OCR能在多语言环境下稳定运行,为多语种文档解析与跨语言知识提取奠定基础。

除专注于文档解析外,DeepSeek-OCR还保留了一定的通用视觉理解能力,包括图像描述、物体检测、目标定位(grounding)等任务。在提供相应提示词后,模型能够详细描述图像内容、定位特定对象,甚至在包含文本的图像中执行OCR识别任务。

此外,由于训练中融入了大量纯文本数据,DeepSeek-OCR也保留了较强的语言理解与生成能力。需要指出的是,DeepSeek-OCR尚未经过监督微调(SFT)阶段,因此并非对话模型,部分功能需通过特定提示词激活。

结语:高效信息表示或成大模型潜在优化方向

“上下文光学压缩”验证了视觉模态在文本压缩中的有效性,为大语言模型处理超长上下文提供了新的解决路径。DeepSeek-OCR团队计划在后续研究中进一步探索数字与光学混合的文本预训练方式,并通过更细粒度的“needle-in-a-haystack”测试评估光学压缩在真实长文本环境下的表现。

从行业视角看,DeepSeek-OCR展示了另一种提高模型效率的可能路径——优化信息表达方式。通过视觉压缩减少token数量,模型可以在相同算力下处理更长的上下文内容。这一思路为未来在VLM视觉token优化、上下文压缩机制以及大模型遗忘机制等方向的研究提供了有价值的参考。

DeepSeek团队在论文最后写道:“光学上下文压缩仍有广阔的研究空间,它代表了一个新的方向。”这项从OCR任务出发的研究,或许已经超越了文字识别本身。

??时事1:操人网

??10月20日,总台记者专访丨秘鲁部长会议主席:秘中关系正处于历史最佳时期,

  后面是几株古木,没有了退路,不好再躲避,石昊背靠巨树,双手交叉,奋力向上架去,几个符号一闪而没。

,www.天天干. com。

??10月20日,城轨交通领域创新成果集中亮相南京,

  从前有一父子俩,各背着一袋大米在沙路上行走,父亲因年迈被路边的石子磕绊了一下摔倒,大米淌在了沙路上,儿子急忙将带沙子的大米装进口袋,回到家后,儿媳把大米里的沙子捡了一遍,大米下锅了,儿媳把第一碗米饭盛给父亲,父亲吃了第一口就吃出沙子,父亲很不满意,让儿子又重新捡了一遍沙子,下锅后仍然吃出了沙子。无奈,父亲亲自捡了一遍沙子,结果还是同样吃出了沙子。从这个故事可以说明,如果品质出了问题,你就是费再大的劲,也不能弥补已经造成的损失。从而说明了质量事前控制的重要性。

,www.九九视频网,国产+欧美91,范冰冰下面B被男人添。

??时事2:在线看a片欧美

??10月20日,越南连续25年成为广西第一大贸易伙伴,

  (四)夯实基础,服务发展。各村(社区)干部要认真研究新形势下群众工作的新情况和新特点,健全组织体系,完善工作制度,坚持把服务发展作为开展活动的强大动力,以实施“创业带富工程”、“集体经济强村”创建和开展“同步小康创建”活动为契机,要吃透上级精神,在干字上下功夫,在新字上做文章,在创字上找出路;要打破等、靠、要的思想,变被动为主动,扬长避短、敢于走新路、出新招、办新事,不瞻前顾后、犹豫不决;要立足村情,瞄准市场需求,扬长避短,准确定位,突出特色,找准发展经济的突破口和切入点,选准适合本村发展的经济路子,科学确定本村的主导产业和发展方向。充分发挥主力军和“领头雁”作用,开展农村创业带头人与一般群众“一对一”、“一对多”的结对帮扶,探索农民增收致富的路子。完善农村土地承包政策,积极探索土地流转等新型农村土地经营模式,成立农民专业合作社,帮助群众增加收入,促进农村经济发展。

,殴美aaaaa黄片,动漫妓女3d巨大吸乳,jjzzz日本。

??10月20日,美国山火持续蔓延 多地发布山火“红旗警告”,

  突然,一道神念响起,道:“这是食物,要准备充足,一场大祸要来了。”

,无套内谢A片毛片免费看视频,精品午夜视频,中文字幕网站。

??时事3:欧美一级大胆A片视频

??10月20日,中新健康丨推动上海社区康复服务高质量发展,“台湾经验”如何借鉴?,

  “石子陵你要反了吗?!”偏向石渊这一脉的宗老更是大声喝斥。

,少妇毛片一区区三区,色综合天天干视频,印度一区二区三区精品视频。

??10月20日,十四届全国人大二次会议主席团举行第三次会议,

  青鳞鹰虽愤怒,但却没有失去理智,知晓远方的山林有这样一头让百兽都恐惧的鼠王,以金属为食,牙齿与利爪无坚不摧。

,A级毛片真人无码免费,日韩免费视频无码色,国产 专区 自拍。

??时事4:在线播放a

??10月20日,三征奥运终摘金 老将李越宏“填补空白”,

  订阅是是大家的厚爱,打赏是飘红则是给予了太多,超过了看小说本身的意义。感谢大家,谢谢所有订阅本书的朋友,感谢盟主们!

,国产aV熟妇人震精品一品二区,免费黄色偷拍的,久久国产精品—国产精品。

??10月20日,墨西哥学者:美国打“安全牌”、拉“小圈子”,中拉合作要走新路,

  今天,是大家一生中难以忘怀的日子。三年的艰辛努力与付出即将画上一个圆满的句号。此时此刻,站在这里,在这即将分别的时刻,我的心情很是复杂,既有收获的喜悦与快乐,又有离别时的不舍与遗憾……

,夜夜澡天天碰人人爱av,狠狠狠天天透天干天天麻豆,黄在线。

责编:郑永明

审核:郭远明

责编:娜塔莎·森德兰

相关推荐 换一换