機器之心報道

編輯：澤南、Panda

(資料圖)

‘我很喜歡新的 DeepSeek-OCR 論文…… 也許更合理的是，LLM 的所有輸入都應(yīng)該是圖像。即使碰巧有純文本輸入，你更應(yīng)該先渲染它，然后再輸入?！?/p>

一夜之間，大模型的范式仿佛被 DeepSeek 新推出的模型給打破了。

昨天下午，全新模型 DeepSeek-OCR 突然開源。在該模型的處理過程中，1000 個字的文章能被壓縮成 100 個視覺 token，十倍的壓縮下精度也可以達到 97%，一塊英偉達 A100 每天就可以處理 20 萬頁的數(shù)據(jù)。

這種方式或許可以解決大模型領(lǐng)域目前頭疼的長上下文效率問題，更重要的是，如果‘看’文本而不是‘讀’文本最終被確定為正確的方向，也意味著大模型的范式會發(fā)生重要的轉(zhuǎn)變。

GitHub 上，DeepSeek-OCR 項目一晚收獲了超過 4000 個 Star。

因為是開源的小模型，DeepSeek-OCR 第一時間經(jīng)歷了整個 AI 社區(qū)的檢驗，很多大佬在看完論文之后紛紛發(fā)表了看法，興奮之情溢于言表。

OpenAI 聯(lián)合創(chuàng)始成員之一，前特斯拉自動駕駛總監(jiān) Andrej Karpathy 表示，它是一個很好的 OCR 模型。

他表示，作為一個本質(zhì)上是研究計算機視覺，暫時偽裝成自然語言專家的人，他更感興趣的部分是：對于大語言模型來說，像素是否比文本更適合作為輸入？文本 token 在輸入端是否浪費資源，甚至很糟糕？

也許更合理的是，LLM 的所有輸入都應(yīng)該是圖像。即使你碰巧有純文本輸入，也許你更愿意先渲染它，然后再輸入：

• 更多信息壓縮（參見論文） => 更短的上下文窗口，更高的效率

• 明顯更為通用的信息流 => 不僅僅是文本，還包括粗體文本、彩色文本、任意圖像。

• 現(xiàn)在可以輕松地使用雙向注意力來處理輸入，并且默認情況下，而不是自回歸注意力 - 功能更加強大。

• 刪除（輸入端的）分詞器！！我已經(jīng)吐槽過我有多討厭分詞器了。分詞器很丑陋，獨立存在，而且不是端到端的。它‘導(dǎo)入’了 Unicode 和字節(jié)編碼的所有丑陋之處，繼承了大量歷史包袱，以及安全 / 越獄風(fēng)險（例如連續(xù)字節(jié)）。它讓兩個肉眼看起來相同的字符在網(wǎng)絡(luò)內(nèi)部看起來像兩個完全不同的 token。一個微笑的表情符號看起來像一個奇怪的 token，而不是…… 一個真正的笑臉，包括像素等等，以及它帶來的所有遷移學(xué)習(xí)。分詞器必須移除。

OCR 只是眾多有用的視覺-文本任務(wù)之一。文本-文本任務(wù)可以轉(zhuǎn)換為視覺-文本任務(wù)，反之則不行。

很多用戶信息都是圖像，但解碼器（智能助手的響應(yīng)）仍然是文本。如何真實地輸出像素…… 或者說，如果你想要輸出像素，那就不那么明顯了。

紐約大學(xué)助理教授謝賽寧也發(fā)推對 Karpathy 的評論給予了高度評價，他尤其對其中‘作為一個本質(zhì)上是研究計算機視覺，暫時偽裝成自然語言專家的人’這一句深感共鳴。

畢竟正是謝賽寧當年首次將 Transformer 架構(gòu)與擴散模型相結(jié)合，提出了擴散 Transformer（DiT），為文生視頻開啟了新的道路。

也有研究者對 DeepSeek-OCR 這項研究的潛在意義進行了更引人入勝的解讀。

Emanuel 繼續(xù)寫道：傳統(tǒng)上，在多模態(tài)大語言模型中，視覺 token 幾乎像是事后添加的產(chǎn)物，或者說是‘外掛’在語言模型框架之上的功能。而如果用可識別的圖像像素形式來表示文本，那么一萬英文單詞在多模態(tài) LLM 中所占的空間，將遠遠大于用文本 token 表示時的空間。

舉例來說，那一萬字的英文文本可能原本對應(yīng) 15，000 個文本 token，但如果轉(zhuǎn)換成視覺 token，可能就會變成 30，000 到 60，000 個視覺 token。由此可見，視覺 token 的效率低得多，因此過去它們只適用于那些無法用文字有效表達的數(shù)據(jù)（例如圖像或視覺場景）。

但這篇論文的提出，顛覆了這一切。

DeepSeek 想出了一種方法，使得視覺 token 的壓縮效率比文本 token 高出 10 倍！

換句話說，原本需要 10，000 個單詞的文本，現(xiàn)在理論上只需約 1，500 個經(jīng)過特殊壓縮的視覺 token 即可完整表示。

如果你想一想人類大腦的運作方式，這其實也并非完全出人意料。

畢竟，當我們回憶一本讀過的書的某一部分時，往往會以視覺的方式來定位：我們能記得那段內(nèi)容在書的哪一頁、哪一側(cè)、頁面的大致位置，這說明我們的大腦在使用某種視覺記憶表征機制。

不過，目前還不清楚這種機制在 LLM 的下游認知能力中會如何表現(xiàn)。模型在使用這些壓縮后的視覺 token 時，是否還能像使用普通文本 token 那樣進行智能推理？或者，這種方式會不會讓模型變得不那么善于表達語言，因為它被迫更多地以視覺方式來思考？

無論如何，可以想見：根據(jù)實際的性能權(quán)衡，這可能成為一個極具潛力的新方向，用于大幅擴展模型的有效上下文長度（context size）。

尤其是如果與 DeepSeek 幾周前發(fā)布的另一篇關(guān)于稀疏注意力（sparse attention）的論文結(jié)合使用，前景將更加令人興奮。詳情可參閱機器之心報道《剛剛，DeepSeek 開源 V3.2-Exp，公開新稀疏注意力機制 DSA》。

他還提到：‘據(jù)我們所知，谷歌也可能早就發(fā)現(xiàn)了類似的技術(shù)，這或許能解釋為什么 Gemini 模型擁有如此巨大的上下文窗口，并在 OCR 任務(wù)上表現(xiàn)得又快又好。當然，如果他們真的做到了，可能也不會公開說明 —— 畢竟這會被視為核心商業(yè)機密。而 DeepSeek 的可貴之處在于：他們選擇了完全開源，包括模型權(quán)重與方法細節(jié)。這意味著，任何人都可以試驗、驗證并進一步探索這一突破?！?/p>

即使這些技巧可能讓注意力機制的表達變得略微‘有損’（lossy），但如果它能讓前沿級 LLM 擁有 一千萬甚至兩千萬 token 級別的上下文窗口，那無疑是令人振奮的。

設(shè)想一下：你可以把一家公司的所有關(guān)鍵內(nèi)部文檔都塞進提示詞的前綴（prompt preamble）中，并緩存到 OpenAI 的系統(tǒng)里。之后只需在其上添加具體的問題或提示詞，無需搜索工具，就能快速且經(jīng)濟地完成查詢。

或者，你可以將整個代碼庫都放入上下文中并緩存，每次修改時只需追加相當于 Git 有差異的部分內(nèi)容。

他還表示：‘這讓我想起著名物理學(xué)家 Hans Bethe（漢斯?貝特） 的故事 —— 他以記憶力驚人著稱，能背下大量隨機的物理數(shù)據(jù)（例如整個元素周期表、各種物質(zhì)的沸點等），因此在思考與計算時幾乎從不需要中斷去查閱資料?！?/p>

毫無疑問，擁有大量與任務(wù)相關(guān)的知識并能隨時調(diào)用，是極其強大的能力。而 DeepSeek 的這一方法，似乎正是一個聰明且可擴展的路徑，有望讓模型的‘工作記憶’容量提升 10 倍甚至更多。

在 Hacker News 等平臺上，DeepSeek-OCR 也引發(fā)了廣泛熱議。

Django Web 框架的聯(lián)合創(chuàng)建者 Simon Willison 甚至成功嘗試了讓 Claude Code 成功在英偉達 Spark 硬件上運行這個模型。整個過程僅使用了 4 個提示詞，時間也只不過 40 分鐘。

科技視頻播主 NiceKate AI 將成功將其部署到了 Mac 上。

不過，值得注意的是，有不少研究者指出，DeepSeek 新模型雖然在工程上取得了不可否認的巨大成功，但其核心方法思路并非首創(chuàng)。

事實上，早在 2022 年，哥本哈根大學(xué)等機構(gòu)的論文《Language Modelling with Pixels》就已經(jīng)提出了類似的思想。其中提出了基于像素的語言編碼器（Pixel-based Encoder of Language），簡稱 PIXEL，可望解決語言模型的詞匯瓶頸問題。

PIXEL 架構(gòu)概況，來自論文《Language Modelling with Pixels》，arXiv：2207.06991

具體來說，PIXEL 是一種預(yù)訓(xùn)練語言模型，可將文本渲染為圖像，從而能夠基于文字形態(tài)的相似性或像素共激活模式在不同語言之間實現(xiàn)表示的遷移。與傳統(tǒng)語言模型預(yù)測 token 分布的方式不同，PIXEL 的訓(xùn)練目標是重建被遮蓋圖像塊的像素。

此后也有多篇研究成果對這一研究思路進行了發(fā)展和改進，至少包括：

• CVPR 2023 論文：CLIPPO： Image-and-Language Understanding from Pixels Only

• NeurIPS 2024 論文：Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning

• 2024 年論文：Improving Language Understanding from Screenshots

• NeurIPS 2025 論文：Vision-centric Token Compression in Large Language Model

不管怎樣，看起來 DeepSeek-OCR 確實是一個非常好用的模型，也已經(jīng)有不少先行者開始用起來了：

當然，批評的聲音依然是存在的，比如現(xiàn)在 Meta 工作的前 OpenAI 和 DeepMind 研究者 Lucas Beyer 就毫不客氣地表示 DeepSeek-OCR 的方法并不存在漸進性，不像人類。

最后，在 DeepSeek-OCR 熱烈的討論人群中，也有一群外國人注意到了其論文中有趣的 Prompt 示例，在研究什么叫‘先天下之憂而憂，后天下之樂而樂’。

不論是對 AI 還是對外國人來說，理解準確的意思確實是個挑戰(zhàn)。

你是否已經(jīng)嘗試過 DeepSeek-OCR 模型？又怎么看待其背后的‘以視覺方式壓縮一切’的研究思路？

關(guān)鍵詞：