10分钟让DeepSeek看懂截图:ModLens实战教程
本教程带你安装配置ModLens视觉插件,让DeepSeek等纯文本模型获得图片理解能力。学会后,粘贴截图即可自动获取OCR文字、布局分析和语义解读,实现完整的AI视觉工作流,十分钟即可上手。

10分钟让DeepSeek看懂截图:ModLens实战教程
场景和痛点
让 DeepSeek 帮忙看一份报错截图,它回复「抱歉,我无法查看图片」——这句话在 2026 年依然让人头疼。
我们每天用大模型读 UI 设计稿、解读报错截图、分析数据图表、看懂产品需求标注。但 DeepSeek-V4、GLM 这类旗舰模型至今仍是纯文本模型,它们看不到你粘贴的任何图片。
liustack/modlens 解决了这个问题——它是 DeepSeek Harness 的视觉插件,目前 1.9k star。装好之后,你在对话里粘贴截图,ModLens 会自动读取图片内容,转成结构化信息(OCR 文字、阅读顺序布局、实体关系列表),喂给纯文本模型。模型基于看到的证据回答问题,不再瞎猜。
这篇教程带你从零开始把 ModLens 跑起来,实现「粘贴截图 → 自动读取 → 模型给出准确回答」的完整流程。
前置条件
开始前准备好以下环境:
- Node.js 18+(一般开发者电脑都有)
- 一个 AI 编程终端或对话工具:Claude Code、Codex、OpenCode、Pi 均可。如果正在用 DeepSeek Harness (dsh) 最理想
- 一个视觉引擎:最简单的是申请免费 Gemini API Key(Google AI Studio 注册,无需信用卡)。如果本地已有 Claude Code / Codex 登录账号也可以复用
如果什么账号都没有,后面会介绍零注册的 Antigravity CLI 方案。
第一步:安装插件
ModLens 的安装逻辑是「检测已有环境 → 复用已有登录 → 缺什么补什么」,不需要改配置文件。
使用 DeepSeek Harness (dsh),在终端运行:
bash
npx -y @deepseek-ai/dsh plugin --profile web add @liustack/modlens@3.16.7
注意这里写死版本号 @3.16.7 而不是 @latest。pnpm 11 会扣留 24 小时内发布的版本,@latest 可能无法正确解析,直接指定版本号最稳妥。
使用 Claude Code / Codex / OpenCode / Pi,在对话里对 AI 说:
Install and configure the modlens skill following https://github.com/liustack/modlens/blob/main/INSTALL.md, then run the health check and tell me the result.
把安装链接丢给 AI,它会自动跑完安装和健康检查。这是作者推荐的方式。安装过程中,ModLens 会扫描已登录的 AI 工具,询问是否复用它们的视觉能力,同意即可。
第二步:配置视觉引擎
这一步决定图片「由谁来读」。ModLens 内置五个视觉引擎提供者,配好其中一个就能跑。
推荐方案:免费 Gemini API Key
每次读取只需 5-10 秒,注册简单:
- 打开 Google AI Studio,用 Google 账号登录
- 创建 API Key,无需绑定信用卡
- 配置到 ModLens:
bash
modlens config set gemini-api.apiKey <你的API Key>
替代方案:复用 Claude Code / Codex
本地 Claude Code 已登录,可以直接复用:
bash
modlens config set reuse.claude-cli true
## 或复用 Codex
modlens config set reuse.codex true
## 安装时会自动触发健康检查
modlens doctor
modlens doctor 会列出所有已发现和可配置的视觉引擎状态,遇到配置问题第一个就跑它。
零注册方案:Antigravity CLI
完全不想注册任何账号:
bash
curl -fsSL https://antigravity.google/cli/install.sh | bash
agy # 浏览器扫码登录,然后退出即可
这种方式读取速度稍慢(15-45 秒),但完全免费、零门槛。
第三步:理解工作方式
搞清楚 ModLens 的工作方式,后续遇到坑就知道去哪找。
粘贴图片的两种方式:
- 直接粘贴:在纯文本模型里粘贴图片,图片以临时文件路径形式进入对话。ModLens 的
modlens_read_image工具自动读取该路径图片,返回结构化内容。 - 选择
(modlens vision)变体模型:在模型选择器里选带(modlens vision)后缀的模型(如DeepSeek-V4-Flash (modlens vision))。粘贴后消息里保留缩略图,图片在请求时转换为结构化证据。安装成功后会自动生成这些变体入口。
Failover 链(故障回退链)
不指定具体 provider 时,所有已配置的视觉引擎组成一条回退链:API 优先尝试(5-10 秒),Agent CLI 作为后备(15-45 秒),第一个成功的结果胜出。meta.attempts 字段记录所有尝试过程,清楚知道是哪个引擎在读图,没有静默扣费。
第四步:实战——让 DeepSeek 读懂复杂截图
假设有一张包含 128 个 AI 型号性能对比的散点图截图,信息密度极高。把它粘贴到 DeepSeek Harness 的 DeepSeek-V4-Flash (modlens vision) 模型对话框。
不需要任何额外指令,直接粘贴后发送:
- 粘贴截图,图片以缩略图形式出现在消息中
- ModLens 在后台调用配置的视觉引擎读取图片
- 读取结果包括:
- 完整 OCR 文字转录:坐标轴标签、图例文字、数据点标注
- 布局分析:阅读顺序、区域划分(X 轴、Y 轴、图例区、数据区)
- 实体和关系列表:每个模型名称与对应性能指标的映射
- 不确定信息:模糊或被截断内容会如实标注
- DeepSeek 拿到结构化证据后给出精确回答
你可以直接问:「帮我列出图中所有 DeepSeek 系列模型的位置,以及它们分别位于哪个性能区间?」模型会基于 ModLens 读取的精确坐标和标注,逐一点位回答,甚至能区分虚线标记的高亮区域。
接入更多视觉模型
ModLens 的 openai 配置是通用接口,只要视觉模型支持 OpenAI 兼容 API 都能接入:
bash
modlens config set openai.baseUrl https://dashscope.aliyuncs.com/compatible-mode/v1
modlens config set openai.apiKey <你的Key>
modlens config set openai.model qwen3-vl-plus
GLM 开放平台、SiliconFlow、OpenRouter、甚至用 vLLM/Ollama 部署的模型,只要遵循 OpenAI chat-completions 协议并支持图片输入,都能通过这三行配置接入。ModLens 本质上是视觉能力路由器,不绑定特定服务商。
常见问题
Q:安装完粘贴图片没反应?
先跑 modlens doctor 检查引擎状态。最常见是 API Key 过期或网络不通,确认引擎至少一个处于 ready 状态。
Q:读取速度慢,要等几十秒?
通常意味着走了 Agent CLI 回退路径(15-45 秒)。如果配了 Gemini API,检查是否 modlens config set provider gemini-api 将其设为首选,API 路径通常只需 5-10 秒。
Q:能不能指定只用某个引擎?
加 -p 参数指定单一 provider,不走故障回退链:
bash
modlens -p gemini-api
Q:代理上网,API 请求不通?
支持两种代理配置方式:
bash
## 方式一:环境变量
export HTTPS_PROXY=http://your-proxy:port
## 方式二:config 配置
modlens config set proxy http://your-proxy:port
Q:ModLens 会不会悄悄用额度?
不会。任何复用其他 CLI 额度(Claude、Codex 等)的读取,都会在返回结果的 meta.warnings 字段明确标注消耗了谁的配额,所有行为有据可查。
总结
今天我们完成了完整的 ModLens 配置和使用流程:安装插件、配置视觉引擎、直接粘贴截图使用、用 modlens doctor 排查问题。ModLens 不侵入、不污染工作环境,装一个插件,卸载时删掉即可。它给纯文本模型「借」了一双眼睛,让截图、图表、标注变成模型可以精确引用的结构化数据。
日常有大量截图分析需求的话,可以考虑将 ModLens 输出 JSON 对接到自动化脚本中(Output Schema 文档),实现批量结构化解析。
觉得有用的话,去给 liustack/modlens 点个 Star 吧,让更多人告别「请描述一下这张图」的无奈。