10分钟让DeepSeek看懂截图:ModLens实战教程

416 次阅读 0 点赞 0 评论 9 分钟原创技术教程

本教程带你安装配置ModLens视觉插件,让DeepSeek等纯文本模型获得图片理解能力。学会后,粘贴截图即可自动获取OCR文字、布局分析和语义解读,实现完整的AI视觉工作流,十分钟即可上手。

#AI实战 #DeepSeek #视觉识别 #插件教程 #截图分析 #开源工具
10分钟让DeepSeek看懂截图:ModLens实战教程

10分钟让DeepSeek看懂截图:ModLens实战教程

场景和痛点

让 DeepSeek 帮忙看一份报错截图,它回复「抱歉,我无法查看图片」——这句话在 2026 年依然让人头疼。

我们每天用大模型读 UI 设计稿、解读报错截图、分析数据图表、看懂产品需求标注。但 DeepSeek-V4、GLM 这类旗舰模型至今仍是纯文本模型,它们看不到你粘贴的任何图片。

liustack/modlens 解决了这个问题——它是 DeepSeek Harness 的视觉插件,目前 1.9k star。装好之后,你在对话里粘贴截图,ModLens 会自动读取图片内容,转成结构化信息(OCR 文字、阅读顺序布局、实体关系列表),喂给纯文本模型。模型基于看到的证据回答问题,不再瞎猜。

这篇教程带你从零开始把 ModLens 跑起来,实现「粘贴截图 → 自动读取 → 模型给出准确回答」的完整流程。

前置条件

开始前准备好以下环境:

  • Node.js 18+(一般开发者电脑都有)
  • 一个 AI 编程终端或对话工具:Claude Code、Codex、OpenCode、Pi 均可。如果正在用 DeepSeek Harness (dsh) 最理想
  • 一个视觉引擎:最简单的是申请免费 Gemini API Key(Google AI Studio 注册,无需信用卡)。如果本地已有 Claude Code / Codex 登录账号也可以复用

如果什么账号都没有,后面会介绍零注册的 Antigravity CLI 方案。

第一步:安装插件

ModLens 的安装逻辑是「检测已有环境 → 复用已有登录 → 缺什么补什么」,不需要改配置文件。

使用 DeepSeek Harness (dsh),在终端运行:

bash 复制代码
npx -y @deepseek-ai/dsh plugin --profile web add @liustack/modlens@3.16.7

注意这里写死版本号 @3.16.7 而不是 @latest。pnpm 11 会扣留 24 小时内发布的版本,@latest 可能无法正确解析,直接指定版本号最稳妥。

使用 Claude Code / Codex / OpenCode / Pi,在对话里对 AI 说:

复制代码
Install and configure the modlens skill following https://github.com/liustack/modlens/blob/main/INSTALL.md, then run the health check and tell me the result.

把安装链接丢给 AI,它会自动跑完安装和健康检查。这是作者推荐的方式。安装过程中,ModLens 会扫描已登录的 AI 工具,询问是否复用它们的视觉能力,同意即可。

第二步:配置视觉引擎

这一步决定图片「由谁来读」。ModLens 内置五个视觉引擎提供者,配好其中一个就能跑。

推荐方案:免费 Gemini API Key

每次读取只需 5-10 秒,注册简单:

  1. 打开 Google AI Studio,用 Google 账号登录
  2. 创建 API Key,无需绑定信用卡
  3. 配置到 ModLens:
bash 复制代码
modlens config set gemini-api.apiKey <你的API Key>

替代方案:复用 Claude Code / Codex

本地 Claude Code 已登录,可以直接复用:

bash 复制代码
modlens config set reuse.claude-cli true
## 或复用 Codex
modlens config set reuse.codex true
## 安装时会自动触发健康检查
modlens doctor

modlens doctor 会列出所有已发现和可配置的视觉引擎状态,遇到配置问题第一个就跑它。

零注册方案:Antigravity CLI

完全不想注册任何账号:

bash 复制代码
curl -fsSL https://antigravity.google/cli/install.sh | bash
agy   # 浏览器扫码登录,然后退出即可

这种方式读取速度稍慢(15-45 秒),但完全免费、零门槛。

第三步:理解工作方式

搞清楚 ModLens 的工作方式,后续遇到坑就知道去哪找。

粘贴图片的两种方式:

  1. 直接粘贴:在纯文本模型里粘贴图片,图片以临时文件路径形式进入对话。ModLens 的 modlens_read_image 工具自动读取该路径图片,返回结构化内容。
  2. 选择 (modlens vision) 变体模型:在模型选择器里选带 (modlens vision) 后缀的模型(如 DeepSeek-V4-Flash (modlens vision))。粘贴后消息里保留缩略图,图片在请求时转换为结构化证据。安装成功后会自动生成这些变体入口。

Failover 链(故障回退链)

不指定具体 provider 时,所有已配置的视觉引擎组成一条回退链:API 优先尝试(5-10 秒),Agent CLI 作为后备(15-45 秒),第一个成功的结果胜出。meta.attempts 字段记录所有尝试过程,清楚知道是哪个引擎在读图,没有静默扣费。

第四步:实战——让 DeepSeek 读懂复杂截图

假设有一张包含 128 个 AI 型号性能对比的散点图截图,信息密度极高。把它粘贴到 DeepSeek Harness 的 DeepSeek-V4-Flash (modlens vision) 模型对话框。

不需要任何额外指令,直接粘贴后发送:

  1. 粘贴截图,图片以缩略图形式出现在消息中
  2. ModLens 在后台调用配置的视觉引擎读取图片
  3. 读取结果包括:
    • 完整 OCR 文字转录:坐标轴标签、图例文字、数据点标注
    • 布局分析:阅读顺序、区域划分(X 轴、Y 轴、图例区、数据区)
    • 实体和关系列表:每个模型名称与对应性能指标的映射
    • 不确定信息:模糊或被截断内容会如实标注
  4. DeepSeek 拿到结构化证据后给出精确回答

你可以直接问:「帮我列出图中所有 DeepSeek 系列模型的位置,以及它们分别位于哪个性能区间?」模型会基于 ModLens 读取的精确坐标和标注,逐一点位回答,甚至能区分虚线标记的高亮区域。

接入更多视觉模型

ModLens 的 openai 配置是通用接口,只要视觉模型支持 OpenAI 兼容 API 都能接入:

bash 复制代码
modlens config set openai.baseUrl https://dashscope.aliyuncs.com/compatible-mode/v1
modlens config set openai.apiKey <你的Key>
modlens config set openai.model qwen3-vl-plus

GLM 开放平台、SiliconFlow、OpenRouter、甚至用 vLLM/Ollama 部署的模型,只要遵循 OpenAI chat-completions 协议并支持图片输入,都能通过这三行配置接入。ModLens 本质上是视觉能力路由器,不绑定特定服务商。

常见问题

Q:安装完粘贴图片没反应?

先跑 modlens doctor 检查引擎状态。最常见是 API Key 过期或网络不通,确认引擎至少一个处于 ready 状态。

Q:读取速度慢,要等几十秒?

通常意味着走了 Agent CLI 回退路径(15-45 秒)。如果配了 Gemini API,检查是否 modlens config set provider gemini-api 将其设为首选,API 路径通常只需 5-10 秒。

Q:能不能指定只用某个引擎?

-p 参数指定单一 provider,不走故障回退链:

bash 复制代码
modlens -p gemini-api

Q:代理上网,API 请求不通?

支持两种代理配置方式:

bash 复制代码
## 方式一:环境变量
export HTTPS_PROXY=http://your-proxy:port

## 方式二:config 配置
modlens config set proxy http://your-proxy:port

Q:ModLens 会不会悄悄用额度?

不会。任何复用其他 CLI 额度(Claude、Codex 等)的读取,都会在返回结果的 meta.warnings 字段明确标注消耗了谁的配额,所有行为有据可查。

总结

今天我们完成了完整的 ModLens 配置和使用流程:安装插件、配置视觉引擎、直接粘贴截图使用、用 modlens doctor 排查问题。ModLens 不侵入、不污染工作环境,装一个插件,卸载时删掉即可。它给纯文本模型「借」了一双眼睛,让截图、图表、标注变成模型可以精确引用的结构化数据。

日常有大量截图分析需求的话,可以考虑将 ModLens 输出 JSON 对接到自动化脚本中(Output Schema 文档),实现批量结构化解析。

觉得有用的话,去给 liustack/modlens 点个 Star 吧,让更多人告别「请描述一下这张图」的无奈。

最后更新:2026-08-16T10:02:30

评论 (0)

发表评论

blog.comments.form.loading
0/500
加载评论中...