site logo

Marico's space

别再靠直觉信任你的 agent 技能,消除上下文安全风险。

AI技术与应用 2026-05-18 20:56:27 11

最近折腾 AI agent 开发,发现一个问题——npm 包有 npm audit,Python 有 pip-audit,但我给 agent 装了一堆插件技能后,却没有任何工具能检查这些插件的安全性。

如果你说"确实没有",你不是一个人,这就是我做了 tessl-audit 的原因!可以在 GitHubnpm 上找到它。

这个问题比你想象的严重

Agent 插件本质上是加载到 AI agent 上下文中的指令。有安全问题的插件不只暴露一个服务器端点,它可能以微妙的方式影响 agent 的行为——也许是引导它采取不安全的模式,也许是暴露不该暴露的数据,也许只是让它工作得更差。

问自己三个关于 agent 技能的问题,如果任何一个答案是"否",用 tessl-audit 几秒钟就能给出肯定答案。

  1. 你的所有技能都做过安全扫描吗? 如果做过,结果是什么?
  2. 你能证明你的技能真的靠谱吗? 质量分数告诉你一个插件写得有多好、有多完整。分数低意味着 agent 收到的指导质量差。
  3. 你的技能和插件真的起作用吗? 提升分数衡量一个插件相比纯 vanilla agent 是否真的改善了任务表现。

Join us at AI Native DevCon

为什么不现在就试试?

这是一个免费的开源工具,底层用 Tessl。如果你有安装了插件的 Tessl 项目,只需在项目根目录运行:

`npx tessl-audit`

等等,就这?没错,就这么简单。它读取你的 tessl.json,从 registry 拉取每个插件的实时数据,大约 30 秒输出报告。

脚本首先扫描 tessl.json 中所有上下文文件。这步很快完成,然后你会看到下面的表格,按项目上下文分类展示发现的警告类型。

image1

然后工具给出所有上下文的安全态势摘要,列出项目中风险最高的技能及具体问题。

img2

点击任意链接可以查看 registry Web UI 中的详细问题。

img3

最后工具给出下一步操作建议,包括可以用来优化、创建和运行技能评测的 CLI 命令(也可以让 agent 调用这些命令)。

img4

每类发现意味着什么

安全状态为 Advisory、Risky 或 Critical?

报告列出每个有问题的插件及其警告代码,并附上 registry 上完整安全报告的直达链接。不需要自己去找,安全态势报告让你在一页里看到全部摘要,有需要再深入。点开链接,查看发现,判断是否适用于你的场景。

质量分数低于 80%?

你用的插件给 agent 的是不完整或结构糟糕的指导。运行:

`tessl skill review --optimize workspace/plugin-name`

这会运行质量审查并自动应用改进。

没有提升数据?

这个插件从未在实际任务上评测过——所以你根本不知道它是在帮忙还是在添乱。修复:

`tessl scenario generate --count 5 workspace/plugin-name
tessl eval run workspace/plugin-name`

从插件生成一组测试场景,然后运行评测。你会得到一个具体的提升分数,告诉你这个插件值不值得保留。

更大的图景

每个用 AI agent 的团队都在构建一个技能、规则和知识的依赖图,就像构建包的依赖图一样。审计这个图的工具还在建设中,但风险是真实的,并且在增长。

tessl-audit 是一个小小的、实用的步骤:一行命令、不用安装、有可操作的输出。今天就运行它,看看你的 agent 到底在用什么。

`npx tessl-audit`

tessl-audit 需要 Tessl CLI(不用担心,它已经是依赖了)和一个已认证的 Tessl 会话(没账号的话注册一个免费账户就行)。运行 tessl-audit 还需要项目根目录有 tessl.json,也就是上下文清单文件。

相关文档:

原文链接:https://dev.to/ai-native-dev/stop-trusting-your-agent-skills-with-vibes-eliminate-the-context-security-risk-4i0c