site logo

Marico's space

最近折腾 LLM(大语言模型)推理优化,踩了几个坑,这篇把 KV 缓存的问题说清楚。 像 ChatGPT 这类工具背后都是 LLM 在跑,虽然能力很强,但速度一直是痛点。如果你想做响应快的 AI 产品,必须搞懂怎么优化推理,而最关键的手段就是 KV 缓存。 大麻烦:重复读取瓶颈 AI 生成一句话时,是一个词一个词往外蹦的。每生成新词,它都要回头看一遍之前所有的词。 打个比方,就像你写小说
最近折腾了一个清理僵尸云资源的小工具,踩了几个坑,这篇把过程说清楚。 每个云账号里都有僵尸资源。 不是那种好玩的僵尸,是那种悄无声息烧你预算的类型。半年前挂载的实例早就删了,EBS卷还挂在那儿没人管。某个VPC里NAT网关还在跑,但里面的业务早就迁移完了。Transfer Family的SFTP服务器当初为了数据迁移搭的,用了一次就再也没人碰过。 审计过不少账号,这种情况不是个例,是常态。基
最近折腾了一个生产环境的数据库迁移,从阿里云RDS换到新版本,踩了几个坑,这篇把思路和具体做法说清楚。 什么是数据库迁移 数据库迁移是把数据从一种存储系统、格式或环境搬到另一个地方——可以是本地服务器迁到云,也可以是直接换数据库引擎。核心挑战是在数据完整性和业务可用性之间找平衡。传统的"大爆炸"迁移方式可能需要几小时甚至几天的停机时间,这对7x24小时运营的企业来说完全不可接受。 数
最近折腾了一个自托管的多 Agent 系统,踩了不少坑,这篇把核心架构决策和经验教训说清楚。 事情是这样的:我想让五个独立的 AI Agent 运行在同一台工作站上。不是五个线程,是五个真正的 Agent——每个有自己的身份、记忆范围、工具权限和职责。它们各自跑在容器里,通过共享数据库通信,各自执行"分诊 → 执行 → 复盘"的推理循环。 全程用 Rust 实现,不碰 Python,不依赖云端
花了两个礼拜排查只在线上环境才暴露的问题——一个 _redirects 规则把我自己的 sitemap-index.xml 给拦了,还有一个 Bluesky 图片上传和 Cloudflare Pages 部署延迟的竞态问题。痛定思痛,我在 workflow 里加了三个部署后检查。速度快、针对性强,专门对付我自己踩过的坑,不是那种大而全的端到端测试套件。 三个站点(aiappdex.com、fin
最近折腾多智能体系统(MAS,Multi-Agent Systems)的网络安全,踩了几个坑,这篇把问题说清楚。 多智能体系统让 AI 组件能以机器速度协调配合,这种规模和速度是人类团队根本追不上的。但问题来了——速度越快,安全风险也越多。大多数团队都是在出事之后才意识到这一点。每新增一个智能体,攻击面就扩大一分:点对点连接、工具调用、消息中转,每个环节都可能被人钻空子。 所以多智能体安全需要
这周数据库圈子有几个值得关注的动态,踩了几个坑顺便整理出来分享下。 SQLITE 数据库在 BWRAP 沙盒中并发访问导致数据损坏(SQLITE 论坛) 来源:https://sqlite.org/forum/info/a9ee12e5f36adc13da1f59b1912753ba08d87c596eb6cb2f1d3882270b291488 SQLite 论坛上一个老哥遇到了个棘手的
最近折腾了 MuleSoft 交付项目,踩了几个坑,这篇把问题说清楚。 很多人接触 MuleSoft 是从"API -led connectivity platform"(API 驱动的连接平台)这个定义开始的,技术上没问题,但实际用起来远不止是个"系统接线工具"。在真实的企业项目里,MuleSoft 其实是架构、交付规范、平台治理、安全策略以及云和 AI(人工智能)准备好了没这几个维度的交汇点
快速结论:去中心化AI系统中Agent到Agent的通信安全正面临严峻挑战。重放攻击、身份伪造、数据泄露等威胁在消息交换和基础设施层面持续存在。通过实施新鲜度控制、MLS群组消息传递、双向TLS验证以及模型级泄露审计等关键措施,能够构建全面的安全防护体系。持续的安全审查和Pilot Protocol等基础设施支持,是维护多Agent网络韧性与可信度的关键所在。 最近折腾多Agent架构的通信安全
云架构师写文档的时间比画架构图的时间多得多。 一个普通的云架构师每天有 30%~40% 的时间在写文档——这些文档跟系统设计八竿子打不着:架构决策记录(ADR)、招标书(RFP)响应、高管成本论证简报、迁移方案、运维手册、供应商评估报告。这些文档直接影响项目成败——一份糟糕的 ADR 会让团队吵上三个月,一份软弱的成本简报可能直接毙掉一个本该上个季度就上线的云项目。 全网专门针对云架构师的 C
共 162 条, 共 17 页