爱美剧,爱生活 请登录 | 免费注册


Sketch.dev 的工程团队发现自家网站出现一连串的小范围宕机


小美发布 2025-08-02 11:24:38 阅读 39 字数 492
46



时间回到 7 月 15 日,Sketch.dev 的工程团队发现自家网站开始出现一连串的小范围宕机。


一开始的部署看起来很正常,但没过多久,CPU 占用飙升,系统响应开始严重卡顿。


后台的性能分析工具显示,是一些极其复杂的 SQL 查询在疯狂执行全表扫描,系统已经被拖到快撑不住的临界点。


为了解决这种情况,彼时 Sketch.dev 的工程师觉得,无论如何,这些查询都必须进行优化或彻底重写。于是,团队修改了查询逻辑并重新部署。没想到同样的情况再次发生:最初一切正常,之后又逐步滑向性能崩溃,陷入了恶性循环。


进一步分析后,他们惊讶地发现,两次 CPU 飙升背后的“触发器”竟然是:“我们 CEO 登录了。”


于是他们决定再次重启部署清理状态,并顺手永久封了 CEO 的账号,继续追查问题。


虽然性能分析工具依然显示是数据库资源争用的问题,但工程师们觉得,这个解释已经站不住脚了。


他们继续往上追查调用栈,结果发现有一段平时几乎不会执行的代码路径,正是引发这些“数据库过载查询”的根源。而这段代码——最近才刚被重构过。


于是,他们果断撤回了那次重构,重新部署了代码,也把被封号的 CEO 解封,然后开始深入分析到底哪里出了问题。



评论