东拼西凑建站？重构策划与整合双轨缓存架构

　　去年九月，凌晨三点十七分，我蹲在IDC机柜区第三排B列最底下那个柜子前——就是散热口总卡灰、一捅就噗一声喷出陈年灰尘的那个。空调在滴水，嗒、嗒、嗒，节奏比监控告警灯还准。我左手攥着热成像仪，右手捏着半截没拆封的薄荷糖，糖纸硌得掌心发痒。林工蹲在我右边，用指甲刮SSD托盘导轨上的胶渍，刮一下，停两秒，再刮。他刮了十七下，我数过。

　　东拼西凑建站？重构策划与整合双轨缓存架构——这标题是我盯着PPT第十九页改的。不是甲方拍的，是我们在凌晨三点二十一分，看着CDN回源QPS突然跳到八百七十三、而本地LRU刚把热点key全踢空那一刻，集体默念出来的。当时小王接了个电话，说“妈，明天带您复查”，挂了就把耳机线绕在食指上拧了三圈半，然后伸手把告警面板亮度调低了两级。他调完，我就把那句“缓存穿透防护层要重写”划掉了。

　　优胜劣汰这事，我不信理论，只信它活下来的姿势。去年九月之前，他们拿Redis Cluster扛读、用LocalCache兜底、中间插个自研的KeyHashRouter做分流，路由器代码里还留着三年前写的注释：“此逻辑仅兼容IE6前端”。我原以为能撑住——结果一个促销活动，前端埋点漏传了region_id，所有请求打到同一个shard，那个shard的repl-buf瞬间涨到三百七十二MB，从溢出到OOM，十八秒。十八秒里没人动操作台，就听风扇声变尖了。后来查日志，发现OOM前0.3秒，有个GC线程刚跑完，正准备休眠。

　　双轨不是画两条线，是逼你承认：一条轨永远在修，另一条轨永远在拆。我们拆掉旧LRU的时候，阿哲在啃冷掉的红油抄手，汤都凝成琥珀色浮膜了；他舀起一勺，吹了三口气，才咽下去。我问他为啥不加热，他说“怕热气影响示波器读数”——可那台示波器连探头都没接。但那天他测出的cache miss率突刺时序偏差，比APM工具标得准。我敢打包票。

　　策划和重构不是前后脚，是左右脚。有人非要说先定策略再调参数，我听着就烦。你见过哪个老司机换挡前先背说明书？我们上线新调度器那天，监控大屏蓝了四十七秒——不是故障，是grafana加载新面板模板超时。蓝屏期间，运维老赵去茶水间煮了壶枸杞红枣茶，水开了三遍，他光搅勺子不关火。等屏亮了，他端着杯子回来，茶面浮着七颗完整的枸杞，一颗没破。没人提蓝屏的事，但新调度器的first_byte延时阈值，当天就从八十毫秒压到了五十四。

　　整合不是合并配置项，是让人在不同轨上走错路时，不立刻摔死。比如我们允许LocalCache在跨DC场景下主动伪造stale-while-revalidate头——不是因为它对，是因为当主链路断了十六分钟、下游开始降级切静态页时，伪造的这个头让CDN多扛了三十七万次本该穿过来的请求。至于为什么是三十七万？记不清了。可能后台日志被轮转过三次，也可能根本没记。反正那天下午，保洁阿姨推着拖把经过工位时，抬头问“你们喝冰水还是温水”，没人答她，她就往饮水机里塞了两块新冰砖。冰砖撞桶壁的声音特别脆。

　　踩坑不是学经验，是记住谁在哪一刻松了手。张总监在评审会上搓手指，左手拇指搓右手中指第二节，搓了整场会，指甲盖发白。散会后我追出去问，他边系西装扣子边说：“缓存失效时间设成TTL+随机抖动，别搞固定值。”我点头，结果三天后发现他给实习生改的config里，TTL全设成300秒，随机抖动范围是±0——就为方便测试复现。我说不准他是忘了还是故意的。但他搓手指的动作，我现在看到自己手抖就会想起来。

文章配图，仅供参考

　　有次在机房闻到一股焦味，顺着找过去，是备用电源柜侧面贴着一张A4纸，上面用马克笔写着“2017年8月加装”，纸边已经卷了。纸后面，一根熔断器引脚锈成淡绿色，但还在导通。我们没换，只是拿酒精棉片擦了擦表面。那根引脚，到现在还活着。

　　东拼西凑？拼得动才算数。凑不齐，就拆了重拼。现在这套双轨，左边是动态权重的旁路预热通道，右边是状态机驱动的失效仲裁器——两边数据格式根本不兼容，靠一个UDP心跳包维持同步。心跳包每秒发一次，payload只有八个字节，其中三个字节填的是今天食堂的包子馅料代码（白菜猪肉是03，韭菜鸡蛋是05）。没人改过这个字段，但上周五，03变成了05。我不知道是谁改的，也没查。要是哪天心跳包丢了，第一个怀疑方向，我会去后厨看蒸笼。

　　优胜劣汰站得住的地方，就是它不在乎你叫它什么。叫它双轨也行，叫它补丁缝合线也行，叫它苟延残喘也行——只要它在告警灯闪第五下的时候，把hotkey重新load进内存，而不是等第六下。下周二下午两点，我要跟网络组对齐三层路由标记规则。带伞，外面在下雨，雨刮器节奏忽快忽慢，跟我们上次上线的consistency check频率一样。

（编辑：我爱制作网_沈阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!