11年运维实战：Linux服务器从零搭建到稳定运行

　　去年12月，西门子那台旧机柜运到二楼机房的时候，雨正斜着砸玻璃，不是下，是甩。王工蹲在门口用扳手敲U型槽边缘听共振，敲了四下，第五下没敲——接了个电话，挂掉后搓了两下手指，指甲缝里还沾着灰。我拆第一块硬盘托架，螺丝刀打滑三次，第四次拧进去半圈，卡住。不是锈，是热胀冷缩把铝轨咬死了。这事儿现在想来都恶心。

文章配图，仅供参考

　　说“从零搭建”，其实零不存在。硬盘有前人刻的LVM签名，网卡驱动要绕过一个内核补丁，连/etc/hosts里都留着三条注释掉的192.168段IP，不知道谁写的、为什么注释、注释时有没有重启networking服务。我们删了一条，第二天监控丢了一小时SNMP流量，查出来是zabbix-agent配置里硬编码了那条host alias。这种事没法归因。你问是谁干的？上上届实习生，早离职了，微信头像换过三回，最后一条朋友圈是考公资料包分享。没人负责，也不需要负责。机器继续跑，人换着来，这就是淘汰的真相：不考你懂多少，考你愿不愿意为别人留的烂摊子多看三分钟日志。

　　上周三，小陈把新环境上线时间定在下午四点整，说是避开下班高峰。我拦住他，让他先把crontab里那个sync-ldap.sh加个lockfile。他翻白眼，说“不可能冲突”，转身去泡面。泡面桶还没放稳，AD域控突然同步失败，报错code 87——参数错误。不是脚本错，是系统locale从en_US改成了zh_CN，date命令输出格式变了，导致脚本里一句awk '/$(date +%b %d)/{print}'直接崩掉。这玩意儿三年前我就见过，当时老张写了patch，压根没提交进git，贴在机柜侧面的便利贴上，被汗渍糊掉一半。现在那张纸还在，边角卷着，上面写着“别信%b”。我敢打包票——那行字是他用签字笔写的，不是打印的，因为墨水洇开了，底下垫的是食堂餐券背面。

　　对了，说到机柜——左边第二列第三层，最里侧那个2U，风扇转起来嗡嗡响，持续九年半。保修早过了，厂商说“可换，但要订制风道支架”，我们拖着没换。它就是不坏。不是质量好，是里面那块SATA盘常年在62℃待命，温控死死咬住这个温度，不升不降。去年十月某天突然安静了十八秒，接着又响。没人去动它。你去动，反而会坏。这是规矩，不是经验。刘师傅说过一句：“听见异响再换，听见沉默就换电源。”他说完去拆旁边机柜的UPS电池，电池漏液了，滴在鞋帮上，留下淡黄色印子。

　　稳定运行？扯淡。只有“暂时没炸”。我见过最稳定的集群，三节点HA，跑着财务报表导出服务，半年零重启。结果第四百二十七天凌晨两点十七分，etcd raft日志里出现一行timestamp为1970-01-01的记录，主节点拒绝选举，备节点不敢接管。查了三天，发现是某个运维同事本地虚拟机时钟漂移太大，用ntpdate强制同步过一次，时间倒灌进docker host，又被etcd容器继承了。这事我没跟任何人提过，连值班表都没改。你知道为什么？因为第二天上午十点，那位同事在电梯口碰见我，问我：“昨晚日志扫完没？”我点点头。他笑了，手里拎着刚买的煎饼果子，薄脆多加了一份。这事我说不准，是不是他干的，还是别人连了他的VPN连进了测试网段——但煎饼果子是真的，薄脆真脆，咬下去咔一声。

　　所以别跟我说什么“最佳实践”。最佳实践是给没踩过坑的人画的安全线，我们这些人，早在线外面站着，脚底全是油泥。十一趟从零开始，没一次真的“零”，每一次都在前人的尸堆里刨root密码。淘汰的从来不是技术，是那种还相信能“一劳永逸”的念头。你信不信？我反正不信了。下次重装，我想试试不用Ansible，就手动敲。键盘声听着踏实。或者，先去楼下买杯咖啡——店员今天扎着蓝头绳，头发丝翘起来三根，我都数清楚了。你说要不要试？我不知道。

（编辑：我爱制作网_沈阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!