深度学习工程师私藏的代码逻辑重构三原则

　　去年十月，我蹲在三号机房门口的塑料凳上等GPU空闲，空调滴水声特别响，一滴、两滴、十七秒一滴。陈工端着泡面进来，汤晃得快溢出来，他抬脚踢开滚到脚边的空易拉罐——罐子撞上消防栓，哐当一声。我没抬头，就盯着他左手无名指第二节的旧烫伤疤，像条歪掉的蚯蚓。

　　他们管那三原则叫“私藏”，还压低声音说“别让测试组听见”。我听见了。当时正在改loss backward的边界case，手抖把sigmoid写成tanh，跑了十八秒才崩。崩完我盯着日志里那个nan，突然笑出来。旁边小李摘下耳机问我笑啥，我说：“你猜他们重构时删没删掉那行if epoch % save_freq == 0 and not is_debug:”。他摇摇头，转身去接了个电话，说了句“对，就在梯度裁剪前面加个clip_norm=1.0”。挂了之后搓了一下手指，指甲缝里有点灰。

　　优胜劣汰站得住。不是因为多高级，是活下来的代码都吃过三次以上线上事故的亏。上周五凌晨两点，Bert预处理管道又卡在tokenize阶段，报错信息干净得像擦过玻璃，但下游所有评估指标全飘红。我抓包看输入，发现是某个字段传了None，可代码里根本没判None——它判的是isinstance(x, str) and len(x.strip()) > 0。我原以为这判断够细了，结果上线前他们悄悄补了句x = x or ""。我问为啥不早点加，张工一边敲键盘一边说：“之前判None？没炸过啊。”他说话时右手小指一直悬在Ctrl键上没落下去，悬了四分十九秒。

　　机器在响。不是风扇，是机柜最底下那台老A100的散热风扇，有规律地顿挫，嗡—嗡—嗡—停半秒—嗡。这种响法我熟，上次它响的时候，是embedding lookup层用错了padding_idx，训练loss平得像冻住的湖面，但验证集auc每天往下掉0.002。没人报警。监控只盯loss和lr，不盯auc的斜率。那天我翻了三小时diff，最后在utils.init.py第372行找到一行注释：# TODO: 这里应该按实际vocab_size重设。注释后面跟着个空行，再后面是def load_config()。

　　我不信什么“抽象一致性”、“单一职责”或者“可测试性前置”。信的是哪段逻辑崩过三次以上，还活着，且没人敢动。比如dataset.get_item()里那个try-except嵌套三层的结构，第一层抓UnicodeDecodeError，第二层抓PIL.Image.open的OSError，第三层兜底返回default_tensor。这玩意儿丑，文档都没写清第三层到底return啥shape，但它扛住了七次数据源变更、两次S3权限调整、一次CDN劫持——就因为去年三月有个实习生在except里偷偷print了traceback，运维顺藤摸瓜修了CDN缓存策略。现在那段代码还是原样，except里那行print删了，但缩进没调回来，空格数不对，硬塞了四个空格进去，跟上下都不齐。

　　桌上那盒凉透的黄焖鸡，酱汁凝成一块褐色膜，盖在土豆块上。我拿筷子戳了两下，没戳破。这让我想起上周四，王工坚持把所有forward里的mask逻辑抽成Mixin类，理由是“语义清晰”。我测到第五轮才发现他忘了重载__eq__，导致两个完全相同的mask对象在分布式all_gather后被当成不同key，loss.backward()里梯度错位。他当场重写了__eq__，但第二天code review又被打回来，说没写单元测试。他补了测试，test_mask_equality里用了assert a == b，而a和b是tensor，没写torch.equal。这事儿我记不清具体日期了，反正那周外卖单子我都留着，能查。

　　冷眼看着他们推“重构规范”——用mypy校验类型、用pylint扣分、用black格式化。有用。但真正起作用的永远是：上次谁在model.train()里漏了torch.no_grad()，害得推理延时突增到三千七十二毫秒；上次谁改了collate_fn的pad_value，默认值从0改成-1，导致label smoothing算错；上次谁把optimizer.step()挪到了loss.backward()前面，模型跑十轮就发散。这些坑不是文档写的，是值班表上画的红圈，是告警群里截的图，是凌晨三点微信对话框里一句“我刚revert了，先跑着”。

文章配图，仅供参考

　　小李吃完泡面，纸碗搁在显示器边沿，正好压住温度监控浮窗。他忽然说：“其实三原则就是一条：别让测试能跑通的代码上线后出事。”我点点头，但心里想的是——他没碰过那种case：单元测试全绿，集成测试全绿，但用户上传一张图，model输出是个list of None，而前端把它当dict用，整个页面白屏。这事发生过，在七月，不是十月。七月那天在下雨，雨点砸在玻璃幕墙上像弹珠，噼啪响个不停。

　　我现在手里这版代码，main.py第89行写着# FIXME: this breaks on empty batch，底下跟着三行被注释掉的try-except。我不知道该不该解注释。我试过，解了之后batch norm跑不动。我也没问。明天上午十点我要跑一轮回归，跑完看看log里有没有新的nan，有的话，就把FIXME下面那三行uncomment，再把BN层的track_running_stats设为False。至于为什么，我说不准。

（编辑：我爱制作网_沈阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!