负载均衡

最初的模型服务架构简单得不能再简单：一台 8 卡 A100 服务器，部署一个 Flask 服务，模型加载在显存里，外部请求通过 Nginx 转发…

这次做高可用架构，调研了各种负载均衡算法，从简单的轮询到复杂的一致性哈希，各有各的适用场景。

更糟的是上次 UPS 出故障，整个机房断电半小时，回滚数据花了整整一天。