На KubeCon в Атланте в этом году инженер OpenAI поделился серьезной мудростью по инфраструктуре. Фабиан Понс из их команды прикладной наблюдаемости рассказал, как им удалось вернуть примерно 30 000 CPU ядер — да, вы правильно прочитали — просто изменив одну настройку конфигурации.

Их настройка? Обработка почти 10 петабайт логов ежедневно на их кластерах Kubernetes. Это такой масштаб, где даже небольшие неэффективности перерастают в огромные потери ресурсов. Оказалось, что один пропущенный переключатель сжигал ядра как сумасшедший.

Что делает это диким: это не было каким-то сложным переработкой или переписыванием. Просто старая добрая работа по наблюдаемости — нахождение мест, где находится отход, и его устранение. Для всех, кто управляет распределенными системами в больших масштабах, это тот тип легкодоступных решений, который действительно меняет ситуацию. Иногда самые большие победы приходят от того, что вы отключаете, а не от того, что вы строите.