今年のアトランタでのKubeConで、OpenAIのエンジニアがいくつかの重要なインフラストラクチャの知恵をドロップしました。彼らの応用可視性チームのファビアン・ポンセが、1つの設定をオフにするだけで約30,000 CPUコアを取り戻す方法を説明しました—そう、あなたはそれを正しく読みました。

彼らのセットアップ？Kubernetesクラスタ全体で毎日約10ペタバイトのログを処理しています。それは、わずかな非効率さが大規模なリソースの浪費に雪だるま式に膨れ上がるようなスケールです。どうやら、見落とされた1つのトグルがコアを狂ったように消費していたようです。

これが野生にさせる理由は、いくつかの複雑なリファクタリングや書き直しではなかったからです。ただの古典的な可観測性の作業です—無駄がどこにあるかを見つけて、それを取り除くこと。分散システムを大規模に運用している人にとって、これは実際に効果をもたらすような低いところにぶら下がっている果実です。時には、最大の勝利は構築するものではなく、オフにするものから来ることもあります。