تقلب سعر البيتكوين والإيثيريوم متكرر.

اكتشفت مشكلة، لنفس مسألة السوق، عند تحليلها بالذكاء الاصطناعي مرتين متتاليتين، النتائج لم تكن متطابقة تماماً.
بعد مراجعة سجلات الاستدعاءات، اكتشفت أن المشكلة من طرفي.
سابقاً كنت أوجه جميع الطلبات إلى أقوى نموذج، لتوفير الجهد، وكنت أظن أن ذلك أكثر استقراراً.
كان يسبب تأخيراً أعلى في أوقات الذروة، وانخفاض استقرار الإخراج، وزيادة واضحة في تكاليف الاستدعاء.
نماذج قوية مثل GPT و Gemini، الاستدعاء المتكرر يومياً لا يكون رخيصاً، وأحياناً العائد لا يغطي التكاليف.
غيرت المنطق إلى هيكل متعدد المستويات، استخدام نماذج خفيفة للأسئلة البسيطة، ونماذج قوية للمسائل المعقدة.
الصيانة اليدوية لقواعد التوزيع هذه تستهلك طاقة، وقت التصحيح يتجاوز وقت التداول نفسه.
بدأت باستخدام واجهة نموذج موحدة، ودع النظام يوزع تلقائياً بناءً على درجة تعقيد المهمة.
GateRouter الذي أطلقته Gate يسمح باستدعاء API واحد لجميع النماذج، إنه هيكل توجيه متعدد النماذج، يمكنه الاختيار التلقائي لأنسب نموذج حسب الحاجة.
النتائج أكثر استقراراً، التأخير انخفض، التكلفة الإجمالية انخفضت بشكل ملحوظ.
بدلاً من التردد في اختيار أي نموذج،
اترك النظام يكمل اختيار النموذج بنفسه.