برای ساخت «میکرو متریکها» جهت ارزیابی سامانههای LLM چه چارچوبی وجود دارد؟
نکات کلیدی هر مسئله در فضای هوش مصنوعی چالشهای منحصربهفردی دارد. وقتی مدتی است ترافیک محیط عملیاتی (production traffic) را سرو میکنید، با حالتهای لبهای (edge cases) و سناریوهایی روبهرو میشوید که میخواهید آنها را اندازهگیری کنید. مدلها را بهعنوان سیستمها در نظر بگیرید: مدلهای زبانی بزرگ (LLMها) بخشی از سیستمهای بزرگتر هستند. عملکرد و […]
