ИИ-лаборатории поставили на карту свою репутацию ради бенчмаркинга моделей — якобы нейтральной и точной системы оценок, призванной определять, превосходит ли один ИИ-продукт другой.
Тем не менее, методы, лежащие в основе этих оценок, сложны и все еще находятся на стадии становления, отметила Айрин Солайман, директор по политике Hugging Face, во время дискуссии на конференции TechCrunch Disrupt на прошлой неделе. Тестирование должно превратиться в более последовательную науку, если отрасль хочет полагаться на него в будущем.
