Нові моделі штучного інтелекту від Meta опинились в центрі скандалу

У вихідні компанія Meta представила дві нові моделі штучного інтелекту Llama 4 – Scout і Maverick. Вони, за словами компанії, виявилися дуже ефективними у популярних тестах, навіть випереджаючи конкурентів, таких як GPT-4o та Gemini 2.0 Flash. Проте, виявилося, що статистика, представлена Meta, може бути маніпуляцією, повідомляє The Verge. У прес-релізі Meta підкреслила успішність моделей у рейтингу LMArena, де користувачі порівнюють їхні можливості та голосують за найкращі. Тим не менше, виявилося, що тестували не публічну версію моделей, а спеціально налаштований варіант для розмовної взаємодії. Це викликало обурення серед користувачів та вимагання оновлення правил рейтингу LMArena. Компанія Meta відповіла, що такі ситуації стають проблемою, коли постачальники ШІ надають спеціалізовані версії для тестування, відмінні від тих, що випускаються для громадськості, тим самим ускладнюючи об’єктивне порівняння моделей.