Обяснение на моделната паритета: Какво трябва да измерват купувачите сега
От Win.AI Editorial
Обяснение на моделната паритета: повечето заглавия на доставчици за "производителностна паритета" компресират сложен набор от компромиси в един единствен резултат, а купувачите, които третират паритета като да или не, ще платят за неправилно подбрани модели. Отнасяйте се към паритета като към фалсифицируемо твърдение, свързано с тестова рамка, а не като към истина за продукта.
Какво всъщност обхващат твърденията за паритет на доставчиците
Доставчиците публикуват резултати на различни набори от данни, шаблони за подканяне и правила за оценяване. Проектът HELM на Станфорд документира, че оценките са жив, многометриен екосистем и че агрегатните резултати крият компромиси между точност, устойчивост, справедливост и ефективност. Практическото следствие е, че два модела могат да завършат равностойно на един единствен бенчмарк като MMLU, докато се различават по домейни на подканите, които вашите потребители използват всеки ден. Въвеждането на GPT-5.6 от OpenAI и системната карта на Opus-5 от Anthropic подчертаха значителните постижения в бенчмарковете заедно с техническите бележки, които ограничават шаблоните за подканване и оценяване, използвани за тези числа.
Какво да измерите вместо паритет
Фиделит на задачата. Използвайте вашите реални подканки или близък синтетичен прокси и изисквайте сурови генерирания. Помолете доставчика да проведе вашия тест с фиксирани семена и да върне резултатите и оценките, така че вие да можете да възпроизведете тестовете.
Устойчивост срещу нападения. Включете варианти за инжектиране на подканки, атаки с парафрази и тестове за пробив на инструкции. Станфорд HELM и публични оценки от трети страни показват, че високите оценки в бенчмарковете не гарантират устойчивост на нападателски редакции.
Чувствителност на подканите и верига от мисли. Сравнете подканки без примери, с малко примери и шаблони за верига от мисли. Някои модели значително подобряват резултатите си при подканки с верига от мисли, а други не; тази разлика променя както латентността, така и разхода на полезен отговор.
Безопасност и защитни механизми. Изисквайте системна карта, резюмета на проценти на откази и акценти от червени екипи. Бенчмарковете обикновено пропускат реалистични режими на злоупотреби, освен ако не ги включват изрично в рамката.
Оперативни фактори. Измервайте латентността на опашката под вашето натоварване, лимити за едновременни заявки и ефективната цена на успешна задача. Пазарните медианни латентностни числа често пропускат поведението на опашката при реална конкуренция, което променя SLA и изчисленията за разходи.
Практически компромиси и контрааргумент
Очевидният възражение е, че бенчмарковете позволяват покупка "ябълка към ябълка", когато доставчиците публикуват подканки, семена и скриптове за оценяване. Това е вярно. Контрааргументът е, че пълното публикуване на рамката е рядко. Станфорд HELM и публични оценки документират чувствителност към детайлите на рамката. Моята оценка е приблизително 60 процента шанс в следващите 12 месеца, че маркетингът на паритета ще заблуди екипите по поръчки, които приемат високи резултати без възможност за възпроизвеждане на рамката. Основите за тази оценка са стимулите на доставчиците да подчертават успехите, документираната чувствителност на бенчмарковете и повтарящият се модел на задържани детайли на рамката.
Съществува разумен граничен случай. Когато доставчик публикува подканките, скриптовете за оценяване и системната карта, а трета страна възпроизведе тестовете, твърденията за паритет приближават надеждността. Очаквайте това да бъде изключение, а не правило.
Списък за купувачи
- Настоявайте за възобновяем, открит тест на рамка, проведен с вашите примерни подканки с върнати сурови генерирания. 2. Добавете тестове за нападения и парафрази, произтичащи от вашия модел на заплаха. 3. Изисквайте системна карта и резюмета на червените екипи, които да включват проценти на откази и мерки за смекчаване. 4. Бенчмаркирайте латентността на опашката и общата цена на собственост при очакваната ви конкуренция. 5. Договорете темпове на актуализация на модела и измерими прозорци за отговор на поддръжката.
Отнасяйте се към твърденията за паритет като към хипотеза, която да фалсифицирате с вашата рамка. Кратките, повторяеми оценки намаляват шанса за плащане на премия за тесно настроен успех в бенчмарка.
Опитайте сами
Тест за инжектиране на нападения. Очаквайте моделът да откаже или безопасно да пренасочи; забележете дали малки редакции променят изхода.
