Как мы измеряем: ACM-1 простыми словами

Единица анализа — сценарий

Сценарий — это одна ситуация покупки: портрет покупателя, сценарий использования и два-три ранжированных приоритета, не более одного выполнимого жёсткого требования и без ценовых диапазонов. Каждый сценарий задаётся в нескольких формулировках, порядок вариантов меняется, а их метки выбираются случайно.

Результаты считаются по сценариям: повторный вопрос по тому же сценарию не считается новым свидетельством.

Запросы к моделям подаются на английском: сценарии и промпты пишутся на английском языке. Сайт доступен на английском, русском и испанском, а результаты показываются на вашем языке через переведённые подписи к фиксированным кодам. Измерение языка запроса как отдельного фактора в текущие выпуски не входит.

Состав судей и кто учитывается

Судьи — ИИ-модели, которые вызываются через API: напрямую через API разработчика или через API-шлюз с закреплённым провайдером. В каждом результате указаны API-модель и её версия, способ вызова, условия и дата, а не потребительское чат-приложение.

До запуска фиксируется правило включения: судья должен дать достаточно корректных ответов по запланированным сценариям. Судьи, которые ему не соответствуют, перечисляются с причинами и не входят в среднее. Строки, для которых мало данных, не публикуются, но тоже перечисляются.

По умолчанию консенсус даёт равный вес каждому семейству моделей и считается нормативной мерой; основная мера — результаты по каждому судье.

Интервалы и «явного лидера нет»

При вынужденном выборе судьи обязаны выбрать один из показанных вариантов (варианта воздержаться в битвах и чартах нет, а некорректные ответы учитываются отдельно), и каждая доля выбора приводится с доверительным интервалом. Судья, потребность покупателя или консенсус склоняются к бренду, только если весь интервал лежит выше или ниже 50 %. Иначе явного лидера нет. Одна точечная оценка никогда не считается победой. Интервалы в битвах и в выпусках чартов, зафиксированных после принятия этого правила, немного расширены, чтобы оставаться точными при небольшом числе сценариев; более ранние выпуски чартов сохраняют опубликованные интервалы.

Интервалы отдельных судей и интервалы консенсуса считаются разными методами, потому что консенсус объединяет судей. На странице каждого результата названы оба метода. В битвах и в новых выпусках чартов оба интервала немного расширены для небольшого числа сценариев (калибровка по Стьюденту).

Метки точности: смоделирована или измерена

Точность результата зависит от числа сценариев. Пока реальные запуски её не измерили, показатели точности помечены как «смоделированные»: они получены на симуляциях с известными ответами. Только после измерения результат помечается как «измеренный».

Предварительная регистрация

Перед каждым запуском сценарии, план анализа и правило включения фиксируются, а их хеш публикуется вместе с каждым результатом. Изменения действуют только для будущих запусков и никогда не затрагивают опубликованные цифры.

Подписанные снимки данных

Каждый опубликованный результат — неизменяемый снимок данных, подписанный ключом Ed25519. Сайт собирается только из снимков, подпись которых проверена; если снимок не проходит хотя бы одну проверку, сборка останавливается, поэтому непроверенные данные не показываются.

Как проверить снимок данных

1. Скачайте снимок по ссылке «Проверить этот результат» на странице битвы.
2. Приведите поле payload к каноническому виду по RFC 8785 (JCS) и убедитесь, что SHA-256 результата совпадает с payload_sha256.
3. Проверьте отделённую подпись JWS (RFC 7515, EdDSA) над защищённым заголовком и каноническим payload с помощью открытого ключа, указанного в kid.
4. Найдите этот ключ в списке открытых ключей. Снимок, подписанный тестовым ключом, ничего не доказывает: такие ключи подписывают только демонстрационные данные.Открытые ключи (JSON)

Чарт, битвы и приостановленные разделы

Эти разделы используют те же интервалы и пометки, что и каждая битва. В публичных выпусках действуют Чарт брендов ИИ и Битвы брендов; лента битв, голоса посетителей, тест, быстрые битвы и консилиум сейчас приостановлены или показаны только на демо-данных.

Лента битв (на паузе)

Сейчас приостановлена на демо-данных. Каждая карточка показывает интервал консенсуса ИИ в битве и для сравнения — выбор посетителей. На демонстрационных данных посетители смоделированы. Разрыв — доля ИИ минус доля посетителей с интервалом MOVER; разрывом он называется, только если этот интервал исключает 0. Ваши выборы, серия и счётчик остаются на вашем устройстве.

Чарт брендов ИИ

Бренды перечислены по консенсусной доле выбора ИИ-моделью в случайных шорт-листах из четырёх, с интервалами. В чартах с карточками каждый бренд представлен той конфигурацией из каталога, которая лучше всего отвечает ранжированным приоритетам сценария по неценовым характеристикам (price_not_shown), что закрепляется в предварительной регистрации до любого вызова; доля отражает конкурентоспособность наиболее подходящей конфигурации, а не среднее по всем комплектациям или продажам. В брендовых чартах для категорий без каталога фактов (brand_names_only) модели видят только четыре названия брендов без карточек товаров, и эти два типа чартов никогда не смешиваются. Позиция — лишь порядок отображения оценок; утверждения — это уровни и одновременные интервалы мест. Движение выходит за пределы шума, только если интервал изменения доли (метод MOVER) исключает 0.

Какой ИИ выбирает как вы? (на паузе)

Сейчас приостановлен на демо-данных. Ваши выборы сравниваются с каждой моделью по согласию, взвешенному по уверенности: в каждом выборе модель весит больше там, где её собственный перевес увереннее. Интервал каждого совпадения — огибающая интервалов вопросов при фиксированных весах, а не совместное утверждение о доверии. Если выборов достаточно, модели в ничьей с ближайшей определяет совместная бутстреп-проверка по вашим выборам. Результат считается в вашем браузере.

Типы покупателей (на паузе, черновик): результат начинается с типа, названного по семейству моделей. Это семейство моделей, которые совместная проверка не отличает от вашей ближайшей, а при большой ничьей — семейства, которые та же проверка не может разделить. Тип каждого семейства назван по описанным характерам его судей, а одна модель называется, только если проверка называет ровно одну.

Быстрые битвы (на паузе)

Сейчас приостановлены. Быстрая битва — оценка по запросу посетителя на более дешёвой панели и меньшем числе сценариев. Она какое-то время хранится, никогда не индексируется и не попадает в списки и не входит ни в одну главную цифру.

Табель ИИ-покупателя (на паузе)

Батарея честности Табеля ИИ-покупателя сейчас приостановлена и не входит в текущие публичные выпуски. Когда она активна, она проверяет каждую названную API-модель на синтетических предложениях и парах-близнецах с известным правильным ответом: выбирает ли она строго доминирующее предложение при размере шорт-листа k = 2, 4 и 8, смещает ли выбор порядок слотов, как часто перестановка вариантов или перефразировка меняет ответ сверх шума повторов, влияет ли ярлык бренда при одинаковых характеристиках и соблюдает ли модель жёсткие ограничения покупателя или воздерживается, когда ни одно предложение не подходит. Каждая метрика публикуется по каждому судье с интервалом по сценариям и ориентиром случайного выбора или нуля, без буквенных оценок.

Как получен порядок результатов

В Чарте брендов ИИ, в битве и в быстрой битве бренды упорядочены по одному измеренному параметру: консенсусной доле выбора ИИ-моделью каждого бренда у названных API-моделей в перемешанных шорт-листах. У каждой доли есть интервал, а позиция — только порядок оценок; утверждениями служат уровни и интервалы, как описано выше. На странице консилиума (сейчас приостановлен на повторе образца) предложения перечислены по цене, от меньшей к большей, и в каждой строке видно, какие модели выбрали это предложение. Никакая оплата и никакие деловые отношения с нами не меняют ни один из этих порядков и не решают, какие варианты в них попадут.