Компания Primate Labs выпустила новое обновление для своего бенчмарка Geekbench для процессоров и графических процессоров, в котором предусмотрены меры по выявлению оптимизаций Intel BOT. Если будет обнаружено вмешательство в исполняемый код, то в соответствии с принципами работы BOT Geekbench 6.7 пометит результат, чтобы пользователи могли учитывать это при сравнении показателей.
Немного истории. На прошлой неделе компания Primate Labs опубликовала расследование об инструменте двоичной оптимизации Intel (Binary Optimisation Tool, BOT), в котором показала, как эти оптимизации могут искажать результаты сравнений производительности в пользу процессоров Intel. BOT находится между загрузчиком ОС и процессором и изменяет последовательность инструкций для повышения производительности в предварительно одобренных приложениях, таких как Geekbench.
Сравнение результатов тестов с включенной и выключенной функцией BOT на ноутбуке с процессором Core 9 386H показало, что при включенной функции BOT результаты улучшаются на 5,5 %, а в некоторых случаях прирост достигает 30 %. Понятно, что при сравнении результатов Geekbench между процессорами разных производителей процессоры Intel будут выглядеть быстрее, что может повлиять на восприятие пользователей.
В связи с этим, а также для обеспечения равных условий конкуренции между брендами, начиная с версии 6.7, Geekbench будет отслеживать, включена ли функция Intel BOT в тестовой системе. При обнаружении этой функции в отчете о тестировании на странице с результатами появится предупреждающее сообщение, чтобы пользователи могли легко отличить результаты, которые не следует сравнивать между брендами.
Помимо этого нового метода обнаружения, в Geekbench 6.7 также улучшена идентификация процессоров Arm и RISC-V: теперь вместо общего названия отображается производитель и модель SoC. Полный список изменений приведен ниже:
- Добавьте функцию обнаружения Intel BOT. Geekbench 6.7 может определить, включена ли функция Intel BOT в текущей системе. Если она включена, результаты тестов в браузере Geekbench будут помечены как недействительные. Этот код обнаружения является частью нашей работы по обеспечению сопоставимости результатов Geekbench на разных системах и платформах.
- Улучшена идентификация SoC на Android. В Geekbench 6.7 теперь указывается производитель и модель SoC (например, QTI SM8850) вместо архитектуры SoC (например, ARM ARMv8).
- Улучшена идентификация процессора на базе RISC-V. Теперь Geekbench сообщает название процессора, а не (иногда невероятно длинную) строку с описанием архитектуры RISC-V. Обратите внимание, что Geekbench для Linux RISC-V все еще находится на стадии предварительной версии и доступен на странице предварительных версий.
- Повышена стабильность работы на системах Linux ARM. В Geekbench 6.7 исправлены зависания, которые могли возникать при многопоточных нагрузках в системах Linux ARM. Обратите внимание, что Geekbench для Linux ARM все еще находится на стадии предварительного тестирования и доступен на странице предварительных версий.
Обратите внимание, что это изменение не влияет на способ измерения производительности. Результаты Geekbench 6.7 полностью сопоставимы с результатами Geekbench 6.3, 6.4, 6.5 и 6.6. В целом мы считаем, что это изменение необходимо, несмотря на то, что Intel BOT действительно повышает производительность в нескольких совместимых приложениях. Другими словами, это сделано только для того, чтобы сравнения были объективными, поэтому конечным пользователям определенно стоит включать Intel BOT в совместимых приложениях, поскольку прирост производительности может достигать 18% в таких играх, как Shadow of the Tomb Raider.
Выводы
- Обновление Geekbench 6.7 стало важным шагом к повышению честности тестирования процессоров, так как теперь бенчмарк умеет определять использование Intel Binary Optimisation Tool (BOT).
- Главная проблема ранее заключалась в том, что BOT модифицировал исполняемый код тестов, увеличивая производительность (иногда до десятков процентов), но при этом такие результаты выглядели как «чистая» мощность CPU.
- Из-за отсутствия детекции все результаты на совместимых CPU считались потенциально недостоверными, что сильно подрывало сравнимость между Intel, AMD и другими платформами.
- В версии 6.7 ситуация изменилась:
- теперь BOT распознаётся автоматически
- результаты с его использованием помечаются как недействительные (invalid)
- «чистые» тесты снова можно сравнивать напрямую
- Это решение — компромисс:
- с одной стороны, оно не запрещает оптимизации Intel
- с другой — разделяет реальные и “искусственно ускоренные” результаты, возвращая доверие к бенчмарку
- В целом ситуация показывает, что индустрия движется к более прозрачным и честным методам тестирования, где любые оптимизации должны быть явно обозначены.