Мы продолжаем наше описание новой методики тестирования компьютеров под управлением macOS. В первой части статьи было подробно описано использование профессиональных приложений для измерения производительности устройств Apple. Теперь же мы рассмотрим синтетические и игровые бенчмарки.
Синтетические бенчмарки
Здесь, по большому счету, никаких изменений по сравнению с предыдущей версией методики нет, но обновились сами бенчмарки.
JetStream
Начнем с браузерного JavaScript-бенчмарка JetStream. В качестве браузера использовался Safari.
iMac Pro (Late 2017)
MacBook Pro Retina 15″ (Mid 2017)
MacBook 12″ (Mid 2017)
Баллы (больше — лучше)
207,01
219,03
195,06
Браузерные бенчмарки, которые мы используем при тестировании мобильных устройств на iOS/Android, здесь запускать не имеет смысла, потому что мощи «взрослых» устройств Apple достаточно для того, чтобы не беспокоиться о скорости работы движка JavaScript в браузере. Поэтому мы приводим показатели лишь одного такого бенчмарка JetStream — что называется, до кучи. Ну, и для сопоставления компьютеров и ноутбуков со смартфонами и планшетами, если кому интересно.
Geekbench
Разумеется, не обойтись и без Geekbench — пожалуй, самого популярного бенчмарка для macOS. Увы, новая, четвертая версия этого бенчмарка несовместима с третьей. Зато в ней добавили тест GPU (Compute Benchmark) на основе OpenCL и Metal. Вот здесь детально объясняется, где, как и зачем может применяться OpenCL при разработке приложений для macOS. Что же касается Metal, то это основной инструментарий для разработки игр под macOS.
Важный нюанс: в подтесте Compute можно указать, какой GPU будет задействоваться, если в компьютере есть дискретная графика. Поэтому в таблице ниже вы увидите в соответствующей ячейке у MacBook Pro 15″ (Mid 2015) два значения. Первое — для интегрированного графического ядра, второе — для дискретной графики.
iMac Pro (Late 2017)
MacBook Pro Retina 15″ (Mid 2015)
MacBook 12″ (Mid 2017)
Одноядерный 64-битный режим (больше — лучше)
5117
4249
3567
Многоядерный 64-битный режим (больше — лучше)
31369
14750
7025
Compute OpenCL (больше — лучше)
163382
37297 / 26688
16912
Compute Metal (больше — лучше)
165752
32907 / вылетал
16202
Здесь в результатах можно отметить, во-первых, гигантский отрыв iMac Pro именно в тестах Compute и, во-вторых, относительно небольшой разрыв в одноядерном CPU-тесте между всеми тремя моделями.
GFX Benchmark Metal
Для тестирования производительности в играх есть подходящий бенчмарк: GFX Benchmark Metal. Он основан на OpenGL и ориентирован именно на тестирование GPU, причем с задействованием технологии Apple Metal (как видно из названия). Мы использовали его раньше и считаем необходимым включить этот тест в новую версию методики.
Результаты тестирований сведены в таблицу:
iMac Pro (Late 2017)
MacBook Pro Retina 15″ (Mid 2015)
MacBook Air 12″ (Mid 2017)
1440р Manhattan 3.1.1 Offscreen, fps
315,8
44,5
17,2
Manhattan 3.1, fps
59,9
24,9
14,2
1080p Manhattan 3.1 Offscreen, fps
513,5
55,8
27,9
Manhattan, fps
59,9
38,8
19,1
1080p Manhattan Offscreen, fps
600,7
60,1
36,5
T-Rex
59,9
59,0
39,1
1080p T-Rex Offscreen, fps
1098,0
103,1
59,6
Как видим, здесь в результатах ничего неожиданного. Не стоит забывать, что в Offscreen-тестах разрешение везде одинаковое, фиксированное, а в остальных — соответствует разрешению экрана. Кроме того, в тестах T-Rex и Manhattan стоит ограничение в 60 fps, так что больше нельзя набрать физически.
CompuBenchCL
В дополнение к GFX Benchmark Metal мы решили взять в новую методику еще один бенчмарк того же разработчика: CompuBenchCL 1.5. Он проверяет вычислительную производительность GPU и CPU в OpenCL. Важно, что здесь есть имитации реальных режимов работы (в отличие от Geekbench), а графический ускоритель задействуется не только в игровых сценариях. Среди подтестов есть даже майнинг биткойнов.
Вот так выглядит окно CompuBenchCL. Вверху надо выбрать, что будем задействовать: CPU или GPU. Причем если GPU есть и интегрированный, и дискретный, то можно выбрать любой из вариантов. А вот выбрать нижний вариант (CPU+GPU) пока нельзя. Очевидно, что CPU нас в данном случае не очень интересует, так как для процессора этот тест не показателен. А вот GPU во всех возможных вариантах — да.
iMac Pro (Late 2017)
MacBook Pro Retina 15″ (Mid 2015)
MacBook Pro Retina 13″ (Late 2012)
Face Detection, MPixels/s
154,14
25,576 / 16,978
9,4
TV-L1 Optical Flow, MPixels/s
33,864
5,676 / 6,0164
8,0
Ocean Surface Simulation, fps
1725,5
519,26 / 269,61
16,6
Particle Simulation — 64k, MInteractions/s
1064,9
213 / 189,3
10,3
Video Composition, fps
125,69
38,272 / 19,324
24,0
Bitcoin Mining, MHash/s
1173,8
124,06 / 30,315
40,6
Что здесь интересно? На MacBook Pro 15″ можно сравнить результаты интегрированного и дискретного GPU, то есть в некотором роде это более развернутый вариант теста Compute в Geekbench 4, что дает нам возможность подтвердить полученные результаты.
BlackMagic Disk Speed
Если перечисленные выше бенчмарки помогают нам оценить производительность CPU и GPU, то BlackMagic Disk Speed ориентирован на тестирование накопителя — скорости чтения и записи файлов.
Это очень простое приложение, в котором можно выбирать объем данных, с помощью которых будет тестироваться быстродействие накопителя (от 1 до 5 ГБ), но больше никаких настроек нет, так что остается только нажать кнопку Speed Test Start и запустить процесс.
Игры
Примерное представление о производительности в играх может дать уже GFX Benchmark Metal, однако самый лучший способ понять, насколько подходит компьютер для игрового применения — просто попробовать на нем поиграть.
В прошлой версии методики мы использовали для этого Deus Ex: Human Revolution и World of Tanks: Blitz из Mac App Store, в которых измеряли количество кадров в секунду с помощью CountIt. Однако, во-первых, World of Tanks: Blitz сейчас без проблем идет на любых конфигурациях актуальных компьютеров Apple, включая 12-дюймовые MacBook, так что для тестирования он не очень показателен. А во-вторых, CountIt — все-таки не самый удобный и корректно работающий инструмент. Поэтому в новой версии методики мы решили отказаться от CountIt и воспользоваться Civilization VI со встроенным графическим бенчмарком. Для этого в главном меню игры выбираем Benchmark / Graphics Benchmark.
Суть его работы очень проста: демонстрируется сцена, измеряется FPS. По итогам бенчмарк выдает два значения: Average Frame Time — среднее время отрисовки кадра, 99th Percentile — время отрисовки, которое обгоняют 99% кадров (т. е. отброшен результат отрисовки 1% кадров с самой низкой скоростью, чтобы избавиться от случайных тормозов). Оба значения выводятся в миллисекундах, однако мы решили переводить миллисекунды в более привычные FPS. Делается это просто: делим 1000 (поскольку в 1 секунде 1000 мс) на полученное значение и записываем результат. В таблице указываем его с округлением до одной десятой. Соответственно, чем больше FPS, тем лучше.
Однако здесь встает вопрос, какие настройки ставить. Начнем с того, что максимальное разрешение будет напрямую зависеть от разрешения экрана, причем оно будет меньше. Например, в случае с MacBook Pro 15″ это 1440×900. Поэтому делать какие-то выводы о производительности «в вакууме» по этим результатам весьма сложно. Но помимо разрешения есть и другие настройки, и здесь картина следующая: iMac Pro отлично работает при выставлении максимальных настроек, а MacBook Pro 15″ при этом демонстрирует меньше 1 к/с, так что это совершенно неработоспособный вариант. Видимо, в случае с более слабыми моделями, чем iMac Pro, целесообразно выставление настроек по умолчанию — и тогда у MacBook Pro 15″ получаются такие же результаты, как у iMac Pro с максимальными настройками. Это дает представление о реальном игровом комфорте в одном из самых требовательных и известных проектов.
iMac Pro (Late 2017)
MacBook Pro 15″ (Mid 2017)
MacBook 12″ (Mid 2017)
Civilization VI, Average Frame Time, fps
22,7
25,5
8,8
Civilization VI, 99th Percentile, fps
14,1
14,1
2,6
В таблице приведены значения для iMac Pro при максимальных настройках, а для ноутбуков — при выставленных по умолчанию.
При этом требования игры таковы, что даже на самых производительных конфигурациях максимальные значения FPS не достигаются, а это хорошо для наших задач.
Измерение нагрева CPU и GPU
И последнее, без чего не обойтись при тестировании компьютеров и особенно ноутбуков: измерение нагрева. Зачастую именно недостаточно хорошее охлаждение становится причиной падения производительности и дискомфорта при использовании. Для тестирования нагрева мы используем утилиту Tunabelly TG Pro.
Она демонстрирует нагрев всех основных компонентов, включая каждое ядро CPU и GPU в отдельности, а также умеет создавать лог и отображать температуру в режиме реального времени.
Tunabelly TG Pro имеет смысл использовать во время длительного тестирования, предполагающего максимальную нагрузку — например, в операциях видеомонтажа.
Также мы можем в случае необходимости измерить внешний нагрев корпуса и шум. Это может быть целесообразно в тех случаях, когда они явно выходят за рамки комфортных значений. Описание и примеры того, как это делается, можно найти в статьях из раздела «Ноутбуки и планшеты» (например, здесь).
Выводы
Что ж, теперь у нас есть полное представление о том, как тестировать производительность компьютеров на macOS и с помощью каких тестовых инструментов мы можем получить наиболее интересные и показательные результаты.
Конечно, любой набор бенчмарков будет неидеальным. Надо понимать, что бенчмарки — это условность, и те «попугаи», которые они выдают, далеко не всегда будут показательны с точки зрения реального использования. Однако, в отличие от профессиональных приложений, бенчмарки более универсальны и позволяют составить общее примерное представление об уровне производительности. Именно поэтому нам кажется важным сочетать оба этих подхода.
