Как выбрать смартфоны для тестирования
Бенчмарки — тесты для производительности устройств — помогут понять, на что способен ваш смартфон в играх и прочих требовательных приложениях. Тесты измеряют скорость и вычислительную мощность центрального и графического процессора, а затем сравнивают результаты с гаджетами других производителей. Мы собрали шесть бенчмарков для разных целей в этом материале.
AnTuTu Benchmark
Показывает подробные сведения о вашем смартфоне и тестирует скорость и мощность процессора и видеоядра — результаты даются в баллах. Но пользователи жалуются, что тест не всегда соответствует действительности
3DMark Benchmark
Бенчмарк с тестами, которые показывают скорость устройства под большой нагрузкой. Еще дает статистику, как менялась скорость смартфона с каждым обновлением ОС
Geekbench 5
Комплексное тестирование производительности во время разных процессов — вроде рендеринга видео и обработки HDR. Есть тесты в одноядерном и многоядерном режимах
PCMark for Android Benchmark
Тестирует расход заряда и памяти устройства. Разряжает телефон до 20%, чтобы проверить производительность с запущенными приложениями в фоне. Бенчмарк критикуют за нестабильную работу
Basemark GPU
Совмещает универсальность AnTuTu и игровую направленность 3DMark. Тесты проводятся в окне с требовательной 3Д-графикой . Из минусов: приложение нестабильное и запрашивает личные данные
Linpack
Тесты, которые при анализе используют алгоритм для измерения скорости суперкомпьютеров. Проверяет, за сколько секунд ваш смартфон решит сложную задачу с большим количеством операций
Больше материалов о гаджетах
В нашем потоке «Технологии». Какие устройства стоит купить и как выжать максимум из вашего телефона и компьютераЦены действительны на момент публикации
Теперь вы знаете, как проверить производительность своего телефона. Осталось узнать:
Мало толку от них. Только для тестирования железа. Но по факту оно может разгоняться под бенчмарк и тормозить в реальных приложениях. И не забываем, что запускать надо раз 10 подряд, чтобы убедиться в отсутствии просадок от перегрева.
Тот же старенький Пиксель или 1+ на старом процессоре может работать отзывчевее и приятнее, чем новый флагманский Сяоми. А дешёвый Виво приятнее среднего Самсунга.
Просто потому, что железо правильно охлаждается, а оболочка и андроид хорошо оптимизированы. И пофиг, что в том же антуту будет отставание в 2-3 раза.
Производители оптимизируют код ОС под бенчмарки. Т.е. при запуске АнТуТу включают буст процессора и т.д. Поэтому проверять лучше на реальных тяжелых приложениях и играх.
Что пишут в блогах
- Книги кончились )) Оформляем предзаказ!
- Ноябрьская лента: лучшее за месяц
- Компоненты и схема клиент-серверной архитектуры для чайников
- Что такое тестирование. Курс молодого бойца (моя книга вышла!)
- Расписание на декабрь
- Как вырасти из тестировщика в тест-менеджера
- Организация обучения джуниоров внутри команды. 2 декабря, Кострома
- Автоматизация рутины. Скачиваем файлы через bash
- Панбагон. 12 часов — опасное время
- Оффер сразу после курса для тестировщиков с нуля. Что бывает, если выйти из зоны комфорта
Онлайн-тренинги
Что пишут в блогах (EN)
Разделы портала
Про инструменты
Автор: Светлана Скребнёва, телеграмм автора: @DigitalCityQA
В крупной компании джун-тестировщик с этим вопросом столкнется разве что на собеседовании. Можно рассказать общие принципы:
- составление таблицы на 5-10 критериев отбора,
- выбор, учитывая особенности приложения, характеристики реальных устройств и бюджет,
- упомянуть, что девайс на руках — не единственный вариант, частично можно протестировать эмуляторами и симуляторами и про фермы тоже не забыть.
В компании поменьше, оказавшись в начале пути перед выбором реальным, а не теоретическим, будет заметно сложнее. На практике все не так просто как в теории. Но и не совсем страшно.
Дорогу осилит идущий: анализировать, искать, думать, записывать.
Самый простой и быстрый вариант, взять готовый усредненный список предлагаемый BrowserStack
Хорошее распределение, но не забываем что во-первых это далеко не РФ, а во-вторых это бизнес проект и они предлагают те устройства которые есть у них. При разбросе в 2020 iPhone c 6 по 11, варианты 8 и XR «очень близко», по Android слабовато с Huawei, не говоря уже про Xiaomi.
Если не ищете легких путей – идем дальше.
Первым делом запросите статистику у команды
Изучите целевую аудиторию (ЦА)
Особенности самого приложения тоже могут влиять на выбор
Готовим шаблон
Содержание таблицы для примера, в вашем конкретном случае, оно будет другим.
В ходе работы выделяйте цветом/начертанием те параметры, которые важны (на примере оранжевый), либо обязательны (красный). Помечайте вопросами те пункты, которые надо обсудить с командой.
Производители. С них начинаем. На Android довольно высока девайсозависимость, производители стремятся привлечь покупателя фишечками «только у нас», добавляя проблем разработчикам, поэтому важно протестировать приложения на устройствах разных вендоров.
Напоминаю, что выше не готовый шаблон, вам будет необходимо актуализировать список во время выбора, исходя из статистики на тот момент времени (актуальной считается статистика не старше полугода), в идеале на вашу аудиторию.
Для порядка записан Apple, но помните, что тестировать вы будете отдельно для каждой из платформ (iOS/Android), учитывайте это при дальнейшем выборе.
Что тут делает Google и OnePlus будет во второй части.
Посмотреть лидирующих (по трафику) вендоров можно на Statcounter
Вверху мы видим актуальные данные за предшествующий месяц по выбранному региону, возможны варианты мир/Европа/Страна. На первом скриншоте РФ.
Данные таблицы можно редактировать. Я выбрала длительный период, чтобы видна была динамика роста одних (Xiaomi c 4-х до 18%) и снижения процента присутствия у других (Lenovo c 7% до 1%, LG, Sony, Nokia). У Samsung незначительное снижение, с 28 до 24%.
В РФ лидирует Samsung, у соседей впереди уже Xiaomi.
В США заметное отличие: большой отрыв у Apple, заметная доля Samsung, далее LG, Motorola, Google, Huawei.
Очевидно, что гео приложения важно.
Мы (условно) выбираем девайсы для русскоязычного приложения на три страны: Россия (
2/3 аудитории), Украина, Беларусь.
Samsung и Xiaomi включаем как обязательные.
Huawei упорно не сдает позиции, обсудите с командой, поддерживаете ли (если не в теме, погуглите «Huawei поддержка Google Play»). Сюда же идет и Honor, по сути это тот же Huawei с маркетингом на молодежную аудиторию.
Дополнительно зафиксируем Lenovo, LG, Sony, Nokia. У них примерно равные доли, скорее всего в первую выборку устройств они не попадут, но может сыграть какой-то из моментов описанных выше в пунктах 1-3.
В качестве наглядной иллюстрации три диаграммы (Яндекс.Метрика) по мобильному трафику за полгода на трех русскоязычных сайтах с разной ЦА.
Однозначно везде заметный охват у главной четверки: Apply, Samsung, Xiaomi, Huawei.
А вот пятый игрок уже зависит от ЦА, у всех трех он различен: Sony, LG, Lenovo
При этом пятый вариант производителя везде столь незначителен, что в «среднем по палате», при ограниченном бюджете и человеко-часах на тестирование, его можно оставить на потом.
Соотношение сторон экрана. Важный параметр, про который иногда забывают, привязываясь по старой памяти в первую очередь к разрешению экрана, где сейчас уже зашкаливающее многообразие (Android).
При этом проверять надо обязательно. На GUI тут живет много багов, и не редкость когда кнопка ставшая «не там» может в итоге привести к криту, заблокировав возможность использовать функционал приложения.
Обратите внимание, в столбце первые три значения для планшетов, далее для смартфонов.
При выборе параметров для смартфона постарайтесь захватить оба значения ближе к краю (из используемых) и среднее. В таблицу внесены соотношения сторон актуальные на середину 2020.
На сегодня Sony выпускает новые смартфоны с вытянутыми экранами 21:9, пока это крайнее значение, но уже ходят разговоры про 23:9 …
Размер. В этом столбце у нас три блока.
Для начала мы тут отметили «Планшет» с вопросиком (обсудим позже).
Далее идут отдельно варианты для Android и для iOS, т.к. у них немного отличается и подход и обозначение.
Ценовой сегмент. Можете прописать конкретные цифры. Премиальным обычно считается сегмент выше $500, с учетом нынешних цен уже можно добавить и премиум + для устройств дороже $1000.
Базовый сегмент $300-$500, бюджетный $150-300, то что дешевле — из нижнего ценового сегмента.
Новизна. За +++ принимаем современные устройства только что вышедшие на рынок, или ожидаемые к моменту утверждения бюджета и покупки, либо устройства вышедшие в текущем году. Для примера возьмем Apple. В эту категорию попадет премиум iPhone 12 во всех модификациях и базовый iPhone SE (2020).
Под ++ идут устройства прошлого (2019) года – iPhone 11 во всех 3-х модификациях. Один плюс для устройств трех предыдущих лет (2016-2018) — это от семерки до 10-ки. К минусу отнесем то что младше. Да, 6-ки выпущенные шесть лет назад еще живы и вполне используемы. Вот статистика использования от DavidSmith .
Привязка по годам зависит от конкретного производителя и поддержки устройствами новых технологий. Не всякое устройство вышедшее на рынок в текущем году может получить +++.
Разбивку по моделям/годам удобно смотреть на DeviceSpecifications.
Но это мы уже немного забежали вперед. Про конкретные модели поговорим во второй части.
Дополнительно. В примере этот столбец будет пустым, начертила чтобы вы не забыли, то о чем было в третьем пункте, вполне возможно что у тестируемого приложения есть особые запросы.
Если у вас не веб, а приложение, рассчитанное не на премиум-сегмент, да еще и с записью данных на устройство — работа с SD-картой иногда вызывает вопросы, включаем в список.
Таблица шаблона можно считать готова.
Только в отличие от выбора окружения на десктоп (ОС, браузеры), ее нельзя прогнать через pairwise.
Но перед переходом к выбору конкретных устройств, давайте снимем знак вопроса с одного важного пункта.
Планшеты
Обсуждаем с командой. Возможно у вас нативное приложение, которое вовсе не поддерживает этот тип устройств, тогда удаляем все «лишнее» в таблице и идем дальше.
Или ваше приложение активно поддерживает работу на планшете, и тогда однозначно планшеты нужны.
В среднестатистическом варианте придется решать. Если бюджет ограничен, лучше взять несколько смартфонов, нежели планшет. Но если ваша аудитория планшетами пользуется — хотя бы один планшет крайне желателен. Различий между двумя разными смартфонами и между смартфоном и планшетом, существенно больше и вероятность отловить баги выше. Хотя, скорее всего, это будет не функционал, а поехавшая верстка, на которую для небольшого стартапа без огромных амбиций пока можно призакрыть глаза (при этом помнить что имидж тоже важен). Выбор непростой.
Плохо, что если у вас своей статистики нет, по планшетам особо то и подсмотреть негде, особенно касательно РФ.
По миру вот свежие красивые цифры от Statista, процент имеющих планшет по странам. Если работаете на их рынок – без планшета пожалуй не обойтись.
По России, ещё месяц назад я бы уверенно отправила вас в Топ сайтов Яндекс.Радара. Там была неочевидная, но вполне информативная возможность посчитать процент планшетов по конкретным сайтам близкой тематики (искались по ключевым). И результаты порой были неожиданные.
Однако в июне проект закрыли.
Если кто знает достойную замену – подскажите в комментариях.
Со своей стороны сейчас могу предложить лишь LiveInternet. Система статистики родом из нулевых, там вас встретит такой рудимент как «статистика на PDA», но при этом пока еще немало живых сайтов, которые либо оставили эту статистику, либо предпочли её за «легкость». Какую-то информацию можно найти, просто не забывайте проверять жив ли пациент, если смотрите статистику сайта, а не группы. Ну и учитывать, что заброшенные проекты вносят некоторые искажения в статистику групп, но скорее в сторону уменьшения мобильного трафика и использования планшетов.
Нет, в отличие от Радара, тут нет конкретного выбора «планшеты». Но зато есть OS и это дает возможность посмотреть процент использования iOS iPad.
При этом, мы знаем, что iPad однозначный лидер среди планшетов.
По данным Statcounter у Apple 58% в мире, 50 в России, 40 в Украине и Беларуси.
По данным Statista на первое полугодие 2020 в мире 29,8% использования среди всех планшетов.
Т.е. цифру из статистики нам надо умножить то ли на 2 то ли на 3, чтобы оценить весь планшетный трафик.
Заглянем для начала в группу mp3 – всего 0.1%. Вполне ожидаемо, тут с планшетом делать нечего.
Теперь посмотрим Дом и семья — уже 1,1 %.
Зайдем в раздел Литература – ожидаемый рост, 1,6%.
Анализируйте свою тему.
Обратите внимание что важно смотреть не на сегодня, а выбирать период месяц, квартал, полгода, т.к. при малых цифрах выборка не репрезентативна.
Расписываю подробно, чтобы еще раз подчеркнуть: если у вас нет ни своей статистики, ни объема данных достаточного для анализа – всегда надо смотреть, думать, анализировать, используя внешнюю статистику лишь как подсказку.
На этом можно заканчивать часть первую. Во второй мы подготовим еще одну таблицу, уже непосредственно с претендентами на покупку и немного ссылок: что еще почитать.
Без тестирования производительности уже долгие годы не обходится практически ни один обзор смартфонов, поэтому не удивительно, что бенчмарки, предназначенные для этой задачи, пользуются популярностью не только среди энтузиастов, но и среди самых обычных пользователей, которые могут даже не знать, на каком железе работает их мобильное устройство.
Результаты бенчмарков, как правило, просты и понятны — во многих случаях итоги представлены в виде общего количества баллов, по которым, как предполагается, и нужно делать выводы о производительности девайса. Но все ли так просто, и действительно ли бенчмарки всегда отражают реальную картину, позволяющую оценить мощность смартфона и его конкурентов? И есть ли хитрости, на которые могут пойти производители смартфонов? Давайте попробуем разобраться в этом.
Как появились бенчмарки?
Есть мнение, что на мобильных устройствах бенчмарки (англ. benchmark) появились по той причине, что смартфоны с момента появления первой модели пытаются копировать функционал ПК, а на компьютерах оценка производительности всегда была актуальна благодаря большому количеству доступного на рынке железа, возможности смены отдельных компонентов, а также разгону процессора и памяти. На смартфонах же и в 2020 году пока приходится ограничиваться разгоном некоторых процессоров, установкой кастомных прошивок и получением прав суперпользователя, да и то не на всех девайсах, а модульные аппараты пока не прижились.
Для большего понимания того, где появились первые мобильные бенчмарки, немного углубимся в историю. Первым смартфоном, который увидел свет еще в 1992 году и начал массово продаваться, принято считать IBM Simon — это даже несмотря на то, что в то время термина смартфон еще не существовало. Тем не менее, IBM Simon уже тогда обладал сенсорным дисплеем, софтом для работы с электронной почтой и несколькими предустановленными играми.
А вот первое упоминание термина Smartphone мир услышал на презентации аппарата Ericsson R380s, работающего на операционной системе Symbian 5.1.
Случилось это в 2000 году, тогда же, когда вышла ОС для коммуникаторов Windows Mobile. Именно появление Symbian и Windows Mobile со временем дало пользователям возможность легкой установки множества сторонних приложений, среди которых были и бенчмарки, которых за время существования операционных систем накопилось более десятка. Тем не менее, на их показатели не слишком ориентировались при выборе устройства, хотя тесты производительности и применялись некоторыми пользователями.
Отсутствие популярности бенчмарков как на Symbian, так и в меньшей степени на Windows Mobile, можно объяснить тем, что смартфоны и коммуникаторы во времена расцвета этих двух операционных систем были менее востребованными, чем сейчас, но также меньше было производителей, как и версий процессоров. После появления Android OS в 2008 году ситуация в корне изменилась — мобильный софт начал обретать невиданную ранее популярность, чему в значительной мере посодействовала также IOS и первый Iphone, появившийся годом ранее. Смартфоны стали удобнее, и с каждым годом их производительность заметно вырастала, поэтому не удивительно, что для оценки их мощности было создано множество тестов, часть из которых уже успела устареть и окончательно утратила свою актуальность. К примеру, вспомнит ли кто-нибудь о существовавших ранее тестах Quadrant или Epic Citadel? Едва ли, а когда-то на них ориентировалось большое количество обозревателей смартфонов.
Что тестируют бенчмарки?
Методика тестирования у всех бенчмарков отличается, поэтому ни в коем случае нельзя сравнивать показатели из разных приложений, как и не совсем правильным будет сравнить результаты, полученные на разных операционных системах (точнее, учитывая особенности рынка на 2020 год, на IOS и Android). Наиболее популярные параметры для тестирования указаны ниже:
- Производительность процессора.
- Тестирование двухмерной и трехмерной графики.
- Производительность внутренней (пользовательской) и оперативной памяти.
- Скорость чтения и записи с карты памяти.
- Производительность при работе с базами данных.
- Прочие тесты — троттлинг, нагрев, автономность, воспроизведение видео и аудио и прочее.
Результаты могут быть отображены как в условных баллах (или, как иногда в шутку говорят, в попугаях), так и в мегафлопсах, гигафлопсах, мегабитах, мегабайтах, в количестве запросов в секунду (QPS), в кадрах в секунду (FPS) и в других единицах измерения.
Что не так с бенчмарками?
Но действительно ли такую особенность можно считать обманом? Мнения у пользователей по этому поводу разделились, так как с одной стороны кажется, что смартфоны пытаются сделать более привлекательными в глазах покупателей, а с другой — не все видят в этом что-то плохое, да и вовсе не нужно, чтобы железо всегда работало в полную силу. Мало какие задачи требует этого, а еще в таком режиме смартфон не может работать долгое время — это неизбежно приведет к перегреву и повышенному расходу заряда.
Идем дальше. Смартфоны, выдающие примерно равный результат в бенчмарках, вовсе не обязательно будут одинаково работать при решении повседневных задач — для примера можно привести процессоры Unisoc SC9863 и Snapdragon 439. Первый в Antutu восьмой версии набирает более 100000 баллов, а второй — в среднем 90000. Но в играх, да и в других задачах, процессор от Qualcomm превосходит своего конкурента в разы, показывая заметно большее количество кадров в секунду и лучшие результаты во всех аспектах работы. Еще одна странность в том, что в седьмом Antutu чип Snapdragon 439 все-таки набирает на 5000 баллов больше, то есть, видимо, используются уже другие алгоритмы подсчета. Но в итоге следует вывод, что количество не всегда переходит в качество.
И здесь обнаруживается еще одна особенность бенчмарков — это частый выход новых версий приложений, в которых результаты производительности могут существенно отличаться от таковых в предыдущих версиях. Это создает некоторую путаницу, ведь для объективного сравнения смартфонов нужно, чтобы тесты запускались в одинаковых версиях.
С бенчмарками, тестирующими время работы устройства, тоже все не так однозначно. Казалось бы, можно просто на всех смартфонах выставить 50 или 100 % яркости, и таким образом сравнивать показатели. Но особенность в том, что максимальный уровень яркости у всех девайсов разный. При тестировании дисплея могут обнаружиться другие особенности вроде уменьшения или увеличения яркости в зависимости от отображаемой информации или от яркости внешнего освещения. Поэтому без специального оборудования, которое бы измеряло яркость и позволило бы выставить на всех смартфонах одинаковый уровень подсветки, тесты не будут являться объективными.
Также странным выглядит и удаление из магазина Google Play, пожалуй, самого популярного бенчмарка Antutu, разработчики которого не раз обвинялись в нарушении политики конфиденциальности и в мошенничестве. Но это скорее единичный случай, который еще ни о чем не говорит.
Так стоит ли доверять бенчмаркам?
Хорошие результаты в бенчмарках еще не гарантируют, что смартфон будет радовать вас своей работой, но в большинстве случаев подобный софт поможет понять, насколько мощным может быть смартфон, и при отсутствии других данных это будет полезной информацией. Но достаточно ли этого? Если нужен просто мощный аппарат, то да, особенно если он выдает в Antutu несколько сотен тысяч баллов.
Несмотря на различные скандалы, связанные с бенчмарками, с этим софтом не все так однозначно — некоторые тесты помогают выяснить, склонен ли смартфон к троттлингу (значительному снижению производительности при нагрузках), а также они отображают скорость памяти, температуру аккумулятора и прочие полезные данные, поэтому ставить крест на всех бенчмарках не стоит. Часть из них наверняка будет востребована еще очень долгое время.
В сентябре 2016 года компания «Перфоманс Лаб» выпустила новое исследование «Оптимальный парк устройств для мобильной лаборатории», позволяющее ответить на вопрос: «Какие телефоны использовать для тестирования?».
В компании «Перфоманс Лаб» развернута современная мобильная лаборатория, специалисты которой регулярно проводят аналитические исследования для актуализации и обновления парка мобильных устройств.
В ходе текущего исследования было проанализировано более 3 000 моделей устройств и 10 версий различных операционных систем. Сформирован оптимальный парк мобильных устройств для тестирования, актуальный на сегодняшний день и на ближайшие полгода.
Стоит отметить, что по сравнению с прошлым отчетом «Оптимальный парк устройств для мобильной лаборатории», во втором полугодии увеличилось количество мобильных устройств, рекомендованных к включению в парк. В списке рекомендованных смартфонов появились legacy-устройства (модели с устаревшими техническими характеристиками, но все еще популярные среди пользователей). Кроме того, выросло количество фаблетов (смартфонов с диагональю от 5 до 7 дюймов).
Рост популярности бюджетных вариантов смартфонов от китайских производителей среди покупателей, по прогнозам «Перфоманс Лаб», поставит под удар крупных производителей, таких как Sony, HTC и ряд других компаний, не имеющих качественных и недорогих моделей.
Информация в исследовании отражает общую ситуацию по использованию мобильных устройств в России. Собранные данные позволяют провести тестирование на релевантных устройствах и добавить в приложение дополнительную ценность в виде его качества.
Отчет предоставляется бесплатно на сайте «Перфоманс Лаб».
«Перфоманс Лаб» – один из крупнейших поставщиков услуг по тестированию программного обеспечения, насчитывающий в штате более 350 сотрудников на территории России и США. Компания предоставляет инновационные, бизнес-ориентированные сервисы по тестированию и обеспечению качества, сочетая лучшие в своем классе методики тестирования и глобальную модель реализации услуг.
Читайте также: