Сертификация клиентского приложения на Android устройстве

Описание ситуации

В связи с расширением количества поддерживаемых устройств под управлением Android OS и разнообразием начинки, у технической команды SmartPlayer возникла необходимость проводить оценку производительности устройств при работе с клиентским приложением. Для этого в клиентское приложение Android была добавлена функциональность, которая проводит оценочные тесты устройства и его характеристик и выставляет оценку.

Имеющийся тест не даёт полной гарантии что устройство пользователя будет корректно работать с клиентским приложением Android. Рекомендуется проводить минимум три теста и выводить оценку по суммарному среднему значению полученному из всех трёх тестов.

Начало процесса оценки

Как только откроется главная страница бенчмарка, пользователь увидит следующие параметры:

• Выбор языка
• Кнопка «Меню»
• Кнопка «Начать работу»

Пример отображения главной страницы бенчмарка

Общая информация

Данный тест отображается в клиентском приложении как окно состоящее из двух частей:

1. Экран характеристик
2. Бенчмарк

Пример отображения UI для теста на клиентском приложении Android OS

Бенчмарк - это специальный тест или набор тестов, который помогает оценить, насколько быстро, эффективно и стабильно работает устройство, программа или система.

Алгоритм действия

Функционал тестирования устройства на клиентских приложениях будет работать с ver. 1.78 +

Данный тест появиться при первом запуске клиентского приложения на устройстве под управлением Android OS.

Пример отображения теста на клиентском приложении Android OS

Пользователю необходимо нажать на кнопку "Запустить проверку" расположенную в правой части экрана для запуска теста.

Пример отображения кнопки "Запустить проверку"

Следующим шагом появиться модальное окно со списком настрое и включенными чекбоксами/галочками.

При необходимости некоторые шаги можно выключить с помощью чекбокса/галочки, но при первом запуске делать этого не рекомендуется.

Пример отображения чекбоксов для запуска теста

Далее пользователь начинает процесс тестирования по кнопке "Запуск". Перед запуском тестов обязательно будет показано окно с предупреждением об эпилепсии.

Пример отображения дисклеймера о контенте вызывающем эпилепсию

Для проведения тестов используются заранее подготовленный видеоконтент, которые расположены на облачном хранилище. У устройства обязательно должен быть выход в сеть.

На этом этапе устройство проводит тесты по всем указанным в чекбоксах сценариях В процессе проверки теста пользователь должен наблюдать за каждым шагом проверки.

Пример теста 1

Пример теста 2

Пример теста 3

Если на каком-то шаге проверки клиентское приложение перестанет работать, то устройство получит за этот этап 0 баллов. В случае ошибки, краша или зависания проверку на устройстве нужно перезапустить отключив с помощью чекбокса шаг, который приводит к ошибке.

Пример отображения проблемного шага

После завершения всех тестов пользователю предоставят результат в виде списка с оценками. На этом тестирование устройства закончится.

Пример отображения результата тестирования устройства под управлением Android OS

Нажав на кнопку "Готово" пользователь получит отдельную оценку каждой характеристики с цветовой индикацией.

Пример отображения результата с индикацией характеристик

Завершив тест система покажет пользователю общий результат и результат по каждой характеристики. Ниже будет подробнее описана система оценок используемая в тесте.

Система оценивания

Если в характеристике сталкиваются один зеленый параметр и один красный, то результат выдаваться по худшему из результатов.

Версия андроида:

• Зелёный цвет - 9-11
• Жёлтый цвет - 7-8 или 11+
• Красный цвет - ниже 7
  

Наличие root-прав:

• Зелёный цвет - да
• Красный цвет - нет
  

Оперативная память (RAM):

• Зелёный цвет - 2 Гб
• Жёлтый цвет - от 1.5 Гб до 2 Гб
• Красный цвет - ниже 1.5 Гб
  

Внутреннее хранилище (показывает общий размер памяти):

• Зелёный цвет - больше 10 Гб
• Жёлтый цвет - от 8 Гб до 10 Гб
• Красный цвет - ниже 8 Гб
  

Свободная память (имеющаяся доступная память):

• Зелёный цвет - больше 2 Гб
• Жёлтый цвет - от 1 Гб до 2 Гб
• Красный цвет - ниже 1 Гб
  

Наличие сетевых интерфейсов (WI-FI и Ethernet):

• Зелёный цвет - если есть хотя бы один из сетевых интерфейсов
• Красный цвет - отсутствуют оба
  

Видеодекодеры - отображает название используемых декодеров. При нажатии на строку можно развернуть полный текст с описанием декодеров.

Общая оценка

Оценивается следующим образом:

• Зелёный цвет - от 7 до 10
• Жёлтый цвет - от 5 до 7
• Красный цвет - от 0 до 5

Дополнительная информация

Если данная статья не помогает использовать функционал по назначению или после ее прочтения остаются вопросы можно озвучить данные вопросы в разделе "Обсуждения" вверху страницы.

Пример отображения вкладки "Обсуждения" на wiki-странице

Также дополнительную информацию можно узнать на странице Как взаимодействовать пользователю с разделом "Обсуждения"