Введение

Большинство воспринимаемой информации человек получает через органы зрения. Взаимодействие с мобильными устройствами не является исключением — для получения той или иной информации мы смотрим, например, на дисплей смартфона или часов. Но чтобы повысить эффективность взаимодействия с техникой, используются также другие способы восприятия информации, например, осязание. Для этого во многих устройствах используются вибрационные модули для создания тактильной обратной связи. С точки зрения пользовательского опыта и проектирования интерфейсов сфера тактильных ощущений является одной из самых быстрорастущих, но при этом малоизученных по сравнению с другими способами реализации обратной связи. Поскольку в нашу повседневную жизнь все больше входит взаимодействие с мобильными устройствами, то, какую обратную связь мы получаем, становится все более важным для изучения.

Целью работы является исследование влияния параметров вибрационных сигналов в мобильных устройствах на эффективность человеко-компьютерного взаимодействия и выявление тех из них, изменение которых наиболее точно распознаёт пользователь. В рамках работы подробно рассматривается структура сигналов, которая включает в себя интенсивность, резкость, количество и продолжительность отдельных импульсов, в совокупности образующих единый вибрационный шаблон.

Актуальность исследования обуславливается том, что большинство людей с ОВЗ (ограниченными возможностями здоровья) в повседневной жизни пользуется смартфонами и другими мобильными устройства. Вибротактильная обратная связь позволяет лучше адаптировать мобильные устройства для людей с нарушениями слуха, зрения и передвижения. Существует значительное число исследований, посвященных тактильному отклику, вибрационным сигналам и влиянию их присутствия на пользовательский опыт [1–5].

Среди поставленных нами задач основными стали ознакомление с существующими технологическими решениями и возможностями вибромоторов мобильных устройств, проектирование приложения для мобильной операционной системы iOS на языке программирования Swift, создание собственных наборов вибрационных сигналов, проведение ряда экспериментов на выборке респондентов достаточного объема с учетом эффекта последовательности, формулировка двух основных гипотез, а также их проверка при помощи теста знаков с применением поправки на множественную проверку гипотез с помощью метода Холма-Бонферрони.

1. Общие положения и определения

Технология тактильной обратной связи (англоязычный термин haptics) может быть описана множеством определений. Обобщая наиболее распространенные из них, можно сформулировать следующее краткое определение: тактильная обратная связь — это передача своевременной и полезной информации, получаемой с помощью чувств осязания. В рамках работы исследуется передача тактильных сигналов в форме вибрационного отклика, реализуемого в мобильных устройствах с помощью вибромоторов.

1.1. Типы вибромоторов

Вибромотор в технических устройствах является тем компонентом, который создает вибрационный отклик. На сегодняшний день основными являются два типа вибромоторов — вращающийся с эксцентриком (ERM) и линейный (LRA) [6].

Вибромотор с эксцентриком может быть представлен в виде вала и насаженного на него эксцентрика со смещенной массой (диска или сектора диска), либо вращающегося внутри круглого корпуса эксцентрика. Примеры таких вибромоторов приведены на рисунке 1.

Рис. 1. Вибромоторы с эксцентриком

Вибрация создается за счет возникающего от вращения эксцентрика дисбаланса и передается на корпус устройства, в котором установлен компонент. Преимуществами такого вибромотора являются низкая цена, легкость управления и высокая сила вибрации. Также для его работы необходим постоянный ток, что позволяет питать моторчик от аккумулятфора без необходимости преобразования его в переменный ток. Главные недостатки такого вида вибромоторов — бесконтрольное «дребезжание» устройства и невозможность создания сложных эффектов вибрации (например, имитации прокручивания механического барабана или переключения тумблера). Также эксцентрик не может раскрутиться моментально, из-за чего для набора ощутимой силы вибрации уходит до 200 миллисекунд [7], что в некоторых случаях может оказаться слишком большим. Вследствие этого, также невозможно имитировать короткий, но сильный «толчок».

В корпусе линейных вибромоторов в одной плоскости движется некоторая масса (в виде тяжелой пластинки или цилиндра). С каждой стороны движущегося элемента находятся пружинки, а движение вызывается катушкой, при подаче тока на которую она выступает в роли магнита и перемещает элемент. В качестве пример такого вибромотора на рисунке 2 приведен модуль от компании Apple — Taptic Engine [8].

Рис. 2. Линейный вибромотор Apple Taptic Engine

Линейные вибромоторы также могут быть разных типов. В упомянутом ранее Taptic Engine используется технология X-axis [7]. В этом случае вибромотор расположен по всей ширине корпуса устройства, а движущийся элемент передвигается влево-вправо, что позволяет ощутить одинаковую вибрацию вне зависимости от способа удерживания устройства. В вибромоторах с технологией Z-axis (Y-axis) [7] движение происходит не вдоль экрана, а в его сторону и обратно, из-за чего вибрация в разных частях устройства и при разных способах его удержания может ощущаться по-разному. Они также обладают меньшим размером, а, следовательно, и меньшей мощностью вибрации, в сравнении с компонентами X-axis типа.

Из преимуществ линейных вибромоторов стоит выделить моментальную реакцию — время достижения максимальной силы вибрации составляет менее 50 миллисекунд [7], а также они позволяют контролировать время работы и силы, что, в свою очередь, дает возможность реализовывать разнообразные тактильные эффекты.

1.2. Структура вибрационных сигналов

В мобильной операционной системе iOS версии 13 и выше для создания тактильных шаблонов используется специальный фреймворк — Core Haptics [9]. Он дает возможность добавлять в приложение собственные индивидуальные тактильные отклики, позволяя расширить функциональность и, путем комбинации и совмещения различных сигналов, выйти за пределы системных шаблонов.

Так, имеется два основных строительных блока — два типа сигналов. Это краткосрочный — короткий, почти мгновенный импульс, ощущаемый как касание или постукивание, а также непрерывный, который может продолжаться длительное время и ощущается как устойчивое воздействие [10].

Вибрационный шаблон представляет из себя последовательность сигналов с определенными значениями параметров. Основные из них — резкость и интенсивность, каждая из которых может принимать значение от 0 до 1, а также продолжительность сигнала в секундах, которая может быть установлена только для непрерывного сигнала. Соответствующее значение резкости помогает передать пользователю ощущение мягкости, округлости и органичности или же четкости, точности и механичности. Интенсивность позволяет управлять силой тактильного сигнала. Визуализация этих параметров приведена на рисунке 3.

Рис. 3. Визуализация резкости (слева) и интенсивности (справа) вибрационного сигнала.

Возможность изменения перечисленных параметров и составления сигналов в определенном порядке для создания цельного вибрационного шаблона является ключевой для проведения исследования.

2. Планирование дизайна эксперимента и проектирование приложения

Для проведения исследования было принято решение спроектировать приложение для мобильной операционной системы iOS, в котором была бы осуществлена возможность воспроизведения самостоятельно созданных вибрационных сигналов. Таким образом, было разработано четыре набора по десять шаблонов в каждом, отличающиеся между собой значением одной из изучаемых характеристик. Параметры полученных наборов приведены в таблице 1.

Таблица 1. Параметры наборов вибрационных шаблонов

 

Набор 1

«Резкость (кратковременный)»

Набор 2

«Резкость (непрерывный)»

Набор 3

 «Интенсивность (кратковременный)»

Набор 4

 «Интенсивность (непрерывный)»

Количество шаблонов в наборе 10 шаблонов
Количество сигналов в шаблоне 3 сигнала
Продолжительность сигнала - 100 миллисекунд
Тип сигнала Кратковременный Непрерывный
Интенсивность сигнала Одинакова у всех шаблонов и равна 1 Принимает значения от 0,1 до 1 с шагом 0,1 (0,1 у первого шаблона, 0,2 у второго и т.д.) Одинакова у всех шаблонов и равна 1 Принимает значения от 0,1 до 1 с шагом 0,1 (0,1 у первого шаблона, 0,2 у второго и т.д.)
Резкость сигнала Принимает значения от 0,1 до 1 с шагом 0,1 (0,1 у первого шаблона, 0,2 у второго и т.д.) Одинакова у всех шаблонов и равна 1 Принимает значения от 0,1 до 1 с шагом 0,1 (0,1 у первого шаблона, 0,2 у второго и т.д.) Одинакова у всех шаблонов и равна 1

Визуализации шаблонов из каждого набора представлены на рисунках 4–7 (для примера взят четвертый шаблон). Верхний график отображает значение интенсивности, нижний — значение резкости по оси ординат. Ось абсцисс на обоих графиках — время в секундах.

Рис. 4-7. Визуализации шаблонов из каждого набора
а - Визуализация четвертого шаблона из первого набора (кратковременный сигнал, резкость — 0,4, интенсивность — 1); б- Визуализация четвертого шаблона из второго набора (кратковременный сигнал, резкость — 1, интенсивность — 0,4); в - Визуализация четвертого шаблона из третьего набора (непрерывный сигнал, резкость — 0,4, интенсивность — 1); г - Визуализация четвертого шаблона из четвертого набора (непрерывный сигнал, резкость — 1, интенсивность — 0,4)

Интерфейс главного экрана разработанного приложения приведен на рисунке 8. При запуске приложения активируется ознакомительный режим, в котором пользователю предлагается протестировать основные методы взаимодействия — воспроизведение и перетаскивание вибрационных шаблонов. Имеется возможность выбора одного из четырех наборов для отображения, перемешивания шаблонов, а также отображения текущего их расположения в формате последовательности чисел от 1 до 10 (где корректное расположение по возрастанию представляет собой строку «1 2 3 4 5 6 7 8 9 10»).

Рис. 8. Ознакомительный режим (слева), выбор набора шаблонов (посередине), режим изменения порядка шаблонов (справа)

По нажатию кнопки «Начать» шаблоны выбранного набора перемешиваются и в текстовый файл фиксируется время начала эксперимента. Респонденту предлагается расположить шаблоны в порядке возрастания изменяемой в текущем эксперименте характеристики (резкости или интенсивности). По нажатию кнопки «Готово», фиксируется время окончания эксперимента и отображается результат респондента. Эксперимент повторяется для каждого из наборов. Таким образом, по каждому из респондентов записываются его пол и возраст, а также приложением фиксируется время выполнения экспериментов и полученный результат, что дает возможность определить как точность выполнения задания в целом, так и степень корректности определения каждого шаблона по отдельности.

3. Результаты экспериментов и проверки гипотез

В рамках данной работы было принято решение сформулировать и проверить две основные гипотезы:

  • гипотеза 1: «точность определения пользователем кратковременных сигналов различной интенсивности отлична от точности определения кратковременных сигналов различной резкости»;
  • гипотеза 2: «точность определения пользователем непрерывных сигналов различной интенсивности отлична от точности определения непрерывных сигналов различной резкости».

3.1. Пилотный эксперимент

В пилотном эксперименте приняло участие 10 респондентов. Так как согласно эффекту последовательности порядок испытаний может влиять на значения измерений, у респондентов был разный порядок наборов шаблонов. Пример выходных данных для одного из них приведен в листинге 1.

Листинг 1. Пример выходных данных

Эксперимент: “Резкость (кратковременный)”
Старт эксперимента: 2022-03-07,12:01:42
Конец эксперимента: 2022-03-07,12:03:26
Результат: 2,1,3,4,5,6,9,10,7,8

Эксперимент: “Резкость (непрерывный)”
Старт эксперимента: 2022-03-07,11:58:31
Конец эксперимента: 2022-03-07,11:59:45
Результат: 1,2,4,3,5,6,7,8,9,10

Эксперимент: “Интенсивность (кратковременный)”
Старт эксперимента: 2022-03-07,12:00:22
Конец эксперимента: 2022-03-07,12:01:26
Результат: 1,4,2,5,3,6,8,7,9,10

Эксперимент: “Интенсивность (непрерывный)”
Старт эксперимента: 2022-03-07,11:56:55
Конец эксперимента: 2022-03-07,11:58:06
Результат: 1,2,3,4,5,6,7,8,9,10

Для приведения данных к удобному для обработки виду, был проведен ряд расчётов. Каждый результат был рассмотрен как массив из десяти элементов, индекс которых отображал их фактическое положение, а значения — их положение при правильном расположении шаблонов в порядке возрастания. Так, для каждого элемента был рассчитан квадрат отклонения по формуле (1), а для каждого полученного массива среднеквадратическое значение ошибки по формуле (2).

формулы 1, 2

Пример рассчитанных данных для одного респондента представлен в таблице 2. Значения ошибок для каждого набора шаблонов по результатам пилотного эксперимента приведены в таблице 3.

Таблица 2. Результаты пилотного эксперимента для одного респондента

Набор шаблонов Результат Квадрат ошибки ( )

Среднеквадратическая

ошибка

1 2 3 4 5 6 7 8 9 10
Резкость (кратковременный) 1 2 4 3 8 5 9 7 10 6 0 0 1 1 9 1 4 1 1 16 1,84
Резкость (непрерывный) 1 3 2 4 5 7 10 6 8 9 0 1 1 0 0 1 9 4 1 1 1,34
Интенсивность (кратковременный) 1 2 3 4 5 6 7 10 8 9 0 0 0 0 0 0 0 4 1 1 0,77
Интенсивность (непрерывный) 1 2 3 4 5 6 7 8 9 10 0 0 0 0 0 0 0 0 0 0 0,00

Таблица 3. Значения среднеквадратических ошибок по результатам пилотного эксперимента

Респондент Резкость (кратковременный) Резкость (непрерывный) Интенсивность (кратковременный) Интенсивность (непрерывный)
1 1,26 1,90 0,45 1,10
2 1,84 1,34 0,77 0,00
3 1,26 0,00 0,00 0,00
4 2,28 0,45 0,77 0,45
5 1,48 0,63 1,10 0,45
6 4,29 1,00 0,45 0,45
7 1,41 1,55 0,77 1,18
8 0,89 1,18 0,00 0,00
9 2,53 1,34 1,00 1,00
10 3,41 1,90 2,61 1,41

Для расчета размеров выборок для проведения основного эксперимента воспользуемся сравнением парных выборок при помощи теста знаков. Так, для первой гипотезы будем сравнивать полученные значения ошибок для наборов «Резкость (кратковременный)» и «Интенсивность (кратковременный)», а для второй — «Резкость (непрерывный)» и «Интенсивность (непрерывный)». Направление проверки обеих гипотез — двухстороннее.

Используемые для расчетов функции в программе Google Таблицы и формулы:

формулы 3, 4, 5, 6, 7

Так как по полученным данным для обеих гипотез количество ненулевых разностей вышло равным количеству типичных, вероятность  оказалась равна 1, поэтому было принято, что хотя бы одна разность является нетипичной и значение  составит 0,9. Таким образом, для достижения уровня значимости 1% и желаемой мощности 98% потребуется 34 респондента при сохранении тенденции получения ненулевых разностей. Результаты расчёта приведены в таблице 4.

Таблица 4. Результаты расчета размера выборки

  Уровень знач-ти   Желаемая мощность      

Ненулевых разностей

Нетипичных разностей   Вер-ть успеха   Размер выборки  
Гипотеза 1 1% 98% -2,58 -2,05 -4,63 10 0 1 (0,9) 34
Гипотеза 2 1% 98% -2,58 -2,05 -4,63 8 0 1 (0,9) 34

3.2. Основной эксперимент

Для основного эксперимента было набрано необходимое количество данных — 34 респондента приняло участие в исследовании. Для полученных данных, подобно данным из пилотного эксперимента, по формулам (1) и (2) соответственно, были посчитаны ошибки квадрата отклонения для каждого шаблона и средняя ошибка по каждому из наборов. Обработанные данные, а также результаты расчёта статистической значимости приведены в таблице 5.

Таблица 5. Результаты расчета статистической значимости для обеих гипотез

 

Уровень

значимости

Вероятность успеха   Ненулевых разностей   Нетипичных разностей   Статистическая значимость p­-value
Гипотеза 1 1% (0,5%) 50% 34 2 0,000007%
Гипотеза 2 1% 50% 31 2 0,000046%

Расчет статистической значимости был осуществлен с помощью теста знаков с двухсторонней проверкой. Для этого требовалось рассчитать весовые функции биномиального распределения по формуле (8), а также интегральное биномиальное распределение по формуле (9) или же воспользоваться функцией (10) в программе Google Таблицы.

формулы 8, 9,10

Учитываем поправку на множественную проверку гипотез и, применяя метод Холма-Бонферрони, сравниваем наименьшее значение p­-value с желаемым уровнем значимости : 0,000007% < 0,5%, следовательно, для второй гипотезы (о сравнении непрерывных сигналов) получаем статистически значимый результат. Для первой гипотезы получаем 0,000046%< 1%, следовательно, результат также статистически значим и обе гипотезы считаем подтвержденными.

Заключение

В ходе исследования была проведена комплексная работа для проверки гипотез, включающая в себя ознакомление с наиболее широко распространенными сегодня типами вибромоторов, анализ структуры и параметров вибрационных сигналов, составляющих единый шаблон, создание четырёх наборов вибрационных шаблонов, отличающихся типом сигналов, а также значениями резкости и интенсивности, проектирование приложения для мобильной операционной системы iOS на языке программирования Swift с возможностью выбора наборов сигналов, их воспроизведением и перемещением, а также вывода результата на экран и в текстовый файл на устройстве.

Используя полученное приложение, была осуществлена проверка двух основных гипотез. В пилотном эксперименте приняло участие 10 респондентов, в основном — 34, сколько и требовалось в расчете размера выборки по пилотным данным. При проведении экспериментов был учтён эффект последовательности — респондентам предлагался различный порядок наборов вибрационных шаблонов. Расчет, так же, как и проверка гипотез, был осуществлен с помощью теста знаков, направление проверки — двухстороннее, была учтена поправка на множественную проверку гипотез путем применения метода Холма-Бонферрони. Так, была подтверждена гипотеза «точность определения пользователем кратковременных сигналов различной интенсивности отлична от точности определения кратковременных сигналов различной резкости» с полученным значением статистической значимости 0,000007%, а гипотеза «точность определения пользователем непрерывных сигналов различной интенсивности отлична от точности определения непрерывных сигналов различной резкости» подтвердилась со значением статистической значимости 0,000046%.

Таким образом, результаты исследования показали, что пользователи мобильных устройств точнее распознают вибрационные сигналы с различными значениями интенсивности, чем с различными значениями резкости. Это утверждение оказалось справедливым для обоих типов сигналов — как для кратковременных, так и для непрерывных. Поэтому в сценариях, где важно отразить различие между некоторыми событиями, сопровождающимися вибрационным откликом, для достижения наибольшей эффективности человеко-компьютерного взаимодействия разработчикам следует отдать предпочтение регулировке значений интенсивности сигналов, а не их резкости.

Библиографическое описание

Джумагулова, А.Ф., Лавров, А.В., Никитенко, И.Р. Сравнение точности определения пользователем вибрационных сигналов при изменении их резкости и интенсивности // Культура и технологии. 2021. Том  6. Вып. 4. С. 204-214. DOI: 10.17586/2587-800X-2021-6-4-204-214

DOI
10.17586/2587-800X-2021-6-4-204-214
Литература
  1. Pitts, M. J., Burnett, G., Skrypchuk, L., Wellings, T., Attridge, A., & Williams, M. A. (2012). Visual–haptic feedback interaction in automotive touchscreens. Displays, 33(1), 7–16. DOI: 10.1016/j.displa.2011.09.002
  2. Kung, C.-H., Hsieh, T.-C., & Smith, S. (2021). Usability study of multiple vibrotactile feedback stimuli in an entire virtual keyboard input. Applied Ergonomics, 90, 103270. DOI: 10.1016/j.apergo.2020.103270
  3. Chen, D. K. Y., Haller, M., & Besier, T. F. (2017). Wearable lower limb haptic feedback device for retraining Foot Progression Angle and Step Width. Gait & Posture, 55, 177–183. DOI: 10.1016/j.gaitpost.2017.04.028
  4. Kelling, Chelsea and Pitaro, Daniella and Rantala, Jussi (2016). Good Vibes: The Impact of Haptic Patterns on Stress Levels. Association for Computing Machinery, New York, NY, USA, 130–136. DOI: 10.1145/2994310.2994368
  5. Mazzoni, A., & Bryan-Kinns, N. (2016). Mood Glove: A haptic wearable prototype system to enhance mood music in film. Entertainment Computing, 17, 9–17. DOI: 10.1016/j.entcom.2016.06.002
  6. A lot more goes into good smartphone haptics than you'd think. URL: https://www.androidpolice.com/2020/10/20/a-lot-more-goes-into-good-smar… (дата обращения: 26.11.2021).
  7. Как работает вибромотор? Или почему все смартфоны вибрируют по-разному. URL: https://deepreview.com/articles/how-does-vibration-motor-work/ (дата обращения: 26.11.2021).
  8. Taptic Engine. URL: https://www.webopedia.com/definitions/taptic-engine/ (дата обращения: 26.11.2021).
  9. Core Haptics, Apple Developer Documentation. URL: https://developer.apple.com/documentation/corehaptics (дата обращения: 26.11.2021).
  10. Haptics, Human Interface Guidelines. URL: https://developer.apple.com/design/human-interfaceguidelines/ios/user-i… (дата обращения: 26.11.2021).
Russian