• parallax
  • parallax
  • parallax
  • parallax
  • >parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax
  • parallax

Изучение потенциала применения технологии мобильного айтрекинга для для получения более глубокого опыта от посещения музея

Moayad Mokatren, Tsvi Kuflik - Exploring the potential contribution of mobile eye-tracking technology in enhancing the museum visit experience (2016)
Статья исследователей Мояда Мокатрена и Цви Куфлика из Хайфского университета (Израиль), вышедшая в 2016 г. Умный мобильный гид для посетителей музея - это классический пример контекстно-зависимой мобильной системы. Музейные посетители передвигаются по музею, ища интересные экспонаты и желая получить информацию, которая может углубить их знания и удовлетворить интерес. Умный контекстно-зависимый мобильный гид может предоставить посетителю персонализированную релевантную информацию из огромной базы контента музея, адаптированную для его/ее личных потребностей. Использование технологии айтрекинг в музейных мобильных гидах может улучшить опыт посещения за счет более интуитивного взаимодействия. Возможности машинного зрения позволяют распознать изображения с фронтальной камеры айтрекинга и при осмотре того или иного экспоната (или его части) предлагать посетителю актуальный аудиогид или информацию для этой точки интереса. Исследование представляет большой интерес для российских музеев, в связи с широким внедрением в музейную среду мобильного приложения дополненной реальности ARtefact Министерства Культуры РФ, основанную на технологии машинного зрения. Конечно, из-за относительно высокой стоимости и сложности в калибровке массовое испльзование айтрекеров для музейной навигации и запуска контента - вопрос на будущее. Тем не менее, снижение стоимости другого типа айтрекеров - не в виде очков, а в виде планки, закрепленной перед лицом посетителя например над картиной сможет существенно ускорить этот процесс. Перевел Ахтамзян Нурлан.


Moayad Mokatren The University of Haifa Mount Carmel, Haifa, 31905 +97248288511 moayad.mokatren@gmail.com  Tsvi Kuflik The University of Haifa Mount Carmel, Haifa, 31905 +97248288511 tsvikak@is.haifa.ac.il (2016)

Описание.

Умный мобильный гид для посетителей музея - это классический пример контекстно-зависимой мобильной системы. Музейные посетители передвигаются по музею, ища интересные экспонаты и желая получить информацию, которая может  углубить их знания и удовлетворить интерес. Умный контекстно-зависимый мобильный гид может предоставить посетителю персонализированную релевантную информацию из огромной базы контента музея, адаптированную для его/ее личных потребностей. Более ранние исследования основывались на использовании датчиков для определения местоположения и датчиков обнаружения интереса. Эта работа исследует потенциал мобильный айтрекеров для улучшения опыта посещения музея. Наша гипотеза заключается в том, что использование технологии айтрекинг в музейных мобильных гидах может улучшить опыт посещения за счет более интуитивного взаимодействия. В этой статье мы рассказываем о удовлетворяющих требованиям предварительным итогам испытания использования мобильного айтрекера в реальных условиях - технология достигла достаточной надежности и может быть использована для разработки системы на ее основе.

Ключевые слова автораМобильный гид; Мобильный айтрекинг; Персонализированная информация; Умная среда; Контекстно-зависимый сервис.

Ключевые слова классификации ACMH.5.2. Устройства и стратегии ввода (например, мышь, сенсорный экран)

1.Введение.

За последние два десятилетия опыт посещения музея изменился. С развитием технологий и распространением портативных устройств было разработано множество систем для поддержки посетителей музея и углубления опыта посещения музеев.

Цель таких систем состояла в том, чтобы побудить посетителей использовать устройства, предоставляющие мультимедийный контент, вместо использования обычных путеводителей, вследствие чего переместить фокус на сами экспонаты, вместо перелистывания страниц,

как это описано в [Ardissono et al. 2012]. Понимание мотивации посетителей музея играет решающую роль в разработке и проектировании систем, которые отвечают их потребностям и могут улучшить их опыт посещения.

Фальк и Диркинг (Falk and Dierking [2000]) и Фальк (Falk [2009]) пытались ответить на вопрос о том, что посетители запоминают после посещения и какие факторы, по-видимому, наиболее способствуют формированию у посетителей долговременных воспоминаний: «Когда людей просят вспомнить свой музейный опыт, будь то через день или два или через двадцать или тридцать лет, наиболее упоминаемые и постоянные аспекты - относящиеся к физическому контексту воспоминания о том, что они видели, что они делали, и их отношение к этому опыту”. Сток  (Stock et al. [2009]), Дим и Куфлик (Dim and Kuflik [2014]) исследовали потенциал новых мобильных технологий в определении типов поведения посетителей, чтобы определить, что / как / когда предоставлять им соответствующие услуги.

Ключевой проблемой применения мобильных технологий для поддержки посетителей музея - выявление их интересов.

Эта проблема может быть решена путем отслеживания местоположения посетителей и распределения времени на осмотр. Яловиц и Бронненкант (Yalowitz and Bronnenkant, 2009). Более сложный аспект - выявление того, на что именно они смотрят. Фальк и Диркинг [Falk and Dierking, 2000]. Учитывая развитие современных мобильных устройств, мы должны обеспечить возможность беспрепятственно получать доступ к информации, вызывающий интерес, без необходимости фотографировать или отправлять запросы и искать результаты, наиболее распространенными сейчас методами взаимодействия с нашими мобильными устройствами. По мере того, как мы движемся к “Когнитивно-ориентированным вычислениям” Буллинг и Цандер (Bulling and Zander 2014) становится все более очевидным, что

взаимодействие, основанное на взгляде, может играть важную роль в человеко-машинном взаимодействии до тех пор, пока методы взаимодействия мозга с компьютером не станут реальностью.

[Bulling et и др. 2012]. Изучение движений глаз началось давно, почти 100 лет назад, Джейкоб и Карн (Jacob and Karn 2003) представили краткую историю средств, которые использовались для обнаружения движений глаз, основные работы были посвящены исследованию юзабилити (эксплуатационного удобства), одна из важнейших работ, начатая в 1947 г.. Фитсом и его коллегами (Fitts et al. 1950), была посвящена использованию кинокамер для изучения движений глаз пилотов во время их использования средствами управления в кабине  и устройствами для посадки самолета. «Понятно, что концепция использования eye-tracking для изучения проблемы удобства использования, была известна еще до компьютерных интерфейсов, какими мы их сейчас знаем» [Jacob and Karn 2003]. В настоящее время разработаны и представлены на рынке различные мобильные eye tracking устройства, позволяющие отслеживать на что смотрит человек и хранить эти данные для последующего использования и анализа [Hendrickson et al. 2014]. В последние годы айтрекинг-технология и распознавание объектов на основе изображений достигли надежного уровня развития, и это можно использовать для разработки системы, точно определяющей, на что смотрит пользователь [Kassner et al. 2014]. Мы будем ссылаться на эту область, рассматривая методы для сопоставления изображений и их использования в целях определения местоположения, и мы будем придерживаться подхода “вы получаете то, на что смотрите” [Jacob 1991].

С появлением мобильных и широко доступных компьютеров, настало время изучить потенциал этой технологии для естественного, интеллектуального взаимодействия пользователей с их умной средой не только для решения специфических задач и областей применения, но и для более амбициозной цели интеграции айтрекинга в процессы выявления интересов и предпочтений пользователей мобильных устройств для предоставления им соответствующих услуг и усовершенствования моделей их использования, - области, которой до сих пор уделялось мало внимания. Эта работа направлена на изучение потенциала технологии айтрекинг для получения более глубокого опыта от посещения музея, путем интеграции и развития этих технологий в систему мобильного музейного гида, таким образом, чтобы обеспечить возможность использования машинного зрения для идентификации местоположения посетителя и их объект интереса в этой зоне, в качестве триггера для доставки персонализированной информации.

2.Предпосылки.

2.1 Посетители музея и их опыт посещения. Понимание того, кто посещает музей, их поведения и цели посещения, может сыграть важную роль в разработке мобильного путеводителя по музеям (и других технологий), который углубляет опыт посещения, «Социальный фактор посетителей влияет на их опыт посещение музеев. Знание социального фактора может позволить системе предоставлять посетителям социально-ориентированные услуги». [Bitgood 2002; Falk 2009; Falk and Dierking 2000; Leinhardt and Knutson 2004; Packer and Ballantyne 2005]. Фальк Falk [2009] утверждал, что многие исследования были направлены на то, чтобы выявить кто посещает музеи, что посетители делают в музее и что они узнают из посещения. Также эти исследования были направлены на попытку понять самого посетителя, - как во время посещения музея, так и после этого. Кроме того, он предложил идею «идентичности» посетителей и выделил пять отдельных категорий, связанных с ней:

  • Исследователи: Посетители, движимые интересом к содержанию музея. Они ожидают найти то, что привлечет их внимание и будет способствовать их обучению.
  • Координаторы: посетители с социальной мотивацией. Их визит направлен в первую очередь на то, чтобы дать возможность познакомиться с другими в их социальной группе.
  • Профессионалы/любители: посетители, которые чувствуют тесную связь между музейным содержанием и своими профессиональными увлечениями. Их визиты, как правило, мотивированы желанием достичь определенной цели, связанной с содержанием музея.
  • Искатели опыта: посетители, которые мотивированы посетить музей, потому что они воспринимают его как важное место назначения. Их удовлетворение в первую очередь обусловлено тем фактом, что "побывали там и сделал это".
  • Для подзарядки: посетители, которые в первую очередь стремятся получить созерцательный, духовный и/или восстановительный опыт. Они видят в музее убежище от повседневной жизни или подтверждение своих религиозных убеждений.

 

 

Кроме того, он утверждал, что фактический опыт посещения музея в значительной степени определяется потребностями, связанными с самоидентификацией, и индивидуальные побудительные мотивации создают базовую траекторию для посещения, хотя на специфику того, что посетитель действительно видит и что делает, сильно влияют факторы, описанные в Контекстуальной Модели Обучения:

  • Личный контекст: предварительные знания, опыт и интерес посетителя.
  • Физический контекст: особенности выставок, программ, объектов и этикетажа, с которыми они сталкиваются.
  • Социокультурный контекст: внутригрупповые и межгрупповые взаимодействия, происходящие в музее, а также культурный опыт и ценности посетителя.

Тем не менее, посетитель считает свой опыт посещения удовлетворенным, если единение осознанных потребностей, связанных с идентичностью и музейными возможностями, окажется гармоничным. Исходя из этого, использование технологий для поддержки посетителей и углубления опыта посещения музеев должно быть решено путем определения личности посетителя и оказания соответствующей поддержки.

2.2 Распознавание объектов и сопоставление изображений.

Современные айтрекеры обычно записывают видео с фронтальной камеры для дальнейшего анализа [Kassner et al. 2014]. Распознавание объектов - это задача компьютерного зрения по поиску и идентификации объектов в изображении или видеопотоке. Люди распознают множество объектов на изображениях без особых усилий, несмотря на то, что изображение объектов может несколько различаться с разных точек обзора, в разных размерах и масштабах или даже когда они трансформируются или поворачиваются. Объекты могут быть распознаны даже когда они частично скрыты от глаз. Эта задача все еще остается проблемой для систем компьютерного зрения [Pinto et al. 2008]. Многие подходы к этой задаче реализовывались в течение нескольких десятилетий. Например, диффузионные модели для сопоставления изображений [Thirion 1998], метод параметрического соответствия [Barrow 1977] и адаптивная корреляция наименьших квадратов [Gruen 1985] были представлены в качестве методов сопоставления изображений. Нафад, ,Хампапур и Ким [Naphade et al. 1999], [Hampapur et al. 2001] и [Kimet al. 2005] представили технологии для сопоставления последовательности изображений (видеопоток). Смежной областью является визуальная значимость или выявление значимости: «это явное субъективное качество восприятия, которое выделяет некоторые предметы в окружающем мире среди соседних и сразу привлекает наше внимание». [Laurent 2007]. Гоферман (Goferman et al. 2012 ) предложил новый тип областей значимости, который направлен на обнаружение областей изображения, составляющих (зону перед камерой) (“сценой”). В нашем случае мы можем использовать айтрекинг для эффективного обнаружения значимости, поскольку у нас есть точки фиксации взгляда, представляющие точки интереса в “сцене”.

3.Смежные направления исследований.

Как упоминалось выше, было проведено множество исследований по отслеживанию движений глаз, прежде чем рассматривать их интеграцию с компьютерными интерфейсами, какими мы их знаем сегодня. Исследования проводились вокруг HCI (Human Computer Interaction - Взаимодействие человека с компьютером) и юзабилити (удобстве использования) и были представлены методы, которые могут быть использованы для дальнейших айтрекинг исследований, не только в области HCI. Джейкоб (Jacob 1991) представил методы локальной калибровки айтрекера, представляющие собой процедуру составления карты показателей движений глаз и плавающих показателей сцены. Кроме того, он представил методы распознавания фиксации для извлечения данных из шумного, нервного, заполненного ошибками потока, а также для решения так называемой проблемы “Касания Мидаса” (Midas touch), когда люди смотрят на предметы, без какого-либо значения. (Примечания переводчика: Король Мидас из мифа думал, что было бы здорово, если бы все, к чему он прикасался, превращалось в золото, но все закончилось плачевно. Эта легенда была принята исследователями по отслеживанию движений глаз, чтобы описать фундаментальное препятствие для контролируемых взором систем. Они называют это проблемой касания Мидаса, Вот в двух словах: за миллионы лет глаз эволюционировал, чтобы наблюдать за окружающей средой, а не манипулировать ею. В интерфейсе, контролируемом взглядом, глаз должен делать обе эти вещи. Таким образом, система должна различать (1) взгляд, предназначенный для сбора визуальной информации, и (2) взгляд, предназначенный для активации определенной команды. В противном случае пользователь обнаруживает, что куда бы он или она ни смотрел - добровольно или невольно - активируется новая функция). Джейкоб и Карн (Jacob и Karn 2003) представили список перспективных айтрекинг метрик для анализа данных:

  • Продолжительность взгляда (Gaze duration) - совокупная продолжительность и среднее пространственное местоположение ряда последовательных фиксаций в интересующей области.
  • Скорость просмотра (Gaze rate) - количество взглядов в минуту на каждую интересующую область.
  • Количество фиксаций (Number of fixation) на каждой интересующей области.
  • Количество фиксаций, в целом.
  • Путь сканирования взором (Scan path) - последовательность фиксаций.
  • Число непроизвольных и осознанных фиксаций (Number of involuntary and number of voluntary fixations)  (короткие фиксации и длинные фиксации должны быть определены в единицах миллисекунд).

Использование портативных устройств в качестве мультимедийного гида в музеях привело к улучшению опыта посещения музеев.

Исследования подтвердили гипотезу о том, что портативный компьютер с интерактивным мультимедийным приложением может улучшить интерпретацию и стать новым инструментом для интерпретации музейных коллекций [Evans et al. 2005, Evans et al. 1999, Hsi 2003]. Исследования по интеграции мультимедийных путеводителей с айтрекингом уже проводились в контексте музеев и объектов культурного наследия. Музейный гид 2.0 (Museum Guide 2.0 [Toyama et al. 2012]) был представлен в качестве фреймворка для передачи мультимедийного контента посетителям музея, работающего на портативном устройстве и использующего айтрекинг SMI viewX и технологии распознавания объектов. Посетитель может услышать аудио информацию при обнаружении экспоната. Исследование пользователей проводилось в лабораторных условиях, но не в реальном музее.

Мы планируем расширить эту работу, интегрировав айтрекинг систему в настоящий музейный гид в реалистичной обстановке.

Брон и др. (Brône et al. [2011]) внедрили новые эффективные методы анализа данных взгляда, собранных при помощи айтрекинг устройств, и способы их интеграции с алгоритмами распознавания объектов. Они представили ряд аргументов, почему объектно-ориентированный подход может обеспечить значительный прибавку аналитической точности. В частности, они предложили решения для снижения существенных затрат на ручную видеоаннотацию глазодвигательного поведения, и разработали серию тематических исследований для проверки концепции в различных реальных ситуациях, со своими проблемами и требованиями для каждой из них. Мы планируем использовать их уроки в нашем исследовании. Пфайффер и соавт. (Pfeiffer et al. [2014]) представили  "EyeSee3D", где они объединили геометрическое моделирование с недорогим отслеживанием 3D-маркеров, чтобы выровнять виртуальные заместители с реальными объектами. Это позволило автоматически классифицировать фиксации на интересующих объектах, поддерживая свободное движение участника исследования. В ходе анализа точности определения позиции они обнаружили, что

распознавание маркера может быть неудачным по нескольким причинам: во-первых, иногда участник исследования смотрел вбок, и в поле зрения просто не было маркера. Однако чаще всего причиной этих проблем были быстрые движения головой или экстремальные изменения положения.

Ом (Ohm et al. [2014]) попытался найти, на что люди смотрят при навигации в крупномасштабных помещениях и какие объекты могут помочь им найти дорогу. Они провели пользовательское исследование и оценили визуальную привлекательность объектов с помощью айтрекинга. Их результаты показывают, что функциональные ориентиры, такие как двери и лестницы, наиболее заметны для внимания. В нашем случае мы можем использовать эти ориентиры как надежные точки интереса, которые можно использовать для определения местонахождения посетителя в музее. Бегхер (Beugher et al. [2014]) представил новый метод для автоматического анализа данных мобильного айтрекера в естественной среде для распознавания объектов. Полученные результаты были удовлетворительными для большинства объектов. Однако большая дисперсия масштаба приводит к снижению частоты обнаружения (для объектов, на которые смотрели как с очень далекого расстояния, так и вблизи).

Шраммель (Schrammel et al. [2011, 2014]) изучал поведение пользователей в движении. В этой работе обсуждается уникальный потенциал и проблемы использования айтрекинга в мобильных устройствах и продемонстрировал возможность его использования для изучения внимания на рекламных средствах в двух разных ситуациях: в внутри цифрового дисплея в общественном транспорте и в отношении логотипов на пешеходной торговой улице, а также идеи об общей модели внимания, основанные на взгляде. Кайфер (Kiefer et al. [2014]) также исследовали возможность выявления внимания пользователей с помощью айтрекинга в условиях туризма - когда туристу становится скучно смотреть на панораму города - этот сценарий может представлять для нас особый интерес, поскольку местоположения или объекты, которые привлекли больше или меньше интереса, могут использоваться для моделирования пользовательского интереса и выступать триггером для будущих услуг или информации. Накано и Исии (Nakano and Ishii 2010) изучали использование взгляда в качестве индикатора вовлеченности пользователя, пытаясь также адаптировать его к отдельным пользователям. Вовлеченность может использоваться в качестве индикатора интереса, и возможность использования обнаруженной вовлеченности для отдельных пользователей может позволить догадаться об интересе и построить/адаптировать модель пользователя, используя эту информацию. Кроме того, Ма и соавт. (Ma et al. [2015]) продемонстрировали раннюю возможность выявления пользовательской модели, основываясь на движении взгляда пользователей, просматривающих видео. Ху (Xu et al. [2008]) также использовал движения глаз, чтобы сделать вывод о пользовательских предпочтениях в содержании документов и видео, на основании внимания пользователей, - анализа взгляда  (количестве фиксаций на слове/изображении).

Как мы увидели, существует большой объем работ по мониторингу и анализу движений взгляда пользователей в целом, а также в контексте культурного наследия в частности. Более того, появление мобильных айтрекеров открывает новые возможности для исследований в мобильных сценариях. Как было показано в нескольких случаях, -  

анализ движений глаз может быть полезен для совершенствования пользовательской модели, так как он может позволить выявить внимание (и интересы) пользователей.

Что касается мобильных сценариев, в которых пользователи также носят смартфоны, оснащенные различными датчиками, - неявное моделирование пользователя может осуществляться путем интеграции сигналов от различных датчиков, включая новый датчик отслеживания движений взгляда, для лучшего моделирования пользователя и предоставления более персонализированных услуг. До сих пор датчики, такие как GPS, компас, акселерометры и речевые детекторы, использовались при моделировании контекста и интересов пользователей (см., Например, [Dim & Kuflik. 2014]). Когда мы упоминаем мобильные сценарии, мы имеем в виду большое разнообразие различных сценариев - сценарий для пешеходов отличается от сценария с пробежками, сценарий с покупками от культурного наследия. Задачи разные, и внимание пользователей распределяется по-разному. Область культурного наследия - это пример, в котором пользователи имеют долгосрочные интересы, которые можно смоделировать, а модель можно использовать и обновлять во время посещения музея с помощью информации, неявно собранной с различных датчиков, включая взгляд. В этом смысле предлагаемое исследование расширяет и обобщает работу Кардана и Конати (Kardan and Conati [2013]). Тем не менее, несмотря на то, что было затрачено много исследовательских усилий для мониторинга, анализа и использования движений глаз для определения интересов пользователей, до сих пор мало внимания исследователей уделялось для изучения глазодвигательного поведения “в движении, на ходу”. Этот сценарий ставит серьезные задачи, поскольку включает в себя распределение внимания между несколькими задачами одновременно - избегания препятствий, сбор информации, и затраты внимания на все, что кажется актуальным, по многим причинам.

4. Цель исследования и вопросы.

Наша цель - изучить потенциал интеграции технологии айтрекинг с мобильным гидом для посещения музея и попытаться ответить на вопрос: как использование мобильного айтрекера может улучшить опыт посещения музея? В центре нашего внимания будет разработка метода определения местоположения, основанного на обнаружении взгляда и сопоставлении изображений, и интеграция его с мобильным гидом для посетителя музея, предоставляющим посетителям мультимедийный контент. Для этого мы спроектируем и разработаем систему, которая работает на портативном устройстве и использует айтрекер студии Pupil (Kassner et al. 2014) для выявления объектов интереса и доставки мультимедийного контента посетителю музея. Затем мы оценим систему в пользовательском исследовании в реальном музее, чтобы выяснить, как использование айтрекера, интегрированного с мультимедийным гидом, может улучшить опыт посещения музея. В нашем исследовании мы должны рассмотреть различные факторы и ограничения, которые могут повлиять на производительность системы, такие как условия освещения реальной среды, которые отличаются от лабораторных условий и могут сильно повлиять на процесс распознавания объектов. Другим аспектом может быть положение экспонатов относительно закрепленного айтрекинг устройства, поскольку установка устройства айтрекера может быть ограничена планировкой музея. Хотя у мобильного гида есть много потенциальных преимуществ, у него также могут быть некоторые недостатки [Lanir et al, 2013]. Он может концентрировать внимание посетителя на мобильном устройстве, а не на музейных экспонатах [Grinter et al, 2002]. Мы рассмотрим и эту модель поведения и попытаемся выяснить, может ли использование айтрекинга в мобильном гиде увеличить время осмотра экспонатов. Кроме того, мы попытаемся создать систему, которая работает в различных реальных средах с различными факторами и имеет некоторые ограничения, такие как ограничения освещения и положения.

5. Инструменты и методы.

Коммерческий мобильный айтрекер будет интегрирован в мобильную систему гида для посетителей музеев в качестве инструмента для определения местоположения, обнаружения интереса и концентрации внимания с помощью методов компьютерного зрения. Наша гипотеза заключается в том, что использование системы айтрекинг в мобильном гиде может улучшить опыт посещения. Система будет оцениваться в пользовательских исследованиях, участниками исследования будут студенты из Университета Хайфы. Исследование будет проводиться в музее Хечт (Hecht museum http://mushecht.haifa.ac.il/ ), который является небольшим музеем, расположенным в университете Хайфы, и имеет как археологические, так и художественные коллекции. Исследование будет включать в себя ознакомление с использованием средства айтрекинга и мобильного гида, а затем экскурсию с использованием айтрекера и портативного устройства, мультимедийный контент будет предоставлен путем отображения информации на экране или прослушивания звука через наушники. Данные будут собираться следующим образом: студенты будут интервьюированы и анкетированы об их опыте посещения, и им будет предложено заполнить опрос, с такими вопросами как: впервые ли они посещают музей, пол, возраст и пр. Журналы посещений будут собираться и анализироваться для последующего использования, на основании чего мы можем прийти к выводам о важности экспонатов и о том, где они их имеют тенденцию осматривать, о расположении экспонатов и времени посещений или исследований. В исследовании будут сравниваться опыт от посещения при использовании двух разных версий системы - обычной и с использованием айтрекинга, мы возьмем работу Куфлика [Kuflik et al. 2012], которая проводилась в музее Хехта и которая использует “легковесные” датчики позиционирования в помещении для определения местоположения в качестве системы сравнения для изучения пользовательского опыта.

6. Предварительные результаты.

При использовании мобильного айтрекера Pupil Dev было важно проверить точность определения взгляда. Для этого мы провели несколько небольших пользовательских исследований на месте.

 6.1 Айтрекер компании Pupil

Айтрекер компании Pupil [Kassner et al. 2014] - это платформа с открытым исходным кодом для всестороннего отслеживания глаз и взаимодействия на основе взгляда. Он включает в себя легкую айтрекинг гарнитуру, состоящую из сценарной камеры и глазных камер высокого разрешения, программную среду с открытым исходным кодом для мобильного айтрекинга, а также графический пользовательский интерфейс для воспроизведения и визуализации видео и данных о взгляде. Программное обеспечение и графический интерфейс не зависят от платформы и включают алгоритмы для обнаружения и отслеживания зрачка в режиме реального времени, калибровки и точной оценки взора. Результаты оценки производительности показывают, что Pupil может обеспечить среднюю точность оценки взгляда в 0,6 угловых градусов (степень точности в 0,08 градусов) с величиной задержки всего 0,045 секунды.

Рис.1 Pupil eye-tracker

 

Рис.1 Pupil eye-tracker (http://pupil-labs.com/pupil)

 

6.2 Исследование пользователя 1: Просмотр ячеек сетки.

Пять студентов из Университета Хайфы, без каких-либо нарушений зрения приняли участие в этом исследовании. Им было предложено посмотреть на настенную сетку с расстояния 2 метра и отследить палец (см. Рисунок 2). На каждую клетку, на которую указывал палец, их просили смотреть примерно на 3 секунды. Данные были собраны для определения практической точности измерений. Результаты были следующими: средний уровень обнаружения фиксации составлял ~ 80% (большинство пропущенных фиксаций было по краям / углам - подробности о промахах см. В таблице 1). Кроме того, средняя частота ошибок в точках фиксации в исчислении расстояния от центра сетки составляла приблизительно 5 см (точная частота ошибок может быть рассчитана с использованием простых методов обработки изображений для обнаружения зеленого круга и применения трансформации наложения по отношению к реальному окружающему миру.

 Рисунок 2. Изучение пользователя 1. Палец указывает на сетку, на которую участника исследования попросили посмотреть. Зеленый круг - это точка фиксации, полученная от айтрекера. Размер каждой клетки 20х20 см.

Рисунок 2. Изучение пользователя 1. Палец указывает на сетку, на которую участника исследования попросили посмотреть. Зеленый круг - это точка фиксации, полученная от айтрекера. Размер каждой клетки 20х20 см.

 

Таблица 1. Детали эксперимента.

Во время исследования мы столкнулись с несколькими практическими проблемами. Используемый нами айтрекер Pupil Dev подходит не для каждого человека. Устройство состоит из двух камер, первая для отображения сцены, а вторая направлена на правый глаз для обнаружения фиксаций. В некоторых случаях, когда устройство было установлено неправильно, зона обзора становилась меньше, и часть зрачка выходила из рамки захвата (см., Например, рисунок 3). Как следствие - фиксации не обнаруживались. Другое ограничение заключалось в том, что при использовании айтрекера высокими участниками им приходилось отступать от объекта, что отрицательно влияло на точность.

Рисунок 3. Снимок экрана с глазной камеры.

 

Рисунок 3. Снимок экрана с глазной камеры.

Рисунок 4. Выставочная галерея.

 

Рисунок 4. Выставочная галерея.

6.3 Исследование пользователя 2: Осмотр экспоната.

В этом исследовании мы исследовали точность айтрекера в реалистичной обстановке. Одного участника (1,79 м ростом) попросили осмотреть экспонаты в музее Хехта (the Hecht museum). Несколько экспонатов были выбраны с различными особенностями и ограничениями (см. Рисунки 4, 5 и 6). Основным ограничением в этом случае является расстояние от экспоната, так как поле видимости увеличивается с увеличением расстояния, и в целом мы должны охватить все интересующие нас объекты. В таблице 2 представлены высота объекта от пола и расстояние участника до объекта. Следующим этапом была проверка точности фиксации после того, как мы убедились, что участник исследования стоит на правильном расстоянии. Участнику было предложено посмотреть на разные точки на выставке / сцене. Для картин галереи путь осмотра был определен четырьмя углами изображения и его центром. Что касается экспонатов витрины, для каждого кувшина была определена одна точка в центре.

 Рисунок 5. Развешенные картины с подсветкой.

Рисунок 5. Развешенные картины с подсветкой.

Важно отметить, что отношение высоты / расстояния относится к полю видимости (с объектами в кадре камеры), а не к обнаружению фиксаций. Поскольку пропущенные фиксации могут быть результатом совокупности ограничений, а не расстояния от объекта, чего мы еще не исследовали.

 Рисунок 6. Экспонаты витрины с подсветкой.

Рисунок 6. Экспонаты витрины с подсветкой.

Таблица 2. Детали эксперимента - мы рассмотрели три самых левых полки в витрине, показанной на рисунке 6.

 

Таблица 2. Детали эксперимента - мы рассмотрели три самых левых полки в витрине, показанной на рисунке 6.

7. Устройство системы.

Умный контекстно-обусловленный мобильный музейный гид для посетителей  может предоставить может предоставить посетителю персонализированную релевантную информацию из огромного количества контента, доступного в музее, адаптированную для его или ее личных потребностей. Кроме того, система может предоставлять рекомендации и информацию, релевантную местоположению посетителя. Однако, у потенциальной выгоды есть и подводные камни - уведомления могут отвлекать посетителя от текущей цели и раздражать при неправильном контексте. Бежа и соавт. (Beja et al. [2015]) рассмотрел влияние уведомлений в особом сценарии досуга - при посещение музея. Следуя идее Бежа, мы рассмотрим три разных сценария:

  1. Посетитель смотрит на экспонат. Область интереса будет определяться как область от сцены вокруг точки фиксации взгляда. Затем будет применена процедура сопоставления объектов (см. Раздел 8). Это позволит нам определить как позицию посетителя, так и объект интереса.
  2. Посетитель смотрит на планшет. Это может происходить двумя способами: 1) посетитель просматривает мультимедийную информацию, в этом сценарии для него ничего делать не нужно. 2) Посетителю может понадобиться услуги системы или рекомендация, так что самое время доставить их ему.
  3. Посетитель бродит по музею. По утверждению Бежа (Beja et al. [2015]), это наилучшее время для отправки уведомлений.

 

В качестве базовой системы мы будем использовать систему музейного гида для посетителей PIL [Kuflik et al 2012; Lanir et al. 2013]. Система представляет собой контекстно-ориентированную мобильную систему-гида для посетителей музея. Его механизм позиционирования основан на бесконтактной радиочастотной технологии, которая позволяет идентифицировать положение посетителя - когда посетитель находится рядом с достопримечательностью. Поскольку зрение является основным источником для сбора информации, мы планируем заменить компонент позиционирования системы компонентом позиционирования на основе айтрекинга и компонентом идентификации объекта интереса. Следовательно, мы улучшим систему позиционирования, предоставив системе возможность точно определять объект интереса. Остальная часть системы останется неизменной. Наличие этих двух версий систем позволит нам сравнивать и оценивать преимущества айтрекера как устройства для позиционирования и наведения в условиях музея.

8. Процедура распознавания объекта.

8.1 Подготовка набора данных.

Будет подготовлен набор изображений экспонатов, каждое изображение может содержать один или несколько объектов. Каждому изображению будет присвоено отдельное значение метки и размер области вокруг объекта (с точки зрения ширины и высоты - прямоугольной формы).

8.2 Распознавание объектов.

Процедура сопоставления будет выполнена в три этапа:

  1. С камеры сцены айтрекинга берется кадр (рисунок 7) и сопоставляется с имеющимися изображениями для распознавания. В результате получается изображение с отмеченными областями в кадре текущей сцены (рисунок 8).
  2. Преобразование отображения - нам необходимо преобразовать точку фиксации с камеры сцены айтрекинга в подходящую / подобранную точку на изображении, которое мы получили на первом этапе (изображение из набора данных с размеченными областями), поскольку точка обзора на объекты может отличаться от точки обзора в наборе данных. Например, одно изображение поворачивается относительно другого, или одно увеличивается / уменьшается в результате нахождения на различном расстоянии от объекта, когда было снято изображение с установленными данными.
  3. Поиск объекта - это простой шаг, так как у нас есть привязанные точки фиксации и помеченные области. Остается определить, к какому объекту относится точка (или не относится вообще ни к какому).

Рисунок 7. Пример изображения с камеры сцены айтрекинга. Зеленая точка - это точка фиксации.

Рисунок 7. Пример изображения с камеры сцены айтрекинга. Зеленая точка - это точка фиксации.

9. Обсуждение.

Мы провели эти маломасштабные пользовательские исследования, чтобы получить первоначальный опыт работы с айтрекером в реалистичной обстановке. Кроме того, мы попытались уточнить, какие экспонаты целесообразно включить в наше будущее исследование, и, учитывая ограничения устройства, какую часть музейных экспонатов можно включить в целом. Неудивительно, что мы получили 100% -ную степень точности, когда исследовали устройство в художественном крыле, поскольку все изображения расположены на идеальной высоте. Что касается археологического крыла, это значительно более сложная среда, поскольку объекты расположены на разной высоте и имеют различные размеры. В результате, посетителю, возможно, придется стоять далеко от объектов, чтобы уместить их в поле зрения фронтальной камеры айтрекинга, что может негативно повлиять на впечатления от посещения. В археологическом крыле мы делаем приблизительные выводы, что около 60% экспонатов могут быть распознаны с помощью текущего устройства. Что касается экспонатов, расположенных на малой высоте, мы пока не знаем, можно ли их распознать или нет. Более сложными экспонатами являются те, которые размещены в сложных условиях освещения или на низкой высоте (см., Например, рисунок 9), и / или же они слишком велики, чтобы поместиться в одном кадре (см., Например, рисунок 10).

 Рисунок 8. Распознавание изображений. Желтые прямоугольники - это области вокруг каждого объекта. Зеленая точка - это точка фиксации после выполнения предложенного преобразования отображения. Распознанный регион - R3.

Рисунок 8. Распознавание изображений. Желтые прямоугольники - это области вокруг каждого объекта. Зеленая точка - это точка фиксации после выполнения предложенного преобразования отображения. Распознанный регион - R3.

Рисунок 9. Сложные экспонаты: недостаточные условия освещения и низкая высота расположения.

Рисунок 9. Сложные экспонаты: недостаточные условия освещения и низкая высота расположения.

Рисунок 10. Сложный экспонат: слишком большой, чтобы поместиться в одном кадре.

Рисунок 10. Сложный экспонат: слишком большой, чтобы поместиться в одном кадре.

10. Выводы и будущая работа.

Эта статья представляет собой незавершенную работу, целью которой является изучение потенциальной пользы технологии мобильного айтрекинга для улучшения опыта посещения музея. Для этого мы поставили небольшие эксперименты, чтобы получить представление о производительности системы в реальных условиях. Мы получили удовлетворительные результаты этих исследований и поняли ограничения оборудования. Следующим шагом в исследовании является разработка и создание мобильного гида по музею, который расширяет использование мобильного айтрекинга в качестве инструмента для определения позиции посетителя и точек интереса. Мы собираемся использовать изображения с камеры сцены айтрекинга и полученные данные о движениях взора чтобы развить технологию определения местоположения. Система будет работать на планшете, а мультимедийный контент будет предоставляться участникам исследования путем прослушивания аудиогида через наушники или просмотра слайдов. Кроме того, точно зная, где посетитель осматривает сцену (конкретный объект), мы сможем предоставлять персонализированную информацию. Наше исследование пополнит ряд современных мобильных музейных гидов, использующих методику и технологии определения местоположения, улучшающих опыт посещения музея. Система может быть расширена и использована в других местах, например на объектах культурного наследия, расположенных под открытом небом, а также в торговых центрах / на рынках после дальнейшей проверки.