Про то, как глаза воспринимают картинку / Хабр

Никогда не задумывались, как глаз считывает картинку? Почему часто смотря на фотографию мы чувствуем, как какие-то части изображения притягивают глаз настолько, что невозможно оторваться, сфокусироваться на других деталях? В качестве попытки ответить на этот вопрос группой психологов и физиологов в 60х годах была создана теория зрительного восприятия. Теория получила развитие: на данный момент существуют как минимум 3 математических аппарата, позволяющих моделировать движение зрачка, считывающего картинку и связывать это движение с концентрацией внимания на определённых частях изображения.

Два-три года назад я плотно занимался моделированием внимания при просмотре изображений, и вот на днях попросили показать работу такой программки. Я полез в пыльный угол за архивами сырцов, распаковал, стал компилировать, решил поправить пару багов в алгоритмах и… увлёкся! Представляю вам плод двухдневных усилий: несколько картинок и два различных способа моделировать то, как человек воспринимает картинку.

Картинки представлены в виде триптихов. Первая часть — это картинка-оригинал. Средняя часть — тепловая карта. Чем интенсивнее зелёное свечение — тем больше вероятность, что этот регион будет притягивать ваше внимание. Последняя картинка — это динамика взгляда. Эта модель показывает, как взгляд скользит по изображению, куда он может следовать дальше. Взгляд более легко движется от светлых частей к более тёмным и наоборот — для того, чтобы переместить фокус внимания с более тёмных на более светлые части, вероятно потребуется некоторое усилие.

При просмотре картинок нужно понимать, что математический аппарат, обеспечивающий моделирование фокусировки внимания человека не учитывает психологические аспекты восприятия, например, вот такие или такие. На картинках отображено как двигается человеческий взгляд, если он не обнаруживет узнаваемые образы на картинке.

Первая картинка показывает, как воспринимается типичный фотосюжет типа «некий объект в середине кадра». Особенно интересно, как взгляд устремляется к центру, но его не достигает. Взгляд как бы гуляет, ласкает лёгкими прикосновениями центральную область, в которую вписан объект. На картинке с динамикой прекрасно видны все композиционные особенности в виде вторичных фокусов внимания и вектора устремления взгляда вверх.

А вот обычный пейзаж. Обратите внимание, что если смотреть снизу картинки, то взгляд устремляется к стволам деревьев, а если смотреть от деревьев вверх или сверху вниз, то в середине неба ясно видна «потенциальная ямка», куда непроизвольно сваливается взгляд.

Немного о вэбстраницах. Как вы думаете, какие части страницы наиболее привлекательны для внимания? Что важнее всего показать? Конечно же, рекламу!

Пейзаж с претензией на композицию. И сразу же видно, как эта композиция завалена — сместить бы этих человеков вниз-вправо как раз на 1 квадрат и золтое сечение было бы выдержано! А так внимание концентрируется между краем картинки и силуэтами людей.

А вот эту фотку я покажу только для того, чтобы показать, как автоматический анализ начинает лагать из-за психологических аспектов восприятия. При просмотре фотографии люди выделяют лица и неосознанно обращают на них больше внимания. Автомобиль, в данном случае тоже воспринимается в виде мордочки диковинного зверя. Если бы мы провели eye tracking этой картинки, то заметили бы, что максимум внимания будет «на лбу» крайслера и на лице человека. К следующей картинке это, кстати, тоже относится.

Наше «всё» Мона Лиза. Давайте забудем, что лица притягивают взгляд и посмотрим, как воспринимается картина, если рассматривать её в целом. Тепловая карта ничего нам тут не даст, а вот динамика проявляет интереснейшие вещи! Оказывается, справа от лица существует квадрат указывающий на нос со сторонами, пропорциональными золотому сечению. Мало того, если приглядеться к 4хугольным полигонам, накрывающим глаза, то окажется, что стороны их почти соответствуют гармоническому ряду (несоответствия вполне укладываются в погрешность алгоритма)! Вот и завидуй после этого познаниям Леонардо в геометрии…

Ну и перейдём к моим любимым импрессионистам. Тепловая карта сразу же показывает, что то ли алгоритм лагает, то ли картина слишком сложна для восприятия. Уж не по этому ли многие люди так тяжело воспринимают Ван Гога? Куча посторонних центров внимания, создающих сетку почти белого шума… На этом фоне так сложно уловить цветы в деталях, разве что только горшок поддаётся вдумчивому просмотру. Но всё меняет визуализация динамики! Оказывается, если отвлечься от деталей мазков и воспринимать картину издалека, то просматривается чёткая диагональная ось с точкой входа на столе и взрывным завершением в виде цветов! Картина не статична, картина живёт!

Социальное и личное восприятие — Психологос

Фильм «Я и другие»

​​​​​​​Социальное восприятие (социальная перцепция) — восприятие, направленность и способ которого определяется окружающими людьми и обществом в целом. В частности, это восприятие, направленное на создание представления о себе, других людях, социальных группах и социальных явлениях.

Социальное восприятия противопоставляют личному восприятию, направленность и способ которого определяется самим человеком, его индивидуальными особенностями и склонностями: «Я, — сказал Иван Петрович, — вижу так, как я хочу!» Личное восприятие чаще называют осмыслением ситуации.

Развитому социальному восприятию мешает эгоцентризм — неспособность или нежелание человека посмотреть на происходящее с точки зрения других людей, поставить себя на место другого человека.

Психологи, работающие в области социального восприятия изучают, как воздействие окружающих людей влияет на наше восприятие ситуации и этих же людей.

Мир социального восприятия

В результате социального научения дети узнают, что такое страшное, а что радостное, что достойно уважения, а что презрения, кто дурак и чем дурак отличается от лоха. Детям скоро начинают видеть в месте, где они родились, не просто свой пыльный двор и качели, а — Родину, а больших людей рядом с собой воспринимать как родителей, как старших, как близких, как друзей. Или не начинают это видеть, если их к такому восприятию не приучили. См.→

Чего бояться, что нужно видеть как страшное, что будет проинтерпретировано как страшное — дети усваивают в результате социального научения. См.→

Механизмы социального восприятия (социальной перцепции)

Механизмы социальной перцепции:

• идентификация

Мы в других видим то, что находится в нас самих. Смотри Идентификация

• каузальная атрибуция

Мы во многом видим в другом человеке то, что о нем сами надумали и ему приписали. Смотри Каузальная атрибуция

• рефлексия

То, как человек понимает себя, свои чувства и мотивы, сильно влияет на восприятие им других людей. Смотри Рефлексия

Эффекты социального восприятия

Социальному восприятию присущи некоторые особенные проявления неточности восприятия, называемые законами, эффектами или ошибками восприятия — эффекты стереотипизации, роли, присутствия, ожидания и пр. Эффекты социального восприятия — одновременно и типовые шаблоны социального восприятия, и проявление субъективности социального восприятия. Смотри Эффекты социального восприятия

Развитие социального восприятия

Развитие восприятия: это скорее врожденный или скорее социально обусловленный процесс?

Огромна роль врожденного: ребенок с рождения знает о мире уже очень много. При этом дальнейшее развитие восприятия — не спокойное разворачивание того, что уже заложено изнутри, и не формирование нового извне. Это в первую очередь результат собственной активности ребенка. Сколько наактивничал — настолько и развился. Впрочем, способствовать развитию активности ребенка взрослые вполне могут. См.→

Более глубокий взгляд на зрительное восприятие изображений человеком

1. Сунь Р., Лянь З., Тан И, Сяо Дж. Эстетическая визуальная оценка качества китайского почерка. В: Двадцать четвертая Международная совместная конференция по искусственному интеллекту. 2015.

2. Маджумдар А., Кришнан П., Джавахар К. Визуально-эстетический анализ изображений рукописных документов. В: 15-я Международная конференция по границам в распознавании рукописного ввода (ICFHR), 2016 г., IEEE. 2016; п. 423–428.

3. Адак, К., Чаудхури, Б.Б., Блуменштейн, М.: Разборчивость и эстетический анализ почерка. В: 2017 14-я Международная конференция IAPR по анализу и распознаванию документов (ICDAR). Том 1., IEEE (2017) 175–182.

4. Лю Ю, Гу З, Ко ТХ. Прогнозирование интереса СМИ с помощью предвзятого дискриминантного встраивания и контролируемой множественной регрессии. В: МедиаЭвал. 2017.

5. Маркант Г., Демарти К., Шамаре С., Сиро Дж., Шевалье Л. Прогнозирование интересности и его применение к иммерсивному контенту. Опубликовано: Международная конференция по индексированию мультимедиа на основе контента (CBMI), 2018 г., IEEE. 2018; п. 1–6.

6. Де Херинг А., Хутуйс С., Россион Б. Целостная обработка лица становится зрелой в возрасте 4 лет: свидетельство эффекта составного лица. J Exp Детская психология. 2007;96(1):57–70.

   Google ученый

7. Ke Y, Tang X, Jing F. Разработка функций высокого уровня для оценки качества фотографий. В: ЦВПР. Том 1., IEEE. 2006 г.; п. 419–426.

8. Рой Х., Ямасаки Т., Хашимото Т. Прогнозирование эстетики изображения с использованием объектов в сцене. В: Материалы Международного совместного семинара 2018 года по анализу мультимедийных произведений искусства и вычислению привлекательности в мультимедиа, ACM. 2018; п. 14–19.

9. Махайдик Дж., Хэнбери А. Классификация аффективных изображений с использованием признаков, вдохновленных психологией и теорией искусства. В: Мультимедиа ACM, ACM. 2010 г.; п. 83–92.

10. Борт Д., Джи Р., Чен Т., Брейэл Т., Чанг С.Ф. Крупномасштабная онтология визуальных настроений и детекторы с использованием пар прилагательных существительных. В: Мультимедиа ACM. 2013; п. 223–232.

11. Сонг К., Яо Т., Линг К., Мэй Т. Повышение качества анализа тональности изображения с помощью визуального внимания. Нейрокомпьютинг. 2018; 312: 218–28.

    Google ученый

12. Хосла А., Раджу А.С., Торралба А., Олива А. Понимание и прогнозирование запоминаемости изображений в больших масштабах. В: ICCV. 2015.

13. Jing P, Su Y, Nie L, Gu H, Liu J, Wang M. Структура совместной низкоранговой и разреженной регрессии для прогнозирования запоминаемости изображений. В: IEEE Transactions on Circuits and Systems for Video Technology. 2018.

14. Zhu JY, Kr¨ahenb¨uhl P, Shechtman E, Efros. Изучение дискриминативной модели восприятия реализма в составных изображениях. Препринт arXiv arXiv: 1510.00477 2015.

15. Джоу Б., Чен Т., Паппас Н., Реди М., Топкара М. , Чанг С.Ф. Визуальный эффект во всем мире: крупномасштабная многоязычная онтология визуальных настроений. В: Материалы 23-й ежегодной конференции ACM по мультимедийной конференции, ACM. 2015 г.; п. 159–168.

16. Сержент Дж. Исследование компонентных и конфигурационных процессов, лежащих в основе восприятия лица. Бр Дж Психол. 1984;75(2):221–42.

    Google ученый

17. Шванингер А., Лобмайер Дж. С., Уоллрейвен С., Коллишоу С. Два пути к восприятию лица: данные психофизики и компьютерного моделирования. когнитивные науки. 2009;33(8):1413–40.

    Google ученый

18. Тан С. На пути к единой учетной записи обработки лиц (и, возможно, объектов). Кандидатская диссертация, Массачусетский технологический институт (2012 г.).

19. Маффей Л., Фиорентини А. Зрительная кора как анализатор пространственной частоты. Вис Рез. 1973;13(7):1255–67.

    Google ученый

20. Де Валуа Р.Л., Альбрехт Д.Г., Торелл Л.Г. Пространственная частотная избирательность клеток зрительной коры макака. Вис Рез. 1982;22(5):545–59.

    Google ученый

21. Бек Дж., Саттер А., Иври Р. Пространственные частотные каналы и перцептивная группировка при разделении текстур. Процесс обработки графических изображений CompVis. 1987;37(2):299–325.

    Google ученый

22. Кэмпбелл Ф., Маффей Л. Влияние пространственной частоты и контраста на восприятие движущихся моделей. Вис Рез. 1981;21(5):713–21.

    Google ученый

23. Мур Р.С., Стаммерйохан К.А., Коултер Р.А. Конгруэнтность контекста баннера рекламодателя и веб-сайта и влияние цвета на внимание и отношение. J Реклама. 2005;34(2):71–84.

    Google ученый

24. Li X. Анализ применения и эффекта цвета в рекламе в новых медиа. В: 7-я Международная конференция по менеджменту, образованию, информации и контролю (MEICI 2017), Atlantis Press. 2017.

25. Изола П., Сяо Дж., Парих Д., Торралба А., Олива. Что делает фотографию запоминающейся? Анализ шаблонов и машинный интеллект. IEEE транс. 2014;36(7):1469–82.

    Google ученый

26. Датта, Р., Ли, Дж., Ван, Дж. З.: Алгоритмический вывод эстетики и эмоций в естественных изображениях: экспозиция. В: ICIP, IEEE (2008) 105–108.

27. Wu Y, Bauckhage C, Thurau C: Хорошее, плохое и уродливое: предсказание эстетических ярлыков для изображений. В: Распознавание образов (ICPR), 20-я Международная конференция IEEE, 2010 г. 2010 г.; п. 1586–1589 гг.

28. Гигли М., Грабнер Х., Рименшнайдер Х., Натер Ф., Гул Л.В. Интересность образов. В: ICCV, IEEE. 2013; п. 1633–1640 гг.

29. Хосла А., Дас Сарма А., Хамид Р. Что делает изображение популярным? В: Материалы 23-й международной конференции по Всемирной паутине, Руководящий комитет международных конференций по всемирной паутине. 2014; п. 867–876.

30. Лалонд Дж., Эфрос А. Использование цветовой совместимости для оценки реалистичности изображения. В: ICCV. 2007.

31. Fan S, Ng TT, Herberg JS, Koenig BL, Tan CYC, Wang R. Автоматическая оценка визуального реализма изображения на основе человеческого познания. В: CVPR, IEEE. 2014; п. 4201–4208.

32. Lu X, Suryanarayan P, Adams Jr, RB, Li J, Newman MG, Wang JZ. О форме и вычислимости эмоций. В: Материалы 20-й международной конференции ACM по мультимедиа, ACM. 2012 г.; п. 229–238.

33. Ян Дж., Ше Д., Лай Ю.К., Розин П.Л., Ян М.Х. Слабо контролируемые связанные сети для визуального анализа настроений. В: Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2018; п. 7584–7592.

34. Дубей Р., Петерсон Дж., Хосла А., Ян М.Х., Ганем. Что делает объект запоминающимся? В: Труды Международной конференции IEEE по компьютерному зрению. (2015) 1089–1097.

35. Чен Т., Борт Д., Даррелл Т., Чанг С.Ф. Deepsentibank: классификация концепций визуальных настроений с помощью глубоких сверточных нейронных сетей. Препринт arXiv arXiv: 1410.8586 2014.

36. Атнив Ф. Некоторые информационные аспекты зрительного восприятия. Psychol Rev. 1954; 61 (3): 183.

    Google ученый

37. Гордон И.Э. Теории зрительного восприятия. Хоув: Психологическая пресса; 2004.

    Google ученый

38. «>

    Родс Г. Эволюционная психология красоты лица. Анну Рев Психол. 2006; 57: 199–226.

    Google ученый

39. Вагеманс Дж., Элдер Дж. Х., Кубови М., Палмер С. Е., Петерсон М. А., Сингх М., фон дер Хейдт Р. Век гештальт-психологии в визуальном восприятии: I. перцептивная группировка и организация фигура-фон. Психологический бык. 2012;138(6):1172.

    Google ученый

40. Брюс В., Янг А.В. Восприятие лица. Хоув: Психологическая пресса; 2012.

    Google ученый

41. Танака Дж., Готье И. Экспертиза в области распознавания объектов и лиц. Психологическое обучение Мотив. 1997;36:83–125.

    Google ученый

42. Олива А., Торральба А. Моделирование формы сцены: целостное представление пространственной оболочки. Int J Comput Vis. 2001;42(3):145–75.

    МАТЕМАТИКА

    Google ученый

43. Петерсон М.А., Родс Г. Восприятие лиц, объектов и сцен: аналитические и целостные процессы. Оксфорд: Издательство Оксфордского университета; 2003.

    Google ученый

44. Rhodes G, Byatt G, Michie PT, Puce A. Является ли веретенообразная область лица специализированной для лиц, индивидуации или экспертной индивидуации? J Cognit Neurosci. 2004;16(2):189–203.

    Google ученый

45. Даугман Дж.Г. Соотношение неопределенностей для разрешения в пространстве, пространственной частоты и ориентации оптимизировано с помощью двумерных визуальных кортикальных фильтров. ХОСА А. 1985; 2(7):1160–9.

    Google ученый

46. Де Валуа Р. Л., Де Валуа К.К. Пространственное видение. Оксфорд: Издательство Оксфордского университета; 1990.

    Google ученый

47. Харрис КС. Визуальное кодирование и адаптивность. Хоув: Психологическая пресса; 2014.

    Google ученый

48. Тамура Х., Мори С., Ямаваки Т. Особенности текстуры, соответствующие зрительному восприятию. IEEE Transa Syst Man Cybern. 1978;8(6):460–73.

    Google ученый

49. Ватт Р. Сканирование от грубого до мелкого пространственного масштаба в зрительной системе человека после появления стимула. ХОСА А. 1987;4(10):2006–21.

    Google ученый

50. Бар М., Кассам К.С., Гуман А.С., Бошян Дж., Шмид А.М., Дейл А.М., Хемальайнен М.С., Маринкович К., Шактер Д.Л., Розен Б.Р., и другие. Нисходящее облегчение визуального распознавания. Proc Natl Acad Sci USA. 2006;103(2):449–54.

    Google ученый

51. Hussein A, Boix X, Poggio T. Обучение нейронных сетей распознаванию объектов с использованием размытых изображений. В: Тезисы маршевого собрания APS. Том 2019. 2019; п. Г70.012. https://ui.adsabs.harvard.edu/abs/2019APS..MARG70012H.

52. Джадд Т., Дюран Ф., Торральба А. Фиксации на изображениях с низким разрешением. Дж. Вис. 2011;11(4):14–14.

    Google ученый

53. Рёрбайн Ф., Годдард П., Шнайдер М., Джеймс Г., Го К. Как шум изображения влияет на фактическое и прогнозируемое распределение человеческого взгляда при оценке качества изображения? Вис Рез. 2015; 112:11–25.

    Google ученый

54. Познер М.И., Петерсен С. Е. Система внимания человеческого мозга. Технический отчет, документ DTIC. 1989

55. Чун ММ. Контекстная подсказка визуального внимания. Тенденции Cognit Sci. 2000;4(5):170–8.

    Google ученый

56. Лэнг П.Дж., Брэдли М.М. Международная система аффективных образов (IAS) в изучении эмоций и внимания. В: Справочник по выявлению и оценке эмоций, том 29. Новое.
    Йорк, Нью-Йорк: Издательство Оксфордского университета; 2007.

    Google ученый

57. Фань С., Шен З., Цзян М., Кениг Б.Л., Сюй Дж., Канканхалли М.С., Чжао К. Эмоциональное внимание: исследование чувства изображения и визуального внимания. В: Труды конференции IEEE по компьютерному зрению и распознаванию образов. 2018; п. 7521–7531.

58. Кордел М., Фан С., Шен З., Канканхалли М.С. Эмоциональное человеческое внимание. В: Труды конференции IEEE по компьютерному зрению и распознаванию образов. 2019.

59. Вонг Л.К., Лоу К.Л. Предсказание класса эстетики изображения с повышенной заметностью. В: 2009 16-я Международная конференция IEEE по обработке изображений (ICIP), IEEE. 2009 г.; п. 997–1000.

60. Хосла А., Сяо Дж., Торралба А., Олива А. Запоминаемость областей изображения. В: Достижения в нейронных системах обработки информации. 2012 г.; п. 296–304.

61. Манкас М., Ле Мер О. Запоминаемость природных сцен: роль внимания. В: 2013 Международная конференция IEEE по обработке изображений, IEEE. 2013; п. 196–200.

62. Файтл Дж., Аргириу В., Монекоссо Д., Реманьино П. Амнет: оценка запоминаемости с вниманием. В: Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2018; п. 6363–6372.

63. Паолаччи Г., Чендлер Дж., Ипейротис П. Проведение экспериментов на механическом турке Amazon. Принятие решений. 2010;5(5):411–9..

    Google ученый

64. Фан С., Цзян М., Шен З., Кениг Б.Л., Канканхалли М.С., Чжао К. Роль визуального внимания в прогнозировании настроений. В: Материалы 25-й международной конференции ACM по мультимедиа, ACM, 2017; п. 217–225.

65. Huang X, Shen C, Boix X, Zhao Q. Salicon: уменьшение семантического разрыва в предсказании значимости путем адаптации глубоких нейронных сетей. В: Международная конференция IEEE по компьютерному зрению (ICCV). 2015.

66. Рассел Б.К., Торральба А., Мерфи К.П., Фримен В.Т. Labelme: база данных и веб-инструмент для аннотирования изображений. Int J Comput Vis. 2008;77(1–3):157–73.

    Google ученый

67. Янг А., Хеллауэлл Д., Хэй Д. Информация о конфигурации при восприятии лица. Восприятие. 1987;16(6):747–59.

    Google ученый

68. «>

    Гоффо В., Россион Б. Лица «пространственны» — целостное восприятие лица поддерживается низкими пространственными частотами. J Exp Psychol Hum Percept Perform. 2006;32(4):1023.

    Google ученый

69. Олива А., Торральба А., Шинс П.Г. Гибридные изображения. В: ACM Transactions on Graphics (TOG), том 25, ACM. 2006 г.; п. 527–532.

70. Шинс П.Г., Олива А. Доктор гнев и мистер улыбка: при категоризации гибко модифицируется восприятие лиц в быстрых визуальных представлениях. Познание. 1999;69(3):243–65.

    Google ученый

71. Аллахбахш М., Бенаталла Б., Игнятович А., Мотахари-Нежад Х.Р., Бертино Э., Дуддар С. Контроль качества в краудсорсинговых системах: проблемы и направления. Интернет-вычисления IEEE. 2013;17(2):76–81.

    Google ученый

72. «>

    Ma X, Hancock JT, Mingjie KL, Naaman M. Самораскрытие и предполагаемая надежность профилей хозяев airbnb. В: CSCW. 2017; п. 2397–2409.

73. Rodríguez-Pardo C, Bilen H. Индивидуальная эстетика с остаточными адаптерами. В: Моралес А., Фьеррес Х., Санчес Х.С., Рибейро Б., редакторы. Распознавание образов и анализ изображений. Чам: Спрингер. 2019; п. 508–520. ISBN 978-3-030-31332-6.

    Google ученый

74. Пардо А., Йованович Дж., Доусон С., Гашевич Д., Мирриахи Н. Использование аналитики обучения для масштабирования предоставления персонализированной обратной связи. Br J Educ Technol. 2019;50(1):128–38.

    Google ученый

75. Крефт И.Г., Крефт И., де Леу Дж. Введение в многоуровневое моделирование. Ньюкасл-апон-Тайн: Сейдж; 1998.

    Google ученый

76. «>

    Weiss NA, Weiss CA. Вводная статистика. Лондон: Pearson Education USA; 2012.

    МАТЕМАТИКА

    Google ученый

77. Вальдес П., Меграбян А. Влияние цвета на эмоции. J Exp Psychol Gen. 1994; 123 (4): 394.

    Google ученый

78. Соколова М.В., Фернандес-Кабальеро А., Рос Л., Латорре Дж.М., Серрано Дж.П. Оценка предпочтения цвета для регуляции эмоций. В кн.: Искусственные вычисления в биологии и медицине. Спрингер. 2015 г.; п. 479–487.

79. Датта Р., Джоши Д., Ли Дж., Ван Дж.З. Изучение эстетики в фотографических изображениях с использованием вычислительного подхода. In: Европейская конференция
    по компьютерному зрению. Берлин, Гейдельберг: Springer; 2006. с. 288–301.

    Google ученый

80. Мошаген М, Тильш МТ. Факты визуальной эстетики. Int J Hum Comput Stud. 2010;68(10):689–709.

    Google ученый

81. Валентайн Т. Единый отчет о влиянии отличительности, инверсии и расы на распознавание лиц. Q J Exp Psychol Sect A. 1991; 43 (2): 161–204.

    Google ученый

82. Фарах М.Дж., Танака Дж.В., Дрин Х.М. Что вызывает эффект инверсии лица? J Exp Psychol Hum Percept Perform. 1995;21(3):628.

    Google ученый

83. Delplanque S, Ndiaye K, Scherer K, Grandjean D. Пространственные частоты или эмоциональные эффекты?: систематическая мера пространственных частот для изображений iaps с помощью дискретного вейвлет-анализа. J Neurosci Методы. 2007;165(1):144–50.

    Google ученый

84. Лэнг П.Дж., Брэдли М.М., Катберт Б.Н. Эмоции, внимание и рефлекс испуга. Psychol Rev. 1990;97(3):377.

    Google ученый

85. Уэллс А., Мэтьюз Г. Внимание и эмоции. Лондон: ЛЕА; 1994.

    Google ученый

86. Итти Л., Кох С., Нибур Э. Модель визуального внимания на основе заметности для быстрого анализа сцены. IEEE Trans Pattern Anal Mach Intell. 1998;11:1254–1259.

    Google ученый

87. Ризенхубер М., Поджио Т. Иерархические модели распознавания объектов в коре головного мозга. Нат Нейроски. 1999;2(11):1019–25.

    Google ученый

88. Россион Б, Готье И. Как мозг обрабатывает прямые и перевернутые лица? Behav Cognit Neurosci Rev. 2002; 1 (1): 63–75.

    Google ученый

89. Gomes CF, Brainerd CJ, Stein LM. Влияние эмоциональной валентности и возбуждения на воспоминание и невоспоминание. J Exp Psychol Learn Mem Cognit. 2013;39(3):663.

    Google ученый

90. Поджио Т., Джироси Ф. Сети для приближения и обучения. Процедура IEEE. 1990;78(9):1481–97.

    МАТЕМАТИКА

    Google ученый

91. Gauthier I, Tarr M, et al. Стать экспертом по Greeble: изучение механизмов распознавания лиц. Вис Рез. 1997; 37 (12): 1673–82.

    Google ученый

92. Вонг Ю.К., Фолштейн Дж.Р., Готье И. Природа опыта определяет репрезентации объектов в зрительной системе. J Exp Psychol Gener. 2012;141(4):682.

    Google ученый

93. Кокс Д., Пинто Н. Помимо простых функций: крупномасштабный подход к поиску функций для неограниченного распознавания лиц. В: Автоматическое распознавание лиц и жестов и семинары (FG 2011), Международная конференция IEEE 2011 г., IEEE, 2011 г., стр. 8–15.

94. Изола П., Сяо Дж., Торральба А., Олива А. Что делает изображение запоминающимся? В: Компьютерное зрение и распознавание образов (CVPR), Конференция IEEE 2011 г., IEEE, 2011 г., стр. 145–152.

95. Сяо Дж., Хейс Дж., Эхингер К.А., Олива А., Торральба А. База данных Sun: крупномасштабное распознавание сцен от аббатства до зоопарка. В: Компьютерное зрение и распознавание образов (CVPR), конференция IEEE 2010 г., IEEE, 2010 г., стр. 3485–3492.

96. Олива А., Торральба А. Построение сути сцены: роль глобальных признаков изображения в распознавании. Прог Мозг Res. 2006; 155: 23–36.

    Google ученый

97. Далал, Н., Триггс, Б.: Гистограммы ориентированных градиентов для обнаружения человека. В: CVPR, том 1, IEEE, 2005; стр. 886–893.

98. Фельзеншвальб П.Ф., Гиршик Р.Б., Макаллестер Д., Раманан Д. Обнаружение объектов с помощью моделей на основе частей, обученных с помощью различения. ТПАМИ. 2010;32(9):1627–45.

    Google ученый

99. Li LJ, Su H, Fei-Fei L, Xing EP. Банк объектов: высокоуровневое представление изображений для классификации сцен и разрежения семантических признаков. В: Достижения в нейронных системах обработки информации. 2010 г.; стр. 1378–1386.

100. Лю Т., Юань З., Сунь Дж., Ван Дж., Чжэн Н., Тан Х., Шум Х.И. Учимся различать заметный объект. IEEE Trans Pattern Anal Mach Intell. 2011;33(2):353–67.

     Google ученый

101. Сривастава А., Ли А.Б., Симончелли Э.П., Чжу С.К. Об успехах статистического моделирования природных изображений. J Math Imaging Vis. 2003;18(1):17–33.

     MathSciNet
     МАТЕМАТИКА

     Google ученый

102. Чанг Си, Лин СиДжей. Libsvm: библиотека для машин опорных векторов. ACM Trans Intel Syst Technol (TIST). 2011;2(3):27.

     Google ученый

103. Ланг, П.Дж., Брэдли, М.М., Катберт, Б.Н.: Международная система аффективных изображений (iaps): рейтинги аффективных изображений и руководство по эксплуатации. Технический отчет А-8 (2008 г.).

104. Микелс Дж.А., Фредриксон Б.Л., Ларкин Г.Р., Линдберг К.М., Маглио С.Дж., Рейтер-Лоренц П.А. Данные об эмоциональных категориях изображений из международной системы аффективных изображений. Методы поведения Res. 2005;37(4):626–30.

     Google ученый

105. Хуан Г., Лю З., Ван дер Маатен Л., Вайнбергер К.К. Плотносвязные сверточные сети. В: Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2017; стр. 4700–4708.

106. Русаковский О., Дэн Дж., Су Х., Краузе Дж., Сатиш С., Ма С., Хуанг З., Карпати А., Хосла А., Бернштейн М. и др. Крупномасштабная задача визуального распознавания Imagenet. Int J Comput Vis. 2015;115(3):211–52.

     MathSciNet

     Google ученый

107. Шолле Ф. Керас. Репозиторий GitHub. 2015.

108. Абади М., Агарвал А., Бархам П., Бревдо Э., Чен З., Ситро С., Коррадо Г.С., Дин А.Д.Джеффри, Девин М., Гемават С., Гудфеллоу И., Харп А., Ирвинг Г., Исард М., Йозефович Ю.Дж.Р. , Кайзер Л., Кудлур М., Левенберг Дж., Мане Д., Монга Р., Мур С., Ола Д.М.К., Шустер М., Шленс Дж., Штайнер Б., Суцкевер И., Талвар К., Такер П., Васудеван В.В.В., Виегас Ф., Виньялс О., Уорден П., Ваттенберг М., Вике М., Юань Ю., Сяоцян З. Tensorflow: крупномасштабное машинное обучение в гетерогенных распределенных системах. 2016. Препринт arXiv arXiv: 1603.04467.

109. Крижевский А., Суцкевер И., Хинтон Г.Е. Классификация Imagenet с помощью глубоких сверточных нейронных сетей. В: Pereira F, Burges CJC, Bottou L, Weinberger KQ, редакторы. Достижения в области нейронных систем обработки информации, том. 25. Ред Хук: Curran Associates Inc.; 2012. с. 1097–105.

     Google ученый

110. Рок И., Палмер С. Наследие гештальт-психологии. наук Ам. 1990;263(6):84–91.

     Google ученый

111. Сабур С., Фросс Н., Хинтон Г.Э. Капсулы Matrix с em роутингом. В: 6th International Conference on Learning Representations, ICLR, 2018.

112. Arend L, Han Y, Schrimpf M, Bashvan P, Kar K, Poggio T, DiCarlo JJ, Boix X. Отдельные единицы в глубокой нейронной сети функционально соответствуют с нейронами в головном мозге: предварительные результаты. Технический отчет, Центр мозгов, разума и машин (CBMM) (2018).

Скачать ссылки

Человеческое восприятие

Человеческое восприятие

последнее обновление
25.09.19

Что такое восприятие?

Зачем рассматривать восприятие?

• Визуальные представления могут быть неверно истолкованы.
• Визуальное могло или не могло быть предназначено для неправильного истолкования.

Понимание человеческого восприятия и иллюзий может помочь нам в разработке визуализаций.

Восприятие:

• узнавание — осведомленность
• организация — сбор и хранение
• интерпретация — привязка к знанию

Их можно применить к любому чувству.

Пример иллюзии

1. Три ≠ четыре

Нереализуемое изображение с четырьмя планками слева и тремя справа.

• Беспорядочная визуализация может привести к неправильному подсчету данных на графике.

2. На изображении ниже

первичные и вторичные изображения .

• Что вы увидели первым?
• Тогда что же ты все выбрал?
• такие образы считаются иллюзорными
• требует дальнейшего изучения, чтобы увидеть то, что вы видите, в отличие от нереализуемого изображения слева.
• мы поговорим об уровнях детализации в визуализации, которые хороши
  • увидеть общую картину
  • затем посмотрите подробности, которые также могут быть информационными

3. Искусство Photomosaic® Роба Сильверса

• полагается на восприятие, чтобы сначала увидеть большую картину, прежде чем понять, что составляет изображение.
• пример суперграфики и
• снова склонен больше изучать картину из-за ее уникальной композиции.

4. Иллюзии сетки Германа

5.

Иллюзии Геринга и Канишы

• Иллюзия Геринга — красные линии действительно прямые ниже
• На иллюзии Канишы справа не нарисован треугольник.

Физиология глаза

Подробная информация содержится в книге в разделе 3.2. Глаз воспринимает небольшую полосу электромагнитного спектра :

из Викисклада

Анатомия глаза:

не показаны колбочки и палочки как рецепторы света, встроенные в сетчатку

• колбочки — фотопическое зрение, дневное зрение, три типа колбочек: длинные (красные), средние (зеленые), короткие (синие).
  См. диаграмму ниже, на которой показана нормальная реакция на разные длины волн для каждого типа конуса
• палочки — скотопическое зрение, ночное видение, наиболее чувствительные при слабом освещении, ахроматические (бесцветные), гиперполяризованные (полностью насыщенные) в дневное время, но работают в диапазоне 400-800 нм.

слепое пятно — место, где зрительный нерв встречается с сетчаткой, смещенное от центра место, которое обычно остается незамеченным. Посмотрите на 3 и либо двигайтесь к 3, либо прочь. Желтая точка исчезнет, ​​так как она будет зарегистрирована на сетчатке, где соединяется зрительный нерв.

Колбочки плотные в ямке. Ночью вы слепы к слабому свету, на который смотрите прямо, потому что в центральной ямке мало палочек. Выберите слабую звезду и посмотрите прямо на нее. Ночью периферическое зрение лучше.

Дальтонизм является результатом того, что колбочки у человека воспринимают разные диапазоны световых волн, особенно если средние колбочки смещены и перекрывают красную область

Визуальная обработка

Общая анатомия зрительной системы. Обратите внимание на пересечения, чтобы каждая половина мозга получала информацию от обоих глаз.

120 миллионов палочек и 6 миллионов колбочек могут обрабатывать только определенное количество визуальной информации за определенный период времени. Здесь происходит много предварительной обработки, прежде чем информация будет передана в мозг.

Движения глаз

являются важными аспектами зрительного восприятия. Мы быстрее воспринимаем изменения в движении, чем смотрим на изображение. Нас тянет к движениям.

• плавные следящие движения — оба глаза отслеживают или следуют за объектом синхронно.
• вергентные движения глаз — глаза движутся под разными углами к объекту (например, косят глазами)
• саккадические движения глаз — бессознательные или сознательные быстрые движения глаз для сканирования интересующих объектов
• саккадическая маскировка — между точками саккадных движений наблюдается не все

Маркетинговые исследования могут определить, как движения глаз могут привлекать или игнорировать элементы в рекламе

Перцептивная обработка

То, что происходит автоматически, бессознательно в наших зрительных ощущениях.

Предварительная обработка

легко увидеть цель выше

легко выбрать другую форму еще

какая цель? нам нужно больше работать, чтобы определить, что действительно отличается

Линия с разной ориентацией легко различима.

Но внутренний квадрат правого Rs плохо видно. Необходима более сознательная обработка.

Роль восприятия

Ограничения зрительной системы человека создают иллюзии, которые отвлекают или вводят в заблуждение

Мы хотим устранить двусмысленность, как в рисунке слона.

Саккадическое движение глаза трудно преодолеть:

Преаттентивные визуальные функции

• длина, ширина, размер
• кривизна, форма
• номер
• терминаторы, перекрестки, закрытие
• оттенок, интенсивность, яркость/яркость
• мерцание
• направление движения, бинокулярный блеск
• стереоскопическая глубина, 3D-сигналы глубины
• направление освещения
• текстура

Превнимательные зрительные задачи

• обнаружение цели (см. выше)
• обнаружение границ
• отслеживание региона — похожие элементы создают регион
• подсчет и оценка — возврат к размеру

[мы пропускаем 3.3.2 о теориях предвнимательности]

Слепота к изменению

Если вы увидели только картинку слева, отвели взгляд на некоторое время, а затем увидели картинку справа. Можете ли вы определить разницу?

Рядом видно разницу. Но не так легко, если второе изображение заменило первое изображение в анимации.

Почему возникает слепота к изменениям?

• Перезапись текущего изображения пустым; не абстрагированная информация теряется
• Первые впечатления; элементы первого изображения имеют смысл; второе изображение, они все еще там
• Ничего подробного не сохраняется; основные компоненты изображения сохранены (корпус самолета, крыло самолета, линия солдат)
• Все сохраняется, но ничего не сравнивается
• Комбинация функций; черты первого сочетаются с деталями второго

Таким образом, эта слепота представляет собой риск при сравнении двух изображений, даже расположенных рядом

Восприятие Примеры использования

Интеллектуальные агенты соревнуются в имитации аукциона электронной коммерции.

• ось x = время,
• ось Y = конкретный аукцион,
• цветов башни = разные агенты,
• высота = цена
• ширина = количество предложений

Погодные условия над Скалистыми горами

• цвет = температура (от темно-синего до розового)
• ориентация = осадки (наклон вправо сильнее)
• плотность = скорость ветра (плотнее ветер выше)

Размер

• = барометрическое давление

Этот выбор функций не идеален для этой графики.

Цвет, в общем, дает

• шкала (через пару спектров, например, красно-синий, серо-красный, желто-зеленый)
• перцептивный баланс, можно добиться равномерной разницы в цвете
• различимый с дискретным набором цветов
• гибкость

Опять же выбор здесь сомнителен. Дальтонизм невнимательный!

Проблемы с памятью

• Сенсорная память — фильтры для глаз, большие объемы информации обрабатываются менее чем за 0,2 секунды.