Наверное это проистекает из языка жестов.
"Когда указательный палец направлен вертикально к виску, и большой палец поддерживает подбородок, это указывает на то, что слушатель негативно или критически относится к лектору или к предмету его сообщения".
Можна понять, что касание виска вызывает определенное состояние человека.