Почему все считают, что если человек не смотрит собеседнику в глаза во время разговора, это значит, что он что-то скрывает?

Из того, что один человек ответил, не следует, что все так считают. 

Вы хотя бы это поймите. А там уже легче понять и остальное.  В том числе и  то, что история тут ни при чём. 

Или то, что человек со слабой нервной системой по возбуждению, например, меланхолик, не выдерживает продолжительного контакта глаз и отводит свой взгляд в сторону.  Это не значит, что он что-то скрывает. Просто ему легче формулировать свои мысли в словах когда его восприятие не занято лицезрением своего собеседника. 

И куча других причин, о которых уже сказали другие.