Очень общий вопрос, побольше бы конкретики.
Варианты:
-вы не нравитесь человеку, поэтому ему неприятно, когда вы к нему прикасаетесь
-вы недостаточно хорошо знакомы, и человек воспринимает ваше прикосновение как нарушение личных границ
-вы хлопаете по плечу или делаете что-то, что воспринимается как "фамильярное" обращение
Если говорить о себе, то мне нравится, когда ко мне прикасаются, только если у меня есть симпатия или доверие к этому человеку. Прикосновения даже тех, кого я знаю давно, но либо отношусь к ним негативно или даже нейтрально, мне неприятны. Опять же, я это воспринимаю как нарушение моих границ.