Нежелание может быть одной из причин его опозданий, да. Не всегда, но часто бывает так, что человек подсознательно саботирует события, в которых ему не очень хочется участвовать, но надо. Есть такое понятие как пассивная агрессия, это как раз поведение, когда человек не высказывает напрямую свое нежелание, негативные чувства по поводу просьбы/встречи. Особенно часто это встречается у ответственных в целом по жизни людей, которые чаще делают то что "надо", а не то что "хочу". Все эти процессы происходят бессознательно, то есть человек не отдает себе отчет, что он на самом деле не хочет встречаться. Такое бывает, когда человек регулярно опаздывает или переносит встречу (например, на собеседование на работу, которая на самом деле ему не очень-то и нравится, но надо устроиться). Понаблюдайте, если ваш друг/партнер регулярно опаздывает на определенный тип встреч (например ДР родственников), или встречи с конкретным человеком - возможно это как раз тот случай.
Вот вообще не факт, что из-за какого-то предвзятого отношения к вам. Не думали, что человек может всегда опаздывать? Есть такие люди, поталогические опаздуны) А если вас это задевает, поговорите с этим человеком и всё станет на свои места.