Это зависимость. Причем не совсем от человека. Вы чего-то сильно хотите, и это для Вас очень значимо. И Вы почему-то "назначили" этого человека подателем этого блага. Решили, что он может Вам это как-то обеспечить. Эта фантазия об удовлетворении Вас к нему и влечёт.
А когда видите его, он не дает искомого, оказывается не тем, что Вы намечтали. И поскольку Вы считаете (в глубине души), что он должен удовлетворить Ваше желание, Вы злитесь, что он эти ожидания не исполняет.
Если поймете, что он тут, вообще-то, совсем ни при чем, не имеет отношения к Вашим ожиданиям, эмоции эти пройдут. По крайней мере ненависть. По-хорошему, конечно, разобраться с самим желанием, перестать ставить себя в зависимость от другого, взяв ответственность за себя (свои состояния, чувства, желания и тд.) на себя. Тогда и "с ума сходить" больше не будете.
Похоже на болезненную созависимость. Или на отношения любовь-ненависть, если проще говорить. В идеале стоит держаться подальше от этого человека.