Добрый день!
Возможно, этот человек не проявлят к вам открытой агрессии, но скрыто манипулируют, обесценивает, проявляет пассивную агрессию. Вы чувствуете это, но поскольку "явных" причин для страха нет, он выражается в телесном проявлении. Попробуйте проанализировать ваше общение. Вы чувствуете поддержку? Вас точно не обесценивают? Звучат ли от человека фразы, от которых неприятно, но вроде "придраться не к чему"? Возможно, вы поймете, почему вас трясет при общении с ним.
Вариантов много... От чувства угрозы физической или личностной , возможны актуализации болезненных воспоминаний образом человека, тем что с ним связывается ... В любом случае это отыгрывания боли, возможной потери, страха ...