Добрый день!
Возможно, этот человек не проявлят к вам открытой агрессии, но скрыто манипулируют, обесценивает, проявляет пассивную агрессию. Вы чувствуете это, но поскольку "явных" причин для страха нет, он выражается в телесном проявлении. Попробуйте проанализировать ваше общение. Вы чувствуете поддержку? Вас точно не обесценивают? Звучат ли от человека фразы, от которых неприятно, но вроде "придраться не к чему"? Возможно, вы поймете, почему вас трясет при общении с ним.
Любое поведение имеет адаптивный характер. Ваша "тряска" тоже для чего-то включается. Возможно, это все-таки своеобразное проявление волнения, которое вы не распознаете как волнение. Вам нужно научиться понимать себя (свои эмоции в первую очередь) - это, вообще, очень полезно по жизни, но нужен серьезный подход.
Вариантов много... От чувства угрозы физической или личностной , возможны актуализации болезненных воспоминаний образом человека, тем что с ним связывается ... В любом случае это отыгрывания боли, возможной потери, страха ...