Это нормальное чувство и ничего делать не надо, если это не мешает вашему общению. Если же сильно мешает, то договоритесь с человеком, чтобы он заранее предупреждал о встречах. А вообще со временем вы привыкните к человеку и волнение уменьшится или вовсе пропадет.