Да-да, человек, с которым вы путешествуете, может вас неприятно удивить. Но неприятно удивить можете и вы себя! Главное - это заметить то, что это вы раздражаете человека рядом с вами, а уже его раздражение раздражает вас. Заметить и "обезвредить", если это имеет место быть :)
В любом случае, совместный отпуск - это полезно для отношений. Либо они окрепнут, либо закончатся, что тоже хорошо - лучше пусть ваша несовместимость выявится раньше, чем позже