На мой взгляд, в ваших отношениях что-то не ладится. Странно быть на людях одним, а наедине другим человеком.
Возможно у того человека присутствуют комплексы или какие-то фобии, а может быть просто играет Вашими чувствами.
В любом случае, если нет искренности в отношениях, то это тупиковая дорога в будущее.