Во-первых, любые отношения - это всегда работа. Дружеские, супружеские, любовные, отношения в коллективе - их нужно выстраивать, поддерживать, развивать. Без этого никуда не деться.
А, во-вторых, отношения - процесс двусторонний. То есть работать над отношениями нужно вместе.
Вот Вы пишите, что «никогда не говорили об этом». То есть все конфликты спускали на самотёк. А зря. Вы даже не знаете, что думает об этой ситуации другой человек. Возможно, что переживает сильнее. И тоже не решается сделать шаг навстречу, чтобы просто поговорить.
Поэтому сделайте сами этот шаг.