Люди все разные, и это совершенно нормально, когда Вы с кем-то в чём-то не сходитесь. Это не означает что кто-то лучше или хуже, это означает, что этот человек просто другой.
А отвечая на вопрос "в этом что-то не так?", почитайте даже здесь же в Яндекс Кью про тех людей, которые поступают наоборот и страдают от того, что их окружают не совместимые люди. Предположу, что было бы гораздо хуже, если б Вы с несовместимыми людьми не уходили в сторону.