Если в мире Гарри Поттера в семье мага и магла мог родиться волшебник, могли бы маги при желании демографически вытеснить маглов?

волшебство - абсолютно  доминантный признак, поэтому в семье магла и мага всегда рождаются дети-волшебники (может родиться сквиб,  но это редкость, и потом, сквибы хоть и не владеют волшебством, но являются носителями его гена) .
поэтому, теоретически, маги могли полностью вытеснить маглов,  если бы отказались от пренебрежительного отношения к ним.

Вероятно, нет. Природа непостижимым образом контролировала популяцию магов - то в чистокровной семье родится сквиб, то у маглов маг. Иной процесс вытеснения тоже невозможен - маглы не получали магических свойств при получении волшебной палочки, что бы там ни думала кхе-кхе Долорес Амбридж.