Прежде всего количество детей зависит от социально-культурных особенностей общества, в котором живут родители. Так, например, установлено, что люди с низким доходом обычно заводят больше детей (https://www.stlouisfed.org/on-the-economy/2016/december/link-fertility-income). Уровень образования женщин также влияет на то, сколько детей они заводят, - чем выше качество образования, тем меньше детей. Также на количество детей влияют традиции общества, в котором росли их родители (https://ourworldindata.org/fertility-rate).
Если же брать людей одного социально-экономического уровня и приверженных одной культуре, то различия в количестве у них детей можно объяснить в том числе генетическими факторами.
Во-первых, существуют обусловленные генетическими факторами проблемы репродукции, причем нередко люди даже не догадываются об их существовании до тех пор, пока у них не возникают проблемы с зачатием или вынашиванием ребенка. К таким проблемам относятся, например, проблема со сперматогенезом у мужчин (https://www.ncbi.nlm.nih.gov/pubmed/27723784) или резистентность к прогестерону у женщин (https://omim.org/entry/264080). Разумеется, у таких людей количество детей будет значительно меньше, чем в среднем по популяции. Однако своевременное выявление этих проблем, может подобрать адекватное лечение и позволить паре завести здорового ребенка.
Во-вторых, существуют генетические маркеры, которые у здоровых людей ассоциированы у людей с количеством детей и с половым поведением (https://www.ncbi.nlm.nih.gov/pubmed/27798627). Вклад каждого отдельного маркера небольшой, но их совокупный анализ позволяет с определенной точностью предсказать плодовитость человека.