Собственно, единственная более-менее вменяемая версия - колоссальные потери от войн и эпидемий, плюс высокая детская смертность. Вспомните историю с сестрой Турина, Лалайт: не уберегли даже дочь вождя, надо полагать, среди простолюдинов это поветрие выкосило народу куда больше. Потом - конец Первой эпохи, затапливается целый Белерианд (допустим, эльфы и аданы успели его покинуть, но "люди Моргота" - нет!) Затем в конце Второй эпохи под воду уходит Нуменор, тоже нехило так заселенный к тому времени (плюсом гибнет все огромное воинство Ар-Фаразона, предположительно в десятки, а то и в сотни тысяч молодых здоровых мужчин). В Третью эпоху - два глобальных конфликта с Сауроном, Ангмар, чума (в Гондоре вымирает целый город - Осгилиат) и вот это вот всё. Стоит удивиться, как люди вообще не исчезли с лица Средиземья, а сумели, наоборот, к Четвертой эпохе стать главной и практически единственной расой.