Началось это в большинстве своем с Толкина, а он основывал своих эльфов на сказаниях о кельтских сидах. Причем сиды в кельтской мифологии - это Туата де Дананн в основном, иногда немного фейри. И те и другие по ирландским, например, сказаниям сначала из-за людей ушли в холмы-сиды, и со временем появлялись все реже и реже.
А почему лопоухими?
Мифологические предшественники фольклорных эльфов - тауты. Племена богини Дану, проигравшие в войне с людьми и укрывшиеся в волшебных холмах. Это наложило отпечаток на образ эльфов, чьё время ушло, сменившись эпохой людей.
Tuatha de Dannan
Туата
Когда длительность жизни неограничена все репродуктивные функции ослабляются, иначе вымреш от внутрених конфликтов.
А потом внешний фактор резко сокращает численость популяции и идет вымирание остатков.
Все фентази базируется на произведениях Толкина, а там эльфы характеризуются именно так. В свою очередь Толкин базировал лор своих произведений на мифах о короле Артуре. Эльфы - это по сути Сиды из артурианских мифов, олицитворяющих старую эпоху язычества и колдовства, уходящую в тень и сменяющуюся эпохой просвещения и хрестианства.
По тому что эльфы долгоживущая расса, а раз жизнь долгая то плодится в большом количестве не обязательно. Так что если война или чума какая демография резко пойдет вниз.