Действительно, табу на инцест - одно из древнейших в человеческой культуре. И как любое табу оно никак не объяснялось. Гораздо более интересный вопрос, откуда этот запрет возник. И вот тут, насколько мне известно, консенсуса нет. Об этом в свое время много писал великий антрополог Фрезер. Фрейд посвятил инцесту значительную часть книги "Тотем и табу".
Если в общих чертах, то изначально запрет на инцест коснулся не отца, а именно сыновей, которые, подрастая, начинали конкурировать со старшими мужчинами в общине/семье. Это было чревато конфликтами, так как половые отношения были также маркером влияния, власти. Соответственно, старшие особи мужского пола, стараясь себя обезопасить, и ввели табу для своих сыновей.
Фрейд в "Тотеме и табу" в частности описывает, что у коренных австралийцев (которые наиболее близки первобытным людям) существовали кланы-общины с определенным тотемом (который обозначается животным). Этот тотем передавался строго по женской линии. И между носителями одного тотема были жестко ограничены половые связи. Однако, если мать передавала детям свой тотем (например, тотем кенгуру), то и мать и дети принадлежали к этому тотему. При этом отец принадлежал к другому тотему. То есть были запрещены половые связи между сыном и матерью, сыном и сестрами. Но отец мог при этом спать с дочерьми.
Позднее, как это часто бывает, запрет был расширен, и табу распространилось и на "отцов". Еще позднее - на всех остальных родственников, в следствие чего во многих культурах запрещены браки вплоть до седьмого колена.
Возможно люди замечали, что после кровосмешения очень часто рождаются больные дети. Хотя в Древнем Египте фараоны брали в жены своих сестер, так что не все так однозначно.