С точки зрения науки звуковое воздействие от наушников мало отличается от других источников звука. Те же децибелы, то же влияние.
Если слушать музыку в тихом помещении, а не пытаться переглушить любимой музыкой грохот метро - вряд ли со слухом произойдет что-то плохое.
Отдельный момент - несовместимость конкретной модели наушников и их слушателя. Лично встречался с парой вариантов у которых то ли АЧХ странная, то ли карма плохая, но через 10 минут музыки в этих моделях у меня начинала адово болеть голова. Не могу описать это с научной точки, но вероятно, что попытка насильно привыкнуть к таким наушникам может и вредит.
Еще побочка (в основном у внутриканальных наушников) - сильная звукоизоляция. Опасно в нашем мире, где все системы оповещения в основном звуковые.