Показалось, что вопрос был именно про iPhone, поэтому расписал про фишечки с itunes и AAC, но в основном все и для других смартфонов верно.
Используя качественные наушники для прослушивания файлов MP4(AAC), FLAC или WAV аудио, вы получите максимально чистое [от искажений] звучание, это то, что подразумалось в вопросе. Имея оригинальную студийную, кассетную или виниловую запись в этих форматах без перекодировок.
Качественными являются наушники вида "накладные", например актуальные от фирмы AKG, а если хотите переплатить - Beats.
Основная потеря качества в звуке идет при сжатии файла с потерями (т.н. lossy-кодирование), которое используется в наиболее популярном в мире формате Mp3. В этом кодеке размер файла уменьшается многократно за счет снижения битрейта - калечит и выкидывает большую часть излишней информации из каждого аудиосемпла в записи. Звук остается приемлемым за счет того, что потери компенсируется специальными алгоритмами.
Если вы слушаете музыку родом не из iTunes на своем iPhone, она скорее всего имеет формат MP3. В iTunes же большая часть звуков закодирована AAC - Apple Lossless Codec, расширение файла - MP4.
Можно добавить в смартфон музыку из WAV или CD, выбрав кодек AAC при импорте в iTunes. Импортировать уже калеченные Mp3 не имеет смысла.
aac/mp4, как и MP3, сжимает аудиопоток, просто без потери битрейта, но и у него есть недостаток: он является пропритарным (несвободным) кодеком APPLE. Его использование не является хорошим тоном за пределами i-девайсов по отношению к свободному сообществу.
Контейнеры WAV и FLAC хранят аудио без изменений, но песня привычной длительности "весит" десятки а то и сотни мегабайт. Для Windows Desktop пользователей предпочтительнее FLAC, который использует сжатие без потерь (как и AAC).
Проблема в том, что очень немногие студии и музыканты выпускают музыку во FLAC, скорее ее используют для сверхточного снятия рипов с винила и кассет. Музыка из релизов в iTunes же, в порядке в этом смысле.
Качественный звук - это, прежде всего, не наушники, а качественные колонки домашнего кинотеатра/мониторных колонок и иногда сабвуфера (для электронной музыки). Даже качественная музыка в наушниках воспринимается совсем не так, как на High-End аппаратуре.
ЦАП, используемый в смартфонах, зависит от производителя. Это тоже важный компонент, но обычно о нем говорят только педанты. Дело в том что чаще всего на электронике, выпускаемой для массового сектора (все смартфоны, включая iphone) в разъеме для наушников (и других аудио разъемах) используется весьма низкокачественный цифро-аналоговый преобразователь (DAC). Я слышал, что на самом деле на технике от ответственного производителя, которая стоит дороже, чем три копейки, чаще используются адекватные ЦАП (но про АЦП разговор совсем иной). Здесь уже вопрос мнения и конкретного разговора.