Смотря, что подразумевается под увлечением музыкой.
Первый вариант, если ты меломан и хочешь наслаждаться музыкой. В этом случае я поступил так: купил б/у айпод классик и sennheiser cx 300. А музыку все еще можно брать на торрентах. Звучание и автономность меня устраивают, а объем памяти позволяет постоянно носить с собой всю свою дискографию. Кстати, хорошие мониторные наушники могут заменить аудиосистему дома.
Второй вариант, если ты играешь на каком-то музыкальном инструменте. За все инструменты не скажу, но про гитару могу дать пару советов. Предположим инструмент уже есть, если нет то самый дешевый вариант это акустика (будешь тратить деньги в основном на струны). По поводу электрогитары - покупать всегда лучше б/у, бюджет может быть в принципе любым (я свою первую электруху сделал из акустики и пьезо-элемента от старой музыкальной открытки). Главное отстроить гриф, бридж, заэкранировать отсек для электроники (все можно сделать самому). Никогда не покупай дорогие струны, все равно засруться. Лучше менять чаще, но более дешевые ( на басу, кстати, прокатит финт - отварить струны). Если в твоем компе есть аудиокарта с линейным входом - поздравляю. Смело качай GuitarRig, ставь asio-драйвер чтобы уменьшить задержку и советую заморочиться с импульсами (они ощутимо улучшают звучание) - в результате у тебя куча усилителей, эффектов и всё абсолютно бесплатно. Опять же играть лучше через хорошие мониторные наушники, звук будет лучше чем через комбик за ту же цену. Если дружишь с электроникой можно самому паять примочки, обойдутся минимум раза в 2-3 дешевле.
В общем, что нужно делать, чтобы увлечение музыкой не обходилось слишком дорого? Не брезговать б/у оборудованием, использовать интернет для получения знаний и контента, сделать что-то самому, а не покупать готовые варианты. И самое главное, больше наслаждаться музыкой, а не звуком аппаратуры.