Не совсем поняла вопрос.
По каким-то конкретным причинам хотите отказаться? Выявлены определенные заболевания пищеварительного тракта? Или просто где-то прочитали какую-то статью о, якобы, пользе от отказа от употребления в пищу молока?
Если Вам оно нравится, Ваш организм его переваривает хорошо (иногда бывает непереносимость лактозы, при которой молоко очень плохо переваривается), вы не на посту, нет каких-то убеждений (вегетарианство или что-то подобное), то не вижу повода отказываться от этого продукта.
Тем более, что Вы его "пили всю жизнь".