Нужно подумать, точно ли Вы хотите его бросить, илиже хотите, чтобы он Вами перестал манипулировать. Второй вариант тоже возможен, я убедилась на собственном опыте. Но это продолжительная работа над собой и отличный путь к самодостаточности. Манипулировать самодостаточным человеком сложно и малореально. Почитайте в жж Эволюцию, она очень здорово пишет, ее психоалхимия работает.
Если всё же хотите бросить - то советую убедить себя в необходимости этого. И делать, не оглядываясь.