Как человеку, у которого я почти единственный друг, сказать, что он мне надоел и тянет меня вниз?

Не стоит действовать слишком резко, чтобы не травмировать человека (я думаю, если вы у него единственный друг, вы можете сильно обидеть его). Сперва поговорите как-нибудь в мягкой форме о том, что вас в нем не устраивает. Возможно, что-то можно поменять в образе жизни этого человека, если он для вас что-то значит, и сам он готов поменяться ради дружбы с вами. Если же вы отчётливо понимаете и видите, что ваши отношения обречены, постепенно сокращайте общение. Меньше встречайтесь, меньше рассказывайте о чем-то сокровенном. Хотя, вероятно, это рано или поздно произойдёт само собой, раз уж вы разные люди и вашим путям суждено разойтись.