Добрый день!
Ответ очень логичен - потому что у него чувства есть, и ваш ответ их не отменяет. Другое дело, что вам это может быть неудобно, и ваш друг должен это учитывать.
Попробуйте объяснить, что вам некомфортно его проявление чувств из-за того, что не можете ответить взаимностью. И что вы не сможете продолжать дружбу и общение, если он продолжит вести себя так же.