Мучить то себя конечно же не нужно. Лучше сначала подумать и разобраться в чём причины того что ты испытываешь тревогу и дискомфорт. Как вариант какие то его черты поведения могут вызывать эти чувства, но возможно и какие то твои не обоснованные его поведением страхи. Думаю вполне уместно это и с ним обсудить. Так же стоит понимать, что ты вправе не прибегать к близкому взаимодействию с ним, например можно просто общаться и соблюдать постоянную физическую дистанцию, для того чтобы пытаться разобраться в чём дело и принять решение. Но с самим принятием решения лучше сильно не задерживать. Если ты считаешь что эти чувства применимы именно к этому парню, то вполне вероятно что это может вызывать какое то его не оптимальное поведение, либо же ваша какая то интеллектуальная несовместимость. Вариантов тут вероятно несколько, но надо самой подумать и принять решение и вполне будет в поряде ему по хорошему и честно пояснить причину в случае, если решишь разойтись.