Если вам вообще в голову закрались такие мысли, то нужно рвать все на корню. Если вы с ним долгое время, например 2 года, то тогда поговорите с ним, объяснив почему вы не хотите с ним быть. В любом случае, вам не приносит это удовольствия и комфорта, поэтому нужно расставаться, но красиво.