Проще всего ответить, что у вас уже есть парень, тогда коллеге точно будет не обидно и вы продолжите общаться как общались. Либо да, ответить, что не заводите романов на работе.