Скорее всего, у Вас появляется не симпатия к человеку, а довольство собой. Вы чувствуете себя героем, одержавшим победу. А это чувство уже переносится на оппонента.
Еще возможен вариант. Нам всегда симпатичны люди, которые согласны с нами, у которых схожие взгляды, точка зрения. А побежденный в споре человек невольно признает Вашу правоту.