Проблема в том, что некоторые люди любят использовать весьма расширенные определения терминов. Например, атеист для них это и скептик, и знаток науки, и просветитель, и в целом весьма культурный, толерантный, благочестивый и воспитанный человек, лишенный предрассудков и готовый с легкостью поменять свои убеждения при обнаружении новых фактов. По сути же, атеист это тот, кто отрицает факт существования бога, то есть имеет достаточно активную (в отличие от агностиков, игностиков, апатеистов, нигилистов и просто неверующих) мировоззренческую позицию.
Так что, честно говоря, точка зрения вашего оппонента вполне здравая, и если вы не оставляете попыток понять друг друга, то вначале убедитесь, что используете одинаковые определения ключевых терминов своего спора.