Серьёзных статей я об этом не читал, помню только одну статью, совсем-совсем из детства. Наверное, зоологи над этими тезисами посмеются. Не знаю.
1) У кошек и у собак различные системы сигналов тела. Например, виляние хвостом для собаки - признак благодушия, для кошки - стресс и подготовка к атаке, поднятый вверх хвост для собаки - признак открытости и благодушия, кошка же увеличивает свой размер тем самым, то есть, пугает соперника.
2) В дикой природе обычное дело, когда все всем не доверяют и боятся. И никто ни с кем из чужих не дружит. Инстинкт самосохранения. Кстати, у людей, поделённых на национальности, до сих пор так :-) Для кошки собака - более крупный хищник с большими зубами. Опасность! Для собаки кошка - менее крупное животное. Пища.
Кошки напросились. Они представляют что-то интересное для собак. Те подходят узнать получше, кошка пугается, начинает шипеть и прогонять собаку. Собака в режиме "она хочет на меня напасть" кидается в ответку. Ну и... fight!