Это название пошло от слова "кружка", Напитки в таких заведениях подавались в кружках.

Не уверена, что имеется в виду именно это, но слова, которые и с начала и с конца читаются одинаково, называются палиндромами :)