Слово «кружка» вопреки народной этимологии не является производным от слова «круг», это заимствование из польского – kruż, «кувшин».
Однако даже если бы связь между кругом и кружкой была, это не мешало бы ей быть квадратной, так как историческое развитие лексем дарит нам множество забавных оксюморонов, прежде всего цветовых: чёрное бельё, синяя краска, красные и синие чернила.
В качестве другого любопытного примера можно вспомнить тарелку или сковороду, которые не лежат, а стоят на столе вопреки плоской форме – это объясняется, вероятно, тем, что изначально любая посуда была объёмной и высокой, это обусловило её обязательное языковое стояние.