На Руси одно время называли любого прохожего, который не способен говорить по-человечески, немцем (немым). По-человечески это по-русски, потому что на других языках ничего непонятно. К германцам это слово приклеилось из-за их большого количества на Руси в то время. То есть, если подумать, это слово гораздо более оскорбительно, чем разнокалиберные названия афророссиян.
Кстати, похожая логика именования встречалась и в других странах.