Начнем с того, что они имеют общее происхождение с северянами, и можно предположить что языковая семья у них одна.
Еще предположу, что знание языка связано с тем, что к вольному народу периодически сбегали братья Ночного дозора, которые дозорными быть не хотели, а вот одичалыми - может быть. Ну и, если подумать, они же там вечно брали друг друга в плен, одичалые пытали разведчиков, разведчики - одичалых, пытались выведать какую-то информацию. За десять (что ли) тысяч лет, что стена разделяет Вестерос и вольный народ, и что существует Ночной дозор, они явно смогли научиться общему языку.
Разделение на вольный народ и северян произошло после прихода андалов, которые принесли общий язык в Вестеросс. В данный момент древний язык первых людей используют тенны и великаны, которые живут очень далеко на севере.