Потому что он был их хозяином, сыном их покойного господина. Они уважали его, уважали его мнение и его выбор. Тем более если бы они не пошли за ним, они были бы вынуждены стать крестьянами "бывшего друга" Дубровского-старшего.