Слово ашрам имеет два значения:
1) Уклад жизни. Например, брахмачари ашрам - монашество (так еще могут называть монашескую общину), а грихастха ашрам - семейная жизнь, брак.
2) Обитель мудреца, место, где он живет, практикует и обучает. Вокруг духовного лидера всегда собираются последователи, поэтому такие ашрамы многолюдны.
Когда западные люди говорят "индийский ашрам", они, как правило, имеют в виду второе значение. Здесь же кроется ответ на ваш вопрос: людей в ашраме привлекает его центр - известный духовный лидер, гуру, к которому они хотят обратиться за знаниями или ответами на свои вопросы.
Что же касается мудрости и нищеты, эти два понятия всю историю человечества шли рука об руку. Диоген и Сократ были бедны, Христос был беден, а ведическим мудрецам вообще по статусу положено было жить на пожертвования.