Если точнее, то ослабевает не память, а возможность произвольно к ней обращаться и пользоваться сохраненной в ней информацией.
Ослабление когнитивный способностей, в том числе памяти, чаще всего начинается в 60 - 70 лет. Но нередко бывает, что эти проблемы возникают уже на пятом десятке и, наоборот, даже в глубокой старости можно иметь отличную память.