Слово "куда" имеет отношение к пространству, а не времени. По поводу времени мы говорим "когда". В прошлое, как ни странно, оно девается.
Вообще говоря, можно сказать, что время - это всего лишь одно из направлений пространства, обладающее несколько иными свойствами, потому что в этом направлении энтропия повышается. То есть получается, прожитое время остаётся там, где энтропия ниже.
Мне ваш ответ почему-то напомнил книгу Пелевина "Шлем ужаса").