Словари фразеологизмов и этимологические словари об этом умалчивают, но логика выражения вполне ясна: отправиться в путь не по проложенному пути, а буквально в том направлении, куда смотрят глаза. Вполне возможно связано с волшебными сказками про животных, ведь именно так, например, делает заяц:
Услыхал зайчишка беляк, как шумят лоси… прижал уши к спине и помчался со всех заячьих быстрых ног куда глаза смотрят, куда ноги несут .