Почему Будда вдруг решил, что существует какая-то реинкарнация, карма и т.д.?

Идеи реинкарнации и кармы уже существовали в Индии в 6 веке до н. э, когда там жил Будда. Просветление как явление уже встречается в разных индийских текстах. Индуистское понятие просветления - это мокша, буддийское - это бодхи. В том числе известный текст, Йога-Сутра написанный основателем йоги Патанджали, подробно описывает что такое карма, что такое реинкарнация и заодно что такое Просветление. Но все эти понятия в классическом йогическом и классическом буддийском понимании немного различаются. 

Знание о прошлых жизнях обычно открываются людям на определенном этапе йогического развития.

«Вот, монахи, какой-нибудь отшельник или брахман вспоминает…  различные места, где пребывал в прежних существованиях, а именно: в  одном рождении, в двух рождениях, в трёх рождениях, в четырёх рождениях,  в пяти рождениях, в десяти рождениях, в двадцати рождениях, в тридцати  рождениях, в сорока рождениях, в пятидесяти рождениях, в ста рождениях, в  тысяче рождений, в сотне тысяч рождений, во многих сотнях рождений, во  многих тысячах рождений, во многих сотнях тысяч рождений: “Там я жил под  таким-то именем, в таком- то роду, в таком-то сословии, таким-то  пропитанием, испытывал такое-то счастье и несчастье, достиг такого-то  срока жизни. Вслед за тем, оставив существование, я вновь родился в  другом месте, там я жил под таким-то именем, в таком-то роду, в таком-то  сословии, таким-то пропитанием, испытал такое-то счастье и несчастье,  достиг такого-то срока жизни. Вслед за тем, оставив существование, я был  вновь рожден здесь”» (Брахмаджала-сутта).

«Ведь благодаря усердию, благодаря усилию, благодаря прилежанию,  благодаря серьёзности, благодаря правильному умонастроению, я обретаю  такую сосредоточенность разума, что вспоминаю сосредоточенным разумом  различные места, где пребывал в прежних существованиях» (Брахмаджала сутта).

Подробно жизни Будды описаны в многочисленных Джатаках, часто с его собственных слов, и всего у него было примерно 537 воплощений на Земле, во время которых он совершенствовался как ученик Дхармы. В том числе есть описание предсказания прошлого Будды Дипанкары, который предсказал будущему Гаутаме, что тот тоже станет Буддой в своем следующем рождении.