"Алекс в стране чисел", Алекс Беллос. Книга в жанре журналистского расследования про математику. Интересно, живо и простым языком написано про историю развития математики, числа, арифметику, геометрию, математические парадоксы. Меня книга привела в восторг.
"Евклидово окно", Леонард Млодинов. Книга о математике и геометрии.
"Теоретический минимум", Леонард Сасскинд, Джордж Грабовски. Небольшая книжка, в которой кратко и относительно понятно описаны все основные разделы математики и физики в стиле Википедии с примерами решения задач и упражнениями.
Я считаю, что эти три книги (а особенно первую) нужно прочитать, перед тем как браться за брутальную литературу.
Некоторое время назад тоже озаботился восстановлением в памяти школьной программы, искал хорошую литературу. Многие рекомендуют "Что такое математика", авторы Курант и Роббинс. Так или иначе раскрывается сущность основных терминов и разделов, начиная как раз таки с вопроса о том, что такое число.