Для введения в профессию нужен нормальный университетский курс. Можно, конечно, взять Д. Кнут "Искусство программирования", но на внимательное изучение года 4 и уйдёт. Содержание примерно то же. Аналитической геометрии там нет, но обязательно для геймдева или, скажем, геоинформационных систем.
Всякие книжки/курсы для школьников мне продвинуться вообще не помогли.
Для более специальной задачи пригодится соответствующая книга (или курс), но это когда уже есть профессия.