Математика считается точной наукой. Тогда почему математики используют словосочетания «почти наверное» и «почти всюду»?

Это точные определения, которые означают, что множество точек пространства, на которых некое утверждение не выполняется имеют меру(аналог объема) ноль.

Почти наверное, аналогично, - это с вероятностью 1. То есть бывают непустые события которые в наш сценарий не укладываются, но с вероятностью 1 мы попадаем в наш сценарий.

Термин возник достаточно давно, когда в русском языке "наверное" испоььзовалось в том же значении, что "наверняка" сейчас. А не в значении "может быть".

Математики даже для таких "почти наверное" и "почти всюду" придумали определения. Почти всюду, например, это значит, что множество, на котором условие не соблюдается имеет меру ноль. Так что, математика остаётся точной наукой, даже когда использует такие слова.