По теории вероятностей могу посоветовать
Элементарное введение в теорию вероятностей_Гнеденко Б.В, Хинчин
А по статистике я вообще ничего не читал, но как понимаю вопрос именно о едином учебнике Теория вероятности и математическая статистика. Их много разных есть.
Могу только сказать где для ознакомления можно скачать их, а по содержанию - не читал ещё ничего из них. Вот страница с учебниками по математике: