Есть ли ресурсы по анализу данных, где на практике (например, программирование на языке) изучается статистика и теория вероятностей?

Начнем с того, что для начала стоит изучить хотя бы основы предметных областей (мат. анализ (в особенности линейную алгебру), статистика, теория вероятностей, мат. статистика и эконометрика). Если не владеть начальным уровнем, то смысла нет использовать какие-либо статистические пакеты или языки программирования. 

Самая главная истина в том, что любой стат. пакет и ЯП всего лишь инструмент, который помогет и ускоряет Вашу работу.

БЕЗ ЗНАНИЯ АНГЛИЙСКОГО ЯЗЫКА БУДЕТ СЛОЖНО

В данном примере приведу материалы на русском языке.

Уровень 0:

Если Вам тяжело читать стандартные учебники по математике , рассчитанные на то, что преподаватель сможет разжевать скупое описание формулы, поэтому для легкого порога вхождения рекомендую следующие книги (от основ и выше):

• Стивен Х. СтрогацУдовольствие от x. Увлекательная экскурсия в мир математики от одного из лучших преподавателей в мире
• Юрий Шиханович Введение в современную математику. Начальные понятия
• Рональд Л. Грэхем, Дональд Эрвин Кнут Конкретная математика. Математические основы информатики
• Тарасов Л.В. Азбука математического анализа. Беседы об основных понятиях. Учебное пособие
• Риxард Курант, Герберт Роббинс Что такое математика?

Потом уже можно браться за стандартный учебник математического анализа

• Фихтенгольц Г.М.Основы математического анализа.

Статистика, теория вероятностей:

• Гнеденко Б.В., Хинчин А.Я. Элементарное введение в теорию вероятностей
• Владимир Савельев Статистика и котики
• Сара Бослаф Статистика для всех
• Чарльз Уилан Голая статистика. Самая интересная книга о самой скучной науке

Уровень 1:

На следующем этапе стоит углубиться в анализ данных и параллельно изучить или повторять мат. анализ, линейную алгебру и дикретную математику.

• Борис Миркин Введение в анализ данных.Учебник и практикум
• Марина Архипова, Татьяна ДуброваАнализ данных. Учебник
• Загоруйко Н.Г.Прикладные методы анализа данных и знаний
• Мостеллер Ф., Тьюки Дж.Анализ данных и регрессия
• Рубан А.И.Методы анализа данных

Пройти онлайн-курсы:

• Курс от Stepik Основы статистикичасть1,часть2, часть3
• Курс от Stepik Математическая статистикаисточник
• Курс от Stepik Введение в дискретную математикуисточник
• Курс от Stepik Ликбез по дискретной математикеисточник
• Курс от Stepik Введение в математический анализисточник
• Курс от Stepik Математический анализчасть1, часть2
• МФТИ, курс Теория вероятностей для начинающихисточник Coursera
• МФТИ, курс Математика для всехисточник Coursera

И конечно, лучший на мой азгляд курс по эконометрическому моделированию:

• ВШЭ, Эконометрика (Econometrics) Источник

После создания стартового фунамента стоит взглянуть на языки R и Python, которые надо использовать  по области. Первый более математически-ориентированный язык, а второй - более общий. Причём если вместе с библиотеками Python легко сравнится с R по сложности решаемых задач, то наоборот не так всё круто - R явно проигрывает Python по скорости (пруфлинки есть в интернете). Сам на данный момент использую больше R, но параллельно изучаю Python.

• Stepic: Анализ данных в R
• Stepic: Основы программирования на R
• Репозиторий автора на GitHub, с кодом и данными
• Stepic: Анализ данных в R. Часть 2

Не буду описывать все возможные варианты, думаю, если у Вас и правда есть желание развиваться в области Data Science, то уверен, что найти материалы, курсы, учебники не составит труда. 

MUST HAVE ссылки:

• Stackoverflow
• Stackoverflow2

P.S Если интересует еще какая-либо литература, то пишите в ЛС в ВК, подскажу.