Обратимся к книге Т.Д. Дешериевой "Языкознание и математика" (у меня издание 2018 г.: М.: ЛЕНАНД, 2018. 88 с.) и посмотреть, применение каких математических методов там представлено. Исходя из этого (а также из ряда некоторых других источников), можно составить такой перечень:
- знание основ теории множеств. Теоретико-множественные методы используются для создания моделей различных языковых явлений (в частности, в исследованиях падежных категорий, частей речи, синтаксических типов; применяются они и в ряде типологических исследований). Подробно эти методы рассмотрены в книге С. Маркуса "Теоретико-множественные модели языков" (М., 1970), достаточно понятно их применение описано также в монографии М.М. Лесохина, К.Ф. Лукьяненкова и Р.Г. Пиотровского "Введение в математическую лингвистику" (Минск, 1982);
- иметь представление об аксиоматическом методе, поскольку таковой применяется при моделировании некоторых языковых явлений (в частности, ряда процессов фонологии), а также он используется в исследовании формализованных языков;
- основы теории вероятностей и математической статистики. Сейчас весьма популярной является квантитативная лингвистика, а в ней применяется соответствующий математический аппарат (теорвер и матстат);
- основы математического анализа. "Задачи, приводящие к понятию интеграла" (по выражению Р.Г. Пиотровского) встречаются в диахронических исследованиях языка. Даже те самые глоттохронологические закономерности, выведенные М. Сводешем, можно записать в форме дифференциального уравнения (к слову, интересно, что аналогичным уравнением описывается и радиоактивный распад);
- алгебра. В частности, для описания семантики слов используются векторные представления. Для моделирования лексических систем используется и алгебра отношений: такое моделирование разбирается в главе 2 уже упоминавшейся книги М.М. Лесохина, К.Ф. Лукьяненкова и Р.Г. Пиотровского "Введение в математическую лингвистику" (Минск, 1982). Существуют примеры использования и других алгебраических методов в лингвистики: в частности, есть работы, в которых показаны возможности применения тензорной алгебры в исследованиях лингвистической семантики;
- математическая логика. Применяется в разнообразных целях для исследования различных уровней языка и языковых явлений: в частности, формальная семантика использует логический аппарат. Получить представление об основных понятиях, законах, методах и принципах логики можно из этой книги математика и лингвиста А.В. Гладкого "Введение в современную логику": она написана довольно просто и понятно. Может читаться не только лингвистами, но и "чистыми" филологами, а также прочими гуманитариями 😁. С какими методами и какими логиками работать в дальнейшем — зависит от конкретной области интересов, но крайне желательно было бы иметь хотя бы общее представление о многозначных логиках, а также о нечеткой логике и нечетких множествах. Для особо заинтересованных можно ознакомиться с основами лямбда-исчисления и исчисления Ламбека (поскольку применяются в синтаксических исследованиях);
- теория информации. Методы теории информации применяются для исследования распределения информации в тексте, вычисления количества информации в словах и текстах какого-либо языка, а также для изучения языковой избыточности. Находят они применение и при изучении языковой сложности (поэтому нужно будет познакомиться с понятием колмогоровской сложности);
- теория формальных грамматик. Применяются в ряде областей языкознания: могут, в частности, использоваться при анализе текстов на естественном языке, могут применяться в синтаксических исследованиях, используются также при анализе формальных языков. Более подробно о формальных грамматиках можно почитать в этой книге Т.В. Батуры "Математическая лингвистика и обработка текстов на естественном языке" (Новосибирск, 2016), а также в книге В.А. Лапшина "Лекции по математической лингвистике" (М., 2010). Сюда же можно отнести и использование теории графов в языкознании, поскольку, нестрого говоря, грамматику можно представить в виде графа: этот вопрос рассматривается в вышеуказанных книгах, а также в книге Лесохина-Лукьяненкова-Пиотровского, на которую ссылался в п.1 и п.5;
Что изучать дальше — зависит от того, чем именно в языкознании хотелось бы заниматься (в частности, какой именно аспект математического моделирования языка интересует). Так, к примеру, если рассматривать применение алгебраических методов в языкознании, то можно упомянуть об исследованиях В.В. Мартынова по семантическому метаязыку и семантическому кодированию, где в качестве формализма использовалась т.н. алгебра Линденбаума-Лукасевича. Существуют примеры применения в лингвистических исследованиях идей и методов т.н. конструктивной математики.