Как математика помогает расшифровывать древние тексты на вымерших языках?

Полный текст с гиперссылками https://nplus1.ru/news/2019/07/02/automatic-decipherment

Алгоритм научили дешифровке мертвых языков без параллельных корпусов

Американские разработчики представили алгоритм-дешифровщик, который находит родственные слова (когнаты) древнего малоизвестного языка в родственном ему языке. Система основа на работе нейросетей с долгой краткосрочной памятью и основных принципах статистической дешифровки, а работает без использования параллельных корпусов. Точность ее работы, в зависимости от разных языков, достигает 90 процентов. Препринт статьи опубликован на arXiv.

Классический машинный перевод работает благодаря параллельным корпусам — наборам текстов на языке-источнике и целевом языке, на который необходимо сделать перевод. Благодаря большому количеству материалов, доступных на обоих языках, система перевода и учится языку: причем не только отдельным словам, но и грамматике.

Наличие параллельных текстов также помогает и в вопросе дешифровки древних и давно вымерших языков, для которых доступны только письменные лингвистические памятники, написанные с использованием неизвестных современным лингвистам знаковых систем. Стоит, к примеру, вспомнить Розеттский камень: египетскую иероглифику и демотическое письмо удалось расшифровать только благодаря тому, что текст дублировался на хорошо известном (и на момент создания, и сегодня) древнегреческом языке.

При этом, разумеется, параллельных текстов к древним лингвистическим памятникам может не существовать вообще, в случае чего их дешифровка требует долгого анализа: определения родственных языков, предположений о написанном на основе известных исторических данных и сравнений с письменами того же времени. Принципы такого анализа активно используются и в системах для автоматической расшифровки языка, но чаще всего они контекстно-зависимы (а данном случае — зависимы от определенного языка): например, в 2010 году разработчикам удалось автоматически дешифровать угаритский язык, сопоставив древние лингвистические памятники с текстами на иврите — современном семитском языке.

В своей работе исследователи под руководством Цзямина Ло (Jiaming Luo) из Массачусетского технологического института представили новую систему, которая способна дешифровать древний язык без использования параллельных корпусов. Их подход основан на часто используемом в статистической дешифровке анализе когнатов — лексем в родственных языках, а именно — на схожих чертах, которые объединяют слова языков, произошедших из одного протоязыка.

Анализ когнатов в такой системе происходит на двух уровнях: уровне знаков родной для языка письменности и уровне его слов. Когнаты в родственных языках часто имеют схожую форму и почти никогда не претерпевают знаковой перестановки: например, слово «мать» в романских языках произошло от латинского mater, и, несмотря на некоторые изменения (в итальянском и испанском — «madre», а во французском — «mère»), проследить их происхождение — даже по записи — возможно. Что касается отдельных слов, то в этом случае работает подход, похожий на векторное представление слов: если представить два языка в качестве двух многомерных пространств, то когнаты в них обоих будут занимать одно и то же место по отношению к другим словам языков, так как и там, и там будут чаще всего употребляться в одинаковом контексте с одинаковой частотой.