Тем что математика имеет другой предмет изучения, чем семиотика. Примерно также как физика имеет другой предмет изучения, чем математика; биология имеет другой предмет изучения, чем химия; а лингвистика другой предмет изучения, чем философия.
Нельзя свести физику как науку исключительно к математике, сколь бы они не пересекались. Также нельзя свести математику к семиотике.
Почему? Наверное, потому что совокупность знаний, в целом, имеют некоторые эмерджентные свойства, которых нет у отдельных фактов.