После модальных - это всякие can, should, must. Есть, конечно, модальные, которые требуют to - ought to, например, но они редко используются.
После don`t не нужно "to". "To", скажем так, это признак инфинитива. Если вы поставите "to" после don`t, ("I don`t to go there") то переводиться предложение будет "Я не идти туда".