Как называется шифр, в котором все буквы заменяются иными символами (именно не существующими символами)?

Автор зашифровал вопрос так, что не сразу понятно, какой из методов шифрования он имел в виду.  Предположу, что  это стеганография.

Стеганография (τεγανός - скрытый + γράφω -пишу, значит, "скрытопись")  -это такое искусство передавать скрытые данные( стегосообщение) внутри других (контейнер).

Если криптография скрывает содержимое сообщения,  то стеганография скрывает его существование.

Методы стеганографии: классические методы (симпатические чернила, микрофотоснимки и т.д.), компьютерные (особенности вычислительной платформы и спецсвойства компьютерных форматов данных) и цифровые(внедрить дополнительную информацию в цифровые фото/аудио/видео объекты, используя избыточность информации).

Часто для скрытия информации используют графические файлы -метод битовых плоскостей. Изображение представляет из себя совокупность точек (пикселей),  для описание каждой точки используются 3 байта, обозначающие пропорции смешивания  красный -R, зеленый G, голубой B (цветовая схема RGB). Если в комбинации заменить последний бит или пару, или тройку битов, то хоть исходный код изменится, то самый острый глаз его не заметит.  Это используется, чтобы изменяя биты точек встроить любые данные в изображение, которые предварительно еще и зашифровать и передать такую картинку в открытый канал.  У этого метода есть недостатки, но это выходит за рамки вопроса.

P.S. Изначально предположила, что имеется в виду Азбука Морзе. Это способ знакового  кодирования, в котором  буквы, цифры, знаки препинания представляются последовательностью сигналов, точка и тире. Каждая буква -комбинация из длинных посылок -тире и коротких -точка. Но в вопросе указаны -несуществующие символы.