На самом деле такой звук был слышен далеко не на всех моделях, скорее был такой опцией, включенной по дефолту. Для ответа на этот вопрос стоит для начала выяснить, как вообще осуществляется такое подключение.
Дело в том, что модемы используют обычные телефонные линии, которые были предназначены для передачи звуков (голосов). Умные чуваки поняли, что при помощи частоты или продолжительности звука можно кодировать каким-либо образом сетевые пакеты (или, скорее, поправьте, просто бинарный код).
То, что вы слышите при подключении это звуки этих самых пакетов, которые дают важную диагностическую информацию. Звуки подключения так и называются: handshake audio, так как при модемном подключении "здороваются" два модема. Приветствие заключается в диагностике вызываемого модема, его идентификации, а также настройке скорости подключения.
Процесс показан в прикрепленной картинке, но продублирую ее словами (глагол в каждом предложении обозначает звук или серию звуков):
Самый первый звук - это вызов удаленного модема. Станция связи возвращает вызывающему тон вызова, им набирается номер удаленного модема.
Удаленный модем начинает транзакцию по доступному ему протоколу связи. Вызывающий запрашивает переход в состояние передачи информации, выдает свою информацию о протоколах и диагностическую информацию.
Удаленный и вызывающий модемы соглашаются на передачу данных по определенному протоколу.
Удаленный модем передает указание станции об отмене режима погашения эхо (наверняка нужно для более быстрого соединения).
Модемы выясняют, какие режимы модуляции (а соответственно и максимальные скорости), они могут использовать вместе. Посылаются взаимные широкополосные сигналы, которые должны совпасть для настройки на одну частоту.
Последним (и самым страшным по звуку, как по мне) этапом идет точная подстройка частот под конкретные условия телефонной линии.
После этого модем отключает динамик, хотя во время работы команды и сигналы точно так же передаются и звучат.