Обычно порт задаётся где-то в настройках программы-сервера (параметрах командной строки, переменной окружения, конфигурационном файле) с определённым значением по умолчанию (можно взять любой не относящийся к широко распространённым, список распространённых в линуксе лежит в файле /etc/services). Жёстко забивать порт в код я не советую, вдруг ваша программа будет запущена на компьютере, где этот порт занят другой программой.
Для использования порта с номером меньше 1024 в Linux программа-сервер должна иметь соответствующую привилегию (CAP_NET_BIND_SERVICE) или запускаться от пользователя root (с userid=0).
В программе-клиенте указывается IP сервера и порт.