Если нужен просто свой сервер почты для предприятия, то можно развернуть уже готовый почтовый сервер. Например Microsoft Exchange или ISP Mail.
Если хочется начать с нуля, то тогда берётся спецификация IMAP, JMAP, POP и реализуется свой сервер при помощи любого языка общего назначения.
По успешным стартапам не знаю, но вроде есть (название не вспомню) - упор делается в безопасность, скорость работы, точные спам-фильтры и удобные фильтры для сортировки.