Как разработать операционную систему? На каких языках, какой алгоритм действий, как ее опубликовать?

Разработать операционную систему в принципе можно.

Вопрос только, какую именно и какими силами. Если самостоятельно, то выйдет в лучшем случае Монитор типа как на Радио-86РК или Орион-128, в качестве имитации графической оболочки тогда использовался VolcovCommander. Занимал 2 кБ, платформа i8080, написан на Ассемблере, практически аналог однозадачной DOS.

Можете посмотреть на FreeRTOS. Занимает несколько килобайт, платформа вообще-то под многие виды микроконтроллеров, поскольку написана на С, т.е. это чисто набор исходников из сотен файлов. Предоставляет функции многозадачности для приложений, но драйверов нет, даже командной строки и знакогенератора. Можете попробовать перенести ее на платформу х86 или х64.

Существует KolibriOS на x86. Написана коллективом разработчиков, в основном на Ассемблере, но многие приложения, в том числе и системные, и на других языках (Си, C++, C--, Free Pascal, Forth, TinyPy, Оберон-2). Поддерживает не только драйвера и многозадачность, но и графическую оболочку, работу с сетью. Основной дистрибутив имеет размер 1,44 Мб (помещается на одной 3,5″ дискете). Для запуска достаточно 8 мегабайт оперативной памяти и процессора Pentium I. Высокая отказоустойчивость, пониженное потребление электроэнергии системой. Полностью или частично портированы такие программы, как NetSurf, DosBox, эмулятор NES, Spectrum, PSX, игры Quake, Doom, Косилка и другие. POSIX-совместимость с Линуксами не поддерживается. Основные идеи разработки заключаются в минимизации потребляемых ресурсов системы, оптимизации кода программ для повышения их быстродействия, а также в использовании языка ассемблера как основного языка разработки KolibriOS и программ для неё. Пруфлинк ru.wikipedia.org/wiki/KolibriOS.

А вот чтобы именно "подобие Windows или MacOS" - это уже семейство Линуксов и/или FreeBSD с графической оболочкой KDE. Соответственно, и требования к железу немаленькие, хотя и меньше, чем у Windows. У многих Линуксов (например, Debian) можно установить несколько графических оболочек и при загрузке выбирать любую из них. Если железо слабое, лучше не перегружать его KDE, а использовать XFCE, LXDE, или еще что-то полегче. Поскольку практически все Линуксы и FreeBSD являются проектами с открытым исходным кодом, можно с их сайта скачать исходники, проанализировать их для примера или допилить под собственные нужды. Для этого требуется гораздо меньше трудозатрат (не тысячи человеколет), поэтому все кому не лень, берут исходники любого понравившегося Линукса, допиливают под себя и декларируют разработку собственной ОС. Например, тут: nixp.ru/news/10472.html. Говорят, даже MacOS представляет собой такой же проект. 

)

То есть самопальных ОС уже разработано немало, причем многие из них неплохо конкурируют с Windows и MacOS. Поэтому главный вопрос: чем Ваша ОС должна отличаться от других в лучшую сторону? Какой в ней смысл и польза для людей? Вроде как разрабатывать ОС ради ОС чисто "из любви к искусству" с огромными затратами финансов (самостоятельно ничего подобного Windows и MacOS не выйдет) не имеет смысла. Например, все вышеописанные ОС обладают монолитным ядром (насчет FreeRTOS не уверен). Но существуют и другие архитектуры. Например, ОС QNX на микроядре. Обладает якобы феноменальной устойчивостью и надежностью, да такой, что ей доверяют управление автомобилями, химзаводами и даже АЭС. Пруфлинк ru.wikipedia.org/wiki/QNX. Ради чего-то подобного можно и свою фирму организовать, и кредит взять, и заняться продажами своей разработки, чтобы отбить кредит.

Если хотите чтобы Ваша ОС была кому то нужна (судя по желанию "опубликовать"), то огорчу Вас - без приложений ОС никому не нужна. Вся проблема именно в приложениях. Вы же не станете покупать автомобиль без двигателя и колес?