Более "открытой" системой будет определнно Linux, как минимум из-за открытого ядра. Windows же использует ядро WindowsNT(начиная с операционной системы WindowsNT, как альтернатива Windows 95(из-за прекращения сотрудничества Microsoft и IBM), но более продвинутой и с Windows 2000, уже как ядро для операционных систем Microsoft), которое является полностью закрытым и никто, кроме Microsoft, не может создавать свои операционные системы на этом ядре. С ядром Linux всё намного проще: из-за политики Линуса Торвальдса, оно является и позиционируется как свободное и открытое ядро. На ядре Linux каждый может создать свою операционную систему(если конечно, знания позволяют) без каких-либо ограничений. Из таких систем можно выделить самые популярные: Debian, Ubuntu(сделано на основе Debian), Fedora, CentOS, OpenSUSE.
В плане настроек операционных систем, Linux также будет более открытым: когда на Windows вы имеете жесткие ограничения в плане всего: начиная от дизайна(без патчей и различных "костылей", на новых системах Windows вы не сможете поставить пользовательскую тему оформления), заканчивая настройками системы и функционалом, на Linux это всё легко настраивается и устанавливается через терминал.