Скорее всего дело в мониторе, если он не поддерживает такое разрешение, то настройки выставить будет невозможно, так же проблема может быть в конфликте драйверов видеокарты, попробуйте установить актуальную версию, так же такие проблемы случаются в случае кривых сборок OBS, можно попробовать скачать другую сборку.
Проблема в том что на Винде 10 всё работает нормально железо слабое на ПК тянет только на 24 NTSC 60 также пишет кодировщик перегружен как и в Линуксе видео карта поддерживает разрешение 1024x10280 но процессор слабый 2 ядерный