Что вы понимаете под "ракетным двигателем"? Имеется в виду нынешние химические двигатели или вообще реактивные?
В любом случае, теоретически возможно все и этим активно занимаются.
Если речь идет о других принципах реактивного движения, то в ближайшее время, скорее всего, начнут широко применяться ионные двигатели - тоже реактивные, но тяга берется не из химической реакции горения, т.е. окисления, а из разгона ионов электрическим полем.
Что касается нереактивных принципов, то навскидку приходят в голову три.
- Уже достаточно хорошо разработан и даже были эксперименты: космический парус - тяга создается световым давлением. В качестве источника света могут применяться как звезды, например, Солнце, так и искусственные источники света, например, мощные лазеры. Есть проект разгона небольшого космического аппарата с космическим парусом мощным лазером с Земли. Предполагалось разогнать такой аппарат до довольно приличных скоростей и отправить его в другую звездную систему.
- Пока что существует только математическая модель т.н. пузыря алькубьерре. Принцип движения построен на деформации пространства-времени. Предполагается, что при определенных условиях это возможно. Но в данный момент это еще очень далеко от реализации, если до нее вообще когда-нибудь дойдет дело.
- Т.н. EmDrive - двигатель, который якобы создает тягу без отбрасывания массы, т.е. нереактивным способом при помещении микроволнового излучения внутрь полости с определенной геометрией. О нем много писали, но пока что непонятно точно ли он работает и если да, то на каких физических принципах.