Я буквально неделю назад переехал в Германию и начал работать в компании, где все говорят по-английски. Страхи были точно те, что описаны в в вопросе. Но когда деться некуда, приходится говорить. И самое главное, что я понял, что люи по сути вообще не запариваются по-поводу вашего уровня английского. Случается, что я смотрю пустым взглядом на говорящего и вообще не могу понять, что он от меня хочет. Если повторение вопроса до меня не доходит, то обычно говорящий просто отстает и уходит. Но всего за три дня я начал понимать людей, о которых сначала думал, что у них во рту камень (в данном случае речь идет о голландцах, т.к. их английский у меня идет хуже всего).
Короче говоря, все претензии к качеству речи есть только в голове говорящего. Окружающие слишком заняты собой, чтобы тратить время на размышления, как вы говорите. Поэтому выкидывайте мусор из головы и говорите, как говорится. Практика и только практика.
Мой совет такой: отправиться в бар, где тусуются экспаты и в неформальной обстановке пообщаться у барной стойки. В такой обстановке внезапно и навыки в языкознании повышаются. Другой же более затратный вариант - поехать за границу, там уже будешь вынужден общаться по-английски.
Еще один совершенно не затратный способ - погуляйте в центре города, там обычно много иностранцев спрашивающих дорогу - вот на них и можно тренироваться начинающему спикеру ;)