В большинстве случаев, порядка 90%, достаточно снять водоотлив и тщательно пропенить монтажный шов. Неплохо дополнительно сделать из пены "подушку" под водоотлив и установить его на не застывшую пену. Иногда требуется дополнительная пропенка внутреннего шва под подоконником.
Скорее всего проблема в нижнем монтажном шве пластикового окна. Для решения данной проблемы можно либо попробовать снаружи подпенить под отливом (метод так себе, скорее с надеждой что получится), либо демонтировать подоконник, проверять монтажный шов...
Причин несколько. Может дуть под отлив, а может через стену. Поэтому нужно начинать с малого запенить под отливом.