По одной из версии, фраза имеет тюремное происхождение. Когда заходишь - боишься своих не найти, а выходишь уже в другой мир. По второй версии выражение происходит из русского шансона. Выражение часто встречается в художественной литературе, но толком происхождения не знает никто.