Так говорят, когда хотят показать свою непричастность к чему-либо — на эту тему есть еще один фразеологизм — "моя хата с краю, ничего не знаю".