Предположу, что одежда, которую вы достаете из шкафа, имеет более низкую (а если быть точнее, то комнатную) температуру, нежели температура человеческого тела. Поэтому естественно, что мы мерзнем, когда надеваем что-то холоднее нас самих. Но через несколько минут одежда нагревается от тела и теперь уже согревает вас, удерживая вашу же температуру :)