Могу предположить несколько вариатов (самому очень нравиться когда девушка ходит в моей одежде)
С точки зрения психологии. Девушка, использующая мою одежду как бы "принадлежит" мне, так как мои вещи ассоциируются с моей личностью, то есть она как бы носит часть "меня". Так же, надевая мои вещи, девушка пользуется негласным одобрением с моей стороны, что показывает доверительные отношения. Плюс тот факт, что девушка одевает мою одежду говорит о ее расположении ко мне - ну не стала бы уважающая себя женщина одевать вещь, от которой воняет или от человека, которого не любит, что тоже придает уверенности.
С точки зрения эстетики. Обычно мужчины крупнее женщин в плечах, и даже если партнеры похожи по телосложению, мужская футболка смотриться больше на девушке. Видеть что то хрупкое и прекрасное, прикрытое большим и грубым вызывает умиление, и смотрится довольно романтично.
С точки зрения эротики. Видеть обнаженные женские ножки, выглядывающие из под мешковатой одежды - ну практически у любого мужчины крышу снесет. По этому последнее время у девушек популярны рубашки, прикрывающие ягодицы - в них и на пляж, и летом по городу гулять можно, ловя восхищенные взгляды...
Один из моих бывших, рубашку которого я имела обыкновение носить вместо халатика, сказал, что ему нравится ощущать мой запах, надевая ее после меня.