Можно, если у вас есть краны, отсекающие батарею от основной трубы. Закрываете вливной, ждете, закрываете выливной, ставите под них тазик и можно снимать батарею.
Если таких кранов нет или они плохо работают, то поменять батарею получится только после окончания отопительного сезона, потому что отключать целый стояк батарей вам, скорее всего, не дадут...
Вам надо сходить в домоуправляющую компанию и узнать у них условия. Такие замены делаются обычно летом. А зимой только если чтото экстренное.