По каким признакам можно понять, что историческое здание всё-таки пора сносить?

По состоянию конструкций. Совершенно очевидно, что если историческое здание уже просто рушится, представляя угрозу жизни и здоровью людей, разумеется его необходимо снести, какую бы историческую ценность оно не представляло. 

Из-за чего здание пришло в такое состояние - другой вопрос. Обычно - заброшенность.

По стране полно объектов культурного наследия, которые давно прошли "точку невозврата", и реанимировать их уже невозможно.

PS. Одним из таких объектов было здание Управления морского порта в бухте Нагаево, Магадан. Здание было спроектировано в середине-конце 30-х, но построено лишь в середине 40-х. В 1946 было сдано в эксплуатацию. Так оно выглядело в 60-е годы

Шли годы, и уже в середине 80-х здание опустело, т.к. места работникам уже не хватало, в связи с чем построили новые здания в порту. В конце 80-х здание выглядело так

Как видно, не стало смотровой башни - главного элемента узнаваемости. Она была демонтирована из-за жуткой ветхости.

Из-за заброшенности здание стало разрушаться, и его перестали эксплуатировать уже в начале 90-х. В конце 90-х здание было в плачевном состоянии

Тогда еще его можно было спасти, но требовались огромные деньги на тотальную реконструкцию, ведь здание было построено по очень старым технологиям, из местного, кстати, стройматериала - крупноразмерных шлакоблоков. Но денег не было ни на что, как мы помним, да и никому не был нужен ни этот объект, ни Север страны вообще…

В итоге, в 2015 году здание, явно претендовавшее на титул объекта культурного наследия, снесли

Теперь на том месте - пустырь, ничем не приметный, ничего не представляющий собой, и лишь немногие знают сегодня, чье это было место когда-то…