Этим занималась инквизиция, монахи доминиканцы, которых посылал Ватикан для искоренения ереси в разные страны. Обычно они пользовались услугами доносчиков, находили еретика и пытались вернуть его в лоно церкви уговорами или пытками. Если он соглашался, то на него накладывали какое-нибудь наказание, если нет, то отдавали дело в светский суд с пометкой, что этот человек больше не находится под защитой церкви, и суд уже решал его судьбу. Поначалу так и было, но позже инквизиция намекала, что её устроит только смертный приговор. Естественно, что инквизицию не везде любили и часто клали на неё болт, поэтому её власть распространялась разве что на Италию, Испанию и Португалию.
Что касается России, то после раскола было написано 12 статей, по которым и судили староверов...ну как судили, по больше части особо не заморачивались и жгли направо и налево, Пётр I отменил эти статьи и староверы перешли на полулегальный уровень, а в 1905 году и на легальный.