Добрый день!
Понять, нужно ли обновлять код после внесенных изменений, очень просто:
https://yadi.sk/i/Tb-pLeBUe2bPF
Если после сохранения высвечивается только одна нотификация – «Сохранено», то изменения вступят в силу сразу после сохранения и код обновлять не нужно. Если же есть еще одна нотификация – «Чтобы изменения вступили в силу, обновите код поисковой формы на своём сайте», в этом случае, да, нужно обновлять код поисковой формы.
Про исключения – да, мы не индексируем страницы, запрещенные в robots.txt, однако иногда может возникнуть необходимость, чтобы какие-то документы попадали в большой поиск, но не попадали в поиск по сайту. Например, раздел «Вакансии», страницы только с динамическим контентом  или что-то подобное. Для таких случаев и нужны исключения.