Robots.txt мы тоже понимаем, но так, как и основной робот Яндекса. А можете подсказать кейс, который вы не можете решить при помощи настроек самой области поиска в настройках?

У меня блогоплатформа аля Хабрахабр и мне хотелось бы, чтобы поиск на сайте искал только по статьям, а Яндекс поисковая платформа искала и по другим страницам.

Нужна разная выдача.

Вот мой кейс.

Разобралась, спасибо