Эта директива закрывает от индексации все URL в которых содержится знак вопроса "?", проще говоря это страницы с параметрами, обычно это страницы сортировок, страницы пагинаций, например site.com/catalog?page=2
Не рекомендую полностью закрывать все страницы с параметрами от индексации, так как Вы можете закрыть довольно важные страницы для поисковыъ систем.