Вот это почитайте: Ссылка на ответ платона Яндекс Блог и это Тех документация по индексированию и еще вот тут не официальный источник, но написали правильно Ссылка на неофициальный источник.
Очень много фирм занимающихся SEO сайтов. Очень подробно на вопрос как из них выбрать хорошую отвечал в этой теме, почитайте.