Робот

[vovakozar]

ясли я в роботс пропишу Disallow: /page то ето будет означать что он не будет индексировать все страницы  /page1,  /page2,  /page3 ? если он не запретит то как это сделать чтоб он все page не индексировал???

[GeeTon]

Disallow: /page*

Так будет правильно, если структура URL именно такая как вы написали.

[gnh73]

Все так, но google может проигнорировать строку. Через 3 месяца после disallow все еще индексировались ненужные страницы, убирал каждую вручную через "ссылки сайта" в инструментах для вебмастеров

[GeeTon]

Страницы были до этого в индексе? Или индексировались уже новые? Еще важно проконтролировать порядок allow disallow У меня пока тчо гугл не пропускал строки...

[gnh73]

Да, страницы были. После закрытия в robots из индекса не изчезли. убирал руками.

[andreybm]

В случае с гуглом страницы сайты всегда будут в индексе, ну по крайней мере если они проиндексированы до закрытия от индексации. но вот в поиске они участвовать не будут. То есть не стоит боятся. Главное следите, чтобы дублей не было. Или просто нужно следить за страницами, которые учавствуют в поиске.

[Ольга Ольга]

Какие плюсы можно получить от запрета индексации страниц в robots.txt?

Disallow: /page*

[masterseo]

ясли я в роботс пропишу Disallow: /page то ето будет означать что он не будет индексировать все страницы  /page1,  /page2,  /page3 ?

Для какой страницы пропишите, ту и не будет индексировать, будее page1 запрещена, остальные page2, 3, 4 и так далее будут индексироваться. Поюзайте google легко найдете как составлять robots.txt  и сделаете как нужно именно Вам.