Вопрос: задаю в строке поиска к примеру "FFA", парсер ищет больше часа, но останавливается примерно на 1000 странице Гугля, в итоге у меня около 400 адресов найдено (из них половина дает ошибку 409 при рассылке). Повторял пару раз, дальше искать не хочет.
В чем проблема ?
Парсер не хочет выкачивать всё...
Модератор: Max Terentiev
-
- Сообщения: 25
- Зарегистрирован: Вс фев 06, 2005 10:06 pm
- Контактная информация:
Здравствуйте
1000 результатов выдачи - это есть ограничение самого гугля. Больше 1000 результатов из него (и не только из него), к сожалению не вытащить.
"FFA" - это неудачный запрос. FFA - это не только абревиатура Free For All, но также и многие другие, так что в выдаче по этому запросу получается каша.
Более того, необходимо формировать такой запрос, в выдаче по которому будут присутстовать ссылки на страницы с веб-формами.
Например для вытягивания из гугля гостевых книг на известном скрипте применяется такой запрос:
"allinurl:addguest.html"
Нам известно, что страница с веб-формой как правило называется addguest.html, по этому "просим" гугля выдать все страницы, в урл которых встречается "addguest.html". Получаем одни ссылки на страницы с формами.
И в таком духе.
1000 результатов выдачи - это есть ограничение самого гугля. Больше 1000 результатов из него (и не только из него), к сожалению не вытащить.
"FFA" - это неудачный запрос. FFA - это не только абревиатура Free For All, но также и многие другие, так что в выдаче по этому запросу получается каша.
Более того, необходимо формировать такой запрос, в выдаче по которому будут присутстовать ссылки на страницы с веб-формами.
Например для вытягивания из гугля гостевых книг на известном скрипте применяется такой запрос:
"allinurl:addguest.html"
Нам известно, что страница с веб-формой как правило называется addguest.html, по этому "просим" гугля выдать все страницы, в урл которых встречается "addguest.html". Получаем одни ссылки на страницы с формами.
И в таком духе.
Это ограничение не проги, а самих поисковиков!Может имеет смысл в следующую версию вставить пару поисковиков "без ограничений", чтобы программа не была такой ограниченной
Самто понял что написалХотя в идеале лучше в парсере вообще убрать заданные поисковики, пусть юзеры сами нащупывают, что им больше нравится
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 28 гостей