Парсер не хочет выкачивать всё...

SmartPoster - tech support.

Модератор: Max Terentiev

Ответить
Сообщение
Автор
AndyF
Сообщения: 5
Зарегистрирован: Пт май 06, 2005 1:32 pm

Парсер не хочет выкачивать всё...

#1 Сообщение AndyF » Пт май 06, 2005 1:45 pm

Вопрос: задаю в строке поиска к примеру "FFA", парсер ищет больше часа, но останавливается примерно на 1000 странице Гугля, в итоге у меня около 400 адресов найдено (из них половина дает ошибку 409 при рассылке). Повторял пару раз, дальше искать не хочет.

В чем проблема ?

Viacheslav A.
Сообщения: 25
Зарегистрирован: Вс фев 06, 2005 10:06 pm
Контактная информация:

#2 Сообщение Viacheslav A. » Пт май 06, 2005 1:54 pm

Здравствуйте

1000 результатов выдачи - это есть ограничение самого гугля. Больше 1000 результатов из него (и не только из него), к сожалению не вытащить.

"FFA" - это неудачный запрос. FFA - это не только абревиатура Free For All, но также и многие другие, так что в выдаче по этому запросу получается каша.

Более того, необходимо формировать такой запрос, в выдаче по которому будут присутстовать ссылки на страницы с веб-формами.

Например для вытягивания из гугля гостевых книг на известном скрипте применяется такой запрос:

"allinurl:addguest.html"

Нам известно, что страница с веб-формой как правило называется addguest.html, по этому "просим" гугля выдать все страницы, в урл которых встречается "addguest.html". Получаем одни ссылки на страницы с формами.

И в таком духе.

AndyF
Сообщения: 5
Зарегистрирован: Пт май 06, 2005 1:32 pm

#3 Сообщение AndyF » Пт май 06, 2005 3:23 pm

Спасибо за разъяснение.

Но в парсере всего 2 буржуйских поисковика, в Yahoo парсер работает еще слабее.
Может имеет смысл в следующую версию вставить пару поисковиков "без ограничений", чтобы программа не была такой ограниченной.

В целом ее работа устраивает, кроме этой "мелочи".

AndyF
Сообщения: 5
Зарегистрирован: Пт май 06, 2005 1:32 pm

#4 Сообщение AndyF » Пт май 06, 2005 3:25 pm

Хотя в идеале лучше в парсере вообще убрать заданные поисковики, пусть юзеры сами нащупывают, что им больше нравится.

Andreich
Сообщения: 14
Зарегистрирован: Вс фев 20, 2005 8:01 pm

#5 Сообщение Andreich » Сб май 07, 2005 1:54 pm

Может имеет смысл в следующую версию вставить пару поисковиков "без ограничений", чтобы программа не была такой ограниченной
Это ограничение не проги, а самих поисковиков!
Хотя в идеале лучше в парсере вообще убрать заданные поисковики, пусть юзеры сами нащупывают, что им больше нравится
Самто понял что написал

Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 19 гостей