Страница 8 из 10

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 20 янв 2013, 18:35
XseoN Founder
У меня проблема не решилась

Разбирались в данной проблеме через ТимВивер с allffa. Вот что обнаружили:
Вот работа парсера на вдс - http://clip2net.com/page/m84912/40419431. Как видно что потоки успешно завершают свою работу. У allffa включили статусную строку и посмотрели как завершаются потоки и увидели что почти все потоки при завершении имеют статус -"Неудачное/неполное завершение работы...". Это означает, что множественные попытки через разные прокси получить контент с Яндекса приводят к неудаче. Из-за постоянного неполучения контента потоки умирают, т.е. контент вообще не приходит или приходит пустая страница без капчи или страница с баном. Т.к. прокси используются не анонимные или почти все не анонимные, то по всей видимости Яндекс банит обращающийся ип, или где-то по пути следования режется контент.
Включили парсинг Рамблер, напомню, что у Рамблера выдача один в один с Яндексом, т.к. Рамблер перенаправляет запросы на поисковую машину Яндекс. Посмотрели в статусной строке - все потоки успешно завершаются. И ни один на время теста не отвалился. При парсинге Яндекс включите статусное поле и посмотрите как завершаются потоки, если такая же картина, парсите Яндекс через Рамблер, или попробуйте поменять IP. Правда скорость упадет в 5 раз, т.к. выдача Рамблер - 10 урлов на запрос.
Да, IP был украинским.
теперь при регистрации программа начала просто закрываться

Ну регистрацию не трогали ЭТО ТОЧНО.
По данному посту http://www.xseon.ru/dialogue/viewtopic. ... =270#p3057 -я посоветовал проверить память и HDD.
Могу дать доступ к моему ВДС.

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 20 янв 2013, 19:58
GASPAR
GASPAR писал(а):Ну регистрацию не трогали ЭТО ТОЧНО.


Я поставил предыдущую версию, пока полет нормальный! :D

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 22 янв 2013, 14:21
XseoN Founder
Провели анализ работы парсера ссылок в Украине, спасибо allffa, выяснилось, что при обращении к заложенному в программе домену yandex.ru происходит редирект на yandex.ua, пока понятно одно, что алгоритм работы yandex.ru отличается от yandex.ua. Разбираемся в логике работы yandex.ua....
Пока мы разбираемся в проблеме, тем украинским пользователям парсера XseoN, кому нужна выдача Яндекс необходимо парсить Рамблер, выдача один в один как у Яндекс, т.к. запросы перенаправляются на поисковую машину Яндекс.

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 02 фев 2013, 09:07
vawsan
Рещил тут душевно попарсить яшку, и вот значит результат более чем суток парсинга, и только 30% запросов) :D :D
Это я к тому, что очень нравится текущий парсер и надеюсь, что в дальнейшем будет только лучше)

xseon_result.png
Результаты парсинга Яндекса
xseon_result.png (70.61 KIB) Просмотров: 84342

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 02 фев 2013, 11:52
GASPAR
Количество потоков парсера ссылок в будущем не собираетесь увеличивать,хотя бы на 50%? :)
Хотелось бы больше, возможности инета позволяют. :mrgreen:
Кстати, спасибо огромное за быстрый релиз под яндекс.ua :D

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 02 фев 2013, 12:07
vawsan
GASPAR писал(а):Количество потоков парсера ссылок в будущем не собираетесь увеличивать,хотя бы на 50%? :)
Хотелось бы больше, возможности инета позволяют. :mrgreen:
Кстати, спасибо огромное за быстрый релиз под яндекс.ua :D

Я кстати тоже уже об этом думаю, потому как 3.5кк парсить запросов - дня 3-4 уйдет при максималке потоков и умеренной задержке, чтобы капчи не сжирало быстро)

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 03 фев 2013, 05:47
XseoN Founder
Количество потоков парсера ссылок в будущем не собираетесь увеличивать,хотя бы на 50%

Пока не планируем. Если хотите парсить больше и быстрее - установите несколько копий ксеона в разные папки и запускайте парсинг, НО при закрытии одной из запущенных копий могут закрыться все.

Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 04 фев 2013, 15:43
norbiq
vawsan, красавчик. Я как-то тоже решил, потом понял что разоряюсь на капче и решил пока пользовать то что набрал :D

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 04 фев 2013, 16:11
XseoN Founder
Для теста вышла сборка 2.0.0.8 (читать внимательно про процедуру обновления) - http://www.xseon.ru/index.php?option=co ... &Itemid=18

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 05 фев 2013, 15:52
vawsan
norbiq писал(а):vawsan, красавчик. Я как-то тоже решил, потом понял что разоряюсь на капче и решил пока пользовать то что набрал :D

Спасибо)
Я тоже пару раз "с дуру" разорился, но потом увидел как-то скриншоты разработчика где он ставил задержку в пределах 25-50 сек и поэкспериментировал) В итоге нашел более менее оптимальную в районе +/-30 секунд.
Но до того у меня парсер обычно забивал канал и максимум парсилось 2-3кк, а после фикса и доработки парсера - вот такой результат)) Оттого и решил со всеми поделиться)