Вопросы по работе "Парсер ссылок"

Здесь обсуждаются технические вопросы работы ПК XseoN

Модератор: XseoN Founder

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 20 янв 2013, 18:35

У меня проблема не решилась

Разбирались в данной проблеме через ТимВивер с allffa. Вот что обнаружили:
Вот работа парсера на вдс - http://clip2net.com/page/m84912/40419431. Как видно что потоки успешно завершают свою работу. У allffa включили статусную строку и посмотрели как завершаются потоки и увидели что почти все потоки при завершении имеют статус -"Неудачное/неполное завершение работы...". Это означает, что множественные попытки через разные прокси получить контент с Яндекса приводят к неудаче. Из-за постоянного неполучения контента потоки умирают, т.е. контент вообще не приходит или приходит пустая страница без капчи или страница с баном. Т.к. прокси используются не анонимные или почти все не анонимные, то по всей видимости Яндекс банит обращающийся ип, или где-то по пути следования режется контент.
Включили парсинг Рамблер, напомню, что у Рамблера выдача один в один с Яндексом, т.к. Рамблер перенаправляет запросы на поисковую машину Яндекс. Посмотрели в статусной строке - все потоки успешно завершаются. И ни один на время теста не отвалился. При парсинге Яндекс включите статусное поле и посмотрите как завершаются потоки, если такая же картина, парсите Яндекс через Рамблер, или попробуйте поменять IP. Правда скорость упадет в 5 раз, т.к. выдача Рамблер - 10 урлов на запрос.
Да, IP был украинским.
теперь при регистрации программа начала просто закрываться

Ну регистрацию не трогали ЭТО ТОЧНО.
По данному посту http://www.xseon.ru/dialogue/viewtopic. ... =270#p3057 -я посоветовал проверить память и HDD.
Могу дать доступ к моему ВДС.
XseoN Founder
Администратор
 
Сообщений: 801
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение GASPAR 20 янв 2013, 19:58

GASPAR писал(а):Ну регистрацию не трогали ЭТО ТОЧНО.


Я поставил предыдущую версию, пока полет нормальный! :D
GASPAR
 
Сообщений: 64
Зарегистрирован: 13 апр 2012, 19:28
Откуда: Украина

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 22 янв 2013, 14:21

Провели анализ работы парсера ссылок в Украине, спасибо allffa, выяснилось, что при обращении к заложенному в программе домену yandex.ru происходит редирект на yandex.ua, пока понятно одно, что алгоритм работы yandex.ru отличается от yandex.ua. Разбираемся в логике работы yandex.ua....
Пока мы разбираемся в проблеме, тем украинским пользователям парсера XseoN, кому нужна выдача Яндекс необходимо парсить Рамблер, выдача один в один как у Яндекс, т.к. запросы перенаправляются на поисковую машину Яндекс.
XseoN Founder
Администратор
 
Сообщений: 801
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение vawsan 02 фев 2013, 09:07

Рещил тут душевно попарсить яшку, и вот значит результат более чем суток парсинга, и только 30% запросов) :D :D
Это я к тому, что очень нравится текущий парсер и надеюсь, что в дальнейшем будет только лучше)

xseon_result.png
Результаты парсинга Яндекса
xseon_result.png (70.61 KIB) Просмотров: 33685
vawsan
 
Сообщений: 49
Зарегистрирован: 11 май 2012, 18:11
Откуда: Москва

Re: Вопросы по работе "Парсер ссылок"

Сообщение GASPAR 02 фев 2013, 11:52

Количество потоков парсера ссылок в будущем не собираетесь увеличивать,хотя бы на 50%? :)
Хотелось бы больше, возможности инета позволяют. :mrgreen:
Кстати, спасибо огромное за быстрый релиз под яндекс.ua :D
GASPAR
 
Сообщений: 64
Зарегистрирован: 13 апр 2012, 19:28
Откуда: Украина

Re: Вопросы по работе "Парсер ссылок"

Сообщение vawsan 02 фев 2013, 12:07

GASPAR писал(а):Количество потоков парсера ссылок в будущем не собираетесь увеличивать,хотя бы на 50%? :)
Хотелось бы больше, возможности инета позволяют. :mrgreen:
Кстати, спасибо огромное за быстрый релиз под яндекс.ua :D

Я кстати тоже уже об этом думаю, потому как 3.5кк парсить запросов - дня 3-4 уйдет при максималке потоков и умеренной задержке, чтобы капчи не сжирало быстро)
vawsan
 
Сообщений: 49
Зарегистрирован: 11 май 2012, 18:11
Откуда: Москва

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 03 фев 2013, 05:47

Количество потоков парсера ссылок в будущем не собираетесь увеличивать,хотя бы на 50%

Пока не планируем. Если хотите парсить больше и быстрее - установите несколько копий ксеона в разные папки и запускайте парсинг, НО при закрытии одной из запущенных копий могут закрыться все.
XseoN Founder
Администратор
 
Сообщений: 801
Зарегистрирован: 08 июл 2010, 14:26

Вопросы по работе "Парсер ссылок"

Сообщение norbiq 04 фев 2013, 15:43

vawsan, красавчик. Я как-то тоже решил, потом понял что разоряюсь на капче и решил пока пользовать то что набрал :D
norbiq
 
Сообщений: 12
Зарегистрирован: 08 янв 2013, 17:38

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 04 фев 2013, 16:11

Для теста вышла сборка 2.0.0.8 (читать внимательно про процедуру обновления) - http://www.xseon.ru/index.php?option=co ... &Itemid=18
XseoN Founder
Администратор
 
Сообщений: 801
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение vawsan 05 фев 2013, 15:52

norbiq писал(а):vawsan, красавчик. Я как-то тоже решил, потом понял что разоряюсь на капче и решил пока пользовать то что набрал :D

Спасибо)
Я тоже пару раз "с дуру" разорился, но потом увидел как-то скриншоты разработчика где он ставил задержку в пределах 25-50 сек и поэкспериментировал) В итоге нашел более менее оптимальную в районе +/-30 секунд.
Но до того у меня парсер обычно забивал канал и максимум парсилось 2-3кк, а после фикса и доработки парсера - вот такой результат)) Оттого и решил со всеми поделиться)
vawsan
 
Сообщений: 49
Зарегистрирован: 11 май 2012, 18:11
Откуда: Москва

Пред.След.

Вернуться в Технические вопросы

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron