Страница 6 из 10

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 09 сен 2012, 18:17
XseoN Founder
первые 1-1,5к запросов парсинг идет нормально (с каждого потока по 100 ссылок), но потом ссылки добавляться перестают..

Продублирую выдержку из новостей от 26 августа 12г.
8. При парсинге Google становится активной галка "антибан", НЕ НАДО ЕЕ СРАЗУ ОТМЕЧАТЬ, если вдруг по каким-то причинам Google начнет выдавать капчи "пачками", и если отметить галку, то капчи не будут отсылаться на сервис или выдаваться для распознания в ручном режиме, а будет идти перебор всех имеющихся в наличии прокси серверов на предмет поиска не находящихся в бане у Google, но при таком режиме работать парсер сможет не долго - от силы соберет 200К ссылок и остановится. Так что включайте этот режим только в крайних случаях и думайте о др. пользователях, которые используют те же прокси;

Вывод - СНИМИТЕ ГАЛКУ "АНТИБАН"

чувство что они забивают канал

Если роутер или модем - бюджетные, то они не могут поддерживать работу большого кол-ва потоков c большим трафиком и или перегружаются или виснут. Данный вопрос уже был освещен в Faq

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 17 сен 2012, 11:37
wmbases1
То что вы написали не так, поставил win7 все нормально работает... на xp не работает.

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 01 ноя 2012, 11:03
mutter
Будет ли в новой версии подправлена робота парсера , что бы потоки не отмирали ?

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 01 ноя 2012, 14:29
XseoN Founder
Будет ли в новой версии подправлена робота парсера , что бы потоки не отмирали ?

Работа парсера ссылок в сборке 0.5 скорректирована, при тесте за 16 часов работы при парсинге Яндекс при старте было 128 потоков при окончании работы 104.

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 02 ноя 2012, 03:14
vawsan
XseoN Founder писал(а):
Будет ли в новой версии подправлена робота парсера , что бы потоки не отмирали ?

Работа парсера ссылок в сборке 0.5 скорректирована, при тесте за 16 часов работы при парсинге Яндекс при старте было 128 потоков при окончании работы 104.

Это на самом деле не очень то хорошо, значит опять помирать будут.
А совсем без этого либо с полным восстановлением не получается?
Просто например мои любимые 89к запросов бы запустить на отпарс, чтобы разом. А с отмиранием получается подходов в 20 только все отпарсить, а это совсем не удобно.

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 18 янв 2013, 09:17
GASPAR
Потоки в парсере ссылок всё также умирают. Парсить вообще не возможно :shock: , хотя в предыдущей версии было всё отлично. Количество потоков не влияет на процесс. Потоки умирают как на максимальном количестве, так и на минимальном.Переустановка программы не помогла, очень жаль. :evil:

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 18 янв 2013, 09:40
mutter
GASPAR писал(а):Потоки в парсере ссылок всё также умирают. Парсить вообще не возможно :shock: , хотя в предыдущей версии было всё отлично. Количество потоков не влияет на процесс. Потоки умирают как на максимальном количестве, так и на минимальном.Переустановка программы не помогла, очень жаль. :evil:


Аналогично :( Приходится allsubmitter юзать для парсинга

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 18 янв 2013, 13:44
XseoN Founder
Потоки в парсере ссылок всё также умирают.

Последние 2 релиза в парсере ссылок ВООБЩЕ НИКАКИХ изменений не производилось.
Сейчас парсю на домашнем компьютере в Яндекс. Получил более 8 млн. ссылок, умерло 3 потока. Скрин.
Сегодня запущу парсинг на покупном вдс. Посмотрим на результат.
В очередной раз поясняю, что потоки могут умирать только из-за канала Интернет или оборудования, которое может несправляться с большим трафиком.

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 18 янв 2013, 15:14
GASPAR
mutter писал(а):В очередной раз поясняю, что потоки могут умирать только из-за канала Интернет или оборудования, которое может несправляться с большим трафиком.

Обрудование не менялось, на предыдущем релизе всё было нормально, парсил без проблем, сейчас вообще не парсит. В Вашем софте нет самого главного - стабильности. Из Ваших ответов по проблемам понятно, что при обновлении windows, или установки нового софта, XSEON перестает нормально работать. нужно искать причину, откатывать систему назад. Но это не выход, может под xseon вообще отдельный комп надо завести? :mrgreen:

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 18 янв 2013, 15:45
XseoN Founder
Обрудование не менялось, на предыдущем релизе всё было нормально, парсил без проблем, сейчас вообще не парсит

Я на все претензии отвечаю не голословно, а делаю видео или скрины, где показано как работает актуальный софт. Или Вы считаете, что у меня другая версия?
Из Ваших ответов по проблемам понятно, что при обновлении windows, или установки нового софта, XSEON перестает нормально работать

С чего это Вы решили? Мы всегда подходим к решению проблемы объективно! Я предложил по озвученной проблеме решение - откат на ранее созданную точку ОС, т.к. неизвестно что Вы ставили и неизвестно как это повлияло на работу ОС в целом.
У меня софт работает и на домашнем компьютере и на вдс и потоки в парсере умирают но не более 10 из 100 за все время парсинга.
Как прочитал Ваше сообщение, запустил на ВДС парсинг Google в 70 потоков при паралельно работающем XPCP в 64 потока. Спарсило 240К, НИ ОДНОГО ПОТОКА НЕ УМЕРЛО. ВДС обычный за 500 руб. Скрин
Как еще показать, что софт стабилен я не знаю.