Вопросы по работе "Парсер ссылок"

Здесь обсуждаются технические вопросы работы ПК XseoN

Модератор: XseoN Founder

Re: Вопросы по работе "Парсер ссылок"

Сообщение GASPAR 18 янв 2013, 17:36

GASPAR писал(а):Я предложил по озвученной проблеме решение - откат на ранее созданную точку ОС, т.к. неизвестно что Вы ставили и неизвестно как это повлияло на работу ОС в целом.

Ну вот это и говорит о том, что каждый раз при обновлении винды, или установки нового софта надо запускать xseon с замиранием сердца. Какой новый финт выдаст софт? То ли не будет парсить ссылки, то ли при регистрации будет остнавливаться через каждые 15 мин, или при проверке ссылок потоки умрут.
И каждый раз новая проблема. Почему с другим софтом этого не происходит? У меня установлено не один десяток программ, но такого нет ни с одной.Почему при каждой новой проблеме надо сносить и переустанавливать xseon, хотя и это не всегда решает проблему. И это Вы называете стабильностью?
GASPAR писал(а):Как еще показать, что софт стабилен я не знаю.

А зачем что-то доказывать, софт или работает, или как xseon, всё другого не дано. :(
GASPAR
 
Сообщений: 64
Зарегистрирован: 13 апр 2012, 19:28
Откуда: Украина

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 18 янв 2013, 18:41

Спарсил в Google (ВДС - скрость 100 mBit/s) и Yahoo (обычная рабочая станция - 10 mBit/s) 500к ссылок
На ВДС нет НИ ОДНОГО УМЕРШЕГО ПОТОКА, на рабочей станции из 100 7 умерло, скрины:
Парсинг Google
Видео парсинга Google
Upd. спарс. 775к ссылок:
Парсинг Google

Парсинг Yahoo

Парсинг Яндекс (производился ранее), результат 14 000 000 ссылок:
Парсинг Yandex

Скрины работы "Проверка ссылок", проверка длилась 3,5 суток, проверено 4,2 млн. ссылок, в процессе работы не было умерших потоков, скрины:
Скрин1
Скрин2
Скрин3


GASPAR,
Скрины говорят сами за себя.
Если Вас не устраивает наш софт, мы предлагаем вернуть Вам 1/4 от уплаченных Вами денежных средств за остаток действия лицензии (3 месяца).
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение smaster 18 янв 2013, 22:11

У меня все хорошо работает. Xseon - спасибо за поддержку в части работы и программы. Xseon - хорошая техническая поддержка. Сам софт конечно есть возможность подправить, да и глюки бывают (но они бывают у всех - у меня зенно, зебройд и др). Софт свою задачу выполняет - это главное.

Новую версию не ставил.
smaster
 
Сообщений: 13
Зарегистрирован: 06 июл 2012, 19:52

Re: Вопросы по работе "Парсер ссылок"

Сообщение mutter 19 янв 2013, 12:50

В версии 2.0 build 0.2 парсер работал на супер, все работало
А в следующих версия когда изменился шаблон яндекса и вы сделали чтобы можно было парсер править самому то начались приколы с потоками, вот тогда все началось.
mutter
 
Сообщений: 17
Зарегистрирован: 03 авг 2012, 11:12

Re: Вопросы по работе "Парсер ссылок"

Сообщение GASPAR 19 янв 2013, 15:59

GASPAR писал(а):Скрины говорят сами за себя.

Ваши скрины вообще ни о чём не говорят. Где на скрине видно время начала работы и окончания работы?
Сколько потоков было в начале работы и по окончанию работы? :?:

GASPAR писал(а):Если Вас не устраивает наш софт, мы предлагаем вернуть Вам 1/4

Почему тогда деньги Вы не вернули летом, когда я поднял этот вопрос? Ваша поддержка мне ответила, что всё работает и деньги не вернут. Когда возвращать уже нечего Вы решились на такой широкий жест. :lol:
А может всё таки лучше найти причину и решить проблему? Как видите проблема такая возникла не только у меня. Вы ведь не пытаетесь найти причину, Вы вините чужое железо, а сами тестируете свой софт в тепличных условиях. Вы когда писали софт, Вы же догадывались, что кроме Вашей проги на компе могут стоять десятки, а может и сотни других прог? А тем более, что у меня всё работало в предыдущем релизе, теперь парсер не работает вообще. Ведь я не говорю , что прога плохая, но её надо допилить, что бы она стабильно работала,а это уже не от меня зависит. Кому то функция поиска ссылок не нужна, у них можно считать, что всё работает. Мне необходимо постоянно парсить новые ссылки, а функция не работает. Как это исправить - ответа нет. :mrgreen:

Я тоже, что бы не быть голословным, и что бы Вы не думали, что я хаю Вашу программу, выкладываю скрин:
Изображение

Uploaded with ImageShack.us
Последний раз редактировалось GASPAR 19 янв 2013, 16:28, всего редактировалось 1 раз.
GASPAR
 
Сообщений: 64
Зарегистрирован: 13 апр 2012, 19:28
Откуда: Украина

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 19 янв 2013, 16:28

Где на скрине видно время начала работы и окончания работы?

Посмотрите внимательно - внизу в статусной строке парсера отображено дата и время запуска, справа внизу указана дата и время снятия скрина (системные часы).
Мне необходимо постоянно парсить новые ссылки, а функция не работает

Попытаемся нагрузить систему и снова потестить парсер.
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 19 янв 2013, 18:32

Попытаемся нагрузить систему и снова потестить парсер.

Внесли изменения в парсер и потестили с приличной нагрузкой на Интернет канал, процессор и память.
Скрин_1
Скрин_2
Скрин_3
Скрин_4

GASPAR, mutter
Выслал измененный дистрибутив на email, на который был выслан софт.

В релизе 2.0.0.8 реализован многопоточный парсинг в списке урлов с помощью регулярных выражений, что дает неограниченные возможности по парсингу любого контента в загружаемом списке урлов.
Так же реализована запись результата поиска в txt в нужном Вам формате.
На скрине производится парсинг прокси серверов.
Парсинг с помощью регулярных выражений
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение allffa 20 янв 2013, 13:08

Есть вопрос по работе с программой в данном случае парсер ссылок, для начала опишу настройки при которых я производил парсинг . Тайм аут ставил 63000, интервал 4500 , антигейт включен, прокси тоже их было порядка 330 в работе на момент начала работы, количетсво потоков 128, выбрал запросы из файла yandex_ru.txt , в графе брать количество слов для каждого запроса - поставил галочку "все слова" - насколько я понял будет парсить по всем имеющимся 25001 запросам, выбрал яндекс, далее расширенный поиск, ! парсинг начался - на первый час работы порядка 25000 ссылок, и в работе все 128 потоков, через пол часа подхожу к копьютеру вижу уже 45 потоков в работе, через ещё минут 30-ть в работе осталось всего 5-ть потоков, как результат спарсило всего лишь 37000 ссылок по яндексу, и видимо остановилось - остановилось на 147 запросе - т.е как я понимаю ещё 24000+ запросов осталось не обработанных !
Вопрос - что я не так делал ? дабы понять ошибку, хочется все же спарсить по максимуму ссылок
allffa
 
Сообщений: 13
Зарегистрирован: 20 янв 2013, 12:52

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 20 янв 2013, 13:31

allffa,
Софт с исправлениями в парсере для теста выслан на email, на который был отослан софт после покупки.

В продолжение вчера начатого теста новой сборки очередной скрин:
Тест парсера
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение GASPAR 20 янв 2013, 17:04

XseoN Founder писал(а):Софт с исправлениями в парсере для теста выслан на email


У меня проблема не решилась. Устанавливал на предыдущий релиз, сносил полностью, танцы с бубном никакого результата не дали. Нажил новую проблему, теперь при регистрации программа начала просто закрываться, даже без потери потоков и выдачи ошибки. :twisted:
Отпишитесь у кого решилась проблема с парсингом ссылок.
GASPAR
 
Сообщений: 64
Зарегистрирован: 13 апр 2012, 19:28
Откуда: Украина

Пред.След.

Вернуться в Технические вопросы

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 11

cron