Вопросы по работе "Парсер ссылок"

Здесь обсуждаются технические вопросы работы ПК XseoN

Модератор: XseoN Founder

Re: Вопросы по работе "Парсер ссылок"

Сообщение GASPAR 09 фев 2013, 10:11

По поводу капчи.
У меня не совсем корректно отображает баланс и количество капч, если сверить с антигейт, то они не совпадают. Баланс гораздо быстрей уходит в минус, нежели отображается. Отсюда и ограничение капчи выставить не возможно.

Вопрос к разработчикам, по добавлению слова к запросу. Как правильно выставлять настройки при работе со словарем? У меня больше 10 слов не добавляет, пишет " не удалось сформировать пакет поисковых запросов!".
Хотелось получить консультацию по этому вопросу. Какое количество слов максимально можно использовать, как настроить, брать количество слов для каждого запроса сколько ...?, потом как влияет на запрос слово+запрос и запрос+слово?
Заранее спасибо!
GASPAR
 
Сообщений: 64
Зарегистрирован: 13 апр 2012, 19:28
Откуда: Украина

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 11 фев 2013, 04:54

Баланс гораздо быстрей уходит в минус

В парсере ссылок баланс в сервисе распознавания расчитывается программно, данные расчитанные программой и реальный текущий баланс могут не совпадать. В ближайших релизах пересмотрим алгоритм получения тек. баланса в сервисе.
У меня больше 10 слов не добавляет, пишет " не удалось сформировать пакет поисковых запросов!".

Чтобы посмотреть предметно, пришлите на decontent@gmail.com:
1. Наименование поисковой системы;
2. Файл с запросами;
3. Файл со словами.
Проведем тест и отпишем.
как влияет на запрос слово+запрос и запрос+слово?

Перемещение тематического слова/фразы в конец запроса влияет на получение более разннобразной выдачи ПС.
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение Kai 29 апр 2013, 16:56

Помогите с гошей разобраться вот пример запроса по котором пытаюсь спарсить урлы
Код: выделить все
inurl:/viewtopic.php?f= игры на двоих
Пишет успешное завершение парсера по запросу а в файл ничего не скидывает, когда вбиваю в браузер выдача есть, в чем может быть проблема?
Kai
 
Сообщений: 10
Зарегистрирован: 18 дек 2012, 09:12

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 30 апр 2013, 04:49

Помогите с гошей разобраться вот пример запроса по котором пытаюсь спарсить урлы

Обновитe XseoN - Новости от 25 апр. 13, читайте внимательно про изменение строки номера версии в текстовом файле (необходимо для скачивания новой сборки)
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение Alexander 24 май 2013, 19:41

каков максимальный объем файла для удаления дублей?
Alexander
 
Сообщений: 12
Зарегистрирован: 13 май 2013, 15:24

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 25 май 2013, 03:25

Alexander писал(а):каков максимальный объем файла для удаления дублей?

При работе парсер делит результат на файлы, в каждом из которых по 500к урлов. Можно вручную формировать файлы и по 2кк урлов, но время на удаление дублей строк и доменов значительно увеличится. По max. размеру файла в байтах для удаления дублей ничего сказать не могу, т.к. не тестили.
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение Alexander 25 май 2013, 15:05

у меня нечего не делит, у меня один файл 2,7 кк
Alexander
 
Сообщений: 12
Зарегистрирован: 13 май 2013, 15:24

Re: Вопросы по работе "Парсер ссылок"

Сообщение GASPAR 05 июн 2013, 21:38

Парсер ссылок нормально у всех работает? У меня опять начались проблемы с потоками, как это было зимой. Отваливаются потоки.У кого-то ест такая проблема?
Через VPN с российским ip парсит стабильней, но скорость маленькая.
yandex.ua не менял алгоритм?
GASPAR
 
Сообщений: 64
Зарегистрирован: 13 апр 2012, 19:28
Откуда: Украина

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 06 июн 2013, 02:39

Через VPN с российским ip парсит стабильней, но скорость маленькая.
yandex.ua не менял алгоритм?

Вы парсите Yandex.ua? Т.е. явно выбираете из выпадающего списка справа от выбора ПС .ua ?
Проверили сегодня на Германском VDS на 36к запросах парсер Yandex.ru, из 100 после 7 часов работы в работе осталось 98 - Скрин работы парсера Yandex.ru
-Add-
Ниже представлен скрин работы парсера Yandex.ua на том же vds, из 100 потоков за 9 часов в работе осталось 97 - Скрин работы парсера Yandex.UA

Чтобы разобраться в чем проблема при работе парсера с Украины мне нужен удаленный доступ к компьютеру, находящемуся в Украине. Если кто имеет эту возможность, сообщите на support@xseon.ru или ICQ 641533863.
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение tyty 14 ноя 2013, 20:40

Здравствуйте!
При парсинге яндекса или рамблер, необходимо на antigate отсылать значение параметра is_russian=1, чтобы они понимали что капчу надо отдавать русскому, в противном случае все капчи уходят в ERROR_CAPTCHA_UNSOLVABLE
tyty
 
Сообщений: 18
Зарегистрирован: 27 ноя 2012, 19:17

Пред.След.

Вернуться в Технические вопросы

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 12

cron