Страница 9 из 10

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 09 фев 2013, 10:11
GASPAR
По поводу капчи.
У меня не совсем корректно отображает баланс и количество капч, если сверить с антигейт, то они не совпадают. Баланс гораздо быстрей уходит в минус, нежели отображается. Отсюда и ограничение капчи выставить не возможно.

Вопрос к разработчикам, по добавлению слова к запросу. Как правильно выставлять настройки при работе со словарем? У меня больше 10 слов не добавляет, пишет " не удалось сформировать пакет поисковых запросов!".
Хотелось получить консультацию по этому вопросу. Какое количество слов максимально можно использовать, как настроить, брать количество слов для каждого запроса сколько ...?, потом как влияет на запрос слово+запрос и запрос+слово?
Заранее спасибо!

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 11 фев 2013, 04:54
XseoN Founder
Баланс гораздо быстрей уходит в минус

В парсере ссылок баланс в сервисе распознавания расчитывается программно, данные расчитанные программой и реальный текущий баланс могут не совпадать. В ближайших релизах пересмотрим алгоритм получения тек. баланса в сервисе.
У меня больше 10 слов не добавляет, пишет " не удалось сформировать пакет поисковых запросов!".

Чтобы посмотреть предметно, пришлите на decontent@gmail.com:
1. Наименование поисковой системы;
2. Файл с запросами;
3. Файл со словами.
Проведем тест и отпишем.
как влияет на запрос слово+запрос и запрос+слово?

Перемещение тематического слова/фразы в конец запроса влияет на получение более разннобразной выдачи ПС.

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 29 апр 2013, 16:56
Kai
Помогите с гошей разобраться вот пример запроса по котором пытаюсь спарсить урлы
Код: выделить все
inurl:/viewtopic.php?f= игры на двоих
Пишет успешное завершение парсера по запросу а в файл ничего не скидывает, когда вбиваю в браузер выдача есть, в чем может быть проблема?

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 30 апр 2013, 04:49
XseoN Founder
Помогите с гошей разобраться вот пример запроса по котором пытаюсь спарсить урлы

Обновитe XseoN - Новости от 25 апр. 13, читайте внимательно про изменение строки номера версии в текстовом файле (необходимо для скачивания новой сборки)

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 24 май 2013, 19:41
Alexander
каков максимальный объем файла для удаления дублей?

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 25 май 2013, 03:25
XseoN Founder
Alexander писал(а):каков максимальный объем файла для удаления дублей?

При работе парсер делит результат на файлы, в каждом из которых по 500к урлов. Можно вручную формировать файлы и по 2кк урлов, но время на удаление дублей строк и доменов значительно увеличится. По max. размеру файла в байтах для удаления дублей ничего сказать не могу, т.к. не тестили.

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 25 май 2013, 15:05
Alexander
у меня нечего не делит, у меня один файл 2,7 кк

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 05 июн 2013, 21:38
GASPAR
Парсер ссылок нормально у всех работает? У меня опять начались проблемы с потоками, как это было зимой. Отваливаются потоки.У кого-то ест такая проблема?
Через VPN с российским ip парсит стабильней, но скорость маленькая.
yandex.ua не менял алгоритм?

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 06 июн 2013, 02:39
XseoN Founder
Через VPN с российским ip парсит стабильней, но скорость маленькая.
yandex.ua не менял алгоритм?

Вы парсите Yandex.ua? Т.е. явно выбираете из выпадающего списка справа от выбора ПС .ua ?
Проверили сегодня на Германском VDS на 36к запросах парсер Yandex.ru, из 100 после 7 часов работы в работе осталось 98 - Скрин работы парсера Yandex.ru
-Add-
Ниже представлен скрин работы парсера Yandex.ua на том же vds, из 100 потоков за 9 часов в работе осталось 97 - Скрин работы парсера Yandex.UA

Чтобы разобраться в чем проблема при работе парсера с Украины мне нужен удаленный доступ к компьютеру, находящемуся в Украине. Если кто имеет эту возможность, сообщите на support@xseon.ru или ICQ 641533863.

Re: Вопросы по работе "Парсер ссылок"

СообщениеДобавлено: 14 ноя 2013, 20:40
tyty
Здравствуйте!
При парсинге яндекса или рамблер, необходимо на antigate отсылать значение параметра is_russian=1, чтобы они понимали что капчу надо отдавать русскому, в противном случае все капчи уходят в ERROR_CAPTCHA_UNSOLVABLE