XPCP Ошибки - Замечания - Пожелание

Здесь обсуждаются технические вопросы работы ПК XseoN

Модератор: XseoN Founder

Re: XPCP Ошибки - Замечания - Пожелание

Сообщение vawsan 20 сен 2012, 17:03

sirocco2012 писал(а):Вот при парсинге прокси с источников сначала собирает все прокси, потом начинет чекать их. Перед началом чека он удаляет дубли или нет???? Я собирал другим софтом точно с такими же источниками там дулей больше 50%. Поэтому хотелось бы чтобы перед началом чека найденных проксей эти прокси были очищены от дублей ;)

А еще чтобы найденный и очищенный список был автоматически сохранен не прерывая работу программы - чтобы потом можно было еще раз чекнуть этот же список, чем еще раз собирать прокси. Например можно им (спискам прокси) придавать в имя дату и время и тп.

Присоединяюсь.
Интересен этот вопрос, так как один раз собрал 168к прокси, рабочих оказалось 768 ) Вот и интересно, среди них были дубли или нет)
vawsan
 
Сообщений: 49
Зарегистрирован: 11 май 2012, 18:11
Откуда: Москва

Re: XPCP Ошибки - Замечания - Пожелание

Сообщение svitok 20 сен 2012, 18:09

Поддерживаю идею. Кстати было бы еще круче если бы можно было прокси по желанию отсеивать по региону. В частности разделить по желанию на русские и украинские и буржу. Ведь на форумах тоже ведь смотрят от куда зашел посетитель и по какому IP адресу
Доступная интернет реклама для вашего бизнеса
svitok
 
Сообщений: 123
Зарегистрирован: 06 май 2012, 15:04
Откуда: Украина

Re: XPCP Ошибки - Замечания - Пожелание

Сообщение XseoN Founder 20 сен 2012, 18:15

Поэтому хотелось бы чтобы перед началом чека найденных проксей эти прокси были очищены от дублей

Чек из файла, удаление дублей, и запись спарсенных проксей в файл будет реализовано в след. сборке, по регионам пока не обещаю, надо смотреть.
XseoN Founder
Администратор
 
Сообщений: 801
Зарегистрирован: 08 июл 2010, 14:26

Re: XPCP Ошибки - Замечания - Пожелание

Сообщение Sliper 21 сен 2012, 10:02

А можно еще сделать вывод в файл адресов страниц на которых найдены прокси, чтобы отсеивать ненужные страницы (где есть защита от ботов либо защита яваскриптом).
А тетерь зачем это нужно )
Собрать адреса страниц где есть прокси легко и быстро можно парсером ссылок, но по такой базе сраниц XPCP собирает прокси очень долго, а так можно сформировать свою "нормальную" базу страниц .

Ну конечно к такой доработке напрашивается и отчет, например после каждого адреса писать сколько прокси на странице найдено и сколько из них рабочих (ну с рабочими возможно перебор).
Sliper
 
Сообщений: 35
Зарегистрирован: 21 ноя 2011, 14:23

Re: XPCP Ошибки - Замечания - Пожелание

Сообщение force 22 сен 2012, 06:44

XseoN Founder, а можно сделать какую нибудь утилитку для удаления дублей доменных имен в урл листах?
force
 
Сообщений: 6
Зарегистрирован: 21 янв 2012, 12:52

Re: XPCP Ошибки - Замечания - Пожелание

Сообщение XseoN Founder 22 сен 2012, 07:51

а можно сделать какую нибудь утилитку для удаления дублей доменных имен в урл листах?

В Парсере ссылок имеется две кноки 1. Удаление дублей строк, 2. Удаление дублей доменов.
Для удаления длублей доменов, необходимо ОБЯЗАТЕЛЬНО сначала удалить дубли строк, а затем доменов.
Видео начиная с 04.54
XseoN Founder
Администратор
 
Сообщений: 801
Зарегистрирован: 08 июл 2010, 14:26

Re: XPCP Ошибки - Замечания - Пожелание

Сообщение XseoN Founder 24 окт 2014, 15:08

Всем привет!

Вышла новая сборка полного автомата по сбору-проверке публичных прокси XPCP 1.0.1.1.
Качество проверки в количественном выражении возросло в 4-5 раз!!!
Скрин работы теста предыдущей и новой версий XPCP
XseoN Founder
Администратор
 
Сообщений: 801
Зарегистрирован: 08 июл 2010, 14:26

Пред.

Вернуться в Технические вопросы

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3

cron