Вопросы по работе "Парсер ссылок"

Здесь обсуждаются технические вопросы работы ПК XseoN

Модератор: XseoN Founder

Вопросы по работе "Парсер ссылок"

Сообщение sirocco2012 19 мар 2012, 22:11

У меня не хочет парсить ссылки. Все время пишет "текущий прокси не принят, смена прокси". Что не так? Параметры ставлю такие как на видеоуроке.
sirocco2012
 
Сообщений: 40
Зарегистрирован: 11 фев 2012, 09:11

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 20 мар 2012, 03:14

Все время пишет "текущий прокси не принят, смена прокси". Что не так?

Данная ситуация возникает из-за того, что IP адрес прокси сервера, через который идет запрос, находится в бане у ПС. В бане у ПС находятся почти все покупные прокси. Для работы парсера я рекомендую использовать публичные http(s) прокси сервера, к примеру, которые можно взять на нашем сервере:
URL HTTP proxy - http://www.xseon.ru/LISTFULL/list_PROXY/xsprhttp.txt ;
URL HTTPS proxy - http://www.xseon.ru/LISTFULL/list_PROXY/xsprhttps.txt ;
Все списки кодированные, не забывайте поставить "галку" вкл./выкл. декодирование.

Сделал сегодня видео работы парсера ссылок.

Подавляющее большинство публичных socks проксей тоже находятся в бане ПС.
XseoN Founder
Администратор
 
Сообщений: 802
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение sirocco2012 20 мар 2012, 07:46

Спарсил 19к ссылок, но ссылки в вот таком формате
Код: выделить все
http://www.cichlid-forum.com/phpBB/&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CBEQFjAA&usg=AFQjCNESleNP4E8hecHRGjbc-1KgLwcVMA
http://www.atari-forum.com/&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CBQQFjAB&usg=AFQjCNFjmqklkmC2YiYsHRFSqY6kcdnK2A
http://www.nsu.ru/phpBB/viewforum.php%3Fforum%3D6&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CBcQFjAC&usg=AFQjCNGGQIymX7golc9Z1QWpKeD9HY-cjA
http://www.aprelium.com/forum/&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CBoQFjAD&usg=AFQjCNGJhP3ToBim4p73SK95Z_2BAKCRIw
http://www.skulltag.com/forum/&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CB0QFjAE&usg=AFQjCNF77jpCQwkmDgyzFVnZE8yhms3WQA
http://leenissen.dk/fann/forum/&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CCAQFjAF&usg=AFQjCNEHQsYHFuMy9GF3S7Bs8XWLZ9Pfpw
http://nosuicid.ru/forum/viewforum.php%3Ff%3D4&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CCIQFjAG&usg=AFQjCNGo3lsvrTUFFbWuUHrPNtpu7XzXlw
http://forum.philboxing.com/ucp.php&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CCQQFjAH&usg=AFQjCNHftsg_hTzP42hQWeslwENqZdZZzA
http://user.services.openoffice.org/en/forum/&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CCYQFjAI&usg=AFQjCNEqTvmo1VJc-eC_A7wCHKJl_bi7uQ
http://www.hivwave.gr/pages/en/%3FForum:Theodoros_Kordossis%252C_Sakis_Kontos%252C_Nikos_Sypsas:Forum_%2522Powered_by_phpBB%2522&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CCkQFjAJ&usg=AFQjCNFHib5exwL3dNkfcP861hywzB3CzQ
http://www.electronic-circuits-diagrams.com/forum/&sa=U&ei=xCpoT9ecGsXLswam36mhCA&ved=0CCwQFjAK&usg=AFQjCNEsmp1j5LwZqhY6inhX181t2CKJ9A


Как их привести к нормальному ввиду?Так как при определении ресурсов они не определяются правильно, так как берут ненормальные ссылки :?
Код: выделить все

http://www.electronic-circuits-diagrams.com/forum/
http://user.services.openoffice.org/en/forum/
http://www.aprelium.com/forum/
sirocco2012
 
Сообщений: 40
Зарегистрирован: 11 фев 2012, 09:11

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 20 мар 2012, 09:55

Сегодня в Проверку ссылок добавлен еще один признак для форумов phpBB. Результаты проверки присланного Вами списка:
http://clip2net.com/page/m116699/25363768.
Sirocco2012, для теста могу выслать доработанный вариант программы на указанный Вами email, так же сообщите email, на который получали софт.

Уважаемые пользователи ПК XseoN!
В данной теме можете выкладывать ссылки, которые ведут на следующие движки форумов - phpBB, vBulletin, ipb, smf, и принадлежность которых пока не может определить ПК XseoN.
Мы оперативно будем дорабатывать Проверку ссылок.
XseoN Founder
Администратор
 
Сообщений: 802
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение sirocco2012 20 мар 2012, 10:38

Отправил почту в Личку. :) С удовольствием протестирую и отпишу результаты и пожелания ;)
sirocco2012
 
Сообщений: 40
Зарегистрирован: 11 фев 2012, 09:11

Re: Вопросы по работе "Парсер ссылок"

Сообщение Турист 03 июн 2012, 13:20

У меня в парсере не видны запросы. И окошко "я ищу" черное.
Импортирую список запросов, и получаю следующее
Вложения
111.png
111.png (46 KIB) Просмотров: 75602
Турист
 
Сообщений: 15
Зарегистрирован: 28 сен 2011, 15:32

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 03 июн 2012, 14:04

Импортирую список запросов, и получаю следующее

По внешнему виду Вы работаете в Unicode версии, при работе в даннной версии файл c запросами должен быть в кодировке UTF8, по умолчанию - кодировка ANSI. Откройте в блокноте файл с запросами, внизу выберите кодировку UTF8 и сохраните, затем импортируйте запросы в парсер. Кодировка ANSI не поддерживает такие языки как японский, арабский и т.д.
Файлы, использующиеся в макросах, тоже должны быть в кодировке UTF8.

З.Ы. При импорте поисковых запросов для Yandex, запросы должны иметь вид, который можно посмотреть, набрав в "Я ищу" текст запроса, далеее "Новый" --> "Расширенный поиск Yandex" ---> "ОК".
Для Google поисковые запросы будут иметь вид поисковых тегов с аргументами.
XseoN Founder
Администратор
 
Сообщений: 802
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение Sliper 04 июн 2012, 21:29

XseoN Founder писал(а):...в даннной версии файл c запросами должен быть в кодировке UTF8, по умолчанию - кодировка ANSI. ...
...Файлы, использующиеся в макросах, тоже должны быть в кодировке UTF8.

А нельзя ли организовать автоопределение формата файлов и при необходимости конвертировать кодировку на програмном уровне (а не в блокноте руками)???
Sliper
 
Сообщений: 35
Зарегистрирован: 21 ноя 2011, 14:23

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 05 июн 2012, 12:37

А нельзя ли организовать автоопределение формата файлов и при необходимости конвертировать кодировку на програмном уровне (а не в блокноте руками)???

В 20-х числах выйдет очередная сборка - релиз 2.0.0.1 Beta. Сборка Unicode. Определенные файлы (список будет выложен вместе с новой сборкой) в имеющихся проектах необходимо будет пересохранить в формат UTF8. Так же необходимо пересохранить в UTF8 файлы, использующиеся в макросах и парсинге ссылок.
Желающие могут проявить инициативу и сделать конвертер проектов в UTF8. Кто заинтересовался с 10 июня - обращайтесь в ICQ 641533863, вышлю Unicode версию и отвечу на вопросы, касающиеся конвертера.
XseoN Founder
Администратор
 
Сообщений: 802
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение Турист 05 июн 2012, 13:09

Ну так почему у меня окошко черное? Не видно же что набираешь

кстати видяха то почему без звука? Сидишь смотришь, как стрелочка двигается по экрану, явно в этот момент автор о чем то думал, о чем зритель только догадываться может

апупеть, а зачем там столько времени идет запись парсинга? нельзя было остановить, и показывать работу дальше?

антибан, нужно вставить значение из IE, я так понял должно подставляться автоматом, у меня не подставилось, и кнопка тоже не активна.
Турист
 
Сообщений: 15
Зарегистрирован: 28 сен 2011, 15:32

След.

Вернуться в Технические вопросы

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 8

cron