Получаю много вопросов по ICQ о том как самому сделать базу для работы в ПК XseoN, решил сделать топик со скринами, где можно посмотреть последовательность действий, начиная от парсинга и заканчивая размещением профилей.
Для разнооборазия решил парсить в "Yandex", на вскидку взял несколько десятков слов из русского словаря и добавил к ним через пробел 'powered by PHPBB', пример, 'абрикос powered by PHPBB'. Полученный список сохранил в TXT и указал путь к данному словарю в "Парсере ссылок" (кнопка "Word+search"), и указал, что надо брать все слова, далее выбрал "Yandex" и создал один запрос и нажал "ОК", получил 163 запроса и с антибаном и агтигейтом спарсил . Получил 56К ссылок.
http://clip2net.com/page/m84912/29166191
Далее удалил дубликаты строк, получил 41К:
http://clip2net.com/page/m84912/29166193
Удалил дубликаты доменов, получил 19К:
http://clip2net.com/page/m84912/29166194
Прогнал полученные ссылки в "Проверка ссылок" и сохранил поддерживаемые движки, получил 7К:
http://clip2net.com/page/m84912/29166196
Прогнал регистрацию, получил 1К:
http://clip2net.com/page/m84912/29166197
Прогнал профилирование и получил 0,53К профилей:
http://clip2net.com/page/m84912/29166198
И профили все РУС, т.к. словарь использовался русский.