Необходимо написать скрипт, который будет парсить прокси из заданных источников (в формате IP:PORT) + возможность задавать макросы в файле, например IP|PORT и в многопоточном режиме проверять собранные прокси на на разные параметры GET, POST, анонимность итд.. Вся работа должна осуществляться с текстовыми файлами, без использования БД. Источники указываются следующим образом: 1. список ресурсов, в котором каждый сервер должен проверяться на поддержку и прокси, и сокс 2. список ресурсов только для прокси 3. список ресурсов только для сокс 4. в идеале еще должен быть список ресурсов, по которым парсер должен пройтись на указанное количество вложенных страниц вглубь и собрать прокси с них (форумы) 5. Опредиление ефективности найденого списка, присваиванием списку рейтинга по следующим параметрам: а) отношение рабочих/нерабочих --- если не удовлетворяет N тогда удалить если удовл. F оставить на дополнительные (G) проверoк (N,F,G) - задаются б) Необходимый функционал: - предварительный пинг сервера для ускорения процесса - возможность вручную проставлять таймаут запроса - возможность добавления списка прокси в очередь проверки вручную, а также однократная проверка в случае необходимости с выводом рабочих проксей по результатам проверки - возможность доступа к списку через браузер - возможность экспорта списка в текстовый файл через админ-панель по крону - возможность загрузки файла на удаленный фтп-сервер (через крон) - чтобы HTTP, HTTPS, SOCKS экспортировались в разные списки - валидные прокси собираются отдельно и перепроверяются при следующей проверке - чекер должен проверять прокси на анонимность и корректность GET и POST запросов -> при экспорте должны быть чекбоксы, какие прокси будут экспортироваться (все, либо только те, которые работают с методом POST) -возможность єкспорта прокси з всеми портами кроме! указаных -проверка прокси на публичность -делать єкспорт до заданого числа Главное - функционал, красота админки не имеет значения :) Точное определение уровня анонимности HTTP прокси серверов. Различается 5 уровней – от обычного прокси сервера, который не скрывает Ваш IP, до элитного. Определение типа Socks прокси сервера (Socks 4, Socks 5 или прокси, поддерживающий одновременно и Socks 4 и Socks 5). Определение страны, в которой расположен прокси сервер. Возможность выбрать список стран, чтобы сохранять адреса рабочих прокси серверов только этих стран. Автоматическая очистка списков адресов прокси серверов от мусора и повторений. (но запоминание того какие прокси к каким спискам относятся для опредиление КПД списка) нужно написать такой скрипт, загружая в который список урлов он проверял(скачивал) сколько весит страница доступна по заданых урлах - если больше за N(кбайт) то урл удаляется если меньше или равно то остается в базе. Нужна возможность поиска в закачаном заданой строки такста и результаты (урлы) где такой текст был найден записывались бы в отдельный файл. нужна многопоточность - обрабатывать прийдеться списки з десятками тыс урлов Однин человек уже пітался сделать работало но прибольшый файлах оч медленно и з большыми поглешностями http://ciyal.info/shara/checker.rar может переделаешь http://www.squidoo.com/porn-stash нужно написать такой скрипт, загружая в который список урлов он проверял(скачивал) сколько весит страница доступна по заданых урлах - если больше за N(кбайт) то урл удаляется если меньше или равно то остается в базе и очень важно!!! что бы урли в файле с результатами сортировались по размеру - тоесть от найменьшего до найбольшего, который равен N . Нужна возможность поиска в закачаном заданой строки такста и результаты (урлы) где такой текст был найден записывались бы в отдельный файл. нужна многопоточность - обрабатывать прийдеться списки з десятками тыс урлов даный скрип будет работать на ВПС или на дедике так что проблем с скоростю интернета (10 Мбит/с), трафиком и размером каких то промежуточных файлов нет Однин человек уже пытался сделать работало но прибольшый файлах оч медленно и з большыми поглешностями http://ciyal.info/shara/checker.rar может переделаешь