Фрилансеры › Илья Бен

Асинхронный многопроцессорный парсер Авито Недвижимости.
Особенности:
- автоматическое скачивание списка прокси из Интернета
- возможность загрузки прокси из файла
- автоматический чекер прокси
- автоматическое распределение нагрузки на прокси
- настройка количества потоков
- настройка количества процессов(ядер)
- настройка задержек
- обновление дат
- повторная проверка объявлений с ошибками

Производительность зависит от количества прокси и производительности процессора. Результаты на скриншоте были получены на четырехядерном процессоре при 40% загрузке каждого ядра, полученная производительность - 1200 объявлений в минуту. При максимальной загрузке всех четырех ядер, производительность была равна 1800 об./мин. Если у Вас 8 ядер, то теоретическая производительность будет равна 1800*1,7 или 4-4,5 млн. об./день.

Программа открывает XML(YML) файл и изменяет заданные параметры согласно заложенному алгоритму.

Однопоточный парсер объявлений Авито с возможностью работы через прокси-серверы с автоматической заменой последних. Скорость работы 60 объявлений в минуту.
Входные данные: ссылка на категорию
Выходные данные: xls файл