Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!
2 000 ₴

Парсер квартир (Python/Пайтон) через API (доработать)

истекло время актуальности


Парсер написан на Python 

Он получает информация по API с Авито и Циан, и распределяем по определенным значениям в необходимые категории на сайте (к примеру если у квартиры есть комиссия, она добавляется в раздел с риелторами и если ее нет, то в раздел с собственниками)


Необходимо улучшить его работу:

1. Уменьшить таймаут 

2. Уменьшить количество попыток перед сменой прокси


Мы месяц назад внедрили риелторов на сайт, то есть начали парсить квартиры с комиссией в отдельный раздел, это увеличило нагрузку на парсер. Когда у нас были одни собственники, то все варианты от собственника которые были на Авито и Циан были у нас на сайте. После добавления нового раздела, много квартир просто нет


Задача исправить проблему с парсингом квартир от собственников, они сейчас не добавляются в необходимом объеме. Покажу вам на примере цифр: Такая ситуация была до проблем с парсингом. В день добавлялось 300-400 квартир от собственников, сейчас не больше 50. Это надо исправить


Технологии: Scrapy - сам парсер + django framework + django rest framework для передачи json сайту. БД -  sqlite3



  1. 7 дней2 000 ₴
    Иван
    Иван Яшин
    98     1  1

    Здравствуйте, думаю могу вам помочь. Цену указал, выше точно не будет, по срокам думаю выйдет 2-3 дня (немного занят просто). Буду рад сотрудничеству.

    Россия Москва | 10 ноября 2019 |
  2. 7 дней1 900 ₴
    Vadim
    Vadim Avakumov
    109   

    Здравствуйте. Готов выполнить ваш заказ. Свяжитесь со мной для уточнения деталей

    Россия Москва | 10 ноября 2019 |
  3. 1 день2 000 ₴
    Халил
    Халил Мурадов
    249     3  2   1

    Сделаю в течение нескольких часов. Работал с Scrapy, Django и с REST API. Сделаю всё качественно, цена выше не поднимется. Буду рад сотрудничеству.

    Россия Махачкала | 10 ноября 2019 |
  4.  фрилансер больше не работает на сервисе
  5. 2 дня2 000 ₴
    Vlad
    Vlad Tretiak
    2017     50  0

    Добрый день, Фёдор! Есть опыт работы с Scrapy и django framework, с python работаю более двух лет. Готов взяться за выполнение)
    Можем обсудить детали более подробно?

    Украина Запорожье | 11 ноября 2019 |
  6. 1739
       23  3

    7 дней2 000 ₴

    Добрый день. Проанализирую ваш парсер и исправлю данную ситуацию.

    Надеюсь на сотрудничество, с уважением, Александр.

    Россия Тюмень | 15 ноября 2019 |

Заказчик
Проект опубликован
3 месяца 7 дней назад
173 просмотра