Парсинг сайтов и парсеры под задачу

Собираю данные с сайтов в Google Таблицы, Excel или Telegram: цены конкурентов, каталоги поставщиков, объявления, госзакупки. Сначала ищу внутреннее API сайта — так сбор быстрее и реже ломается, чем разбор HTML.

Стоимость по договорённостиСрок от 1 дня

Когда обращаются

Можно отметить то, что происходит у вас, — это добавится в заявку.

Что я делаю

  1. Поиск API, XHR и GraphQL сайта вместо HTML-парсинга
  2. Google Apps Script без серверов или Python и Node.js
  3. Обход лимитов: продолжение с места остановки, триггеры, несколько потоков
  4. Защита от блокировок: паузы, заголовки, работа с Cloudflare
  5. Запись в Google Таблицы, Excel и CSV, Telegram-уведомления
  6. Отслеживание изменений цен и новых позиций
  7. Инструкция и меню запуска прямо в таблице
  8. Доработки при изменении сайта-источника

Цена и сроки

Стоимость
по договорённости
Срок
от 1 дня
В цену входит
Поиск API источника, скрипт и меню запуска, запуск по расписанию, инструкция.
От чего зависит
Цена зависит от количества источников, объёма данных и защиты сайта.
Оформление
Договор, акт и электронный чек. ЕРИП, карта или безнал.

Точную сумму называю до начала работ, и по ходу она не меняется.

Примеры работ

Названия клиентов не указываю без их разрешения.

Мониторинг новостроек

Google Apps Script · Google Таблицы · Telegram

Мониторинг цен застройщика с оповещениями

Нужно было отслеживать цены и новые квартиры по всем ЖК застройщика без ручных проверок.

Нашёл внутреннее API сайта и написал парсер на Google Apps Script. Он запоминает, где остановился, обходит 6-минутный лимит запуском по триггеру и шлёт в Telegram снижения цен и новые лоты.

Итог: Мониторинг работает сам, без сервера и ручных проверок.

0 серверов, всё в Google5 мин цикл обновленияTelegram оповещения

Анализ цен ритейла

Google Apps Script · GraphQL

Каталог гипермаркета с составом и КБЖУ

Нужны были товары по акциям и категориям с полными характеристиками, а сайт защищён Cloudflare.

Работал через GraphQL-API сайта и подтягивал полные карточки товаров. Добавил паузы против бана по IP и понятные сообщения при блокировке 403.

Итог: Стабильная выгрузка с полным заполнением характеристик.

API вместо HTML100% заполнение характеристик

Аналитика госзакупок РБ

REST API · Python · Google Таблицы

Договоры госзакупок в Google Таблицу

Нужны были все договоры с участниками и суммами, а запросы с серверов Google до площадки не проходили.

Разобрал REST API площадки (поиск и карточки договоров) и подготовил отчёт по архитектуре. Выгрузку перенёс в локальный Python-скрипт, который пишет прямо в Google Таблицу.

Итог: Данные по договорам в таблице со ссылками на первоисточник.

2 API-эндпоинта1 кнопка запуск сбора

Агентство недвижимости

Google Apps Script

Сбор ЖК с подземным паркингом сверх лимита выдачи

Портал недвижимости показывает максимум 25 страниц, а объявлений намного больше.

Разбил запрос на диапазоны площадей, чтобы каждая выборка помещалась в лимит, и нашёл точное поле с названием ЖК в данных страницы.

Итог: Полный список ЖК со ссылками на отдельном листе таблицы, запуск одной кнопкой.

25+ страниц на каждый диапазон1 клик запуск из меню таблицы

Поиск аренды жилья

Google Apps Script · Telegram

Парсер объявлений об аренде с фото в Telegram

Хорошие квартиры в аренду разбирают за часы, а вручную следить за площадкой неудобно.

Сделал парсер сохранённого поиска: новые объявления с фото, продавцом и изменениями цены попадают в таблицу и сразу приходят в Telegram.

Итог: Свежие объявления приходят раньше, чем их увидят на площадке.

Фото прямо в чатеСкидки отслеживание цены

Все работы

Вопросы

Это законно?

Собираю только открытые общедоступные данные и с щадящей нагрузкой на сайт. Персональные данные и закрытые разделы не трогаю.

Что, если сайт изменится?

Парсер через API ломается реже. Если источник поменяется, доработаю.

Нужен ли сервер?

Часто нет: Google Apps Script работает в облаке Google бесплатно. Для тяжёлых задач запускаю скрипт на VPS или у вас на ПК.

Кто делает работу

Меня зовут Дмитрий, и уже более 15 лет работаю с сайтами. Всё, что описано на этих страницах, делаю сам: от диагностики до сдачи работы.

Работаю официально как самозанятый (плательщик НПД): договор, акт и электронный чек. Оплата через ЕРИП, картой или по безналу. Больше всего проектов на WordPress, Webasyst, 1С-Битрикс, Joomla и MODX, а ещё Node.js и Python-проекты, VPS на Linux и Telegram-боты.

Перед любыми работами делаю копию сайта. Цену называю до начала и не меняю её по ходу.

Написать мне

Обычно отвечаю в течение часа в рабочее время. Быстрее всего — в Telegram.

@kotovnazavod+375 (29) 702-89-89

Telegram Позвонить Оставить заявку