О краулере PriceTap
PriceTap собирает и сравнивает открытые цены интернет-магазинов Азербайджана. Эта страница честно объясняет, что делает наш краулер.
Как краулер представляется
PriceTapBot/1.0 (+https://pricetap.az/bot)
Если вы видите эту строку в своих логах — это мы. Мы не используем другое имя и не маскируемся под браузер.
Правила, которым мы следуем
- Мы полностью соблюдаем ваш robots.txt и значение Crawl-delay. Если задержка объявлена, мы не открываем больше одного канала к вашему хосту.
- Нагрузка по умолчанию не превышает 0,5 запроса в секунду.
- Мы читаем только открытые данные: название товара, цену, наличие, URL, SKU. Мы не копируем ваши описания и не используем ваши изображения по прямой ссылке.
- Мы не маскируемся под браузер.
- Мы не пытаемся обойти защиту от ботов. Если сайт защищён — мы просто останавливаемся и связываемся с вами.
Выход из списка
Если вы не хотите, чтобы ваши товары отображались на PriceTap, достаточно одного письма — мы удалим их в течение 48 часов без споров.
Если хотите заблокировать сами
Достаточно добавить в ваш robots.txt эти две строки:
User-agent: PriceTapBot Disallow: /