CookstampBot
CookstampBot site gezen bir örümcek değil. Bir tarif sayfasını yalnızca biri o linki paylaştığında okur.
Yalnızca paylaşılan link
Bir tarif sayfasının adresini Cookstamp'a gönderdiğinde o sayfayı bir kez isteriz. Kendiliğinden dolaşmayız.
robots.txt
Sitenin robots.txt dosyası bu adresi Disallow ile kapatmışsa sayfayı çekmeyiz. Bu yanıtı 24 saat hatırlarız.
Kim olduğunu söyler
İsteklerde User-Agent şudur:
CookstampBot/1.0 (+https://cookstamp.pages.dev/bot)
Tarama ve indeks yok
Sayfaları indekslemez, kuyruğa dizip siteyi gezmez. Tek istek, paylaşılan o linktir.
Yazmak istersen destek sayfasına bak.