Referrerin/refererin asettaminen urlia haettaessa

Sivustoille tulee usein, tai ainakin välillä, saapumisia, joissa referer-osoite on tuikituntematon ja taatusti sellainen, josta ei ole linkkiä sivustollesi. Kysessä on spämmiyritys, ja vaikka Google tunnistaakin ne nykyään ilmeisen, niin niistä saattaa silti olla haittaa hakukonenäkyvyydellesi. Niin tai näin, niin selvästi pielessä olevia referer-urleja ei ehkä kannata kokeilla.

Jos/kun estät ne, niin voit kokeilla estosi toimivuutta.

  • Tämä on yksi tapa asettaa referer ja se tulisi estämättömältä urlilta. Tulos on normaalit headerit, jotka näkyvät kaikille.

curl -I https://dev.eksis.one -e http://www.example.tld

 

  • Tämä on toinen tapa ja haetaan urlin koko sisältöä, ei vain headereitä kuten edellää. Tämä tulisi estetyltä urlilta. Tulos riippuu siitä miten olet eston tehnyt.

curl --referer http://ivi-casinoz.ru/ https://dev.eksis.one/

 

 

Esto on tehty Varnishissa ja koodi on hyvin yksinkertainen:

# Fake referers
if (
       req.http.Referer ~ "site.ru"
    || req.http.Referer ~ "www.google.com.hk"
    || req.http.Referer ~ "ivi-casinoz.ru"
    || req.http.Referer ~ "zvuqa.net"
    || req.http.Referer ~ "mp3for.pro"
    || req.http.Referer ~ "www.facebook.net"
    || req.http.Referer ~ "cn.bing.com"
    || req.http.Referer ~ "api.gxout.com"
    || req.http.Referer ~ "7ooo.ru"
    || req.http.Referer ~ "oknativeplants.org"
    || req.http.Referer ~ "pcreparatieamersfoort.nl"
    || req.http.Referer ~ "bassin.ru"
    ) {
        return(synth(666, "The site is frozen"));
        }

Käytän keksittyä näennäistä virhettä error 666 jota Fail2ban seuraa.

Voit tutustua käyttämääni Varnishin setupiin Githubissa.