Roboții sunt scripturi automatizate utilizate în mod obișnuit pentru indexarea sau inventarierea conținutului dintr-un site web pentru utilizare în situații precum căutarea pe site-uri web sau colectarea statisticilor. Un fișier pentru roboți este un fișier text de bază păstrat în folderul rădăcină al site-ului dvs. web, care instruiește acești roboți cu privire la ce secțiuni sau tipuri de conținut de pe site-ul dvs. doriți sau nu ca acestea să fie indexate. Roboții legitimi vor citi acest fișier la prima sosire pe site-ul dvs. pentru a vă respecta solicitarea. Rețineți că acesta este un act aplicabil, iar roboții rău intenționați sau mai puțin respectabili sunt în continuare perfect capabili să citească tot conținutul non-privilegiat (adică nu este necesară autentificarea) de pe site-ul dvs.
Cel mai simplu fișier robots.txt implică doar două linii:
User-agent: *
Disallow: /
Primul specifică faptul că regulile de mai jos se aplică tuturor roboților care citesc fișierul. Al doilea adaugă că nimic nu este permis mai jos (adică mai adânc, sau toate fișierele și folderele din) folderul rădăcină (/ reprezintă folderul principal al site-ului). Dacă voiam să fim mai specifici în ce secțiuni dorim să nu intre roboții, îi putem identifica individual în loc de întregul site:
User-agent: *
Disallow: /pictures/reserved/
Disallow: /index.php
Disallow: /media
Disallow: /scripts
Pentru a distinge cazurile în care un anumit robot are un set diferit de permisiuni, putem folosi numele robotului în locul metacaracterului nostru „toate”:
User-agent: BadBot
Allow: /About/robot-policy.html
Disallow: /
User-agent: *
Disallow: /pictures/reserved/
Disallow: /index.php
Disallow: /media
Disallow: /scripts
Setările de mai sus îi spun lui BadBot că îi este permisă vizualizarea fișierului de politici, dar nimic altceva. În continuare spune căile blocate pentru restul roboților care ar putea vizita site-ul.
Sursa: Michael Mendez, The Missing Link – An Introduction to Web Development and Programming (CC BY-NC-SA 3.0 License), Published by Open SUNY Textbooks, Milne Library (IITG PI), State University of New York at Geneseo. Traducere de Nicolae Sfetcu
Articol publicat sub licență CC BY-NC-SA 3.0
Lucrul cu baze de date
Descoperă puterea bazelor de date cu acest ghid complet.
Războiul electronic și inteligența artificială
Această carte este ideală pentru profesioniștii în afaceri, strategii militari, și publicul academic.
Analitica rețelelor sociale
Descoperă puterea datelor și transformă modul în care înțelegi și utilizezi rețelele sociale.
Descoperă mai multe la MultiMedia
Abonează-te ca să primești ultimele articole prin email.
Lasă un răspuns