Roboții sunt scripturi automatizate utilizate în mod obișnuit pentru indexarea sau inventarierea conținutului dintr-un site web pentru utilizare în situații precum căutarea pe site-uri web sau colectarea statisticilor. Un fișier pentru roboți este un fișier text de bază păstrat în folderul rădăcină al site-ului dvs. web, care instruiește acești roboți cu privire la ce secțiuni sau tipuri de conținut de pe site-ul dvs. doriți sau nu ca acestea să fie indexate. Roboții legitimi vor citi acest fișier la prima sosire pe site-ul dvs. pentru a vă respecta solicitarea. Rețineți că acesta este un act aplicabil, iar roboții rău intenționați sau mai puțin respectabili sunt în continuare perfect capabili să citească tot conținutul non-privilegiat (adică nu este necesară autentificarea) de pe site-ul dvs.
Cel mai simplu fișier robots.txt implică doar două linii:
User-agent: *
Disallow: /
Primul specifică faptul că regulile de mai jos se aplică tuturor roboților care citesc fișierul. Al doilea adaugă că nimic nu este permis mai jos (adică mai adânc, sau toate fișierele și folderele din) folderul rădăcină (/ reprezintă folderul principal al site-ului). Dacă voiam să fim mai specifici în ce secțiuni dorim să nu intre roboții, îi putem identifica individual în loc de întregul site:
User-agent: *
Disallow: /pictures/reserved/
Disallow: /index.php
Disallow: /media
Disallow: /scripts
Pentru a distinge cazurile în care un anumit robot are un set diferit de permisiuni, putem folosi numele robotului în locul metacaracterului nostru „toate”:
User-agent: BadBot
Allow: /About/robot-policy.html
Disallow: /
User-agent: *
Disallow: /pictures/reserved/
Disallow: /index.php
Disallow: /media
Disallow: /scripts
Setările de mai sus îi spun lui BadBot că îi este permisă vizualizarea fișierului de politici, dar nimic altceva. În continuare spune căile blocate pentru restul roboților care ar putea vizita site-ul.
Sursa: Michael Mendez, The Missing Link – An Introduction to Web Development and Programming (CC BY-NC-SA 3.0 License), Published by Open SUNY Textbooks, Milne Library (IITG PI), State University of New York at Geneseo. Traducere de Nicolae Sfetcu
Articol publicat sub licență CC BY-NC-SA 3.0
Ghidul Google SEO
Ghidul de iniţiere Google privind optimizarea pentru motoarele de căutare, Versiunea 1.1, 13 noiembrie 2008 Acest document a fost lansat iniţial ca un efort pentru a ajuta echipele Google, însă este la fel de util şi pentru webmasterii începători în … Citeşte mai mult
Big Data
Odată cu creșterea volumului de date pe Internet, în media socială, cloud computing, dispozitive mobile și date guvernamentale, Big Data devine în același timp o amenințare și o oportunitate în ceea ce privește gestionarea și utilizarea acestor date, menținând în … Citeşte mai mult
Căutarea, extragerea, organizarea și evaluarea informațiilor
Informația, ca și concept, include o mare diversitate de sensuri în contexte diferite, de la cele zilnice până la cele tehnice. Conceptul de informație este strâns legat de noțiunile de restricție, comunicare, control, date, forme, educație, cunoaștere, înțelegere, stimul mental, … Citeşte mai mult
Lasă un răspuns