Home » Articole » RO » Calculatoare » Dezvoltarea web » Robots.txt

Robots.txt

Roboții sunt scripturi automatizate utilizate în mod obișnuit pentru indexarea sau inventarierea conținutului dintr-un site web pentru utilizare în situații precum căutarea pe site-uri web sau colectarea statisticilor. Un fișier pentru roboți este un fișier text de bază păstrat în folderul rădăcină al site-ului dvs. web, care instruiește acești roboți cu privire la ce secțiuni sau tipuri de conținut de pe site-ul dvs. doriți sau nu ca acestea să fie indexate. Roboții legitimi vor citi acest fișier la prima sosire pe site-ul dvs. pentru a vă respecta solicitarea. Rețineți că acesta este un act aplicabil, iar roboții rău intenționați sau mai puțin respectabili sunt în continuare perfect capabili să citească tot conținutul non-privilegiat (adică nu este necesară autentificarea) de pe site-ul dvs.

Cel mai simplu fișier robots.txt implică doar două linii:

User-agent: *
Disallow: /

Primul specifică faptul că regulile de mai jos se aplică tuturor roboților care citesc fișierul. Al doilea adaugă că nimic nu este permis mai jos (adică mai adânc, sau toate fișierele și folderele din) folderul rădăcină (/ reprezintă folderul principal al site-ului). Dacă voiam să fim mai specifici în ce secțiuni dorim să nu intre roboții, îi putem identifica individual în loc de întregul site:

User-agent: *
Disallow: /pictures/reserved/
Disallow: /index.php
Disallow: /media
Disallow: /scripts

Pentru a distinge cazurile în care un anumit robot are un set diferit de permisiuni, putem folosi numele robotului în locul metacaracterului nostru „toate”:

User-agent: BadBot
Allow: /About/robot-policy.html
Disallow: /
User-agent: *
Disallow: /pictures/reserved/
Disallow: /index.php
Disallow: /media
Disallow: /scripts

Setările de mai sus îi spun lui BadBot că îi este permisă vizualizarea fișierului de politici, dar nimic altceva. În continuare spune căile blocate pentru restul roboților care ar putea vizita site-ul.

Sursa: Michael Mendez, The Missing Link – An Introduction to Web Development and Programming (CC BY-NC-SA 3.0 License), Published by Open SUNY Textbooks, Milne Library (IITG PI), State University of New York at Geneseo. Traducere de Nicolae Sfetcu

Articol publicat sub licență CC BY-NC-SA 3.0

Lucrul cu baze de date
Lucrul cu baze de date

Colecția ȘTIINȚA INFORMAȚIEI Lucrul cu bazele de date este astăzi printre cele mai căutate abilități IT. Acum puteți obține o bază de plecare în proiectarea și implementarea bazelor de date cu o abordare practică, ușor de înțeles. ”Lucrul cu baze … Citeşte mai mult

Nu a fost votat $3,99$7,18 Selectează opțiunile
Telelucru (Telework)
Telelucru (Telework)

Telelucrul, ca un nou mod de a lucra prin efectuarea unei activităţi (forme de muncă) flexibile în timp şi la distanţă, utilizând tehnologia informaţională şi comunicaţiile avansate, se concretizează în teleactivităţi şi teleservicii. În ultimii ani, s-au dezvoltat rapid noi … Citeşte mai mult

Nu a fost votat $0,00 Selectează opțiunile
Ghidul autorului de cărţi electronice
Ghidul autorului de cărţi electronice

Ai scris o carte. Foarte frumos. Dar nu ai scris-o pentru a o ţine pentru tine. Trebuie să o publici. Problema e că editurile percep preţuri foarte mari pentru buzunarele unora dintre autori, şi aceasta în mod obiectiv, datorită costurilor … Citeşte mai mult

Nu a fost votat $4,99 Selectează opțiunile

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *