Home » Articole » RO » Calculatoare » Dezvoltarea web » Robots.txt

Robots.txt

Roboții sunt scripturi automatizate utilizate în mod obișnuit pentru indexarea sau inventarierea conținutului dintr-un site web pentru utilizare în situații precum căutarea pe site-uri web sau colectarea statisticilor. Un fișier pentru roboți este un fișier text de bază păstrat în folderul rădăcină al site-ului dvs. web, care instruiește acești roboți cu privire la ce secțiuni sau tipuri de conținut de pe site-ul dvs. doriți sau nu ca acestea să fie indexate. Roboții legitimi vor citi acest fișier la prima sosire pe site-ul dvs. pentru a vă respecta solicitarea. Rețineți că acesta este un act aplicabil, iar roboții rău intenționați sau mai puțin respectabili sunt în continuare perfect capabili să citească tot conținutul non-privilegiat (adică nu este necesară autentificarea) de pe site-ul dvs.

Cel mai simplu fișier robots.txt implică doar două linii:

User-agent: *
Disallow: /

Primul specifică faptul că regulile de mai jos se aplică tuturor roboților care citesc fișierul. Al doilea adaugă că nimic nu este permis mai jos (adică mai adânc, sau toate fișierele și folderele din) folderul rădăcină (/ reprezintă folderul principal al site-ului). Dacă voiam să fim mai specifici în ce secțiuni dorim să nu intre roboții, îi putem identifica individual în loc de întregul site:

User-agent: *
Disallow: /pictures/reserved/
Disallow: /index.php
Disallow: /media
Disallow: /scripts

Pentru a distinge cazurile în care un anumit robot are un set diferit de permisiuni, putem folosi numele robotului în locul metacaracterului nostru „toate”:

User-agent: BadBot
Allow: /About/robot-policy.html
Disallow: /
User-agent: *
Disallow: /pictures/reserved/
Disallow: /index.php
Disallow: /media
Disallow: /scripts

Setările de mai sus îi spun lui BadBot că îi este permisă vizualizarea fișierului de politici, dar nimic altceva. În continuare spune căile blocate pentru restul roboților care ar putea vizita site-ul.

Sursa: Michael Mendez, The Missing Link – An Introduction to Web Development and Programming (CC BY-NC-SA 3.0 License), Published by Open SUNY Textbooks, Milne Library (IITG PI), State University of New York at Geneseo. Traducere de Nicolae Sfetcu

Articol publicat sub licență CC BY-NC-SA 3.0

Statistica pentru afaceri
Statistica pentru afaceri

Statistica pentru afaceri este un ghid practic elementar de statistică, cu eșantioanele de date și exemplele orientate spre afaceri. Statistica face posibilă analiza problemelor de afaceri din lumea reală cu date reale, astfel încât să puteți determina dacă o strategie … Citeşte mai mult

Nu a fost votat $3,99$8,55 Selectează opțiunile
Rețele de comunicații 5G
Rețele de comunicații 5G

Datorită impactului său așteptat în economie și societate, a cincea generație de telecomunicații mobile (5G) este una dintre cele mai importante inovații ale timpului nostru. Așteptările cresc cu capacitățile de bandă largă ale 5G, accesibile tuturor și peste tot, la … Citeşte mai mult

Nu a fost votat $2,99$6,88 Selectează opțiunile
Ghid pagini Facebook – Campanii de promovare pe Facebook
Ghid pagini Facebook – Campanii de promovare pe Facebook

Paginile Facebook sunt cea mai simplă modalitate de a dezvolta o afacere online. Sunt gratuite, relativ ușor de configurat, și foarte flexibile. Indiferent dacă vrei să vinzi un produs sau un serviciu, sau să promovezi o organizaţie, o idee sau … Citeşte mai mult

Nu a fost votat $3,99 Selectează opțiunile

Lasă un răspuns

Adresa ta de email nu va fi publicată.