Indexarea
Cele mai importante motoare de căutare, cum ar fi Google, Bing şi Yahoo!, folosesc crawler pentru a găsi pagini pentru rezultatele lor de căutare pe bază de algoritmi. Paginile care sunt legate de alte pagini indexate ale motoarelor de căutare nu trebuie să fie prezentate, deoarece acestea sunt găsite în mod automat. Unele motoare de căutare operează un serviciu plătit care să garanteze indexarea, fie pentru o anumita taxa sau pe bază de cost per clic. Astfel de programe garantează, de obicei, includerea în baza de date, dar nu garantează poziţii specifice în rezultatele de căutare. Două directoare majore, Yahoo si Open Directory Project ambele necesită prezentarea manuală şi revizuire editorială umană. Google oferă Google Webmaster Tools, pentru care poate fi creată o hartă XML şi prezentată gratuit pentru a se asigura că toate paginile sunt găsite, mai ales pagini care nu sunt descoperite în mod automat.
Crawlerele motoarelor de căutare se pot uita la o serie de diferiţi factori atunci când indexează un sit. Nu toate paginile sunt indexate de motoarele de căutare. Profunzimea paginii faţă de directorul rădăcină al unui sit poate fi, de asemenea, un factor în indexarea paginilor.
Prevenirea indexării
Pentru a evita indexare nedorită a conţinutului în motoarele de căutare, webmasterii pot instrui crawlerele să nu indexeze anumite fişiere sau directoare, prin intermediul fişierului robots.txt standard, în directorul rădăcină al domeniului. În plus, o pagină poate fi exclusă în mod explicit din baza de date a unui motor de căutare folosind un tag meta specific pentru roboţi. Atunci când un motor de căutare vizitează un sit, robots.txt, localizat în directorul rădăcină, este primul fişier indexat. Fişierul robots.txt este apoi analizat, şi robotul este instruit ca pagini nu trebuie să fie indexate. Întrucât un crawler al motoarelor de căutare poate păstra o copie în cache a acestui fişier, se poate ocazional accesa paginile pe care un webmaster nu doreşte să fie indexate. Paginile care de obicei împiedică crawlerele să le indexeze sunt anumite pagini de autentificare, listele de cumpărături, şi conţinutul specific precum rezultatele de căutare din căutările interne. În martie 2007, Google a avertizat webmasterii că aceştia ar trebui să împiedice indexarea de rezultate ale căutărilor interne, deoarece aceste pagini sunt considerate spam pentru otoarele de căutare.
Creşterea vizibilităţii
Se pot folosi o multitudine de metode pentru a creşte vizibilitatea unei pagini web în rezultatele de căutare. Linkurile încrucişate între pagini ale aceluiaşi sit web, pentru a oferi mai multe linkuri către cele mai importante pagini, pot îmbunătăţi vizibilitatea. Un conţinut care include frecvent cuvinte cheie căutate, astfel încât să fie relevante pentru o mare varietate de interogări de căutare, vor avea tendinţa de a creşte traficul. Actualizarea conţinutului astfel încât să facă motoarele de căutare să revină mai des poate da greutate suplimentară unui sit. Adăugarea de cuvinte cheie relevante pentru meta-date la o pagină web, inclusiv titlul şi descrierea meta, vor avea tendinţa de a îmbunătăţi relevanţa în listări de căutare a sitului, sporind astfel traficul. Normaşizarea URL-urilor paginilor web accesibile prin mai multe URL-uri, folosind elementul de legătură canonică sau prin redirecţionări 301, poate ajuta la creşterea popularităţii paginii.
Traducere şi adaptare din Wikipedia sub licenţă gratuită GNU.
Lasă un răspuns