Važnost fajla robots.txt

Iako je fajl robots.txt veoma važan ukoliko želite da vaš sajt bude dobro pozicioniran na pretraživačima, mnogi web sajtovi nemaju ovaj fajl.

Ako na vašem sajtu ne postoji fajl robots.txt, ovaj članak će vam pokazati kako da ga kreirate. Ako imate fajl robots.txt, pročitajte nekoliko saveta kako bi izbegli eventualne greške koje ovaj fajl može da sadrži.

Osnovne stvari o fajlu robots.txt?

Kada crawler web pretraživača poseti vaš sajt, on prvo traži jedan poseban fajl. Taj fajl nosi naziv robots.txt a njegova je namena da spajderu web pretraživača kaže koje strane vašeg sajta treba da budu indeksirane a koje treba da ignoriše.

Fajl robots.txt je obični tekstualni fajl (ne HTML), koji se smešta u root direktorijuma sajta, na primer:

http://www.moj-website.com/robots.txt
Kako se kreira fajl robots.txt?

Kao što je prethodno pomenuto, fajl robots.txt je obični tekstualni fajl. Za njegovo kreiranje možete koristiti bilo koji tekst editor. Sadržaj robots.txt fajla čine tzv. zapisi (records).

Zapis sadrži informacije bitne za pretraživače. Svaki zapis čine dva polja: jedna User agent linija i jedna ili više Disallow linija. Evo i primera:

User-agent: googlebot
Disallow: /cgi-bin/

Fajl robots.txt će omogućitii pristup “googlebot-u”, Google-ovom spajderu, da indeksira sve stranice sajta osim fajlova u okviru “cgi-bin” direktorijuma. Svi fajlovi iz direktorijuma “cgi-bin” biće ignorisani od strane googlebot-a.

Ako ostavite Disallow liniju praznu, pretraživač će indeksirati sve web stranice. U svakom slučaju, morate uneti Disallow liniju za svaki zapis User agent linije.

Ako spajderima svih pretraživača želite da dodelite ista prava, sadržaj fajla robots.txt treba da izgleda ovako:

User-agent: *
Disallow: /cgi-bin/
Kako da saznate nazive user agent-a?

Nazive user agent-a ćete naći proverom log fajla po fajlu robots.txt. Najčešće, spajderima svih pretraživača treba dodeliti ista prava. U tom slučaju koristite “User-agent: *” kao što je predhodno navedeno.
Šta treba izbegavati?

Ako pravilno ne formatirate vaš robots.txt fajl, pojedini ili svi fajlovi vašeg sajta neće biti indeksirani od strane pretraživača. Da bo ovo sprečili, uradite sledeće:

1.Ne koristite komentare u robots.txt fajlu

Iako su komentari dozvoljeni u okviru robots.txt fajlova, oni ipak mogu zbuniti spajdere nekih pretraživača.

“Disallow: support # Don’t index the support directory” može biti interpretirano kao “Disallow: support#Don’t index the support directory”.

2. Ne stavljajte praznine na početak linija. Na primer, ne:

       User-agent: *
     Disallow: /support

nego

User-agent: *
Disallow: /support

3. Ne menjajte raspored komandi. Nemojte pisati:

Disallow: /support
User-agent: *

već

User-agent: *
Disallow: /support

4. Ne stavljajte više od jednog direktorijuma u jednoj Disallow liniji. Na primer:

User-agent: *
Disallow: /support /cgi-bin/ /images/

Spajderi pretraživača ne razumeju ovaj format. Prava sintaksa izgleda ovako:

User-agent: *
Disallow: /support
Disallow: /cgi-bin/
Disallow: /images/

5. Koristite odgovarajuću veličinu slova. Imena fajlova na vašem serveru su case senzitivna. Ako je ime vašeg direktorijuma “Support”, ne pišite “support” u robots.txt fajlu.

6. Ne nabrajajte sve fajlove. Ukoliko želite da spajderi pretraživača ignorišu sve fajlove određenog direktorijuma, ne morate nabrajati sve fajlove. For example:

User-agent: *
Disallow: /support/orders.html
Disallow: /support/technical.html
Disallow: /support/helpdesk.html
Disallow: /support/index.html

Umesto toga, dovoljno je samo:

User-agent: *
Disallow: /support

7. Ne postoji “Allow” komanda


Ne koristite “Allow” komandu u vašem robots.txt fajlu. Samo navedite fajlove i direktorijume koji ne trebaju biti indeksirani. Svi ostali fajlovi će automatski biti indeksirani.
Fajl robots.txt - saveti i trikovi:

1. Kako da dopustite spajderima pretraživača da indeksiraju sve fajlove

Svi fajlovi vašeg web sajta će biti indeksiranu ukoliko vaš robors.txt fajl sadrži samo sledeće dve linije:

User-agent: *
Disallow:

2. Kako blokirati indeksiranje svih fajlova od strane spajdera

Ukoliko ne želite da spajderi indeksiraju fajlove vašeg sajta, upišite sledeće dve linije:

User-agent: *
Disallow: /

3. Kako naći složenije primere robots.txt fajlova

Ukoliko želite da vidite malo složenije primere, pogledajte robots.txt fajlove velikih web sajtova.

Vaši sajtovi treba da imaju odgovarajuće robots.txt fajlove ukoliko želite da imate dobre pozicije na pretraživačima. Pretraživači mogu visoko rangirati vaš sajt, jedino kada znaju šta treba da rade sa fajlovima vašeg sajta.

Izvor: Глобално село

dobar clanak 

Znam da nije 6 meseci nista pisano, ali jel mozete postaviti obican primer nekog "robots.txt"hvala unapred

http://www.google.com/robots.txt
http://www.nba.com/robots.txt
http://www.ebay.com/robots.txt
etc

Ali na google stoji ovako

User-agent: *
Allow: /searchhistory/
Disallow: /news?output=xhtml&
Allow: /news?output=xhtml
Disallow: /search

A na eBay

User-agent: *
Disallow: /help/confidence/
Disallow: /help/policies/
Disallow: /disney/

U cemu je fora

U tome da Google ne postuje pravila..

Reci druga Fajtera vode, bodre i podsticu na nova radna pregnuca 

Prvo nije nigde napisano da li i kako moze da se uradi disallow na svim fajlovima osim na jedan tj. da li moze da se uradi:

Disallow: orders.html

,a svi ostali fajlovi da ostanu allow?


Mozete li mi tacno objasniti sta se tacno podrazumeva pod pojmom "indexirati"?

Da li bot otvrara fajlove, u smislu kao html ili ih fizicki cita (sta mi je malo neverovatno), koji su mu dozvoljeni? Sta tacno cita iz njega, text, meta tagove ili sta vec?

Hvala!

Primer koji si naveo je potpuno suprotan.
Svi fajlovi su allowed samo je orders disallowed.
Ako hoces da zabranis sve fajlove sem jednog, izlistaj fajlove koje bi trebalo zabraniti i dodaj ih pod disallow u robots.
Allow preskoci...
Botovi kupe sve... kupe html.. oni ne vide slike i sl, dakle ne trose bandwith, ali kupe linkove i na osnovu njih generisu baze slika poput google images.
Kako bot otprilike vidi neku stranicu, pogledaj ovde: http://www.xml-sitemaps.com/se-bot-simulator.html
Ali znaci imaj u vidu.. on to tako "vidi" ali kupi sve

Pa na to sam i mislio, da uradis disallow na nekim fajlovim, a svi ostal allow (na allow mislim kao rec, ne kao f-ja za robots)

Botovi kupe sve... kupe html.. oni ne vide slike i sl, dakle ne trose bandwith, ali kupe linkove i na osnovu njih generisu baze slika poput google images.
Kako bot otprilike vidi neku stranicu, pogledaj ovde: http://www.xml-sitemaps.com/se-bot-simulator.html
Ali znaci imaj u vidu.. on to tako "vidi" ali kupi sve
A za ovo te pitam, jer npr. imam index php, a u njemu samo jednu if petlju, koja poziva, include-uje neki drugi php. E sada ako je odradim disallow na taj drugi php, da li ce on njega procitati njega? U tom slucaju nece pokupiti nista od mog texta?

E da jos jedna stvar, imas sajt u frame-ovima i da kazemo da je sve tj. nista nije na disallow, sada da li ce bot da generise linkove kao cele stranice sa frame-ovima, ili samo na stranicu koja jeste frame? Cisto da budem siguran, jer koliko sam shvatio kako bot radi, on ce samo procitati link, ali nece znati da li on treba da se otvori u frame-u ili kao cela strana?

Imam jos par sitnica, ali za sada samo ovo.
BTW Hvala!

PS. Nesto sam zeznuo kod ovo quote, nece da mi izmeni kako treba!