Файлът robots.txt, съхраняван в корена на уебсайта Ви, ще съобщи на уеб роботите като паяци на търсещите машини кои директории и файлове им е позволено да обхождат. Лесно е да използвате файл robots.txt, но има някои неща, които трябва да запомните:
- Червените уеб роботи ще игнорират файла ви robots.txt. Най-често срещаните видове са ботове за зловреден софтуер и роботи, които търсят имейл адреси за прибиране на реколтата.
- Някои нови програмисти ще напишат роботи, които игнорират файла robots.txt. Това обикновено се прави по погрешка.
- Всеки може да види файла ви robots.txt. Те винаги се наричат robots.txt и винаги се съхраняват в основата на уебсайта.
- Накрая, ако някой се свърже с файл или директория, която е изключена от файла ви robots.txt от страница, която не е изключена от техния файл robots.txt, търсачките може да го намерят така или иначе.
Не използвайте файловете на robots.txt, за да скриете нещо важно. Вместо това трябва да поставите важна информация зад сигурни пароли или да я оставите изцяло в мрежата.
Как да използвате тези примерни файлове
Копирайте текста от примера, който е най-близо до това, което искате да направите, и го поставете във файла robots.txt. Променете имената на роботите, директорията и файловете, за да съответства на предпочитаната от вас конфигурация.
Два основни файла Robots.txt
Потребителски агент: *Забрана: / Този файл казва, че всеки робот ( Потребителски агент: *), който има достъп до него, трябва да пренебрегва всяка страница на сайта ( Забрана: /). Потребителски агент: *Забрани: Този файл казва, че всеки робот ( Потребителски агент: *), които имат достъп, е разрешено да преглежда всяка страница в сайта ( Забрани:). Можете също така да направите това, като оставите файла robots.txt празен или нямате такъв на сайта си изобщо. Потребителски агент: *Забранете: / cgi-bin /Забрана: / temp / Този файл казва, че всеки робот ( Потребителски агент: *), който има достъп до него, трябва да пренебрегва директорите / cgi-bin / и / temp / ( Забрана: / cgi-bin / Disallow: / temp /). Потребителски агент: *Забранете: /jenns-stuff.htmЗабрана: /private.php Този файл казва, че всеки робот ( Потребителски агент: *), който има достъп до него, трябва да пренебрегва файловете /jenns-stuff.htm и /private.php ( Забрана: /jenns-stuff.htm Забрана: /private.php). Потребителски агент: Lycos / x.xЗабрана: / Този файл казва, че ботът Lycos ( Потребителски агент: Lycos / x.x) няма достъп до никъде в сайта ( Потребителски агент: *Забрана: /Потребителски агент: GooglebotЗабрани: Този файл първо забранява всички роботи, както направихме по-горе, след което изрично позволява на Googlebot ( Потребителски агент: Googlebot) имат достъп до всичко ( Въпреки че е по-добре да използвате много включителна линия на потребителски агент, като User-agent: *, можете да сте толкова конкретни, колкото искате. Не забравяйте, че роботите четат файла в ред. Така че ако първите редове казват, че всички роботи са блокирани от всичко и след това във файла се казва, че всички роботи имат достъп до всичко, роботите ще имат достъп до всичко. Ако не сте сигурни дали сте написали правилно файла robots.txt, можете да използвате инструментите за уеб администратори на Google, за да проверите файла robots.txt или да напишете нов. Защитете конкретни директории от роботи
Защитете специфични страници от роботи
Предотвратете достъпа на конкретен робот до вашия сайт
Позволете само един конкретен достъп за роботи
Комбинирайте няколко линии, за да получите точно изключенията, които искате
