Robots.txt Generator

Hvordan bruger man ETTVI's Robots.txt Generator?

ETTVI's Robots.txt Generator gør det muligt for brugerne at generere en standard Robots.txt-fil med "All Allow" eller "All Disallow" crawlinstruktioner samt oprette en brugerdefineret Robots.txt-fil med yderligere funktionaliteter.

Generer en Standard Robots.txt-fil

Følg disse trin for at generere en standard Robots.txt-fil med standardindstillinger:

TRIN 1 - Indstil robotters metadirektiver

Du kan indstille tillad/disallow-direktiver for "alle søgemaskinerobotter" for at generere en standard robots.txt-fil. Vælg "Allow" eller "Disallow" for at anvende standardindstillingerne:

TRIN 2 - Indtast sitemapadresse

Indtast linket til dit websteds sitemap, eller lad det stå tomt, hvis du ikke har nogen.

Du kan indtaste mere end én kategorispecifikke sitemaps for dine webstedssider, indlæg, kategorier og tags.

TRIN 3 - Hent Robots.txt-kode

Ligesom du indtaster de nødvendige oplysninger, genererer og viser ETTVI's Robots.txt Generator automatisk Robots.txt-koden.

Du kan downloade eller kopiere koden for at indsende Robots.txt-filen til dit websteds rodmappe.

Generer tilpasset Robots.txt-fil

Følg disse trin for at generere en standard Robots.txt-fil med standardindstillinger:

Indtast URL'er:

TRIN 2 - Vælg User Agent

Du kan indstille metarobot-direktiver for enhver af følgende brugeragenter:

• Google
• Google billede
• Google Mobil
• MSN-søgning
• Yahoo
• Yahoo MM
• Yahoo Blogs
• Baidu
• MSN PicSearch

Du kan vælge forskellige brugeragenter til forskellige URL'er.

TRIN 3 - Tillad/ikke tillad søgemaskinerobotter

Vælg "Allow or Disallow" for at indstille robotternes meta-direktiver for de givne URL'er.

Du kan indstille "Allow" eller "Disallow"-direktivet separat for hver URL.

Forstå Robots.txt?

DetRobots.txt-filer en tekstfil, der indeholder information om, hvordan en crawler skal crawle et websted. Derudover kan du angive, hvilke områder du ikke vil give crawlerne adgang til, for eksempel områder med duplikeret indhold eller dem under opbygning. Der er nogle bots, der ikke følger denne standard, herunder malware-detektorer og e-mail-høstere. Som et resultat vil de søge efter svage punkter i dit sikkerhedssystem. Hvis du ikke ønsker at få visse områder indekseret, er der en rimelig chance for, at de begynder at gennemgå din hjemmeside fra disse områder.

Der er typisk to Robots.txt-filer: den ene giver "User-agent" og den anden indeholder direktiver, som er 'Allow', 'Disallow', 'Crawl-Delay' osv. Manuel skrivning af en fil med kommandolinjer kan tage ret meget. lang tid, og filen kan indeholde flere kommandolinjer på én gang. Du skal skrive "Disallow: det link, du ikke ønsker at have bots på besøg" på den følgende side. Den samme metode gælder for kommandoen "allowing".

Hvorfor er Robots.txt vigtigt?

Robots.txt-filer er ikke påkrævet af de fleste websteder. Som et resultat er Google ofte i stand til at finde alle de vigtige sider på din hjemmeside og indeksere dem uden problemer. Og de vil ikke indeksere sider, der ikke er vigtige, eller dubletter af sider, der allerede er indekseret.

Der er dog tre hovedårsager til at bruge en robots.txt-fil.

Tillad ikke, at ikke-offentlige sider bliver vist. Nogle gange vil du ikke have visse sider indekseret på dit websted. Du kan for eksempel have iscenesættelsesversioner af bestemte sider eller en login-side. Det er bydende nødvendigt, at disse sider eksisterer, og andom-brugere bør ikke henvises til dem. Så robots.txt skal bruges til at blokere crawlere og bots fra at få adgang til disse sider.

Få mest muligt ud af dit crawl-budget. Der kan være et crawl-budgetproblem, hvis du har problemer med at få dine sider indekseret. Når du bruger robots.txt til at blokere uvigtige sider, vil Googlebot bruge mere tid på de websider, der faktisk er vigtige.

Ressourcer bør ikke indekseres. Du kan bruge meta-direktiver til at forhindre en side i at blive indekseret lige så effektivt som at bruge en Robot.txt-fil. Meta-direktiver fungerer dog ikke godt med multimedieressourcer såsom PDF'er og billeder. I dette tilfælde ville robots.txt være nyttig.

Når søgemaskinerobotter undersøger filer, leder de først efter robots.txt-filen, og hvis denne fil ikke findes, er der en betydelig chance for, at alle dit websteds sider ikke bliver indekseret. Når du tilføjer flere sider, kan du ændre Robot.txt-filen med nogle få instruktioner ved at føje hovedsiden til listen over forbud. Undgå dog at tilføje hovedsiden til listen over forbud mod tilladelse i begyndelsen af ​​filen.

Der er et budget til at crawle Googles hjemmeside; dette budget er bestemt af en crawl-grænse. Som regel vil crawlere bruge en vis tid på en hjemmeside, før de går videre til den næste, men hvis Google opdager, at crawling af dit websted forstyrrer dine brugere, vil det crawle dit websted langsommere. På grund af Googles langsommere spidering af dit websted, vil det kun indeksere nogle få sider af dit websted ad gangen, så dit seneste opslag vil tage tid at indeksere fuldt ud. Det er nødvendigt, at dit websted har et sitemap og en robots.txt-fil for at løse dette problem. Crawlingsprocessen vil blive gjort hurtigere ved at dirigere dem til links på dit websted, som kræver særlig opmærksomhed for at fremskynde crawlprocessen.

Ud over at have en crawl-hastighed for et websted, har hver bot sit eget unikke crawl-citat. Derfor skal du bruge en robotfil til din WordPress hjemmeside. Det skyldes, at den består af rigtig mange sider, der ikke er nødvendige for indeksering. Desuden, hvis du vælger ikke at inkludere en robots.txt-fil, vil crawlere stadig indeksere din hjemmeside, men medmindre det er en meget stor blog og indeholder mange sider, er det ikke nødvendigt.

Formålet med direktiver i en Robot.txt-fil:

Når du opretter den manuelle fil, er det bydende nødvendigt, at du er klar over, hvordan filen skal formateres. Derudover, efter at have lært, hvordan det virker, kan du ændre det.

Crawl-tidsforsinkelse: Ved at indstille dette direktiv vil crawlere ikke overbelaste serveren, da for mange anmodninger vil gøre serveren overbebyrdet, hvilket ikke resulterer i en optimal brugeroplevelse. Forskellige søgemaskinebots reagerer forskelligt på Crawl-Delay-direktivet. For eksempel reagerer Bing, Google og Yandex alle forskelligt.

Tilladelse: Ved at bruge dette direktiv tillader vi, at følgende URL'er indekseres. Uanset antallet af URL'er, du kan tilføje til din liste, har du muligvis en masse URL'er at tilføje, hvis du kører et e-handelswebsted. Hvis du beslutter dig for at bruge robotfilen, skal du kun bruge den til de sider, som du ikke ønsker at blive indekseret.

Disallowing: Blandt de vigtigste funktioner i en Robots-fil er at forhindre crawlere i at få adgang til links, mapper osv. i den. Men andre bots kan få adgang til disse mapper, hvilket betyder, at de skal tjekke for malware, fordi de ikke er kompatible.

Forskellen mellem et sitemap og en Robot.txt-fil

Et sitemap indeholder værdifuld information til søgemaskiner og er afgørende for alle hjemmesider. Sitemaps informerer bots, når din hjemmeside er opdateret, samt hvilken type indhold din hjemmeside tilbyder. Formålet med siden er at informere søgemaskinen om alle de sider, dit websted indeholder, som skal crawles, mens formålet med robots.txt-filen er at underrette crawleren. Crawlere får at vide, hvilke sider de skal crawle, og hvilke de skal undgå at bruge Robot.txt. For at dit websted skal indekseres, skal du bruge et sitemap, mens robot.txt ikke er påkrævet.