SEO & Google AdWords
Ring på: 22 14 57 38

En søgemaskine spider kan ikke finde alt

I går skrev jeg om de “spiders” eller “bots”, som søgemaskinerne bruger til at gennemsøge nettet for dokumenter. Når spideren søger, anvender den hyperlinks til at navigere rundt og finder på den måde nye dokumenter og opdaterer dem, der er blevet ændret. Men spideren har nogle begrænsninger og kan ikke finde alle dokumenter, hvis man gør livet surt for dem. Her er nogle af de ting, man skal undgå:

Mulige vanskeligheder for søgemaskine spidere:

• URLs med 2 eller flere dynamiske parametre f.eks.
http://www.link.dk/side.php?id=7&CK=45ww&User=%Tom%
• Sider med mere end 100 unikke links til andre sider på siten (spideren følger måske ikke dem alle sammen)
• Sider begravet mere end 3 klik fra forsiden af websiten (med mindre der er eksterne links, der peger på siden, vil spidere ofte ignorere dybe sider)
• Sider der kræver en “Session ID” eller cookie for at navigere
• Sider der anvender de såkaldte “frames” kan forhindre spideren i at ranke siden med det relevante indhold.

Mulige forhindringer for søgemaskine spidere:

• Sider hvorfra der kun er adgang via en formular
• Sider hvorfra der kun er adgang via en “drop down menu”
• Dokumenter hvorfra der kun er adgang via en søgeboks
• Dokumenter der er blokeret med vilje via “robots meta tag” eller robots.txt fil.
• Sider der kræver login
• Sider der laver en såkaldt re-direct, før de viser indhold

Det vigtigste for at en spider kan gennemkravle din website er, at du laver direkte links til enhver side, du ønsker, søgemaskinerne skal indeksere. Såfremt en side ikke kan nås direkte fra forsiden, hvor de fleste spidere starter deres arbejde, er der en risiko for, at denne ikke vil blive indekseret af søgemaskinerne. Et såkaldt sitemap kan dog hjælpe søgemaskinerne på vej. Mere om det i et senere indlæg.

Skriv et svar