Dodawanie strony WWW do indeksu wyszukiwarki

Istniej kilka sposobów na poinformowanie robotów o nowej stronie. Możemy adres strony dodać do wyszukiwarki wypełniając specjalny formularz na stronie danej wyszukiwarki – w przypadku wyszukiwarki Google jest to strona www.google.pl/addurl. Ten sposób nie jest specjalnie efektywny. Rejestracja strony trwa kilka minut, ale roboty mogą zacząć indeksować stronę z dużym opóźnieniem sięgającym nawet paru tygodni od momentu rejestracji.

Dużo lepszym sposobem jest spowodowanie, żeby robot wyszukiwarki trafił na nową stronę z linku innej strony lub z katalogu stron. Najlepiej, jeśli strona, z której robot trafił do naszej strony jest popularna i często odwiedzana. Należy, więc zadbać o zamieszczenie linku do naszej strony na innej już działającej stronie WWW. Większość wyszukiwarek prowadzi własne katalogi tematyczne stron i warto zadbać o zamieszczenie strony w takim katalogu.

Aby roboty mogły poprawnie odczytać zamieszczony link należy zapoznać się ze sposobem czytania linków przez roboty. Najprościej jest im odczytywać statyczny tekst, więc najlepiej jak link jest w postaci tagu <a href…/>. Dużo gorzej roboty radzą sobie z linkami w skryptach Java, mogą mieć też problemy ze stronami dynamicznymi (w adresie ze zmiennymi po znaku zapytania). W pierwszym przypadku mogą go przeoczyć zaś w drugim, jeśli adres jest zbyt długi mogą go zignorować.

Żeby sprawdzić czy i w jaki sposób zostały zaindeksowane strony naszego serwisu należy wpisać polecenie SITE:adres_domeny w pole zapytań wyszukiwarki. Prawidłowo zaindeksowana witryna WWW to sytuacja, kiedy większość (>80%) podstron jest widocznych w wyszukiwarce. Niektóre wyszukiwarki dostarczają specjalnych narzędzi do sprawdzania czy dana strona jest aktualnie indeksowana przez wyszukiwarkę. Przykładem takiego narzędzia dostarczanym przez firmę Google jest strona Narzędzia Google dla webmasterów.