Internet Archive

w dziale Po godzinach
Medium napisał(a):

Poklikałam sobie na kilka linków w starych mailach i... pusto.
Niektóre daje się odnaleźć w archiwum internetu, ale w tym przypadku mamy przeszkodę.

Czy da się obejść tę regułkę?

# This file was generated on Sun, 12 Aug 2012 07:17:19 +0000
User-agent: *
Disallow: /



volumepl napisał(a):

Originally posted by Medium:

Czy da się obejść tę regułkę?


Nie da się. W kodzie strony umieszczono plik robots.txt, którego parametry uniemożliwiają indeksowanie stron przez wyszukiwarki. Zresztą możesz o tym poczytać tu: http://pl.wikipedia.org/wiki/Robots_Exclusion_Protocol#Przyk.C5.82ady

Medium napisał(a):

Dzięki! Sprawdziłam z innej strony i doszłam, że blog nadal działa, tylko został zamknięty przez właściciela.