Neviditeľný web sa definuje ako textové stránky, súbory alebo ďalšie informácie prístupné prostredníctvom WWW, ktoré prieskumové stroje nedokážu alebo nechcú zahrnúť do svojho indexu.

Dôvody vedúce k vytváraniu neviditeľného webu:

1. prieskumové stroje nedokážu indexovať dynamicky sa meniace stránky
2. prístup na niektoré stránky je chránený heslom
3. niektoré prieskumové stroje neindexujú rámce, obrázkové mapy a pod.
4. veľa prieskumových strojov má obmedzenie na počet indexovaných stránok z určitej domény
5. väčšina prieskumových strojov preferuje indexovanie populárnych stránok
6. v koreňovom adresári domény sa nachádza súbor robots.txt ktorý definuje, ktoré stránky nemá robot indexovať
7. v samotnej stránke sa v údajoch popisujúcich stránku (metaúdaje) vyskytuje informácia o neindexovaní stránky (<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">)

Typológia neviditeľného webu

Nepriehľadný web

• obsahuje súbory, ktoré môžu byť, ale z určitých príčin nie sú indexované robotmi
• roboty ich z finančných dôvodov neindexujú

Súkromný web

• sa skladá zo stránok, ktoré by robot dokázal zindexovať, ale správca stránky mu to neumožňuje

Špeciálny alebo vlastnícky web

• ide o časť webu, ku ktorej sa dostaneme iba po splnení určitých podmienok (vyplnenie registračného formulára,..)

Skutočne neviditeľný web

• pozostáva z informácií, ktoré roboty nedokážu zindexovať, pretože nie sú na ne naprogramované
• väčšinou sú to PDF formáty, spúšťateľné programy, flash, komprimované súbory a pod.

Zdroj

• Tkačíková, Daniela. neviditelný web. In: KTD: Česká terminologická databáze knihovnictví a informační vědy (TDKIV) . Praha : Národní knihovna ČR, 2003- . Dostupné z: .