افزايش روز افزون منابع اطلاعاتي در اينترنت و مشكلات فني و غيرفني موتورهاي كاوش باعث شده حجم زيادي از اين اطلاعات از ديد كاربران پنهان بماند و به عنوان وب نامرئي مورد بحث بسياري از متخصصان اطلاع رساني قرار گيرد.  امروزه گرايش بسياري از كتابخانه ها و مراكز اطلاع رساني و محققان به ديجيتالي كردن منابع و قراردادن آن ها در محيط اينترنت مي باشد. بعلاوه، بسياري از اين منابع تك نسخه هستند و چنانچه دسترسي مطلوب به منابع ذخيره شده در اينترنت ممكن نباشد بسياري از ميراث هاي علمي، پژوهشي، فكري و فرهنگي بشر به هيچ وجه مورد استفادة حال و آينده قرار نخواهد گرفت. 

در اين ميان كتابداران و اطلاع رسانان نيز با افزايش آگاهي كاربران از وجود وب نامرئي و شيوه هاي دستيابي و اطلاع يابي كاربران در باب اين اطلاعات، مي توانند نقش مهمي را در كاستن سطح اطلاعات نامرئي بر عهده بگيرند .

دراين مقاله تلاش شده است مفهوم وب پنهان چه از ديد فني و چه از ديد كاربرمدار باز شود، بدین منظور ابتدا تاریخچه ای در مورد پیدایش وب  ( همچنین وب نا مرئی ) آورده شده است، سپس مهمترین ابزار های جستجو در وب شامل فهرست راهنما و موتور های جستجو آورده شده است و توضیحی درباره چگونگی ساز وکار 

موتور های جستجو داده شده است.

بعد از آن مقوله وب نامرئی و اهمیت آن بررسی شده و در مورد تفاوت آن با وب مرئی از جنبه های مختلف نکاتی گفته می شود، سپس انواع وب نامرئی ، ویژگی های محتوایی وب پنهان و شیوه های اطلاع یابی در آن

گفته می شود و در نهایت در مورد وضعیت آن از گذشته تا به امروز و نیز در آینده تحلیلی انجام می شود.

 

آنچه گفته می شود تنها نوک کوه یخی را نشان می‌دهد. پیوندهایی که در این مقاله به آن‌ها اشاره می شود تنها نقطه شروعی است برای دستیابی به منابع موجود در وب نامرئی. 

هرچه زمان می‌گذرد، عمق وب نیز بیشتر و بیشتر می‌شود و بنابراین بهتر است از همین حالا یاد بگیریم که چگونه از آن استفاده کنیم.

 

تاریخچه:

 

افزايش روز افزون منابع اطلاعاتي و نياز شديد افراد در دسترسي به اين اطلاعات در سراسر دنيا از يك سو و در دنياي شگفت انگيز ارتباطات رايانه اي از سوي ديگر، موجب پيدايش شبكة جهاني اينترنت در اواخر دهة ۱۹۶۰ گرديد. ولي تا سال ۱۹۹۰ هيچگونه ابزاري براي كاوش اطلاعات موجود در آن وجود نداشت. در سال ۱۹۹۰ شبكة جهاني وب در« آزمايشگاه فيزيك ذره اي اروپا » واقع در سوئيس توسط « تيم برنرزلي » ابداع شد.

پس از ابداع شبكة جهاني وب، ابزارها و موتورهاي كاوش نيز پا به عرصة ظهور نهادند.

 

در سال ۱۹۹۰ اولين ابزار كاوش توسط  «آلان امتيج» در دانشگاه «مك گيل» با عنوان «آركي» ابداع شد.

« آركي » از طريق نمايه سازي فايل هاي موجود در سايتهاي اف تي پي ( پروتكل انتقال فايل )، امكان جستجو و بازيابي فايل ها در محيط اينترنت را فراهم ساخت.

 

 اما با وجود پيشرفت ها و تحولات در حوز ة ذخيرة اطلاعات در اينترنت كه يكي از امتيازات بارز اين پديدة جديد مي باشد، بايد يادآور شد كه ذخيرة اطلاعات به تنهايي كافي نيست، قطعًا اطلاعات توليدشده زماني ارزش واقعي مي¬يابد كه مورد استفاده قرار گيرد. مشكلات موجود در زمينة جستجو و بازيابي اطلاعات در اينترنت باعث شده كه حجم زيادي از اطلاعات ذخيره شده درآن، قابل دسترس نباشد. (Sherman and price, 1999)  

به موازات گسترش ابزارهاي كاوش، پژوهش  دربارة جنبه هاي مختلف اين موتور نيز شروع شد. بيشترين مباحث مطرح شده، موضوع دامنة كاوش و ميزان سودمندي و كارآيي موتورهاي كاوش بوده، كه در اين خصوص بحث هاي زيادي نيز صورت گرفته، اما از موضوعاتي كه كمتر مورد توجه قرار گرفته موضوع وب نامرئي مي باشد.

 

به رغم آنکه تاکنون مقالات متعدد به زبان انگلیسی درباره وب نامرئی منتشر شده اما به روشنی معلوم نیست که چه کسی برای اولین بار این واژه را ابداع کرده است.

مرور نوشتارها حاكي از آن است كه به نخستين ( وب نامرئي ) احتمال قريب به يقين گویا عبارت  "وب پنهان یا وب نامرئی" درسال ١٩٩٤ توسط « ژيل السورث »  ابداع شده است (برگمن2001,). البته معدودي از منابع نيز شخص ديگري به نام «متيوكل» را به عنوان مبدع اين اصطلاح معرفي مي كنند. (شرمن2003,)

"وب پنهان یا وب نامرئی" اشاره به یک مفهوم چند بعدی و گسترده دارد به شکلی که ارائه تعریفی گویا و کوتاه از آن را کمی دشوار می کند.

با این حال نام“ کریس شرمن و گری ﭘرایس ”به عنوان دو نفر از صاحب نظران اصلی دراین موضوع بیشتر از دیگران به چشم می خورد و تعریفی که آنان در سال 2001 از وب نامرئی ارائه کرده اند در اغلب منابع ذکر شده است. از آنجا كه بين وب نامرئي وموتورهاي كاوش در اينترنت ارتباط تنگاتنگي وجود دارد، لازم است نخست اشار ة مختصري به سازوكار موتورهاي كاوش كنيم.