آزمایشگاه تخصصی آپا دانشگاه فردوسی مشهد::FUM CERT Lab. (Computer Emergency Response Team)

خزندگان وب (قسمت اول)

عنوانخزندگان وب (قسمت اول)
گروه اصلیWeb Technologies
خلاصه مطلبدر این مقاله خزندگان وب معرفی می‌شوند. هر خزنده‌ی وب یک برنامه‌ی کامپیوتری است که وب را به طور مرتب و سلسله مراتبی بازدید کرده و اطلاعات آن را مورد پردازش قرار می‌دهد. اطلاعات و داده‌‏هایی که خزنده‌ی وب جمع‏‌آوری می‏‌کند، با توجه به هدف و منظوری است که آن خزنده را طراحی کرده‏‌اند. کاربردهای متعددی برای خزندگان وب ‏وجود دارد. یکی از کاربردهای مهم، موتورهای جست‏‌وجو هستند. در واقع، خزنده‌ی وب مؤلفه‌ی اصلی یک موتور جست‏‌وجو محسوب می‏‌شود و وظیفه‌ی جمع‌آوری صفحات وب را بر عهده دارد. واضح است که هر چه یک خزنده با سرعت و عمق بیشتری در میان صفحات وب بخزد، اطلاعات مفیدتری جمع‏‌آوری می‏‌گردد. علاوه بر این، حجم بالای صفحات وب و پویایی و تغییرات مداوم آن‏ها، خزیدن را فرآیندی چالشی ساخته است. بنابراین، نیاز به سیاست‏‌ها و استراتژی‏‌هایی به منظور افزایش کارایی و کاهش زمان خزیدن است. در این مقاله، ابتدا ساختار، عملکرد و کاربردهای خزندگان وب و سپس، سیاست‏‌ها، استراتژی‏‌ها و برخی محدودیت‏‌های خزیدن بیان می‌گردد. در پایان، برخی خزندگان متن باز معرفی می‌شوند.
کلمات کلیدیخزنده‌ی وب، عنکبوت وب، روش‏ خزیدن، انتخاب هسته، ربات، robots.txt.
ارسال کنندهسیده مهسا هاشمی مجد، منیره توکلی، مرضیه اسماعیلی - مرکز آپا دانشگاه فردوسی مشهد
تاریخ ارسال1392-11-20
دریافت فایل

اخبار مربوطه

خبری پيدا نشد
صفحه اصلی | تماس با ما | معرفی آزمایشگاه | ورود
©2017 Ferdowsi University Of Mashhad
مرکز آپا | آپا | آپا چیست