تایتل قالب
کافه ای پر از علم،دانش،ایده و خلاقیت


خزنده وب (web crawler) چیست؟ و چه کاربردی دارد

خزنده وب یا کراولر چیست ؟

web crawler ها در واقع بخش اصلی و مرکزی یک موتور جستجو را تشکیل می دهند. در واقع به زبان ساده، یک نرم افزار یا اسکریپت اتوماتیک است که با توجه به الگوریتم مشخص و هدفمندی که برایشان تعریف شده است، در وب سایت های موجود به گردش میپردازند و محتوای آنها را در دیتابیس موتور جستجو ذخیره می کنند. به این فرایند index کردن محتوای وب سایت گفته می شود. 

 

خزنده وب چیست

هر کراولر سایت از الگوریتم و معماری منحصر به فرد و کاملا مخفی تشکیل شده است.

اسامی مختلفی برای خزنده وب در نظر گرفته شده است و معروفترین آنها عبارتند از: Web Spider, Automatic Indexer, Web Robots یا نرم افزار FOAF

همچنین بعضا دیده شده است که یک موتور جستجوی مانند Scooter به خزنده خود نامی منحصر به فرد بنام Alta vista اختصاص داده است.

خزنده وب چگونه کار می کند

اگر بخواهیم نحوه عملکرد یک وب کراولر را توضیح دهیم باید اشاره ای به طبیعت زندگی عنکبوت داشته باشیم. همانطور که می دانید، عنکبوت برای ساخت تور محل زندگی خود، ابتدا تارهای عمودی به عنوان نشانه گذاری به مرکزیت نقطه ای خاص میتاباند و در مرحله بعدی با متصل کردن این تارها در نقاط مشخص تور زیبا و ظریف خود را می سازد.

 

خزنده وب از لینک ها مانند نقاط اتصال تار عنکبوت استفاده می کند

یک خزنده وب هم دقیقا به این صورت عمل می کند. در واقع زمانی که مشغول Index نمودن وب سایتی خاص است، لینک های موجود در سایت به عنوان نقاط اتصال تارهای عنکبوت دیده می شود و هرچه این نقاط بیشتر و قوی تر باشد، Crawler وب بیشتر به وب سایت سر می زند. در واقع م یتوان اینگونه توضیح داد که لینک های موجود در وب سایت، به اصطلاح همان Seo یا feed هستند که کراولر وب به دنبال آنهاست.

اگر تمایل دارید درباره سئو بیشتر بدانید، پیسنهاد می کنیم مقاله SEO چیست را مطالعه بفرمایید.

 

مزایای استفاده از web crawler چیست

استفاده از خزنده های وب این مزیت را دارد که می تواند فرایند خزیدن داده های بصورت دوره ای کنترل نمایید. همچنین فواید دیگری دارد که عبارتند از:

  • این پروسه در پشت زمینه اتفاق می افتد، و بیشتر اوقات بر روی عملکرد وبسایت تاثیر ندارد.
  • هیچ دانشی را از قبل لازم ندارد.
  • بازرسی و ویرایش امکان پذیر است.
علیرضا مرادی باستانی ۰۳ مهر ۹۹ ، ۱۷:۱۷ ۹ ۳ ۱۸۱

ارسال نظر آزاد است، اما اگر قبلا در بیان ثبت نام کرده اید می توانید ابتدا وارد شوید.
شما میتوانید از این تگهای html استفاده کنید:
<b> یا <strong>، <em> یا <i>، <u>، <strike> یا <s>، <sup>، <sub>، <blockquote>، <code>، <pre>، <hr>، <br>، <p>، <a href="" title="">، <span style="">، <div align="">

نظرات (۹)

  • سعید حیاتی
    شنبه ۵ مهر ۹۹ , ۲۱:۴۸

    مرسی . فقط کاش یکم سطح بالا تر هم توضیح میدادید . این رو از قبل میدونستم .

    موفق باشی

    • author avatar
      علیرضا مرادی باستانی
      ۵ مهر ۹۹، ۲۲:۰۷
      بله خب برای کاربر های معمولی بود ولی سعی میکنم برای کاربرهایی مثل شما که خودتون برنامه نویس هستید هم مطالب سطح بالاتر هم بزارم.
      +
      متشکر از شما🌸🌸
  • Mhds 82
    شنبه ۵ مهر ۹۹ , ۱۰:۵۸

    این همه وقت تو همون thepower بودی! 😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐😐

    من تازه فهمیدم😐😐😐😐

  • wow
    پنجشنبه ۳ مهر ۹۹ , ۱۷:۲۷

    اینکه دوباره باید وارد اکانتمون شیم برا سایتت خوب نیس ادم حوصلش نمیشه :////

    یکاریش بکن

  • wow
    پنجشنبه ۳ مهر ۹۹ , ۱۷:۲۶

    دقییییقا امروز تو وبم دیدمش و برام سوال شد ک این چیه؟

    ذهن ب ذهن راه داره 😂

  • PARK 🌙MOON
    پنجشنبه ۳ مهر ۹۹ , ۱۷:۲۳

    علیرضا؟

    من میخام نظر بدم یا لایک کنم حتمن باید وارد اکانتم بشم دوباره

    ولی تو وبای دیگه اینجوری نیس

    چرا؟... 😐 😂

  • DRSVHOST 32
    پنجشنبه ۳ مهر ۹۹ , ۱۷:۲۰

    خدایاااااااااااااااا

    شما ها فک میکنین خزنده ها مث مورچه ان خخخخخخخخخ