در این بخش به فصل نهم از کتاب HTTP The Definitive Guide با عنوان Web Robots می پردازیم.
ما تور خود را در معماری HTTP با نگاهی دقیق به Self-Animating User Agents (عوامل کاربر خود متحرک) به نام Web Robots ادامه می‌دهیم.
Web Robotها برنامه‌های نرم افزاری هستند که مجموعه‌ای از تراکنش‌های وب را بدون تعامل انسانی خودکار می‌کنند. بسیاری از ربات‌ها از وب‌سایتی به وب‌سایت دیگر سرگردان هستند، محتوا را واکشی می‌کنند، لینک‌ها را دنبال می‌کنند و داده‌هایی را که پیدا می‌کنند پردازش می‌نمایند. به این نوع ربات‌ها نام‌های رنگارنگی مانند «crawlers»، «spiders»، «worms» و «bots» داده می‌شود، زیرا به‌طور خودکار وب‌سایت‌ها را کاوش می‌کنند.
در اینجا چند نمونه از ربات‌های وب آورده شده است:
ربات‌های Stock-graphing، HTTP GETها را هر چند دقیقه به سرورهای بازار سهام صادر می‌کنند و از داده‌ها برای ساخت نمودارهای روند قیمت سهام استفاده می‌کنند.
ربات‌های Web-census، اطلاعات «سرشماری» را در مورد مقیاس و تکامل شبکه جهانی وب جمع‌آوری می‌کنند. آن‌ها در وب پرسه می‌زنند و تعداد صفحات را می‌شمارند و اندازه، زبان و نوع رسانه هر صفحه را ثبت می‌کنند.
ربات‌های Search-engine، تمام اسنادی را که پیدا می‌کنند جمع آوری می‌کنند تا پایگاه داده‌های جستجو را ایجاد کنند.
ربات‌های Comparison-shopping صفحات وب را از کاتالوگ فروشگاه‌های آنلاین جمع‌آوری می‌کنند تا پایگاه داده‌ای از محصولات و قیمت‌های آن‌ها بسازند.
ادامه مطالب این بخش را می توانید از لینک زیر به صورت PDF دانلود نمایید:
