خزنده وب (web crawler) چیست؟
رباتهای خزنده محتواها را از اینترنت دانلود و فهرست میکنند. هدف از استفاده از این رباتها این است که بفهمند هر صفحه وب مربوط به چه چیزهایی است تا بتوان در صورت نیاز آن اطلاعات را بازیابی کرد. خزندههای وب با جمعآوری تمامی اطلاعات مرجعی کامل به حساب میآیند و افراد میتوانند به راحتی به اطلاعات دسترسی یابند. رباتهای خزنده (Web crawlers) ویژگیها و کاربردهای زیادی دارند که برخی از آنها به شرح زیر است.جستجوی اطلاعات: رباتهای خزنده به جمع آوری اطلاعات به شکلی منظم میپردازند تا موتورهای...
