با رشد انفجاری حجم داده‌ها در فضای وب، نظر پژوهشگران حوزه علوم داده (Data Science) به این داده‌ها جلب شده است، اما چگونه می‌توان به این داده‌ها دسترسی پیدا کرد؟ با پیشرفت هوش مصنوعی در دهه‌های اخیر، الگوریتم‌های قدرتمند یادگیری ماشین برای تحلیل داده‌های حجیم و کشف اطلاعات ارزشمند از آن‌ها، توسعه داده شده‌اند که این الگوریتم‌ها برای بررسی سئو (SEO) سایت، رقابت بین شرکت‌ها، تبلیغات، یافتن باگ‌های امنیتی سایت (تست نفوذ) و یا سایر نیازمندی‌های تحت وب مورد استفاده قرار می‌گیرند.

بالا رفتن قدرت محاسباتی سیستم‌ها، افزایش حافظه‌ها و همچنین دسترسی آسان به داده‌های موجود در وب، باعث شده است تا پژوهشگران حوزه علوم داده به استفاده از داده‌های حجیم تحت وب، علاقه‌مند شوند. با توجه به این که سایت‌ها، شرکت‌‌ها و بنگاه‌های تجاری اینترنتی، داده‌های خود را به سادگی در اختیار دیگران نمی‌گذارند، پژوهشگران و برنامه‌نویسان، روش‌ها و ابزارهای قدرتمندی را برای جمع‌آوری و ذخیره‌سازی داده‌های وب توسعه داده‌اند که به آن خزش یا کرال در وب (Web Crawling) می‌گویند.

ما در این آموزش قصد داریم تا بسته Selenium در پایتون مورد بحث و بررسی قرار دهیم.