خلاصه
در این بخش از دوره آموزشی OWASP-OTG به اولین بخش از استاندارد OTG با شناسه OTG-INFO-001 می پردازیم که مربوط به جمع آوری اطلاعات از موتورهای جست و جو می باشد.
المان‌های مستقیم و غیر مستقیمی در جمع آوری اطلاعات از طریق موتورهای جست و جو وجود دارند. روش‌های مستقیم مربوط به جست و جو ایندکس‌ها و محتوای مرتبط از حافظه‌های نهان هستند.
روش‌های غیر مستقیم شامل استخراج اطلاعات حساس و پیکربندی از طریق جست و جوی فوروم‌ها، گروه‌های خبری و وب سایت‌ها است.
وقتی ربات یک موتور جست و جو عمل پویش را به پایان می‌رساند، صفحات وب را بر اساس تگ‌ها و خصیصه‌های مربوطه، مانند title، ایندکس می‌کند تا بتواند نتایج جست و جو مناسب‌تری را برگرداند.
اگر فایل robots.txt در بازه زمانی حیات وب سایت به روز رسانی نشده باشد و متا تگ‌های درون خطی HTML که به ربات‌ها دستور می‌دهند تا محتوا را ایندکس نکنند استفاده نشده باشند، پس این احتمال وجود دارد که ایندکس‌ها حاوی محتوایی غیر از محتوای مد نظر صاحبان آن‌ها باشند.
صاحبان وب سایت‌ها از robots.txt، متا تگ‌های HTML، احراز هویت و ابزارهایی که موتورهای جست و جو در اختیار آن‌ها می‌گذارند استفاده می‌کنند تا چنین محتوایی را حذف کنند.
اهداف تست و ارزیابی
هدف از این تست، در OTG-INFO-001 کشف و فهم اطلاعات حساس پیکربندی و طراحی برنامه، سیستم و سازمان است که به دو صورت مستقیم (از طریق وب سایت خود سازمان) و غیر مستقیم (از طریق یک وب سایت ثالث) در دسترس هستند.
چگونه تست کنیم؟
از موتور جست و جو برای جست و جوی موارد زیر استفاده کنید:
• پیکربندی و دیاگرام شبکه
• پست‌ها و ایمیل‌های آرشیو شده توسط مدیران و سایر پرسنل‌های کلیدی
• فرایندهای ورود به سیستم و فرمت‌های نام کاربری
• نام کاربران و رمز عبورها
• محتوای پیام‌های خطا
• نسخه‌های اولیه، در حال توسعه و تحت بررسی و تست وب سایت
عامل‌های جست و جو
با استفاده از عامل site: می‌توانید نتیجه جست و جوی خود را به یک دامنه مشخص محدود کنید.
تست و ارزیابی خود را محدود به یک موتور جست و جو نکنید چرا که موتورهای مختلف نتایج مختلفی را بر حسب فرایند پویش محتوا و الگوریتم‌های منحصر به فرد خود تولید می‌کنند.
می‌توانید از موتورهای جست و جوی زیر استفاده کنید:
• Baidu
• binsearch.info
• Bing
• Duck Duck Go
• ixquick/Startpage
• Google
• Shodan
• PunkSpider
موتورهای Duck Duck Go و ixquick/startpage نتایج خلاصه‌تری نسبت به نشت اطلاعات به ارزیاب می‌دهند.
Google از عامل جست و جو پیشرفته cache: استفاده می‌کند، اما این عامل همانند کلیک کردن بر روی Cached روبروی هر نتیجه جست و جوی گوگل است. به همین علت، توصیه می‌شود که ابتدا از عامل site: استفاده کرده، سپس بر روی گزینه Cached کلیک کنید.
Google SOAP Search API از doGetCachedPage و پیام‌های dotGetCachedPageResponse برای کمک به بازیابی صفحات cache شده پشتیبانی می‌کند. برای اطلاعات بیشتر به پروژه گوگل هکینگ OWASP مراجعه فرمایید.
PunkSpider یک موتور جست و جوی برای یافتن آسیب‌پذیری‌های وب اپلیکیشن‌ها است. استفاده از این موتور جست و جو برای ارزیابان امنیتی کاربردی نیست.
با این حال، برای نمایش سهولت یافتن آسیب‌پذیری‌ها به جوجه هکرها یک گزینه عالی به شمار می‌رود.
مثال: برای یافتن محتوای owasp.org که توسط یک موتور جست و جوی معمولی ایندکس شده است، از دستور زیر استفاده کنید:
site:owasp.org
برای نمایش index.html سایت owasp.org که cache شده است، از دستور زیر استفاده کنید:
cache:owasp.org
دیتابیس گوگل هکینگ
دیتابیس گوگل هکینگ یک لیست کاربردی از کوئری‌های گوگل است. این کوئری‌ها در چند گروه طبقه‌بندی می‌شوند:
• رد پا
• فایل‌های حاوی نام‌های کاربری
• دایرکتوری‌های حساس
• شناسایی وب سرور
• فایل‌های آسیب‌پذیر
• سرورهای آسیب‌پذیر
• پیام‌های خطا
• فایل‌های حاوی اطلاعات مهم و به درد بخور
• فایل‌های حاوی رمزهای عبور
• اطلاعات حساس خریدهای اینترنتی
ابزارها
FoundStone SiteDigger – http://www.mcafee.com/uk/downloads/free-tools/sitedigger.aspx
Google Hacker – http://yehg.net/lab/pr0js/files.php/googlehacker.zip
Bishop Fox’s Google Hacking Diggity Project – http://www.bishopfox.com/resources/tools/google-hacking-diggity/
PunkSPIDER – http://punkspider.hyperiongray.com/
منابع
[1] “Google Basics: Learn how Google Discovers, Crawls, and Serves Web Pages” – https://support.google.com/webmasters/answer/70897
[2] “Operators and More Search Help” – https://support.google.com/websearch/answer/136861?hl=en
[3] “Google Hacking Database” – http://www.exploit-db.com/google-dorks/
مطالب این بخش توسط جناب آقای امیر ثروتی تهیه شده است.
