ساخت ربات وب کراولر (Web Crawler)

سایت‌های مشخص‌شده را بررسی کند و اطلاعات مورد نیاز را استخراج کند. داده‌ها را ساختارمند ذخیره کند (مثلاً در دیتابیس یا فایل JSON/CSV). API هوش مصنوعی را متصل کند تا با استفاده از داده‌های جمع‌آوری‌شده، اخبار تولید شود. فناوری‌های پیشنهادی: Python + Scrapy / BeautifulSoup / Selenium برای خزش صفحات وب MongoDB / PostgreSQL / SQLite برای ذخیره داده‌ها FastAPI / Flask / Django برای ساخت API OpenAI API برای تولید متن خبری چه نوع اطلاعاتی را نیاز داریم؟ (متن، عدد) هر چند وقت یک‌بار خزش انجام شود؟ (روزانه یکبار) نیاز به پردازش داده‌های خام داریم؟ (حذف داده‌های تکراری یا بی‌کیفیت)