کرولر پایتون برای جمع‌آوری مطالب از سایت‌ها و ذخیره در دیتابیس با جلوگیری از تکرار.

🚀 این بسته شامل چه چیزهایی است؟

• **سورس کامل و خوانا** با کامنت‌های فارسی در همهٔ فایل‌ها

• فایل `requirements.txt` (فهرست پکیج‌های لازم)

• فایل نمونهٔ `.env.example` برای تنظیمات (بدون اطلاعات محرمانه)

• فایل `schema.sql` برای ساخت جدول‌های دیتابیس

• اسکریپت اجرای آماده برای ویندوز (`run.bat`) و لینوکس (`run.sh`)

• **راهنمای فارسی** نصب، تنظیمات و اجرا در `README.md`

🧩 امکانات

• کرال چند صفحهٔ سایت

• استخراج عنوان و خلاصه

• ذخیره در دیتابیس

• جلوگیری از ثبت تکراری

• تأخیر مؤدبانه بین درخواست‌ها

• خروجی CSV

🗄 دیتابیس

این پروژه با **SQLite** کار می‌کند؛ دیتابیس یک فایل روی سیستم شماست و هیچ سروری لازم نیست.

ساختار جدول (فایل `schema.sql`) و لایهٔ دیتابیس جدا نوشته شده است؛ برای تغییر دیتابیس فقط مقدار `DATABASE_URL` را عوض کنید.

⚙️ پیش‌نیازها

• پایتون ۳٫۱۰ یا بالاتر

• pip و دسترسی به اینترنت برای نصب پکیج‌ها (فقط در مرحلهٔ نصب)

• دیتابیس SQLite در صورت استفاده از حالت سروری

🛠 نصب و اجرا

۱) پکیج‌ها را نصب کنید:

```bash

pip install -r requirements.txt

```

۲) فایل نمونهٔ تنظیمات را کپی کنید و مقادیر را بگذارید:

```bash

cp .env.example .env

```

۳) اجرا:

```bash

python main.py --help # راهنمای دستورها

```

📁 ساختار پروژه

```

py-cli-crawler/

README.md

requirements.txt

schema.sql

.env.example

run.bat | run.sh

main.py etl.py db.py config.py sample.csv

```

💡 نکته‌های اجرایی

• همهٔ مقدارهای پیش‌فرض طوری انتخاب شده‌اند که پروژه بدون تنظیمات هم بالا بیاید (حالت محلی با SQLite).

• کد کاملاً ماژولار است: هر فایل یک وظیفهٔ مشخص دارد و می‌توانید بدون دست‌زدن به بقیه، بخش دلخواه را تغییر دهید.

• برای اجرا روی سرور، همان مراحل کافی است؛ پیشنهاد می‌شود پشت Nginx و با systemd یا supervisor اجرا شود.

💬 پشتیبانی

اگر در نصب یا اجرا سؤال یا مشکلی داشتید از پنل کاربری تیکت بزنید؛ در اولین فرصت پاسخ می‌دهیم و در صورت نیاز راهنمایی نصب انجام می‌شود.

🖼️ تصاویر محیط برنامه

برای دیدن تصویر در اندازهٔ کامل روی آن بزنید — با کلیدهای جهت‌دار هم می‌توانید بین تصاویر جابه‌جا شوید.