Problem
Böyük həcmdə source ilə işləyəndə çox thread, çox DB faylı, ağır UI və təkrar data problemi yaranır. Pagination, queue və worker məntiqi düzgün qurulmayanda sistem həm yavaşlayır, həm də sabitsiz olur.
← All projects
Data collection / monitoring system
Data Collector
Böyük həcmdə elan datalarını toplamaq, izləmək və idarə etmək üçün qurulmuş collector sistemi.
Bu layihə sadə scraper deyil. Məqsəd çoxsaylı source-lardan datanı toplamaq, təkrarları azaltmaq, sistem yükünü idarə etmək və collector prosesini daha sabit işləyən hala gətirmək idi.
Solution
Queue-based worker pool yanaşması ilə collector daha idarə olunan hala gətirildi. Unified DB, task queue, worker pool və crawl mode məntiqi əlavə edilərək həm performans, həm də sistem sabitliyi yaxşılaşdırıldı.
Outcome
- Çox thread probleminin qarşısı alındı - UI donma və RAM yüklənməsi azaldıldı - Data toplama daha sabit oldu - DB ölçüsü optimallaşdırıldı - Böyük miqyaslı toplama prosesi daha nəzarətli hala gəldi
Key features
Source əsaslı task queue
Worker pool ilə ardıcıl işləmə
Unified DB yanaşması
Duplicate azaldılması
Full crawl və live monitor modları
Cursor-based pagination logic
UI status paneli
Log və snapshot çıxışları
Technologies
Python
SQLite
GraphQL-based collection logic
queue system
worker pool architecture