Bot / Scraper Yazılım Hizmeti

Bot ve scraper yazılımı ne işe yarar?

Bir işletmenin karar verirken ihtiyaç duyduğu verinin büyük kısmı zaten dışarıda duruyor: rakip fiyatları, pazaryeri sıralamaları, stok durumları, döviz ve emtia kurları, ihale ilanları, kurum duyuruları. Sorun verinin yokluğu değil; her gün elle toplanmasının hem zaman alması hem de insan hatasına açık olması.

Yaptığımız iş bu döngüyü yazılıma devretmek. Belirlediğiniz kaynakları düzenli aralıklarla ziyaret eden, veriyi ayıklayıp normalleştiren, değişiklikleri işaretleyen ve size panelden ya da e-posta/WhatsApp bildirimiyle ileten bir sistem kuruyoruz. Veri tek biçimde bir veritabanında birikince fiyat geçmişi, trend ve karşılaştırma gibi analizler de mümkün oluyor.

Sıralama bizde hep aynı: kaynağın resmî bir API’si varsa onu kullanırız — daha hızlı, daha kararlı ve kesinlikle daha az riskli. API yoksa açık erişime sahip sayfalardan toplama yaparız; bunu yaparken robots.txt kurallarına, kaynağın kullanım şartlarına ve makul istek hızına uyarız. Kaynağın sunucusunu zorlayacak, oturum açma duvarını aşacak ya da bot korumasını atlatacak çözümler geliştirmiyoruz; bunlar hem hukuki risk hem de sürdürülemez bir yapı demek.

Kişisel veri söz konusuysa iş büsbütün ciddileşir. KVKK kapsamında hangi verinin hangi hukuki sebeple işlendiği, ne kadar saklanacağı ve kimlerle paylaşılacağı baştan yazılı hale gelmeden projeye başlamıyoruz. Çoğu durumda iş hedefine kişisel veri toplamadan da ulaşılabiliyor; önce bunu araştırıyoruz.