Sooo, weil ich derart die Schnauze voll habe, dass man zig Labels, Mailorder Seiten und Bandpages durchwühlen muss um Merch zu finden, habe ich tatsächlich begonnen einen Aggregatorservice zu bauen, der die Angebote aller Seiten listet und durchsuchbar macht.

Ich habe bestimmt bereits über 100K Produkte gescraped von ca. 10-12 Seiten. Dabei zupfe ich auch alle bei Bandcamp als metal getagte Pages an und schaue ob die eine Merch Seit haben.

Das funktioniert bisher vergleichsweise gut, ob das am Ende brauchbar ist, wird sich zeigen, aber eine schöne Datenbasis auf jeden Fall. Rechtlich muss ich das aber auch noch einordnen 😅

#metal #bandmerch

@lumiukko

Alles muss man selber machen 😤

und: Schön, wenn man's kann 🥳

@lumiukko hat Bandcamp nicht ne ziemlich restriktive robots.txt? Hatte mir das für Konzerttermine mal angeschaut...
Aber dein Projekt klingt super!

@liz Also mein Scraping Script schaut sich die robots.txt gar nicht an ehrlichgesagt, sondern rennt direkt drauflos. Wiegesagt, rechtlich is das ziemlicher Graubereich. Ich wollt eigentlich erstmal schauen obs machbar ist, auch was die Datenqualität angeht. Da musste ich jetzt gerade bei den Kategorien doch nochmal ran.

Ich hab mir sagen lassen dass Geizhals und co. mit Affiliate Deals arbeiten und dann direkt API Zugriff zu den Shops bekommen - wäre vielleicht ne Option, aber etwas von dem Scope habe ich noch nie gemacht.... :D