Web data extraction, screen scraping, web crawling, web harvesting. Zelf noemen ze het bij Mozenda liever “comprehensive web data gathering”. Ik noem het webdata grazen (want dan kan ik eindelijk een plaatje van een koe laten zien).

Mozenda is een tool waarmee je “agents” kan maken die geautomatiseerd data van websites plukt, om het vervolgens keurig voor je in een bestandje weg te schrijven. En dat alles via een razend makkelijke GUI, je hoeft dus niet te programmeren. Het is geen gratis tool (voor de goedkoopste versie betaal je 100 dollar per maand), maar er is wel een trial versie beschikbaar om het eens uit te proberen.

Uitproberen, dat is precies wat ik eens ben gaan doen. In no-time heb ik vandaag een agent gemaakt die, geautomatiseerd, de volgende stappen doorloopt:

• Inloggen in Linkedin;
• naar mijn “groups” pagina gaat;
• een groep selecteert waar ik lid van ben;
• de ledenpagina opent van die groep;
• vervolgens van elk lid de naam, functie en aantal “followers” wegschrijft in een bestand;
• van elk lid ook de profielpagina opent en ook daar nog wat data van wegschrijft in het bestand;
• vervolgens op de “next” knop drukt om de volgende 20 leden te “grazen”, net zo lang tot er geen “next” knop meer is.

En zo had ik van complete linkedin groepen alle leden met relevante info in een keurig .csv bestandje. Nou ja, helaas niet alle leden van de grotere groepen, Linkedin laat nooit meer dan 500 leden zien.

Nu kan je natuurlijk wel nuttigere toepassingen bedenken. Wat te denken van periodiek (je kan je agents ook schedulen), de assortimentpagina’s van je concurrenten afstruinen om je prijspositie in de markt te bepalen? Of meningen over jouw product op vergelijkings-sites?
Al met al een leuke tool, ik sta verbaasd hoe simpel het allemaal gaat.

Hieronder een leerzaam filmpje van de tool, waarin ze reviews van een bepaalde productgroep gaan grazen.

Auteur: DBM Cafe. Geplaatst op vrijdag, juli 23rd, 2010 in Data, Software / Tools.