Documenten in Europa; bijna compleet
Voor de opslag van de, tot nu toe, 199333 PDF-jes gebruiken we de diensten van Amazon Webservices. Op S3 slaan we alle documenten op. Bij de start van ikregeer, een jaar geleden, stonden de S3 servers alleen in Amerika.
Sinds een paar maanden in S3 ook op europese servers beschikbaar, en we hebben de documenten nu dan ook in europa staan. Ook maken we nu gebruik van Amazon Cloudfront, waardoor het downloaden van de documenten nu veel sneller zal gaan.
Bij de verhuis actie hebben we meteen bekeken of alle documenten wel goed uit parlando waren gehaalt. Bij 371 PDF-jes is het mis gegaan. Deze documenten gaan we nog toevoegen om het geheel compleet te maken.
De crawler/scraper die we hebben ontwikkeld en voor ikregeer gebruiken heeft zich dus bewezen door 99,8% van de documenten goed op te halen…