ikregeer blog

Voor de opslag van de, tot nu toe, 199333 PDF-jes gebruiken we de diensten van Amazon Webservices. Op S3 slaan we alle documenten op. Bij de start van ikregeer, een jaar geleden, stonden de S3 servers alleen in Amerika.

Sinds een paar maanden in S3 ook op europese servers beschikbaar, en we hebben de documenten nu dan ook in europa staan. Ook maken we nu gebruik van Amazon Cloudfront, waardoor het downloaden van de documenten nu veel sneller zal gaan.

Bij de verhuis actie hebben we meteen bekeken of alle documenten wel goed uit parlando waren gehaalt. Bij 371 PDF-jes is het mis gegaan. Deze documenten gaan we nog toevoegen om het geheel compleet te maken.

De crawler/scraper die we hebben ontwikkeld en voor ikregeer gebruiken heeft zich dus bewezen door 99,8% van de documenten goed op te halen…

De PDF’s van de kamerstukken worden nu verhuist van de amerikaanse S3 node naar de europese node. De nieuwe documenten worden nu al meteen op de europe node gezet.

Nu Amazon S3 ook DNS-namen ondersteund kan er nu direct naar gelinked worden naar de PDF. Het zou dus iets sneller moeten gaan nu, want onze server zit er nu niet meer tussen.