Switching Distros on a Running Site

As Mårten explained in an earlier post we decided to redo our installation profile into a more diversified model with a common core set of modules and with a differentiated set of modules for every site that will use the common core.

Splitting the previous Yle – profile that we used as a base for our installation from the beginning was easy enough. Just create two new installation profiles – Syndprofile and Fyndprofile that used most parts of the earlier Yleprofile and the parts that were specific for the two installations into their own sets of repositories, ie synd_modules and fynd_modules and so on. Starting development on the fynd-platform was also very successful and has since launced two successful projects: Kuningaskuluttaja and MOT.

However, on the svenska.yle.fi – platform, the change posed a lot of challenges to overcome, since we had to change installation profiles on a running site. And since a lot of the path settings to modules and themes are set in the database at installation time a lot of file paths would have to be changed. So when we first tried the easiest approach, just replacing the profiles/yleprofile installation folder with a profile/syndprofile we were left with a severely broken site, that couldn’t find any modules or themes, no matter how many times you tried to clear the cache. So it became clear that we had to do the changes directly into the production database.

So what we did was to dump the database into an sql file and doing a search and replace on every occurence of yleprofile to the new synprofile. We opted to slightly change the name to synprofile since there are a lot of serialized data that contains the path in the database as well.

We have around 500 000 nodes in our database at the moment, and a pretty large index, but using sed to do the search and replace the operation only took a few minutes to do, even though the sql file itself is getting close to 5 Gigabytes in size.

$ sed ‘s/yleprofile/synprofile/g’ < svenskaylefi.sql > svenskaylefi_synprofile.sql

This, however, was not enough in our case. We also had a couple of modules and our own theme settings and features that was not going to be used in the other distributions so we had to manually change the location of these. Fortunately most of the file path settings are stored in just a few tables.

system
registry and
registry_file

The paths are also stored in the cache tables so it is advisable to truncate them at the same time, especially

cache
cache_bootstrap and
cache_path

It took a few tries to get every step in this workflow to work out without problems, but when we finally figured out how to do it the migration process went pretty smoothly. Just one final hurdle gave us a bit of cold sweat when the site didn’t even bootstrap even though the migration process had otherwise gone smoothly. But, a manual flush of the memcache server solved that too.

 

Datajournalistik i SYND

Nu när vi har använt Svenska Yles nya Drupal eller SYND i ett par månader är det tid att se hur systemet kan utnyttjas. Drupal är flexibelt och det möjliggör skapandet av olika innehållstyper.

Jag är mest interesserad av hur vi kan göra datajournalistik och andra visualiseringar i systemet. Vi har redan gjort några och jag tänkte prata lite om dom.

Vad har redan hänt

Visualisering gör det lättare att upptäcka skillnader.

Första större visualiserings jobbet som vi publicerade i SYND var en karta som visade hur mycket alkohol som säljs i finska kommuner.

Kartan bidrog till helheten i Radar:s rapportering om alkoholanvändningen i Finland. Den huvudsakliga produkten var radioprogrammet, men kartan publicerades samtidigt på Radars webbsida (som är publicerad i SYND).

Kartan var interaktiv vilket betyder att man kunde peka på kommuner med musen och sedan fick man mer information och statistik om den valda kommunen. Jag tycker att interaktiva visualiseringar är mer intressanta än statiska infografik, när användningen av visualiseringen känns mer som ett spel. Det att det är roligt gör att man utforskar datan mera.

Kartan var mycket populärt och då den är gjord med HTML5 så fungerar den med alla apparater och plattformar. Kartan funkade också med mobila enheter när den var bara 300px bred.

Google Forms möjliggöra att göra saker snabbt.

Andra och olika typers projekt gjorde vi på sommaren. Det var ett frågeformuläret som hade fem enkla frågor som handlade om våra nya försvarsminister Carl Haglund.

Formuläret var gjort med Google Forms och det var mycket snabbt att göra. Visualiseringarna gjordes också i Google Forms verktyg. Utredningen fick nästan 600 ansvar.

Den var inte en gallup, men det var ett fint och lätt sätt att involvera användare med innehållet.

Vad händer just nu

Nu jobbar vi mest med ett större och längre projekt som behandlar politiker i finlandsvenska kommuner och deras kopplingar till företag.

Systemet ska innefatta alla finlandsvenska kommuner och avsikten är att man skall kunna bläddra bland alla olika typer av informationen som har sparats i systemet. Den här informationen innefattar exempelvis namn, parti, ålder och information om kommunfusioner.

Visualiseringarna i Maktbasen projektet är interaktiva.

Systemet är skapat i SYND med Drupal och vi har skapat egna ”entities” för att kunna skräddarsy dem enligt behov. Det har varit en utmaning att använda sig av tidigare erfarenheter inom traditionella databasmodeller, när man vill bygga systemet ”the Drupal way”. Jag tror att vi har gjort bra jobb och klarat dessa utmaningar.

Datavaalit gör ett liknande projekt där alla finska kommuner ingår, där saknas dock kommunernas förtroendevaldas kopplingar till företag. Vi samarbetar med Datavaalit-gruppen, men rent tekniskt är det två olika lösningar.

Vad vill vi göra i framtiden

Jag hoppas att interaktiva visualiseringar mer och mer kommer att bli en del av vardagen i våra nyheter. Det finns många goda exempel från världen om hur man berika innehållet med informativa visualiseringar.

Många olika diskussioner pågår och det ser ut som att allt flera aktörer börjar göra visualiseringar. Mycket utveckling med andra ord, det blir spännande att följa med utvecklingen den närmaste tiden.

(Tack Mårten för korrekturläsning)