Bra flyt för Yle Arenan

Yle Arenan har bra flyt för tillfället. Åtminstone om man ser på statistik. Antalet uppspelningar ökade år 2014 med cirka 15 procent.

”Konkurrenternas” siffror visar en nedåtgående tendens.

Bland svenskspråkiga program var KAJ:s julkalender den kanske största publikmagneten i Arenans historia.

Samtidigt som publiken strömmar till pågår febril utveckling bakom kulisserna. Detta för att kunna möta ökande belastning på systemen och ökande kvalitetskrav. Publikens engagemang har förutom i statistiken synts även på den respons som Arenan får in. Tekniska problem har flera gånger under året drabbat Arenan och besökarna har varit snara med att rapportera felen.

Arenans besökarmängder är redan nu cirka två gånger större än Ruutus eller Katsomos. Enligt statistiktjänsten Comscore är tendensen tydlig. Arenan visade ett ökande antal uppspelningar – cirka 15 procent under år 2014 – medan Ruutu och Katsomo visade en svagt nedåtgående tendens särskilt mot slutet av året.

Enligt MikroPC är Yle Arenan överlägsen etta då det gäller TV på nätet i Finland. Tidningen MikroPC valde Yle Arenan till årets fenomen år 2014 (http://yle.fi/yleisradio/ajankohtaista/mikropcn-vuoden-ilmio-palkinto-yle-areenalle).

Statistik för Arenan, Katsomo och Ruutu
Miljoner starter per tjänst år 2014. Källa: comScore (Yle), comScore (MTV), Drupal (Nelonen Media).

 

Kajs julkalender hade under perioden 1.12.2014 – 25.1.2015 totalt 559 459 visningar enligt statistiktjänsten Comscore. I siffran ingår uppspelningar via webbsidor och via mobila applikationer. I tabellen nertill syns uppspelningar per ”lucka”.

 

Statistik från Comscore
KAJ:s julkalender 2014, visningar per ”lucka” via webbsidor och mobila applikationer. Källa: comScore.

 

 

Video på nätet gör revolution

Videokvalitet på nätet utvecklas just nu i rask takt. För några år sedan fick vi nöja oss med resolutioner på 240p, 360p eller 480p. I dag har 1080p blivit en allmän standard medan vi med god fart är på väg mot 2160p.

video_resolutioner2

Siffrorna står för antalet vertikala bildpunkter, så att exempelvis 1080p betyder 1080
bildpunkter lodrätt och 1920 bildpunkter vågrätt. Resolutionen 4K, även kallad Ultra HD
eller UHD, är fyra gånger så hög, det vill säga 3840 gånger 2160 bildpunkter.

Videotjänsten Youtube erbjuder sedan fem år tillbaka 1080p och accepterar sedan tre år tillbaka även 2K, 4K och till och med 8K. Filmtjänsten Netflix erbjuder i sin europeiska version de flesta filmerna i 1080p och planerar inom kort börja testa 4K.

Hårdvaran ute på marknaden har allmänt hunnit ikapp med 1080p. Mobiltelefoner och pekplattor som klarar ”Full HD”, eller 1080p, har på allvar etablerat sig under det gångna året.

Beträffande Ultra HD eller 4K har marknaden ännu en bit att gå. Datorskärmar och TV-apparater som klarar 4K har på allvar dykt upp först under år 2013. Priserna är ännu på en nivå som avskräcker de flesta konsumenterna. Samtidigt har konsumentinriktade videokameror som klarar 4K dykt upp på marknaden.

Högre videokvalitet kräver högre bandbredd. Nätuppkopplingar som klarar av att strömma video i 1080p är i dag vanliga i Finland. Uppkopplingar som klarar 4K börjar likaså bli allt mer tillgängliga. En uppkoppling på 10 Mbps (megabitar per sekund) räcker i allmänhet för 1080p, medan en uppkoppling på närmare 100 Mbps brukar rekommenderas för att 4K ska fungera problemfritt.

Videokvalitet handlar inte bara om resolution utan även bland annat om kompression, som för de högre resolutionerna på nätet ofta innebär ”H.264” eller ”AVC”. Den högre videokvaliteten kräver mera kraft av den hårdvara som ska ”packa upp” videoströmmarna, vilket ställer högre krav på bland annat processorer och grafikkort.

Var befinner sig då Yle Arenan då det gäller bildkvalitet? Arenan erbjuder i dag (december 2013) en resolution på maximalt 360p, vilket motsvarar 360 bildpunkter på höjden och 640 bildpunkter på bredden. Bandbredden är 654 kbps (kilobitar per sekund) för bilden och 96-128 kbps för ljudet.

Som jämförelse kan nämnas att den ”gamla vanliga” TV-resolutionen i Europa, införd på 1950-talet, är 720 gånger 576 bildpunkter (PAL).

Under år 2014 ska Yle Arenan enligt planerna börja ge tekniska möjligheter att erbjuda video i 1080p. Ändringarna går hand i hand med att Yle så småningom ska börja erbjuda alla sina TV-kanaler i 1080i.

Så flyttade vi tio års arbete

Finnairplan i farlig situation” lyder en rubrik publicerad på Yles webbnyheter onsdagen den 30 oktober 2002, klockan 10.35. Den rubriken inledde ett årtionde med verktyget ”Nyhetswebben”.

Ett decennium och 225 000 artiklar senare har Nyhetswebben ersatts av ett nytt system, ”Drupal”. Men de gamla nyheterna finns kvar.

Hur flyttar man tio års arbete mellan två olika system? Det var en utmaning som Svenska Yles webbavdelning stod inför år 2012. Nyhetswebben är ett lättviktigt internt verktyg, medan Drupal är ett komplext öppet verktyg.

Till att börja med sammanställde vi en ”Entity Relationship”-modell som visualiserar hur nyheternas databas är uppbyggd. ER-modellen avslöjar relationer mellan databasens tabeller och kolumner. Denna information hjälpte oss utveckla skript för att pussla ihop artiklarna.

ER-modell

Följande steg var att kartlägga innehållet. Den gamla nyhetssajten bestod ju inte enbart av nyheter, utan även av kolumner, fördjupningar och bloggar, med mera. Kartläggningen hjälpte oss besluta vilka delar av innehållet som skulle migreras, och i vilken ordning.

Vi undersökte och utvecklade tekniska migreringsmetoder. Vi beslöt exportera innehållet från den gamla databasen som en XML-ström (Extended Markup Language) och importera den genom Drupal-modulerna ”Feeds Import” och ”XPathParser”.

Två delar

Migreringen består huvudsakligen av två delar; dels av en exportdel som skapar en XML-ström ur det gamla systemet, dels en importdel som fogar in XML-strömmen som artiklar i det nya systemet.

Exportdelen utgörs mer tekniskt av ett PHP-program som kör MySQL-kommandon i databasen. Programmet pusslar ihop enskilda informationsbitar till artiklar. Artiklarna blir separata objekt i XML-strömmen, så att varje enskild informationstyp får en egen XML-tagg. En utmaning i exportdelen var att ”tvätta” dataströmmen så att avvikande eller korrumperade informationsbitar inte skulle söndra importen.

Den tekniska utvecklingen utmynnade i detaljerade planer. Detta var första gången vi migrerade ett så stort antal artiklar till ett nytt system och vi ville vara säkra på att processen skulle fungera.

Redan de första testerna visade att Drupal inte kan hantera 225 000 artiklar utan prestandaproblem. Det behövdes mellanlagring bland annat via programvarorna ”Memcache” och ”Varnish” för att höja prestandan till en acceptabel nivå. Ytterligare skapade Drupal för varje artikel ett visst antal lyft – lika många lyft som antalet avdelningar artikeln hade funnits i. Detta gjorde att det totala antalet artiklar i Drupal steg till mer än en halv miljon.

Testerna visade också att importen måste köras stegvis för att undvika tekniska avbrott, så kallade ”timeouts”. Vi skapade ett ”Drush”- (Drupal Shell) kommando som kunde köra importen i mindre paket. Detta kommando kördes i sin tur av ett ”Linux Shell”-skript automatiskt i etapper om hundra artiklar åt gången. Hela importen av de gamla nyhetsartiklarna tog ungefär sju timmar i anspråk.

Migreringen fortsätter

Importen av gammalt innehåll har fortsatt med bland annat ”kulturen.fi” där vi använde samma migreringsmetod som för nyheterna. I detta projekt testade vi också att importera artiklar direkt från RSS-filer (”Rich Site Summary”), vilket fungerar nästan lika bra. RSS är en sorts XML. Problemet med RSS-filer är dock att deras syntax är mer begränsad.

För ett tredje projekt, ”Maktbasen”, importerade vi icke-standardiserad information i form av så kallade entiteter, så som personer, företag och kommuner. Det fanns en del halvfärdiga importmetoder tillgängliga ute på fältet, men det effektivaste sättet för oss var att importera entiteterna direkt till Drupals databas.

Drupals entiteter består av en huvudtabell där innehållet hålls ihop av ett unikt ID, samt enskilda tabeller för alla fält som ingår i en viss entitet.

Migreringen av innehåll har fortsatt med bland annat Mat och fritid. För Mat och fritids recept använde vi en likande XML-generator som för nyheterna, men skapade en ny importör, eftersom recepten fick en egen innehållstyp i Drupal.

För resten av sajtens artiklar använde vi nyhetsimporten som vid det här laget hade utvecklats till en generell importör för artiklar. Denna XML-importör kan numera användas för i princip vilken typ av innehåll som helst som kan översättas till XML.

Fotnot:
Verktyget ”Nyhetswebben”, skapades ursprungligen av Robert Tamm. Nyheterna, tidigare ”Internytt”, har även använt andra webbverktyg. Artiklarna från tiden före oktober 2002 verkar dock till största delen ha gått förlorade.

Nyhetswebben 2.1

Öppen data nytt vapen i
kampen mot korruption

Öppen data kan hjälpa avslöja korruption och ekonomisk brottslighet. Det tror man på OpenCorporates och Global Witness – två organisationer som vill lyfta fram dunkla hemligheter i dagsljuset.

Öppen data i kampen mot pengatvätt

OpenCorporates har skapat en söktjänst där vem som helst kan försöka nysta upp ägarförhållanden i företagsvärlden. Tjänsten är det största öppna företagsregistret i världen.

Söktjänsten innehåller i dag uppgifter om 45 miljoner företag – 377 000 av dem i Finland.

Informationen mår bra av att vara öppen eftersom osunda eller olagliga kopplingar är svåra att hitta, förklarar Chris Taggart, verkställande direktör för OpenCorporates.

Målet är att journalister, organisationer och intresserade medborgare ska kunna bidra med information, och hjälpa avslöja den ”mörka sidan” av företagsvärlden.

– Det är som att leta efter nålar i en höstack. Vi måste börja göra större skillnad mellan den genomskinliga företagsvärlden och den ogenomskinliga – den mörka företagsvärlden, säger Chris Taggart, som tidigare har arbetat som journalist.

Den mörka företagsvärlden drar nytta av komplexitet, förklarar Taggart. Ägarförhållanden och relationer mellan bolag kan vara så invecklade att det är näst intill omöjligt att reda ut dem. OpenCorporates har som mål att registrera varje företagsentitet i världen, med tillhörande information om företagsnamn, direktörer, aktieinnehav, med mera.

Rosie Sharp arbetar för Global Witness’  bank- och korruptionsteam. Hennes team försöker påvisa problemen med att vissa banker låter korrupta klienter deponera pengar.

Sharp säger att det har blivit allt vanligare att brottslingar tvättar pengar via global bank- och företagsverksamhet. Hennes organisation har satt ihop en broschyr ”An Idiots Guide to Money Laundering” som visar hur man kan dölja sin identitet och gömma pengar via rätt kopplingar. Syftet med dokumentet är att på ett enkelt sätt förklara ett komplext ämne.

Pengatvättarna registrerar vanligen sina bolag på platser där bankerna håller ägarförhållandena hemliga. Sådana platser är exempelvis Schweiz, Brittiska Jungfruöarna och Maldiverna.

Pengatvättarna brukar öppna bankkonton i någon bank som inte ställer så många frågor. Sådana banker finns exempelvis i Lettland, uppger Rosie Sharp. Via Lettland kan man sedan flytta pengar vart som helst inom EU.

Rosie Sharps organisation använder öppen data för att påvisa pengatvätt och andra internationella problem. Global Witness gör sina avslöjanden och dokument fritt tillgängliga på webben.

 Stommen för OpenCorporates webbsida är en sökfunktion. Organisationen erbjuder gratis gränssnitt för att återanvända sökfunktionen på andra webbsidor. En sökning på ”Microsoft” ger exempelvis 206 resultat globalt, vilket ger en inblick i hur utbredda tentakler ett stort bolag kan ha.

– Öppen data är inte tillräckligt. Vi behöver också färdigheter, förståelse och inspiration att göra något av den, säger Chris Taggart.

 Länkar:
http://opencorporates.com/
http://www.globalwitness.org/

 Chris Taggart och Rosie Sharp föreläste vid konferensen ”Open Knowledge Festival” i Helsingfors i september 2012.