SV

Baserat på kursplanen och den första lektionssammanfattningen. Innehållet fylls på under kursens gång.

← Till kursöversikten
ÄMNE 01 / 08 · Grunderna

Vad är Big Data?

Förstå vad som gör data svåra att hantera och varför frågan du vill besvara kommer först.

7 min läsning5 kunskapsfrågorPraktisk övning
DET HÄR TAR DU MED DIG
  • Förklara volym, hastighet, variation, datakvalitet och värde i ett IoT-fall.
  • Skilja en datamängd från den nytta en analys kan ge.
  • Resonera om när enkla verktyg räcker.
Mätningar
En tydlig fråga
Analys
Ett beslut
Från många värden till användbara frågor · Ett förenklat flöde
01 — UTFORSKA

När data blir utmanande

Big Data handlar om datamängder vars storlek, flöde eller komplexitet gör dem svåra att hantera med de arbetssätt och resurser man har. Det finns ingen universell gräns i antal rader som gör en samling till Big Data. Vad man ska göra med materialet och hur snabbt svaret behövs spelar också roll.

Tänk dig att du mäter temperaturen i ett växthus en gång i minuten. En dags värden är lätta att undersöka i en tabell. Föreställ dig sedan tusentals växthus, flera sensorer i varje, flera års historik och bilder från odlingarna. Nu behöver vi fundera över hur informationen tas emot, lagras, hittas och bearbetas. Det är fortfarande samma grundfråga: vad kan mätningarna hjälpa oss att förstå?

02 — UTFORSKA

Tre sätt att beskriva utmaningen

Tre vanliga begrepp är volume, velocity och variety: volym, hastighet och variation. De beskriver olika utmaningar. En stor historisk fil kan ta lång tid att läsa, medan ett litet men snabbt flöde kan kräva att varje händelse behandlas med kort fördröjning.

  • Volym: hur mycket data som finns. Hur många mätningar ska sparas och hur länge?
  • Hastighet: hur snabbt data kommer in. Hinner mottagaren med när alla sensorer skickar samtidigt?
  • Variation: vilka former data har. Temperaturvärden, fotografier och serviceanteckningar behöver tolkas på olika sätt.
  • Veracity: datans tillförlitlighet. Kan vi lita på värdena, och vad saknas?
  • Value: nyttan. Vilket beslut eller vilken förbättring ska arbetet stödja? Dessa två V kompletterar de tre grundbegreppen.
03 — UTFORSKA

Räkna innan du väljer verktyg

I vårt räkneexempel skickar 1 000 sensorer ett meddelande per sekund. Under ett dygn blir det 86 400 000 meddelanden. Om varje meddelande är 100 byte blir själva meddelandeinnehållet ungefär 8,64 GB per dygn, räknat med decimala enheter. Index, kopior, metadata och överföringsprotokoll tillkommer; komprimering kan minska det som behöver lagras.

Det här är en uppskattning, inte ett påstående om att en viss dator klarar eller inte klarar uppgiften. En sammanräkning per dygn ställer andra krav än att samtidigt söka igenom flera år eller reagera på varje mätning. Beskriv därför både datamängden och arbetet som ska utföras. Prova gärna med ett mindre, representativt urval först.

EXEMPEL
1 000 sensorer × 1 meddelande/sekund × 86 400 sekunder
= 86 400 000 meddelanden per dygn

86 400 000 × 100 byte ≈ 8,64 GB meddelandeinnehåll
04 — UTFORSKA

Börja med frågan

Vill odlaren få ett larm när temperaturen blir för hög, jämföra odlingssäsonger eller planera energianvändningen? Det är tre olika uppgifter. Ett larm behöver färska värden; en jämförelse behöver konsekvent historik och information om vilka växthus som ingår. Samla inte fler fält bara för att det går, utan koppla varje uppgift till ett syfte.

En användbar start är att skriva ned frågan, vilket beslut svaret kan stödja och hur man märker om svaret är fel. Om en vanlig tabell eller databas räcker är det en rimlig lösning. Distribuerade system kan bli aktuella när kraven motiverar deras extra arbete. Big Data är inte ett krav på ett visst verktyg, och en stor datamängd blir inte automatiskt en bra analys.

05 — UTFORSKA

Kursens IoT-fall och AI4I

I den första lektionssammanfattningen används AI4I 2020 från UCI som gemensamt övningsdataset. Det är syntetiskt, alltså framställt för att efterlikna industridata. Vi använder det för att öva arbetsflödet. Vår kontroll av den hämtade filen visar 10 000 rader och 14 kolumner; en sådan fil kräver inte i sig ett distribuerat Big Data-system.

Skilj därför mellan att öva en metod på en liten fil och att visa att den fungerar i stor skala. En bra första analysfråga är: hur skiljer sig fördelningen av beräknad mekanisk effekt mellan rader med och utan maskinfel? Det kan undersökas i filen. Frågan om vilken fysisk maskin som går sönder i morgon kräver däremot information om verkliga maskiner, tid och framtida utfall som detta exempel inte ger.

Kursen omfattar även ML, kritisk granskning och självständigt projektarbete. Skriv redan nu vilket beslut du vill stödja, vilka kolumner du behöver och en begränsning. Det blir underlag till projektet, inte ett löfte om att datan kan besvara varje fråga.

FRÅN KUNSKAP TILL HANDLING

Prova själv

Fundera med hjälp av exemplet. Papper och penna räcker.

  1. Välj ett växthus med 10 sensorer som mäter en gång i minuten. Räkna antalet mätningar på ett dygn.
  2. Skriv en fråga som mätningarna kan hjälpa till att besvara. Ange hur snabbt ett svar behövs.
  3. Lägg till en kamera i exemplet. Beskriv vilken ny utmaning det ger och om bilderna behövs för din fråga.
DIN TUR

Testa dina kunskaper

Stanna upp en stund. Vad har fastnat?

01Vilket exempel beskriver främst variation?

02Vad beskriver veracity och value?

03Hur många mätningar ger 10 sensorer som mäter en gång i minuten under ett dygn?

04Vad bör styra valet av analysverktyg?

05Vad kan man säga om en större datamängd?

Fortsätt vara nyfiken

Utvalda källor för dig som vill gå djupare.

Big Data och de vanliga V-begreppenIBM · EngelskaAI4I 2020 – dataset och dokumentationUCI Machine Learning Repository · Engelska

Ett steg närmare helheten.

Markera ämnet när du känner dig redo.

Hitta nästa sak att förstå.

Vad är Big Data?Ämne 1 · GrundernaFrån datakälla till insamlingÄmne 2 · DataflödenHur lagras data?Ämne 3 · LagringFrån rådata till insiktÄmne 4 · BearbetningKan vi lita på resultatet?Ämne 5 · DatakvalitetPython, analys & visualiseringÄmne 6 · AnalysMaskininlärning för IoTÄmne 7 · MaskininlärningProjekt, källkritik & presentationÄmne 8 · Projekt