SV

Baserat på kursplanen och den första lektionssammanfattningen. Innehållet fylls på under kursens gång.

← Till kursöversikten
ÄMNE 03 / 08 · Lagring

Hur lagras data?

Bekanta dig med dataformat, databaser, datalager och datasjöar genom ett litet sensorarkiv.

5 min läsning5 kunskapsfrågorPraktisk övning
DET HÄR TAR DU MED DIG
  • Ge exempel på strukturerad, semistrukturerad och ostrukturerad data.
  • Beskriva olika roller för databas, datalager och datasjö.
  • Förklara varför metadata och indelning behövs.
Rådata
Beskrivning & lagring
Bearbetade tabeller
Frågor
Ordning som hjälper nästa fråga · Ett förenklat flöde
01 — UTFORSKA

Data har olika form

En tabell med kolumnerna sensorId, tid och temperatur är ett exempel på strukturerad data. Kolumnerna har bestämd betydelse och kan ha datatyper och regler. Ett JSON-dokument kallas ofta semistrukturerat: det har fält och en inre struktur men dokumenten kan se olika ut. JSON kan också valideras mot ett strikt schema.

Fotografier och fria serviceanteckningar brukar kallas ostrukturerade i detta sammanhang. Det betyder inte att filerna saknar all struktur, utan att innehållet inte redan ligger i de kolumner som vår analys behöver. För att jämföra temperatur med synliga bladskador kan vi behöva både en tabell över mätningar och ett sätt att beskriva bilderna.

02 — UTFORSKA

Databas, datalager och datasjö

En databas organiserar data så att de kan lagras och hämtas. I växthusets löpande system kan den exempelvis hålla reda på sensorer och deras placering. Ett datalager, data warehouse, samlar bearbetad och organiserad information för analys och rapportering. En datasjö, data lake, kan samla stora mängder data i flera format, även nära det ursprungliga formatet.

Jämför de två analysrollerna rad för rad i tabellen. Den visar typiska användningar, inte absoluta gränser: en datasjö kan innehålla bearbetade tabeller och moderna datalager kan hantera fler format. Båda behöver metadata, kvalitetskontroller och styrd åtkomst.

De kan också samarbeta. I växthuset kan originalmätningar och bilder sparas i en datasjö, medan kontrollerade dygnsvärden förs vidare till ett datalager för rapportering. Databasen för löpande drift håller samtidigt reda på vilka sensorer som sitter var.

Data warehouse och data lake – skillnader sida vid sida
JämförData warehouse · datalagerData lake · datasjö
HuvudsyfteÅterkommande analyser och rapporter med gemensamma definitioner.Samla varierat underlag för utforskning och flera slags analyser.
Typiskt innehållBearbetade, organiserade tabeller.Originalfiler och bearbetad data: tabeller, loggar, bilder med mera.
StrukturEn gemensam datamodell formas för rapporternas frågor.Olika format kan sparas; struktur tolkas och förbereds för varje analys.
VäxthusexempelDygnsmedelvärde per växthus med samma enhet och beräkningsregel.Sensormätningar, bladbilder och serviceanteckningar med metadata.
Typisk frågaHur skiljer sig medeltemperaturen mellan växthusen per månad?Kan bilder och mätningar tillsammans förklara bladskador?
UtmaningNya behov kan kräva ändrade tabeller och bearbetningssteg.Utan katalog, beskrivningar och kvalitetsarbete blir data svåra att använda.
03 — UTFORSKA

Beskriv vad som sparas

Metadata är information som beskriver data: exempelvis källa, enhet, tidszon, insamlingstid och formatversion. Anta att en leverantör byter från Celsius till Fahrenheit utan att filnamnet ändras. Om bara talvärdet sparas kan skillnaden bli svår att upptäcka i efterhand. En beskrivning av format och enhet är därför en del av materialet, inte en dekoration.

Skilj gärna originalet från den bearbetade versionen. Om en felaktig omvandlingsregel upptäcks kan originalet användas för en ny körning, så länge det finns skäl och tillåtelse att behålla det. Dokumentera vilken bearbetning som gjorts. Att två filer heter slutlig betyder inte att de innehåller samma beräkning.

04 — UTFORSKA

Hitta rätt del av materialet

Anta att någon frågar efter oktober månads värden. Om arkivet är indelat efter datum kan systemet ibland läsa en mindre del av det. Sådan indelning kallas partitionering. En mappstruktur är ett enkelt sätt att illustrera tanken, men faktiska lagringssystem har egna mekanismer och regler.

Det finns inget indelningssätt som är bäst för alla frågor. Tusentals mycket små delar kan också bli besvärliga att hantera. Börja med vilka urval som ofta behövs, exempelvis datumintervall, och undersök sedan hur lagringen används. En säkerhetskopia fyller dessutom ett annat syfte än partitionering: indelning i mappar skyddar inte mot att allt raderas.

När du planerar ett arkiv, skriv ned vem som använder det, vilka frågor det ska stödja och hur länge olika uppgifter behövs. Då blir lagring ett medvetet stöd för arbetet i stället för en samling filer som ingen vågar ändra.

EXEMPEL
matningar/
  ar=2026/
    manad=10/
      dag=13/
        del-001.json

metadata: enhet=C, tid=UTC, formatversion=1
05 — UTFORSKA

Välj lagring efter åtkomst och ansvar

En fil eller objektlagring kan passa för rådata, bilder och avgränsade exporter. En relationsdatabas passar när relationer, integritetsregler och strukturerade frågor är centrala. En tidsseriedatabas kan vara användbar för tidsindexerade mätningar, tidsintervall och sammanställningar. Valet avgörs av kraven, inte enbart av antalet rader.

En data lake är ett sätt att organisera en samling data i flera format, ofta ovanpå objektlagring. Den är inte ett filformat eller en direkt synonym till en viss databas. För AI4I-övningen räcker en lokal CSV som original och dokumenterade analysresultat. För ett kontinuerligt IoT-flöde behöver du dessutom diskutera skrivhastighet, frågor, lagringstid, åtkomst, återställning och kostnad.

Lagring och beräkningsverktyg är olika beslut: ett SQL-gränssnitt är ett frågespråk/gränssnitt, inte en bestämd lagringsprodukt. En tidsseriedatabas kan erbjuda SQL, och en analysmotor kan läsa data ur objektlagring.

FRÅN KUNSKAP TILL HANDLING

Prova själv

Fundera med hjälp av exemplet. Papper och penna räcker.

  1. Sortera en temperaturtabell, ett JSON-meddelande och ett fotografi efter vilken form av data de illustrerar.
  2. Skissa hur du sparar originalmätningar och dygnsmedelvärden var för sig. Ange tre metadatafält.
  3. Beskriv hur du skulle hitta en viss månads mätningar och hur du märker vilken enhet värdena har.
DIN TUR

Testa dina kunskaper

Stanna upp en stund. Vad har fastnat?

01Vilket exempel är tydligast strukturerad data?

02Vad är ett vanligt syfte med ett datalager?

03Vilket är ett exempel på metadata?

04Vad kan partitionering efter datum hjälpa till med?

05Vad gäller för JSON?

Fortsätt vara nyfiken

Utvalda källor för dig som vill gå djupare.

Datasjöar, dataformat och datalagerIBM · EngelskaJämförelse: data warehouse och data lakeAWS · Engelska

Ett steg närmare helheten.

Markera ämnet när du känner dig redo.

Hitta nästa sak att förstå.

Vad är Big Data?Ämne 1 · GrundernaFrån datakälla till insamlingÄmne 2 · DataflödenHur lagras data?Ämne 3 · LagringFrån rådata till insiktÄmne 4 · BearbetningKan vi lita på resultatet?Ämne 5 · DatakvalitetPython, analys & visualiseringÄmne 6 · AnalysMaskininlärning för IoTÄmne 7 · MaskininlärningProjekt, källkritik & presentationÄmne 8 · Projekt