SV

Baserat på kursplanen och den första lektionssammanfattningen. Innehållet fylls på under kursens gång.

← Till kursöversikten
ÄMNE 02 / 08 · Dataflöden

Från datakälla till insamling

Utforska hur sensorer, loggar och API:er blir ett dataflöde som går att använda.

5 min läsning5 kunskapsfrågorPraktisk övning
DET HÄR TAR DU MED DIG
  • Skilja batch från strömmande insamling.
  • Förklara varför händelsetid och mottagningstid kan skilja sig.
  • Identifiera dubbletter och nödvändig metadata.
Sensor / API / logg
Insamling
Kontroll
Lagring
Följ en mätning hela vägen · Ett förenklat flöde
01 — UTFORSKA

Varifrån kommer datan?

En datakälla kan vara en sensor, ett verksamhetssystem, ett API eller en loggfil. Insamlingen gör informationen tillgänglig för nästa steg. En datapipeline är en kedja av sådana steg, från källan till exempelvis en rapport. Redan vid starten behöver vi förstå vad varje post faktiskt betyder.

I växthusexemplet ska ett temperaturvärde kunna kopplas till rätt sensor och tidpunkt. Värdet 21,7 säger inte tillräckligt på egen hand. Är det grader Celsius? Vilket växthus avses? När mättes temperaturen? Om dessa uppgifter saknas kan senare bearbetning sällan återskapa dem säkert. Dokumentera betydelsen nära källan.

02 — UTFORSKA

Batch eller ström?

Batch innebär att bearbeta en avgränsad samling, exempelvis gårdagens mätningar i en fil. Vid strömmande bearbetning hanteras ett fortlöpande inflöde av händelser. Valet beror bland annat på hur färskt resultatet behöver vara. Samma verksamhet kan använda båda arbetssätten.

En daglig temperaturöversikt kan skapas från en nattlig export. Ett larm behöver däremot upptäcka problemet medan det pågår. Strömmande betyder inte att fördröjningen är noll: överföring, köer och beräkningar tar tid. Beskriv hellre ett konkret behov, exempelvis att larmet normalt ska komma inom tio sekunder efter mätningen.

Apache Kafka är ett exempel på en plattform för att publicera, lagra och läsa händelseströmmar. Det är en möjlig byggsten, inte ett krav för övningarna här. I denna introduktion räcker det att kunna skissa källan, mottagaren och vad som ska hända med informationen.

Batch och ström – samma mätningar, olika arbetssätt
JämförBatchStröm
UnderlagEn avgränsad samling, till exempel en dygnsfil.Ett fortlöpande inflöde av nya händelser.
När sker arbetet?Samlingen behandlas vid en körning.Inkommande data behandlas löpande, ibland i små grupper.
VäxthusexempelSammanställ gårdagens temperaturer varje natt.Upptäck för hög temperatur medan problemet pågår.
Att planera förNär körningen startar och hur lång tid den får ta.Fördröjning, sena händelser och återstart efter avbrott.
03 — UTFORSKA

Två tider för samma händelse

Sensorn kan ha mätt klockan 10.00 men lyckats skicka först klockan 10.05 efter ett nätverksavbrott. Händelsetiden beskriver när mätningen gjordes. Mottagningstiden beskriver när mottagaren fick den. Sparar vi bara den senare kan en temperaturkurva ge intryck av att förändringen skedde fem minuter för sent.

För en sammanställning behöver man bestämma vilken tid som används och hur sena mätningar behandlas. I en förenklad dygnsrapport kan vi gruppera efter händelsetid och uppdatera rapporten när saknade poster anländer. En färdig rapport bör då visa när den senast uppdaterades. Ange även tidszon eller använd en entydig representation som UTC.

EXEMPEL
{
  "eventId": "temp-7-1042",
  "sensorId": "temp-7",
  "measuredAt": "2026-10-13T08:00:00Z",
  "receivedAt": "2026-10-13T08:05:00Z",
  "value": 21.7,
  "unit": "C"
}
04 — UTFORSKA

När samma post kommer igen

Om en sändare inte får en kvittens kan den försöka igen. Mottagaren kan då få samma mätning två gånger. Ett stabilt händelse-ID kan hjälpa oss att upptäcka omsändningar. Två lika temperaturvärden är däremot inte i sig en dubblett: temperaturen kan faktiskt vara oförändrad vid nästa mättillfälle.

Planera också för felaktiga poster. I vårt exempel kan en post med saknad enhet läggas åt sidan med en felorsak i stället för att tyst kastas eller räknas som Celsius. Då går det att undersöka felet och följa hur stor del av insamlingen som inte kunde användas. Ett fungerande dataflöde behöver både ta emot värden och göra förluster synliga.

05 — UTFORSKA

MQTT, gateway och broker har olika roller

Ett förenklat IoT-flöde är sensor → gateway eller MQTT-klient → MQTT-broker → insamlande tjänst → lagring → bearbetning → analys och dashboard. En sensor kan också ansluta direkt som MQTT-klient; en gateway behövs inte i varje lösning. Den kan till exempel översätta från ett annat protokoll eller samla flera sensorer.

MQTT är protokollet. Brokern förmedlar meddelanden till prenumeranter. Den insamlande tjänsten måste fortfarande bestämma hur poster valideras och skrivs till ett varaktigt analysarkiv. En broker eller dashboard är inte automatiskt en komplett historikdatabas. Rita vem som ansvarar för varje steg och hur förlust eller dubbletter upptäcks.

AI4I-filen är redan ett färdigt, avgränsat underlag. Att läsa den med Python är batcharbete och simulerar inte automatiskt ett levande sensorflöde. Använd filen för att öva analysen och skissen för att resonera om hur motsvarande produktionsflöde skulle kunna fungera.

FRÅN KUNSKAP TILL HANDLING

Prova själv

Fundera med hjälp av exemplet. Papper och penna räcker.

  1. Rita två flöden: ett för ett temperaturlarm och ett för en dygnsrapport. Välj batch eller ström och motivera.
  2. Låt en mätning komma fem minuter sent. Visa var den hamnar om du grupperar efter respektive tidsstämpel.
  3. Skriv två identiska händelser med samma eventId och en ny mätning med samma temperatur. Förklara vilka poster som är dubbletter.
DIN TUR

Testa dina kunskaper

Stanna upp en stund. Vad har fastnat?

01Vilket är ett typiskt batchflöde?

02Vad beskriver händelsetiden för en sensormätning?

03Två poster har samma temperatur men olika händelse-ID och mättid. Vad vet vi?

04Vad betyder strömmande bearbetning?

05En mätning saknar enhet. Vilket är ett rimligt arbetssätt?

Fortsätt vara nyfiken

Utvalda källor för dig som vill gå djupare.

Introduktion till händelseströmmarApache Kafka · EngelskaMQTT: broker, klienter och meddelandenEclipse Mosquitto · Engelska

Ett steg närmare helheten.

Markera ämnet när du känner dig redo.

Hitta nästa sak att förstå.

Vad är Big Data?Ämne 1 · GrundernaFrån datakälla till insamlingÄmne 2 · DataflödenHur lagras data?Ämne 3 · LagringFrån rådata till insiktÄmne 4 · BearbetningKan vi lita på resultatet?Ämne 5 · DatakvalitetPython, analys & visualiseringÄmne 6 · AnalysMaskininlärning för IoTÄmne 7 · MaskininlärningProjekt, källkritik & presentationÄmne 8 · Projekt