- Skilja batch från strömmande insamling.
- Förklara varför händelsetid och mottagningstid kan skilja sig.
- Identifiera dubbletter och nödvändig metadata.
Varifrån kommer datan?
En datakälla kan vara en sensor, ett verksamhetssystem, ett API eller en loggfil. Insamlingen gör informationen tillgänglig för nästa steg. En datapipeline är en kedja av sådana steg, från källan till exempelvis en rapport. Redan vid starten behöver vi förstå vad varje post faktiskt betyder.
I växthusexemplet ska ett temperaturvärde kunna kopplas till rätt sensor och tidpunkt. Värdet 21,7 säger inte tillräckligt på egen hand. Är det grader Celsius? Vilket växthus avses? När mättes temperaturen? Om dessa uppgifter saknas kan senare bearbetning sällan återskapa dem säkert. Dokumentera betydelsen nära källan.
Batch eller ström?
Batch innebär att bearbeta en avgränsad samling, exempelvis gårdagens mätningar i en fil. Vid strömmande bearbetning hanteras ett fortlöpande inflöde av händelser. Valet beror bland annat på hur färskt resultatet behöver vara. Samma verksamhet kan använda båda arbetssätten.
En daglig temperaturöversikt kan skapas från en nattlig export. Ett larm behöver däremot upptäcka problemet medan det pågår. Strömmande betyder inte att fördröjningen är noll: överföring, köer och beräkningar tar tid. Beskriv hellre ett konkret behov, exempelvis att larmet normalt ska komma inom tio sekunder efter mätningen.
Apache Kafka är ett exempel på en plattform för att publicera, lagra och läsa händelseströmmar. Det är en möjlig byggsten, inte ett krav för övningarna här. I denna introduktion räcker det att kunna skissa källan, mottagaren och vad som ska hända med informationen.
| Jämför | Batch | Ström |
|---|---|---|
| Underlag | En avgränsad samling, till exempel en dygnsfil. | Ett fortlöpande inflöde av nya händelser. |
| När sker arbetet? | Samlingen behandlas vid en körning. | Inkommande data behandlas löpande, ibland i små grupper. |
| Växthusexempel | Sammanställ gårdagens temperaturer varje natt. | Upptäck för hög temperatur medan problemet pågår. |
| Att planera för | När körningen startar och hur lång tid den får ta. | Fördröjning, sena händelser och återstart efter avbrott. |
Två tider för samma händelse
Sensorn kan ha mätt klockan 10.00 men lyckats skicka först klockan 10.05 efter ett nätverksavbrott. Händelsetiden beskriver när mätningen gjordes. Mottagningstiden beskriver när mottagaren fick den. Sparar vi bara den senare kan en temperaturkurva ge intryck av att förändringen skedde fem minuter för sent.
För en sammanställning behöver man bestämma vilken tid som används och hur sena mätningar behandlas. I en förenklad dygnsrapport kan vi gruppera efter händelsetid och uppdatera rapporten när saknade poster anländer. En färdig rapport bör då visa när den senast uppdaterades. Ange även tidszon eller använd en entydig representation som UTC.
{
"eventId": "temp-7-1042",
"sensorId": "temp-7",
"measuredAt": "2026-10-13T08:00:00Z",
"receivedAt": "2026-10-13T08:05:00Z",
"value": 21.7,
"unit": "C"
}När samma post kommer igen
Om en sändare inte får en kvittens kan den försöka igen. Mottagaren kan då få samma mätning två gånger. Ett stabilt händelse-ID kan hjälpa oss att upptäcka omsändningar. Två lika temperaturvärden är däremot inte i sig en dubblett: temperaturen kan faktiskt vara oförändrad vid nästa mättillfälle.
Planera också för felaktiga poster. I vårt exempel kan en post med saknad enhet läggas åt sidan med en felorsak i stället för att tyst kastas eller räknas som Celsius. Då går det att undersöka felet och följa hur stor del av insamlingen som inte kunde användas. Ett fungerande dataflöde behöver både ta emot värden och göra förluster synliga.
MQTT, gateway och broker har olika roller
Ett förenklat IoT-flöde är sensor → gateway eller MQTT-klient → MQTT-broker → insamlande tjänst → lagring → bearbetning → analys och dashboard. En sensor kan också ansluta direkt som MQTT-klient; en gateway behövs inte i varje lösning. Den kan till exempel översätta från ett annat protokoll eller samla flera sensorer.
MQTT är protokollet. Brokern förmedlar meddelanden till prenumeranter. Den insamlande tjänsten måste fortfarande bestämma hur poster valideras och skrivs till ett varaktigt analysarkiv. En broker eller dashboard är inte automatiskt en komplett historikdatabas. Rita vem som ansvarar för varje steg och hur förlust eller dubbletter upptäcks.
AI4I-filen är redan ett färdigt, avgränsat underlag. Att läsa den med Python är batcharbete och simulerar inte automatiskt ett levande sensorflöde. Använd filen för att öva analysen och skissen för att resonera om hur motsvarande produktionsflöde skulle kunna fungera.
Prova själv
Fundera med hjälp av exemplet. Papper och penna räcker.
- Rita två flöden: ett för ett temperaturlarm och ett för en dygnsrapport. Välj batch eller ström och motivera.
- Låt en mätning komma fem minuter sent. Visa var den hamnar om du grupperar efter respektive tidsstämpel.
- Skriv två identiska händelser med samma eventId och en ny mätning med samma temperatur. Förklara vilka poster som är dubbletter.
Testa dina kunskaper
Stanna upp en stund. Vad har fastnat?
Fortsätt vara nyfiken
Utvalda källor för dig som vill gå djupare.
Introduktion till händelseströmmarApache Kafka · EngelskaMQTT: broker, klienter och meddelandenEclipse Mosquitto · EngelskaEtt steg närmare helheten.
Markera ämnet när du känner dig redo.