- Skilja rensning, transformering och aggregering.
- Beräkna ett medelvärde från summa och antal.
- Förklara idén med distribuerad bearbetning och dess kostnader.
Gör stegen synliga
Att analysera data innebär ofta flera mindre steg. Rensning kan vara att upptäcka dubbletter eller avskilja poster som inte går att tolka. Transformering ändrar representationen, exempelvis från text till tal eller från Fahrenheit till Celsius. Aggregering sammanfattar flera poster, till exempel som antal, summa eller medelvärde.
Stegen behöver ha tydliga regler. Att ta bort alla temperaturer över 30 grader kan ge en prydlig tabell, men också radera just den överhettning som skulle upptäckas. Skilj därför mellan ett värde som är omöjligt att tolka och ett värde som är ovanligt men kanske korrekt. Spara information om hur många poster som avskilts och varför.
Ett litet underlag att kontrollera för hand
Anta att sensor A har tre giltiga temperaturmätningar: 20, 22 och 24 grader. Summan är 66 och antalet är 3, så det aritmetiska medelvärdet är 22 grader. Om en fjärde rad saknar värde är den inte automatiskt noll. I detta exempel räknar vi bara de tre observerade värdena och rapporterar separat att en mätning saknas.
Det är ett medelvärde av observationerna. Det motsvarar inte alltid ett tidsvägt dygnsmedelvärde, särskilt om mätningarna kommer med ojämna mellanrum. Förklara därför vad ett resultat avser. Ett litet underlag som går att räkna för hand är användbart när man senare vill kontrollera ett större beräkningsflöde.
| Mätning | Temperatur i °C | Behandling |
|---|---|---|
| 1 | 20 | Ingår |
| 2 | 22 | Ingår |
| 3 | 24 | Ingår |
| 4 | Saknas | Redovisas separat |
Dela upp arbetet
Vid distribuerad bearbetning kan delar av en datamängd behandlas på flera datorer. Varje del ger ett delresultat som kombineras. Apache Spark är ett exempel på ett system för sådan bearbetning. Vi behöver inte installera det för att förstå principen: formulera först vad varje del ska lämna ifrån sig.
För ett medelvärde räcker det inte alltid att ta medelvärdet av delarnas medelvärden. Om den första delen innehåller 20 och den andra 22, 24, 26 har delarna olika antal värden. Skicka i stället summa och antal från varje del. Då får vi totalen 92 och antalet 4, vilket ger 23 grader. Medelvärdet av delmedlen 20 och 24 hade blivit 22 och alltså fel för alla fyra observationerna.
Del A: [20] → summa 20, antal 1
Del B: [22, 24, 26] → summa 72, antal 3
Gemensamt medelvärde = (20 + 72) / (1 + 3) = 23Mer än fler datorer
Flera datorer behöver samordnas. Data kan behöva flyttas mellan dem, till exempel när alla mätningar från samma sensor ska grupperas. Sådan omfördelning kallas ofta shuffle. Den kräver nätverk och andra resurser. Om en del innehåller mycket mer data än de andra kan den också bli en flaskhals.
För en liten tabell kan en enda dator därför vara enklare och snabbare. Börja med en korrekt beräkning, mät var tiden går och utvärdera sedan större resurser eller andra arbetssätt. Att kunna kontrollera resultatet är lika viktigt när arbetet fördelas som när man räknar för hand.
Avsluta med en beskrivning av resultatet: vilka sensorer, vilket tidsintervall, vilken enhet och hur många användbara mätningar? Om någon annan inte kan förstå detta blir ett ensamt tal i en rapport svårt att använda, även om själva beräkningen är korrekt.
Verktyg och en plan för större data
Pandas och Polars används för tabellanalys. Pandas är en bra utgångspunkt för kursens lilla CSV. Polars kan bland annat köra frågor med parallell bearbetning och, där operationerna stöds, strömma delar av arbetet genom minnet. Det betyder inte automatiskt att programmet är ett system för oändliga händelseströmmar eller körs på flera datorer. SQL används för att formulera frågor; kapaciteten beror på motorn som kör dem.
Spark kan fördela arbete över ett kluster, men kan också köras lokalt. Strömbearbetning av ett fortlöpande IoT-flöde kräver dessutom ställningstaganden om tidsfönster, sena händelser, tillstånd och återstart. Inget av dessa verktyg behöver väljas bara för att kursen heter Big Data.
Om AI4I-filen blev 1 000 gånger större: mät minnesbehov och körtid, läs bara nödvändiga kolumner, välj lämplig indelning och överväg effektivare format eller bearbetning i delar. Överväg distribuerad körning när uppmätta krav motiverar det. Om inflödet aldrig tar slut måste du också begränsa hur mycket tillstånd som hålls och bestämma när ett resultat räknas som färdigt.
Skilj en plan från ett utfört skalningstest. Dokumentera antaganden om RAM, CPU, disk, nätverk och kostnad. Trender som edge-analys och kombinerade lakehouse-lösningar är värda att känna till, men motivera nyttan för just din fråga innan du föreslår en större plattform.
Prova själv
Fundera med hjälp av exemplet. Papper och penna räcker.
- Räkna summa, antal och medelvärde för 18, 20 och 22 grader. Lägg till en saknad mätning och beskriv hur den redovisas.
- Dela värdena i två grupper av olika storlek. Återskapa medelvärdet med delarnas summor och antal.
- Skriv en resultatmening som anger enhet, underlag och vad du ännu inte kan dra någon slutsats om.
- Skissa en resursplan för 1 000 gånger mer data och en separat plan för ett inflöde som aldrig tar slut. Skilj antaganden från mätningar.
Testa dina kunskaper
Stanna upp en stund. Vad har fastnat?
Fortsätt vara nyfiken
Utvalda källor för dig som vill gå djupare.
Distribuerade samlingar, operationer och shuffleApache Spark · EngelskaStrömmande frågekörning i PolarsPolars · EngelskaEtt steg närmare helheten.
Markera ämnet när du känner dig redo.