Learnings from the Project

Tähän tiedostoon on koottu keskeiset opit ja havainnot, joita projektin aikana kertyi.

1. Datan ingestointi eri lähteistä

Opin keräämään ja yhdistämään dataa useista eri lähteistä (esim. HTML, CSV, manuaaliset syötteet).
Ingestoin ensimmäistä kertaa dataa suoraan HTML-sivuilta (esim. Bikeland.fi) ja opin käsittelemään HTML-rakenteita Pythonilla.

Opin rakentamaan interaktiivisen karttavisualisoinnin Streamlitillä.
Opin toteuttamaan dynaamisia filttereitä (esim. tapahtuman tyyppi, ajankohta, sijainti), jotka vaikuttavat kartan näkymään reaaliaikaisesti.

Opin erilaisia strategioita deduplikointiin, kun dataa tulee useista lähteistä ja tapahtumat voivat olla lähes identtisiä mutta pienin eroavaisuuksin (esim. nimissä pieniä kirjoitusasueroja).
Opin vertailemaan ja yhdistämään tietueita fiksusti, jotta lopputuloksena on mahdollisimman kattava ja siisti tapahtumadata.

Tässä projektissa ja sen oppimisessa kehittyneet taidot liittyvät seuraaviin laajempiin osa-alueisiin:

Data Engineering & Data Pipeline -osaaminen: Datan keruu, yhdistäminen ja prosessointi eri lähteistä sekä deduplikointi ja harmonisointi.
Paikkatietojärjestelmät (GIS) ja geoinformatiikka: Sijaintitiedon käsittely, geokoodaus ja karttavisualisointi sekä niiden hyödyntäminen käytännön sovelluksissa.
Full Stack -sovelluskehitys ja prototyyppien rakentaminen: Nopeat MVP:t, käyttöliittymän ja datan yhdistäminen sekä automaattinen tiedon päivitys.
Ohjelmistokehityksen parhaat käytännöt: Modulaarinen koodi, virheenkäsittely, tiedostojen hallinta, käyttäjäystävällisyys sekä dokumentointi.
Automaatio ja tiedon avoimuus (Open Data): Automatisoidut datan päivitysprosessit ja tiedon avoimuuden tukeminen.

Nämä osa-alueet ovat hyödyllisiä mm. data-analytiikassa, ohjelmistokehityksessä, kaupunkisuunnittelussa, tapahtumatuotannossa ja tutkimuksessa.

Voit täydentää tätä tiedostoa lisäämällä muita oppeja tai huomioita projektin edetessä.