Se sprašujete, kako se podatki, ki jih uporabljamo vsak dan, preoblikujejo v uporabne informacije in se želite naučiti kako iz kaosa podatkov ustvariti red? V tokratnem blogu smo se pogovarjali z našim inštruktorjem Tomažem Bračičem, ki bo vodil novi tečaj Uvod v podatkovni inženiring.
V blogu si lahko preberete vse od pomena podatkovnega inženiringa do uporabnosti tega znanja v praksi ter kako lahko naredite prve korake v eno najbolj iskanih karier današnjega časa.
- Komu je tečaj namenjen? Kakšne predhodne izkušnje ali znanja so priporočljiva za udeležence?
Tečaj je namenjen tistim, ki bi radi nadaljevali v svetu Pythona in si odprli vrata v svet, ki ga poznamo pod imenom podatkovni inzenir. Podatkovni inženir se ukvarja z zajemom, procesiranjem in hranjenjem podatkov.
Predznanje, ki ga tečajnik potrebuje je vsaj vsebina Python za začetnike oz. imajo primerljivo predhodno znanje Python programskega jezika. Zaželjeno je poznavanje vsaj ene podatkovne baze (MySQL, Postgresql, SQLite3, MSSQL), ter osnove dela s spletnimi tehnologijami.
- Kaj lahko tečajniki pričakujejo od tečaja?
Tečajniki se bodo spoznali s prostopi zajemanja podatkov iz različnih virov (podatkovne baze, splet, API), procesiranje oz. obdelava teh podatkov oz. bolj kompleksnih struktur in na koncu hranjenje teh podatkov v različnih podatkovnih sistemih in objava teh podatkov preko APIja.
- Zakaj je podatkovni inženiring pomemben? Kako lahko te veščine koristijo v različnih panogah, ne le v IT-ju?
Danes se velika večina zaposlenih po raznih službah srečuje s potrebo po analizi, usklajevanju, harmonizaciji podatkov, ki največkrat niso na enem priročnem mestu. Veščine vam bodo pomagale pri tovrstnih nalogah.
- Katere osnovne koncepte podatkovnega inženiringa bodo obravnavali tečajniki? Kako bo tečaj strukturiran, da pokrije te koncepte?
Tečaj bo imel tri velike sklope. Zajem podatkov iz različnih virov (podatkovne baze, splet, API), nakar bomo te podatke s pomočjo Pandas (Polars) knjižnice obdelali, malo prečistili in nato v tretjem sklopu shranili v nam željeno hrambo in jih servirali končnim uporabnikom preko APIja. Seveda to ni vse. Tekom tečaja se bomo dotaknili različnih tehnologij in pristopov, zato menim, da bo tečaj zanimiva in koristna izkušnja.
- Kako bo potekalo učenje obdelave in analize podatkov?
Tak tečaj, se težko loči na teorijo, brez prakse. Zato bo tečaj stalno prepleten s praktičnimi koraki, preko katerih bomo tekom celega tečaja gradili znanje in zgodbo.
- Kaj lahko tečajniki pričakujejo od dela z API-ji in spletnega strganja?
API in spletno strganje (scraping) nam bosta koristila za zajem podatkov. API nam bo omogočal dostop do podatkov, ki so na strukturiran način na voljo, pri čemer si bomo spletno strganje oz. scraping sposodili za podatke, ki niso prosto na voljo. API bomo postavili tudi sami v zadnjem delu za serviranje naših podatkov.
- Kakšna je pomembnost SQL znanja pri delu s podatkovnimi bazami? (Kako bo tečaj udeležencem pomagal pri razumevanju SQL in uporabi v PostgreSQL ali MSSQL?)
SQL je veliko in močno področje v portfoliju podatkovnega inženirja. Smartninja nudi SQL tečaje SQL1 in 2. Vsebina tega tečaja bo zasnovana tako, da manjko v tem znanju ne bo kritičen za samo spremljanje in napredovanje. Skupina bo skupaj delala korake naprej, morajo pa tečajniki vedeti, da manjko v tem znanju vsekakor pomeni omejitev pri delu na področju podatkovnega inženirja naprej v lastni režiji. To znanje je potrebno pridobiti.
- Kako bodo tečajniki pridobili praktične izkušnje z vizualizacijo podatkov?
Tečajnikom se bo predstavilo različne možnosti za vizualizaijo podatkov. Skupina bo delala na enem od načinov. Glavni namen je slušatelje naučiti, da bodo sami znali oceniti na kakšen način izbrati ustrezen način za vizualizaijo glede na svoje trenutno in novo pridobljeno znanje in vrsto podatkov in glede na potrebe.
- Kaj je vključeno v razvoj API-jev s FastAPI? Kako pomembno je to znanje za prihodnje delo udeležencev?
Ker je ta del zelo pomemben, bomo malo več časa porabili na FastAPIju, ki ga bomo koristili za serviranje naših predelanih podatkov. Tovrstno znanje lahko kasnje tečajniki koristijo tudi pri svojem delu ali hobiju.
- Kako bodo tečajniki podprti pri razvoju svojih projektov?
V času samega tečaja, bomo imeli skupni strežnik, ki nam bo omogočal delo na različnih fazah ETL (Extract Transform Load) oz. ELT (Extract Load Transform).
- Kaj bi izpostavili kot največje prednosti tečaja? Zakaj bi se prijavili na ta tečaj?
V današnjem času so podatki zelo pomembna zadeva. Informacije, ki jih dobimo iz njih toliko bolj. Podjetja vlagajo velike denarje v proces, da s pomočjo podatkov pridejo do informacij. Za ta pristop se uporablja izraz “Data driven”. Odločitve se sprejemajo na podlagi podatkov in informacij. Četudi so količine podatkov in naloge okoli tega lahko zelo različne, tako po količini podatkov, kot po zahtevnosti dela podatkovnega inženirja… so osnovni principi zelo podobni. Namen tečaja je, da odpre vrata v ta zanimivi svet podatkovnega inženirja.
- Kako lahko tečajniki po končanem tečaju nadaljujejo z učenjem?
Razumljivo, da tečaj v takem obsegu ne more dati vsega. Vsekako bo pa dal znanje, da bodo tečajniki znali raziskovati in poglabljati znanje v pravih tehnologijah naprej. Smer bo znana, potrebna bo le še volja.
Torej, če želite pridobiti praktično znanje, ki ga cenijo podjetja po vsem svetu, se nam lahko pridružite na tečaju Uvod v podatkovni inženiring in s Smartninjo naredite prvi korak k obvladovanju podatkovnega sveta.
