Učím se sbírat a analyzovat data ve vzdělávání a o tom, jak se učím, píšu učební deník.

Proč data a proč deník?

Můj cíl je proniknout do datové analýzy za 3-4 měsíce, a to převážně pomocí samostudia.

Proč data? Data a jejich zpracování jsou důležitá i pro výzkumy a inovace v oblasti vzdělávání. V mém případě jsou logickým krokem v profesním rozvoji.

Proč samostudium? V lednu jsem dokončila magisterské studium a bylo to moc fajn. Teď ale potřebuju své tempo a svoje témata.

Proč deník? Jsem vzdělaná humanitně, nikoli technicky. Nikdy jsem nestudovala ani statistiku, ani žádný programovací jazyk, pořádně neovládám ani Excel. Deník píšu, protože datová analýza je pro mě výzva a já ji nechci vzdát předčasně.

Odkdy dokdy? Deník začínám psát v srpnu 2024. Novou dovednost si chci osvojit do konce roku 2024. Nejde mi tolik o znalosti jako o přímou využitelnost v kontextu mé práce.

Jak píšu? Píšu pouze v rámci tohoto jednoho příspěvku, několikrát týdně. Pokud sem chodíte opakovaně, bude třeba stránku obnovovat. Starší záznamy najdete níže, novější výše.

Čtěte od konce…

neděle 29. prosince

Uběhly 4 měsíce od prvního příspěvku této deníkové série. Dala jsem si za úkol proniknout do základů datové analýzy, základů statistiky a všeho ostatního, co souvisí s analýzou dat ve vzdělávání.

Zpětně vnímám, že jsem se přestala bát kvantitativní analýzy a pochopila, o čem je learning analytics. Obojí je pro můj obor (technologie ve vzdělávání) dosti užitečné.

Co se mi podařilo méně, je aplikace. Platila jsem si od září Julius, ale využila jsem ho jen párkrát a velmi nesystematicky. Také jsem tolik nepracovala s Excelem či realnými data sety, to by mi bývalo určitě prospělo.

I tak tu ale pozoruji kus práce, odvedený úplně ve volném čase mimo veškeré mé pracovní povinnosti a jiné zájmy.

Proč jsem se tedy do této osobní výzvy pustila a co mi to přineslo? Už nějakou dobu vnímám, že humanitní vzdělání nestačí, stejně jako technické vzdělání samo o sobě nestačí. To vskutku zajímavé, nečekané a konkurenceschopné se děje na pomezí. Tedy tam, kam se obvykle nikomu nechce, protože to prostě není snadné. Tak přesně tam já jsem chtěla. A jak to dopadlo?

Moc dobře a já jen s napětím čekám, kam dál mě mé dobrodružství zavede.

pátek 27. prosince

Jaká je budoucnost learning analytics se zapojením umělé inteligence? To je uvozující otázka poslední lekce švýcarského kurzu Learning Analytics for Teachers.

Z hlediska automatizace learning analytics lze rozlišit tzv. rule-based methods a machine learning methods. První množina metod spočívá v automatizaci rozhodovacích procesů na základě předem definovaných pravidel. Pravidla by ideálně měl definovat zkušený vzdělavatel / výzkumník / learning analytik. Druhá je založena na pravidlech, která nevzešla ze zkušenosti konkrétního člověka, ale z procesů strojového učení. Automatizace tohoto typu je namířena nikoli jen k dílčím rozhodnutím, ale také k predikci trendů. Obojí má své výhody a nevýhody.

Jedním z důležitých principů u obou množin je vysvětlitelnost (explainability) jednotlivých kroků, jež vedou k rozhodnutím. U strojového učení je možné rozlišit 3 modely relevantní pro learning analytics. Random forest, což je model složený z rozhodovacích stromů, v nichž hrají roli jednoduché statistické operace (mean, median…), dále support vector machine a neural networks. Schopnost vysvětlit jednotlivé procesy je důležitá u všech tří.

Budoucností learning analytics jsou rovněž multimodální data, tedy různá data z různých zdrojů jako VR glasses, hand controllers, eye trackers, různé aplikace na smartphonech, videokamery, elektroencefalograf, elektrodermální senzory apod. Tato data jsou sbíraná v různých formátech jako text, řeč, obrázky, video, haptický obsah jako gesta, pohyby, výraz v obličeji, psychologické signály apod. Taková data potřebují být synchronizována a anotována, aby vůbec mohla být dále zpracována. V přípravě sběru, zpracování a analýzy takových multimodálních dat hraje automatizace zcela zásadní roli.

středa 18. prosince

neděle 1. prosince

Lekce čtyři kurzu Learning Analytics for Teachers. Learning analytics cycle má 4 fáze kroky – začíná se u studujicích, přechází se k datům, jejich analýze a poté k intervencím, které dopadají na studující, tím se cyklus uzavírá či se přechází do druhé iterace. Z tohoto modelu ovšem není jasná role učitele. Ta se vyjasňuje, pokud se na sběr a zpracování dat v rámci LA díváme dvojí perspektivou: in-action a on-action.

In-action se týká dat, která se bezprostředně týkají probíhajících událostí, dovoluje ihned konat. On-action je přístup retrospektivní, dovoluje říci, co je třeba změnit do budoucna.

V rámci in-action fáze úplně největší roli hrají tzv. Learning Analytics Dashboard (LADs), které umožňují zobrazovat nejen, jak se daří skupině studujících, ale především, jak se daří ve studiu jednotlivým studujícím. Pokud takto dokáže učitel monitorovat individuální progres jednotlivých studentů, může jim dávat individualizovaný feedback, monitorovat, zda není úkol příliš složitý, trackovat zapojení studentů v jednotlivých úkolech a to celé vede k lepšímu porozumění, kdo studující jsou a jaké mají potřeby.

Jaké parametry by měly mít LADs, aby se naplnil plný potenciál in-action learning analytics? Měly by umět měřit a zobrazit pokrok studujících v reálném čase a individuálně student po studentovi. To jsou základní požadavky (Student table). Užitečné jsou pak skupinové přehledy (Group Overview), ty umožňují uvažovat komplexně o potřebách a pokroku celé skupiny a v tomto ohledu spadají do kategorie deskriptivní a diagnostické analýzy dat. Skvělé je, pokud je zobrazení jednoduché a přehledné (např. studující, kteří se přestali zapojovat, svítí červeně mezi zelenými a oranžovými tečkami). Vhodné je také vizualizace rozsáhlejších analýz pro každého individuálního studenta (Student Details), v takovém případě hovoříme o deskritptivní , prediktivní a možná i o preskriptivní analýze dat. Otázky, které by mělo takové zobrazení umět snadno zodpovědět, znějí: Jak tento student pokročil? Jak je na tom z hlediska celé třídy? Proč algoritmus učinil takovou předpověď?

Nabízí se otázka, proč učitelé nepoužívají LADs více (když už existují i vhodné open-source možnosti). Lektor v rozhovoru s kolegyní identifikují jako hlavní překážku nedůvěru k datům. Učitelé mají pocit, že je to náročná aktivita, že bere moc času a příliš toho nedává. Také se obávají, aby nebyli jako Amazon či Google, kteří nenakládají s daty zcela eticky. Ani lektor, ani jeho kolegyně s tímto ovšem nesouhlasí. Jsou přesvědčeni, že LADs jsou již dost intuitivní a etický princip lze dodržováním pár jednoduchých principů. Naopak, in-action LA umožňují dostáhnout studentům lépe dosáhnout jejich plného potenciálu (zejména pokud vzdělávání probíhá distančně, ale nejen).

On-action fáze doplňuje in-action analýzu. Jak? Nabízí učitelů přístup zvaný action research, tedy akční výzkum? Zajímavé na něm je, že se vlastně učitel tak trochu stává výzlumníkem, ale zároveň nepřestává být učitelem. Action research má svůj vlastní cyklus: Začíná identifikací problému, pokračuje se plánováním, akcí, analýzou a vše přechází k vyhodnocení a závěru.

Jak jednotlivé fáze vypadají pod lupou? Nejprve učitel využije to, co už ví, tedy svou zkušenost a learning analytics reports (např. dotazníky spokojenosti, výsledky studentů, porovnání výkonosti od začátku do konce školního roku, zapojení studentů v rámci LMS a jeho vývoj v čase). Poté se snaží na problém podívat z více úhlů (čte, ptá se kolegů). Nakonec formuluje otázku, kterou chce akčním výzkumem řešit.

Plánování vyžaduje formulování, jaké akce či intervence učitel zavede, jak bude sbírat data (kvalitativními či kvantitativními metodami), která data bude sbírat a jak si poradí s etickými a zákonnými povinnostmi. Lektor doporučuje pracovat v rámci akčního výzkumu s experimentální a kontrolní skupinou. Experimentální může být letošní třída (s intervencemi), kontrolní je loňská třída (bez intervencí). Také se dá ale využít kvaziexperimentální design, kdy souběžně běží dvě třídy, jedna je experimentální (s intervencemi), druhá kontrolní (bez intervencí). Nebo tzv. randomizovaná kontrolní studie, kdy ve dvou souběžných třídách experimentální a kontrolní vybereme jen několik náhodných studentů, které budeme sledovat.

Sběr dat během takového akčního výzkumu bude kombinací pozorování a interakcí se studenty a zároveň sledování a reflexe in-action LADs.

Analýza a reflexe bude pak vyždaovat více než jen porovnávání čísel. Lektor doporučuje testování hypotéz pomocí x square (dropout rate), t-testu (average score) apod.

Vyhodnocení experimentu by nemělo zapomínat na otázky, kdo těží z intervencí. Jsou to všichni nebo jen některé skupiny studujících? Dají se vysledovat nějaké subgroups?

Závěr by měl být založen na tvorbě reportu a sdílení: s budoucím já, s kolegy či s vědeckou komunitou.

úterý 26. listopadu

Třetí týden kurzu (jo, jsem pozadu a certifikát už nedostanu, ale co, nevadí). Taky píšu zpětně dle poznámek z mobilu. Tahle lekce shnovala základy statistiky, které jsem dělala už začátkem září, tak jen shrnu to nejzajímavější.

Jak začít? Lektor říká: Začněte tím, že si ujasníte, co vlastně hledáte. Nejprve formulujte otázky, pak teprve začněte se sběrem dat. Learning analytics má 4 levely: deskriptivní, diagnostická, prediktivní a preskriptivní. Každý level má své otázky, své metody a své postupy při vizualizaci.

Desktriptivní analýza využívá průměr, medián, mode, identifikuje trendy a vzorce v existujících datech. Diagnostická analýza využívá korelaci, regresi a A/B testování, hledá příčiny. Prediktivní analýza navazuje na diagnostickou, ale soustředí se na budoucí trendy a vzorce, předvídá chování a pomáhá činit rozhodnutí. Preskriptivní analýza vyžaduje pokročilé heuristické metody, simulace, tento level vyžaduje velké objemy dat a k tomu  zkušenost expertů na danou problematiku, je zaměřen na optimalizaci budoucích trendů.

Běžný učitel ve třídě se bude pohybovat na levelu deskriptivní či diagnostické analýzy dat. Ostatní bude spíše dotahovat svou zkušeností, pozorováním či zkoušením nových postupů.

neděle 17. listopadu

Tento příspěvek píšu zpětně dle poznámek, které jsem si udělala v ruce, ale zatím se nedostala k tomu, abych je přepsala. Jsou to poznámky z druhého týdne kurzu Learning Analytics for Teachers.

Strukturovaná data se snáz analyzují pomocí klasifikace, regrese či klastrování. Nestrukturovaná data potřebují sofistikovanější analytické postupy jako text mining, natural language processing apod. Nestrukturovanách je asi 80 % dostupných dat, ta jsou samozřejmě náročnější z hlediska kapacity i analýzy.

Jak se postupuje při zpracování dat (angl. data processing či data wrangling): E (extract), T (transform), L (load). Nejprve vyextrahujeme data (např. z LMS systémů), poté je musíme vyčistit (preprocess), tedy eliminovat duplicity, doplnit chybějící data, spojit či agregovat tabulky, pokud jich máme víc. Už během preprocesingu se mohou ukázat skryté vzorce, které nejsou viditelné u nestrukturovaných dat. Loading se pak týká vizualizace dat.

U dat o učení je pak důležitá etická stránka. Benefity dat z LMS spočívají v tom, že poskytují cenné vhledy, umožňují předvídání, zejména se odrážejí v podchycení předčasného ukončování studia. Výzvy se pak týkají zejména komplexity, čím komplexnější, tím více expertízy jejich interpretace vyžaduje. Dále limitů samotného LMS, to, že někdo LMS systémem prochází ještě neznamená, že se něco učí.

Problematickým příkladem sběru dat o učení jsou projekty InBloom v USA či Snappet v Holandsku. Oba byly ukončeny kvůli porušování etických principů i zákona. Obecně by měla platit zásada, že nesbíráme data pro data samotná. Vždy už je sbíráme s nějakým účelem, s předem definovanými otázkami.

To nás vede k tomu, proč učitelé potřebují datovou gramotnost (angl. data literacy): aby takové chyby nedělali, aby data dokázali kvalifikovaně interpretovat.

Kodex správné praxe  v learning analytics existuje v několika variantách: DELICATE či JISC. Co je jim společné: transparentnost procesů sběru a analýzy dat, přístup studentů k vlastním datům, souhlas studentů s výzkumem či sběrem jejich dat pro výzkumné účely, anonymizace dat, platnost, tedy neustále zlepšování a evaluace práce s daty studujících.

Pozor zejména na tohle: dle zákona je u nezletilých vždy třeba souhlas zákonných zástupců, ne všichni stakeholdeři mají mít stejný přístup k (neanonymizovaným) datům, ne všechna data lze anonymizovat. A také: analýza neposkytuje vždy správné výsledky. Může být zatížena biasy (ženy, muži), může pracovat s nekompletními či nesprávnými daty, data mohou být interpretovaná bez porozumění.

čtvrtek 24. října 2024

Od pondělka studuju kurz Learning Analytics for Teachers, který pořádá švýcarská univerzita FFHS. Není to už trochu educrastination? Rámuju si to, že není. Na kurz jsem se přihlašovala už v srpnu, otevřeli jej teď 21. října. Zajímá mě švýcarská perspektiva. Pokud projdu kurz celý, získám z něj osvědčení. Oh yeah.

První týden mám úspěšně za sebou. A beru si pár takeaways: Podle Simense a Longa je learning analytics: měření, sběr, analýza a vykazování dat o studentech. Dílčí kroky zahrnují také čištění a ukládání dat.

Learning analytics lze rozdělit do 4 stupňů: deskriptivní analýza (odpovídá na to, co se stalo), diagnostická analýza (odpovídá na otázku, proč se to stalo), prediktivní analýza (odpovídá na to, co se stane) a presriptivní analýza (odpovídá na otázku, co bychom měli dělat).

Z jakých zdrojů učitel data získá? Z learning management systémů: záznamy o dokončených činnostech, čas strávený na platformě, známky za odevzdané úkoly, výsledky online aktivit. Z blended výuky: interakce s tablety a počítači, eye trackingové nástroje, odpovědi z rpzných clickerů (Menti, Slido…) nebo záznamy o sledování videí.  To všechno jsou data, která se dají podrobit zkoumání a v podobě intervencí vracet jejich vklad zpět do výuky.

Mmch, dnes mi odešla druhá platba za Julius. Tak možná už to trochu educrastination je (odkládání kompetencí na úkor dalších a dalších znalostí). No jo.

pátek 18. října 2024

AI is not a technology topic, it`s a leadership topic, shrnuje Alex. Stále jedu motivační sekvenci o AI pro manažery. Přesto jsem narazila na jednu statistickou libůstku: linear grownth a exponential growth. Zatímco lidé v běžném životě zažívají linear growth, s využitím AI lze předpokládat exponential growth, tedy věci, jež se běžné zkušenosti vymykají. Well, well, well, nevím přesně, o jaká zjištění se opírá a zda mluví o růstu v malém či o růstu povšechném. Každopádně, musím říct, že pro tu datovou analýzu mi takové vyjádřené nějak sedí. Zatímco dříve byla datová analýza výspou ekonomů, sociologů a  statistiků, teď na ni dosáhne každý. Everybode can cook, jak říká Remy v Ratatouille.

V pondělí zahajuji kurz Learning Analytics for Teachers, na který jsem se přihlásila už někdy v srpnu, ale otvírá se až nyní. Pořádá ho jakási univerzita ve Švýcarsku. Do toho přemýšlím, jaký dataset z webu Tomáše Marka využít pro své experimenty.

sobota 12. října 2024

Dokončila jsem lekce s Neilem. Docela mě na konci zaujala celá lekce o HR analytics. Jeden příklad za všechny. V některých firmách, když odcházejí zaměstnanci, se jich ptají, co jim na práci nevyhovovalo. Tato data HR systematicky zaznamenává a na jejich základě pak dělá drobná i větší rozhodnutí. Nebo než se investuje hafo peněz do inovací, se na jejich základě ověřují hypotézy. Takže jsme se nakonec s Neilem rozloučili v dobrém.

Můj další průvodce je Alex, taky to není native, tak mám příležitost v rámci AI 101 for managers poslouchat zase jiný, asi skandinávský přízvuk. Prvních 35 min jsem nakonec úplně přeskočila. Strašné kecy, prý kvůli tomu, že je to crash course. Já ale myslím, že kecy typu AI will save the world jsou spíš začátečnicky naivní než cokoli jinýho. Chápu, že se tím sleduje lidi motivovat, ale napadlo už někoho, že to může působit úplně opačně? Mnohem užitečnější by mi přišlo ukázat vyvážené příklady z praxe.

Druhá lekce je naštěstí o dost lepší, Deo gracia. Začíná tím, že největší síla AI spočívá v analýze dat a po tomhle konstatování se Alex hned vrhá na Juliuse. Nahrává data o zpětné vazbě na svůj kurz (doufám, že na tenhle) ve formátu .csv. Julius si přirozený jazyk přepíše do Pythonu a je vidět, že identifikuje problém, ale vzápětí ho řeší: soubor .csv je špatně formátovaný, tak ho přeformátuje. Následně data zobrazí ve správném formátu a rovnou také v grafu. Alex říká, že si v tuhle chvíli může graf stáhnout nebo ho přímo tady upravit. Dále specifikuje další požadavky: poměr dobrých a špatných hodnocení (prý 87 % dobrých a jen 1 % úplně špatných; good job, buddy), kvalitativní analýzu komentářů apod. Výstupy vypadají dobře. Takhle se, Alexi, dělá motivace. (Já vím, že jsem náročná studentka.)

Potom se Alex snaží ukázat, jak se dá ChatGPT použít pro generování Minimum Viable Productu. Mno, tohle mi přijde slabší, ale líbí se mi jeho workflow. Nejprve generuje témata, potom návrh workshopu, potom scénáře, zvací e-mail a nakonec pomocí Gammy AI generuje prezentaci.  Ani jedno není vysloveně stellar, ale oceňuju jeho nadšení. Trochu lepší mi přijdou Alexovy prompty pro jeho wanna-be AI kouče Le Chat Mistral: jak řešit problém se zaměstnancem, který chodí všude pozdě. Nečtu výstupy, ale ta idea AI jako kouč managera, vlastně proč ne.

Zatím mi pořád přijde nejsilnější ta datová analýza. Ostatně, to je taky důvod, proč tohle píšu, right? Třetí lekci s Alexem si nechávám na příště.

středa 2. října 2024

Neil mluví o tom, že je třeba vybrat si správně hypotézu, kterou budeme testovat. Mezi takové hypotézy v L&D může patřit třeba vliv věku na spokojenost s tréninkem, vliv délky pracovní zkušenosti na dokončování tréninků či vliv nových intervencí na výsledky tréninku. Data sety dělí do dvou kategorií – discrete data, což jsou data, která lze počítat (věk, délka zkušenosti, pozice ve firmě apod.) a continuous data, což jsou data, která lze měřit (vzdělávací intervence, spokojenost, míra dokončování, výsledky tréninku apod.). Ověřování hypotéz lze pak uskutečnit čtyřmi různými postupy.

Pokud měříme discrete data ku discrete datům (např. výsledky tréninku vzhledem k jednotlivým atributům), pak budeme hypotézu ověřovat pomocí chi-square. Pokud naopak budeme měřit continuous data ku continuous datům (např. vliv zkušenosti na míru dokončování tréninků), pak hypotézu ověřujeme pomocí korelace a regrese. V případě, že je potřeba ověřit hypotézu, v níž se potkávají discrete i continuous data, pak je podle Neila třeba uskutečnit logistickou regresi, T testy a ANOVA. Really? Zdá se mi to nějak děsně komplikované, ale což. Jedeme dál, ono se to jistě vyjasní.

Ha, už chápu. To bylo jen preludium k levelu dvě Kirkpatrikovy pyramidy. Měření znalostí v pre a post testech, což dva data sety. Akorát nechápu, proč je jeden data set discrete a druhý continuous. Po rozpravě s chatemGPT asi tuším. Discretre data (diskrétní data) v pre testu jsou přibližná, continuous data (spojitá data) v post testu jsou spojitá. To se může stát, pokud se post test počítá v procentech či desetinných číslech. V takovém případě se pak efektivita tréninku měří nikoli pomocí chi-square, ale pomocí T testu.

Ještě se doptávám chatuGPT na pre test a post test. Ujasňuji si, že testy nemusí být stejné, ale musejí být srovnatelné. Tedy musejí být zaměřené na stejné cíle. Pre test může mít například více uzavřených otázek, post test více otevřených, ale ke stejným oblastem. Také mohou mít jiné otázky, ale na podobné úrovni obtížnosti a zaměřené na stejné znalosti a dovednosti. Ok. Teď už dává větší smysl, proč jsou data sety jednou diskrétní a podruhé spojité.

Tento týden konečně završím Udemy kurz “Learning Analytics” for L&D Proffesionals. Jupíí. Zjistila jsem ale, že se mi pořád nějak nechce do toho Juliuse, tak po Neilovi ještě naskočím na jeden mini kurz (fakt už poslední) AI 101 fundamentals for managers & leaders, kde se Julius také řeší. Asi hlavně pro ten mindset. Trochu jsem ze všeho kolem AI otrávená, tak třeba mě někdo podobně nadšený jako Neil navede, akorát teda za 15 dolarů. Oh boy.

úterý 24. září 2024

Jak změřit změnu v chování? Takovou otázku si pokládá Neil v další lekci. Přesunuje se tak k dalšímu levelu Kirkpatrikovy pyramidy. V prvním levelu se měřila reakce na trénink (spokojenost / nespokojenost), ve druhém levelu míra naučeného, teď ve třetím se měří změna chování a ve čtvrtém levelu by se pak měl měřit zmiňovaný transfer, a to změny chování na změny v organizaci jako celku.

V levelu tři se podle Neila měří následující proměnné: dostupnost, profesionalita, znalost byznysu, proaktivita, míra kontaktu (tím se asi myslí počet schůzek u obchodníků). To vše se měří v pre-testu a post-testu za využití škály 1-5. Těžko říci, jak se tato data sbírají. Možná z pozorování manažerů? Dá se předpokládat, že firma, v níž pracuje jako L&D Neil je orientovaná zejména na vzdělávání obchodníků. Vše se rozhodně stáčí tímto směrem. Tady by asi pozorování manažerů obchodníků mělo význam. Těžko říci, zda takové pozorování (dostatečně nezávislé) je možné třeba ve třídě plné žáků.

Každopádně, datová analýza v tomto případě zahrnuje výpočet chi-square pro sesbíraná data. Díky tomuto výpočtu dokáže Neil říci, které proměnné prošly v post-testu pozitivní proměnou a které nikoli. Nekonec vše zobrazuje pomocí krabicového grafu (box plot). Upozorňuje, že chi-square je rozhodně přesnější než pouhá vizualizace. Mně osobně teda přijde graf celkem srozumitelný.

Neil nakonec dumpuje Excel… prý jsou much friendlier nástroje. Souhlas.

pondělí 23. září 2024

Takže A/B testování se používá k otestování hypotézy. Ovšem má své mouchy.

Neil upozorňuje, že není dobré hned dělat zbrklé změny ve studijních programech, když se ukáže v A/B testování nějaká hypotéza jako dominantní. A/B testování může naše rozhodnutí navést, ale nikoli řídit.  Jestli chápu dobře, tak problémy vyplývají z toho, co mě napadlo už včera, že u A/B testování je třeba také počítat se směrodatnou odchylkou i s intervalem spolehlivosti. Co to znamená? I A/B testování podléhá statistickým zákonům, a tedy jeho výsledky nejsou nikdy stoprocentní.

Neil se vrací ke kontingenčním tabulkám (pivot tables). Jejich pomocí provádí tzv. chi-square test (x na druhou, chi-sq). Ten má ukázat, zda spolu dvě proměnné (kategorie proměnných) souvisejí či nesouvisejí. Chi-square by se podle Neila měl udělat pro každou buňku tabulky. Nechápu ale, proč to potom nijak nezobrazí, jedno číslo totiž samo o sobě moc neříká. Každopádně, v Excelu to celé vypadá hrozně náročné. Jsem ráda, že v současné době stačí pochopit koncept a pak jej zadat jako prompt. Teda doufám.

Neil to pak celé ještě ověřuje pomocí p-value a připomíná, že pokud je p-value více než 0.05, pak dvě rozdílné skupiny proměnných nejsou statisticky odlišné, pokud je méně než 0.05, pak jsou statisticky odlišné. Jo, a pořád to souvisí s A/B testováním. Tímto způsobem se A/B testování zpřesňuje.

neděle 22. září 2024

Vracím se k “Learning Analytics” for L&D Professionals, tedy k Neilovi a jeho indické angličtině. Jedna celá lekce je věnována evaluaci studijních programů. Mně na tom nejvíc zajímá, jaká se během evaluace sbírají data a co se s nimi potom dělá.

Neil ukazuje tabulku v Excelu, v níž dává do souvislostí proměnné jako relevance obsahu, podoba studia, poskytnuté materiály (handouty), poskytnutá podpora  a celková spokojenost s tréninkem. Poslední jmenované je označené jako závislá proměnná, o tu nám jde. Tu pak dále dává do souvislosti s proměnnými jako věk, pozice, oddělení apod. Statistický model má dát odpovědi na otázky, které z proměnných mají největší vliv na celkovou spokojenost po absolvování tréninku. Neil to pak celé nahází do Orange.

Příklad využití: Když se chce dozvědět, zda k celkové spokojenosti přispívají skupinové aktivity, můžete si to ověřit na sesbíraných datech, a to pomocí A/B testování. Programy, které měli skupinové aktivity získají označení A, B jsou programy, které neměli skupinové programy. Neil vypočítá průměr jednoho a druhého a tím zjistí, které programy měly vyšší celkovou spokojenost účastníků tréninku. Přijde mi to trochu jednoduché, já bych asi koukala i na medián a směrodatnou odchylku. Nicméně, Neil říká, že po takovém A/B testování můžeme jistěji vyrukovat s hypotézou, že skupinové aktivity přispívají/nepřispívají k celkové spokojenosti poskytovaných programů. S Neilem budu pokračovat zase zítra, podíváme se na rizika A/B testování.

Napadá mě po dnešní session poznámka, kterou pronesl na konferenci Learn&Tech Braňo Frk, že v L&D se přeceňují výzkumy spokojenosti s proběhlými tréninky a naopak se podceňují jiné ukazatele, jako třeba transfer dovedností z tréninků. Ale věřím, že i tam se s Neilem dostaneme.

Dnes je to měsíc, co se učím datovou analýzu a musím říct, že na sobě pozoruju pokroky. Lépe se mi čtou akademické práce, neboť dokážu lépe uvažovat o zpracování dat v rámci výzkumů. A také jsem se na Learn&Tech neztrácela, ani když se mluvilo o data miningu. Jen doufám, že s koncem září budu mít na učení konečně trochu víc času.

pondělí 16. září 2024

Regresní analýza je statistická metoda, která zkoumá vztah mezi dvěma nebo více proměnnými. Cílem regresní analýzy je předpovědět hodnotu jedné proměnné (závislé) na základě hodnot jiné nebo více jiných proměnných (nezávislých).

Pořád mi nedávalo spát to slovo regresivní. Why the heck?! Tak jsem položila dotaz ChatuGPT a dostala odpověď, která ledasco objasňuje: “Slovo regrese bylo použito kvůli historickému kontextu. Pojem pochází od anglického statistika Francise Galtona, který studoval výšku rodičů a jejich dětí. Zjistil, že potomci velmi vysokých rodičů byli obvykle o něco menší a potomci velmi malých rodičů byli vyšší. Tento jev nazval regresí k průměru (neboli návrat k průměru). Termín se pak rozšířil na popis obecnějšího vztahu mezi proměnnými v rámci regresní analýzy.”

V rámci regresivní analýzy se počítá R-square. Ten ukazuje, jak dobře model vysvětluje vztah mezi daty. Pokud je R-square 0, pak model nesedí. Pokud je 1, pak model naopak sedí zcela. Když je R-square třeba 0,5 v modelu, který dává do souvislosti počasí a míru tržeb v obchodě, pak se ukazuje, že jen 50% tržeb je skutečně závislých na počasí, zbytek ne. Model tedy říká, že tržby jsou ovlivněné i počasím, ale rozhodně nejen jím. Tedy čím vyšší R-square, tím lépe, protože tím přesnější je zamýšlený model. V Excelu je pro regresivní analýzu třeba nainstalovat add-on. Really?

P-value je pak číslo, které nám říká, jak pravděpodobné je, že by se naše data vyskytla náhodou, pokud je naše základní hypotéza (vyjádřená modelem) pravdivá. Pokud bychom tedy vzali jakoukoli švihlou proměnnou, která evidentně nemá žádný vztah k míře tržeb, např. výsledky našich dětí ve škole, P-value by nám tento nevztah mělo ukázat pomocí čísel. Pokud je P-value více než 0.05, pak je potvrzeno, že vybraná proměnná nemá žádný vztah k míře tržeb. Pokud P-value naopak vychází méně než 0.05, pak je pravděpodobné, že mezi touto proměnnou a mírou tržeb vztah je. V modelu je pak třeba držet se proměnných, které nejsou random proměnné bez vztahu k závislé proměnné (dependent variable), což u méně švihlých proměnných nemusí být bez výpočtu zřejmé. Teprve pak (po kontrole přes P-value) je navržený model spolehlivý.

Dokončila jsem kurz Beginner Statistics for Dana Analytics na Udemy za 11 dolarů. Hodnotím jej pěti hvězdičkami z pěti a už teď si připadám výrazně chytřejší než před ním. 😉

Další kroky: dokončit kurz Learning analytics for L&D a v základech pochopit SQL databáze.

středa 11. září 2024

Pokračuji v inferenční statistice, téma tohoto týdne je regresivní analýza. To je statistická metoda, která se používá k nalezení vztahu mezi dvěma či více proměnnými. Cílem je zjistit, jak se závislá proměnná (dependent variable) mění v souvislosti s nezávislými proměnnými (independent variables). Nejčastějším typem regresivní analýzy je přitom lineární regrese, jejíž pomocí lze předvídat (predict) další vývoj. Sice nechápu, proč je tam to slovo regrese, ale ok, třeba mi to docvakne.

Co už je lépe pochopitelné, je rozdíl mezi korelací a kauzalitou. Pokud nějaké proměnné statisticky korelují, nemusí to vůbec znamenat, že spolu souvisejí. Pokud například počet úmrtí po pádu z lodi koreluje s počtem sňatků v Kentucky, je dost pravděpodobné, že jde o náhodu, nikoli o kauzální vztah. Jen si říkám, zda jde při rozlišování korelace a kauzality vždy takto použít selský rozum a spíš myslím, že nejde. Tohle je nejspíš to místo, kvůli kterému je třeba používat nejen data (rybky), ale také teorii (rybářskou síť).

V každém případě, korelaci je třeba umět vypočítat. Existuje na to funkce v Excelu. Pokud jsou hodnoty korelace 1 či -1, pak je to hodně silná korelace, pokud jsou 0.7 či -0.7, pak je stále silná, 0.5 či -0.5 znamená mírnou korelaci, 0.3 či -0.3 je slabší korelace a 0.0 ukazuje nulovou korelaci. Joseph zároveň říká, že u sociálních věd může i korelaci 0.3 – 0.5 být ok, neboť chování lidí se předpovídá poměrně špatně. Ve financích či farmaceutickém průmyslu je naopak třeba držet se velmi silných a silných korelací, neboť zde data mluví jasně. Lepší než konkrétní číslo je však stále confidence interval estimate (odhad intervalu spolehlivosti).

K tématu je ještě jedna praktická lekce a pak budu mít za sebou kurz Beginner Statistics. Ejchuchů (jak byl řekl Jan Werich).

BTW, letošní září je masakr, a tak se učím trochu lajdácky. Ale nevadí, vím, jak to chodí. Pokud s tím člověk úplně nesekne, tak pořád dobrý. Ono to zase naskočí.

čtvrtek 5. září 2024

V informační vědě se rádo říká, že informace je rozdíl, který dělá rozdíl (difference that makes a difference). V pedagogice se dodává, že pokud má informace padnout na úrodnou půdu, musí být půda zoraná. A tak se v minulých dnech nějak stalo, že jsem ready na inferenční statistiku a vracím se k Beginner Statistics. Tématem je odhad (estimates).

Odhady lze dělat pomocí konkrétního čísla (point estimate) či pomocí odhadu intervalu spolehlivosti (confidence interval estimates). Druhá možnost je lepší: “S 95 % jistotou odhaduji, že 5-13 studentů dostane z tohoto testu dvojku”. Jak se toto počítá? Pomocí Gaussovy křivky a směrodatné odchylky. Čím víc jistoty chci mít, tím větší rozpětí čísel musím odhadovat.

Vzorec pro výpočet odhadu je následující: průměr plus, mínus faktor spolehlivosti krát standardní odchylka (standard error). V Excelu pro výpočet žádná jednoduchá funkce neexistuje, výpočet je náročný. Zkouším tedy zadat následující požadavek do Julius AI: “Průměr dosažených známek v tomto testu za poslední dva roky je 2, celkem mám letos v ročníku 180 studentů. Chci znát odhad intervalu spolehlivosti, kolik studentů dostane dvojku, a to s 95 % jistotou.”  Julius ukazuje, že používá podobný vzorec, ale místo směrodatné odchylky použije pravděpodobnost pro získání dvojky, jíž určí na 50 % (myslím tedy, že zde vůbec nepočítá se směrodatnou odchylkou). Výsledek odhadu určuje takto: dolní hranice intervalu je 77, horní hranice je 103.

Abych to mohla porovnat s výpočty v Excelu, potřebovala bych vzorek 180 výsledků reálného testu, a to nemám. Tak prozatím budu Juliusovi věřit a příště zkusím jiný příklad.

úterý 3. září 2024

Začátek září je mírně řečeno náročný, tak poslední tři dny ve svém učení volím metodu berrypicking. Drobná informace tu, drobná informace tam a ono se ledasco propojí samo.

Takže jsem koukala na tutoriál k Julius.ai, který mi objasnil roli skriptovacího jazyka Python v tomto programu. Také jsem pochopila, že Julius asi dokáže přeskočit Excely a Orange, ale stejně je třeba znát pojmy z datové analýzy a ideálně i ze statistiky.

Také jsem hledala nějaký framework pro studium datové analýzy, který bych mohla sledovat. Myslím tím nějaký rámec, který by mi řekl, zda něco zásadního při učení nevynechávám. Nic moc jsem nenašla. Díky programům od Czechitas jsem ale pochopila, že jak pro analýzu dat, tak pro Julius bude dobré pochopit základy Pythonu.

Nakonec jsem četla poslední článek z Learning Analytics 101 od Alyssy Wise a Davida Shaffera o tom, proč learning analytics potřebují teorii. Data tu autoři přirovnávají k rybkám a teorii k rybářské síti. Hovoří o tom, že v rámci analýzy je třeba nejen vybrat ty správné proměnné, ale také vědět co s nimi. I když se například ukáže, že úspěch v šachu závisí na rychlosti tahů, z hlediska výuky nováčků je tato souvislost nepoužitelná. Jinými slovy, ne všechny zajímavé souvislosti jsou v rámci learning analytics užitečné, a proto je důležité vědět, v rámci jakých mantinelů se k datům vztahujeme.

sobota 31. srpna 2024

Neil se překonává, vysvětluje základy natural language processing (NLP). Tedy ukazuje, jak se přistupuje k přirozenému jazyku z hlediska datové analýzy.

Když definuje základní termíny, přemýšlím, zda se NLP už vylučuje na katedrách lingvistiky a pokud ne, tak kdy se s tím začne.

Corpus znamená soubor slov, lexikon jsou slova ve specifickém kontextu. Transformation je proces čištění přirozeného jazyka, aby byl využitelný pro datovou analýzu. Tokenization znamená dělení částí textu do menších jednotek.

Stop words jsou slova, která musejí být z analýzy vyloučena (a, proč, když, že…). Normalization je proces redukce slov na kořen slova. Stemming a lematization je proces, jímž se normalizace uskutečňuje.

Proces čištění vypadá třeba takto: corpus-transformation-lematization-sentiment analysis. Neil jej demonstruje v programu Orange Data Mining takto: corpus-preprocess text-sentiment analysis-heat map-word cloud. Výstupem je vizualizace dat pomocí word cloudu, heat mapy či analýzy sentimentu.

Já budu muset vymyslet, jak NLP uskutečnit v nástroji Julius.ai. Každopádně v NLP, jak ji Neil vysvětluje, jsem úplně doma.

pátek 30. srpna 2024

Neil se konečně rozjel. Mluví o tom, že rozhodnutí ve firmách nesmějí být založena pouze na tom, co se ukazuje ve středu Gaussovy křivky. Stejně tak důležité je sledovat směrodatnou odchylku a její zdroje. V průměru se může jevit, že firma z hlediska L&D prosperuje, směrodatná odchylka a rozptyl dat ale mohou ukázat, že prosperuje třeba jen určitá skupina a jiná je v závěsu (tail).  Opět opakuje, že čím menší směrodatná odchylka, tím lépe. Vedle toho ukazuje, jak měřit zkosení, skewness [ˈskjunəs] funkcí SKEW [ˈskju] a že pokud to vychází mezi -2 a 2, pak je SKEW cute. To samé říká o kurtosis (fakt se to překládá chvostovitost?), která se v Excelu měří funkcí KURT.  

Další dnešní téma jsou krabicové diagramy (boxplots). Ty zobrazují data pomocí čtyř kvadrantů zobrazených ve formě čtverce či obdélníku. Také se využívají pro zobrazení vztahů mezi dvěma skupinami dat.  Jeden sloupec jsou například data o formě studia (self-paced, small group coaching, virtual classroom) a druhý sloupec je míra dokončení studia. Z boxplotu je dobře vidět, že small coaching group má nejvyšší míru dokončení studia, ale zároveň je na grafu dobře vidět pár teček hluboko pod čtvercem. U self-paced studia je průměr docela nízko a několik teček je zase nahoře. Graf takto zobrazený umožňuje otázky: Proč některým lidem small group coaching nesedlo? Co dál o této skupině víme? A také: Co je to za skupinu, která si tak dobře počíná v self-paced kurzu? Proč se jim tak daří?

BTW, videa nad 12 minut v self-paced kurzu jsou naprostý overkill, Neile.

čtvrtek 29. srpna 2024

Gaussova křivka je strašně zajímavá, ale potřebuju to nechat uzrát, tak dělám krok stranou. V merku jsem měla kurz “Learning analytics” for L&D Professionals na Udemy a teď přišel jeho čas, stál mě 10 dolarů.

Kurzem provází Nilakantasrinivasan, který si říká Neil. Vysvětluje čtyři stupně datové analýzy v L&D (learning & development) ve firmách, ty vycházejí z Kirkpatrikova modelu hodnocení. Kirkpatricka znám, používá se celkem běžně, tak se mám čeho chytit. Taky je hned zjevné, že na všechny čtyři stupně se bude uplatňovat deskriptivní statistika, tak to se mám taky čeho chytit.

Neil pracuje v Excelu, ale nepoužívá žádné funkce, vystačí si s kontingenční tabulkou (pivot table). Její pomocí zobrazuje vztahy mezi daty jako: věk vůči míře dokončení; oddělení firmy vůči míře dokončení; role ve firmě vůči míře dokončení; typ programu vůči míře dokončení. Kontingenční tabulku si připraví jak potřebuje, data seskupí (grouping) a následně zobrazí pomocí histogramu (neříká se mu česky sloupcový graf?).

Oproti kurzu statistiky se jeho postupy jeví zatím dost primitivní, ale pravda je, že z takto k sobě vztažených dat už něco na první pohled vyplývá. O to Neilovi jde. Připomíná, že datová analýza je vždy tak trochu storytelling. Datový analytik musí vědět, jaká data hledá, na jaké otázky odpovídá a jak má data zobrazit, aby byla odpověď zřejmá.

Na indickou angličtinu si lze snadno zvyknout, ale trochu mě štvou delší videa, ideální je 6 min, 10 min už je hodně.

Otevřela jsem komentáře dole pod tímto příspěvkem. Jsem zvědavá, co z toho bude.

středa 28. srpna 2024

Dnes inferenčí statistika z mobilu cestou na Letnou.

Tématem byla  centrální limitní věta (central limit theorem). Říká asi tohle: když vyberete ve škole ze všech tříd libovolných 20 žáků, koukněte na jejich známky a ty zobrazíte pomocí histogramu, pak se vám rozložení známek zobrazí jako souměrná Gaussova (zvonová) křivka (angl. the bell curve). Nejvíc jich má průměrné známky, nejlepší a nejhorší známky jsou rovnoměrně na okrajích a je jich o dost míň.

Hned mě napadne, proč teda nemá mnohem víc žáků trojky… Muž říká, že to není úplně špatně položená otázka.

Guassova křivka je pro inferenčí statistiku důležitá, je považovaná za normální způsob rozdělení (normal distribution). Je přirozená celé řadě pozorovatelných fenoménů.

Právě díky centrální limitní větě, s níž the bell curve souvisí, stačí i relativně malé vzorky dat, aby výsledek reprezentoval výsledky uplatnitelné na celý dataset. Obojí totiž bude normally distributed.

Tak to jsem se naučila dnes cestou na Letní Letnou. Představení cirkusu Les Rois Vagabonds bylo moc pěkné.

úterý 27. srpna 2024

Přemýšlím, zda by bylo výhodné učit se statistiku i v češtině, nebo jen v angličtině. Myslím, že to budu kombinovat.

I dnes zůstávám u deskriptivní statistiky. Vrátila jsem se k lekci o standard deviation (směrodatná odchylka), protože vím, že se hodně používá právě v akademických pracích. Chápu, že čím vyšší směrodatná odchylka, tím hůř, protože výsledky jsou příliš rozptýlené, nekorelují. Nízká směrodatná odchylka naopak umožňuje lépe předvídat, dává jasnější informace. Směrodatná odchylka je tedy důležitá pro interpretaci dat, ale zároveň číslo směrodatné odchylky samo o sobě příliš informací neposkytuje. Důležitý je kontext.

Směrodatná odchylka se mimo jiné používá pro porovnávání více data setů. Pak se používá vzorec pro tzv. variační koeficient. Ten se počítá tak, že se vezme směrodatná odchylka, ta se vydělí průměrem a to celé se vynásobí 100. Jestli to chápu správně, variační koeficienty se porovnávají lépe než směrodatné odchylky. Skvělé vysvětlení poskytuje Datová akademie, rovnou jsem se přihlásila k jejich newsletteru.

Mimochodem, asi začínám chápat Excel. Funguje jako soukromý matematik, který je vždy při ruce i pro aplikaci pokročilých matematických vzorců.

pondělí 26. srpna 2024

Zaplatila jsem si Julius.ai, nástroj generativní umělé inteligence pro datovou analýzu.

Nedává to úplně smysl, neboť nerozumím pokročilé statistice, neumím Python, ani se mi nechce učit s dalším novým nástrojem. Když platbu obnovím 3 krát, vyjde mě to asi na tisícovku. Kahneman říká, že někdy je intuitivní rozhodování užitečné, jindy moc ne. Mně se vyplácí při učení nad věcmi moc nepřemýšlet, ale spíš je dělat.

Pokračuju v kurzu statistiky pro begginery. Dnes se soustředím na deskriptivní statistiku. Učím se, jak se zobrazují data pomocí histogramu, jakou roli tu hraje rozptyl (variance), směrodatná odchylka (standard deviation) či varianční koeficient (coefficient of variation). Učím se v Excelu funkce SKEW a STDEV.

Zdá se, že věnovat kurzům 30 min brzy ráno je dobrý nápad.

neděle 25. srpna 2024

Hledám kurzy základů statistiky. Na Udemy narazím na tříhodinový kurz Beginner Statistics for Data Analytics. Přesvědčí mě slib “in an easy and fun way”, investuji prvních 11 dolarů.

Líbí se mi jak prostředí Udemy, tak bite-sized přístup instruktora. Trpělivě na videích vysvětluje rozdíl mezi deskriptivní a inferenční statistikou, mezi populací a vzorkem, mezi kategorickými a numerickými daty a mezi různými druhy grafů. Žádná omáčka, jen pojem, příklad, opak pojmu, jedeme dál. Po první půl hodině otvírám Excel a využívám funkce AVERAGE, MEDIAN a MODE.

Odpoledne se vracím k textům z Learning Analytics 101. Nechci ztratit ten širší kontext. Čtu text Data-Informed Decision Making od Alyssy Wise. Píše, že data o učení pocházejí většinou z LMS systémů, studentských diskuzních fór, ale také z virtuálních tabulí a kvízů, když je učitel používá v běžné třídě. Myslím, že tím posledním myslí třeba Menti, Slido, Kahoot, ale také různé klikačky na interaktivní tabuli.

Učitel, který nějak zapojuje technologie, vlastně neustále pomáhá generovat nějaká data o učení žáků a studentů. K těm je třeba přistupovat jako k jisté formě důkazů o učení. Když se je naučí sledovat, může podle Wise dělat lépe informovaná rozhodnutí jak učitel, tak sám studující.

Metody využívané v learning analytics jsou například learner success prediction (s cílem rozdělit studující do určitých kategorií, vyhmatat problémy apod.) či natural language analysis (analýza diskuzních fór, odevzdaných slohových prací apod.).

U večeře si nechám od manžela (matematika) některé věci dovysvětlit. Máme nové společné téma.

sobota 24. srpna 2024

Pokračuju v Learning Analytics 101, čtu článek od George Siemense a Ryana Bakera, kteří vysvětlují rozdíl mezi dvěma odlišnými přístupy, learning analytics and knowledge (LAK) a educational data mining (EDM).

Oba přístupy se věnují datům ve vzdělávání, druhý přístup je však mnohem více orientovaný na předvídání dlouhodobějších trendů, nikoli intervence vůči studujícím teď a tady.

Odlišný je už vůbec samotný přístup ke sběru dat, LAK se nechává vést zamýšlenými intervencemi a teprve na základě toho designuje sběr dat, EDM využívá existující zdroje velkých dat a z nich predikuje trendy ve vzdělávání. Vlastně se asi budu muset do jisté míry učit obojí.

Začíná mi být jasné, že základům statistiky se nevyhnu a tuším, že bych s tím neměla otálet.

pátek 23. srpna 2024

Děti odjely na prázdniny, já piju pátý kafe a dýchám. Mám před sebou týden, který často nasměruje moje kroky na další půl rok.

Dělala jsem si už předem nějaký research, mluvila o tom se známými a rozhodla se: datová analýza je ideální krok.

Hledám zdroje, od kterých bych se mohla odrazit. Začínám otevřeným zdrojem Learning Analytics 101. Po prvním videu od Alyssy Wise je mi jasné, že tohle je perfektní začátek. Dodává širší kontext.

Learning analytics je poměrně nový přístup k datům o učení. Jeho síla spočívá v okamžitém uplatnění výstupů. Tedy jakmile se data posbírají a vyhodnotí, hned se zase vracejí do žádaných intervencí.

Learning analytics přitom nepotřebuje velká data, ani nevyžaduje pokročilé statistické metody. Jde na ruku pedagogům: stojí na principech, které znají. A také si žádá holistické přemýšlení o vzdělávání.

To se mi líbí.

Jsem Klára Pirklová, vystudovaná filosofka a posledních 5 let learning designerka. 

Pracuju pro Národní pedagogický institut ČR, kde s kolegyněmi usilujeme o designový přístup ke vzdělávání učitelů a ředitelů škol v Česku. Na Filosofické fakultě Masarykovy univerzity vyučuji předmět Learning design: teorie a praxe.

Všichni u nás doma, manžel a teď už i čtyři děti, jsou nadšeni mnohem více do STEM (science-technology-engineering-mathematics) nežli humanitních oborů. Datová analýza je pro mě tedy profesní výzva, ale také rodinný love language.