Ahoj všetci, toto je ďalší diel mikropodcastu a dnes porozprávam o veľkých jazykových modeloch spúšťaných lokálne. Myslím, že nie je ani priťahnuté za vlasy predpokladať, že väčšina ľudí ani nevie, že veľké jazykové modely ide spúšťať na lokálnom počítači a že dokonca to ani nevyžaduje veľké množstvo krokov.

Pre tým, než si to ale rozoberieme, je asi dôležité popísať, čo to vlastne sú tie veľké jazykové modely. Ja to pre potreby mikropodcastu poviem veľmi zetutušene a skrátene. A teda veľký jazykový model, alebo z angličtiny Large Language Model, skrátke LLM, je technológia, ktorá umožňuje interagovať s ľudskými zmyslami, ale pomocou počítača. Technológia je obojsmerná, teda dokáže informácie príjmať, ale zároveň aj generovať.

Použitie a vytváranie veľkých jazykových modelov

Príklady takýchto interakcií vo všeobecnosti zahrňajú generovanie textu, čítanie textu, taktiež generovanie obrázu a porozumenie obsahov obrázku, taktiež generovanie slov a vied v rámci zvukového záznamu, ďalej porozumenie existujúcemu zvukovému záznamu, a v poslednej dobe je taktiež pribudlo aj generovanie videa a porozumenie obsahu videa. Inými slovami, z marketingového pohľadu čokoľvek, čo je dnes prezentované ako umelá inteligencia, alebo Artificial Intelligence, skrátka AI, tak za tým stojí technológia veľkého jazykového modelu, ktorý túto umelú inteligenciu sprostredkúva.

Na vytvorenie kvalitného jazykového modelu, ktorý túto umelú inteligenciu sprostredkúva. Na vytvorenie kvalitného jazykového modelu, ktorý túto umelú inteligenciu sprostredkúva. na vytvorenie kvalitného jazykového modelu, ktorý túto umelú inteligenciu sprostredkúva. je potreba extrémne množstvo zdrojov, specificky čo sa týka vypočtovej techniky, a taktiež aj množstvo elektrickej energie a preto si to z pravidla môžu dovoliť len firmy, dis chicks a preto si to z pravidla môžu dovoliť len firmy, dis disponujúce veľkým množstvom kapitálu.

Tretím prvkom tohto receptu na vytvorenie veľkého jazykového modelu, sú vstupné dáta, na vytvorenie veľkého jazykového modelu sú vstupné dáta, tých však po internete je celkom veľké množstvo a ide z nich teda veselo čerpať. Pravdepodobne najznamnejšia takáto spoločnosť je spoločnosť OpenAI, ktorá vyprodukovala produkt, ktorý je už v dnešnom dome takmer každému známy, ktorý sa nazýva ChatGPT, ale hráčov je už dnes veľké množstvo. Spomeniem napríklad Gemini od Google, Llama od Facebooku, respektíve Meti, taktiež je tu Cloud od spoločnosti Anthropic, no a potom sú tu dve zajímavé čínske, ktorými jedna je DeepSeek a druhá je Alibaba s modelom Qwen a mnohé ďalšie.

Cyklus inovácie

Tieto produkty z pravidla by som povedal, že sú na serveroch spoločnosti, ktorá ich vyhnula a sú dostupné pre ľudí ako služba, ktorú môžu používať napríklad pomocou webového rozhrania. Technológia však napreduje a do procesu sa zapojili aj menší hrači alebo výskumníci, ktorí boli schopní vyprodukovať dostatočne dobre veľké jazykové modely ako demonstráciu, že to ide, avšak ich kvalita nebola až taká dostatečná, aby z nich mohol byť komerčný produkt, ktorý by konkuroval už týmto vymenovaným a preto sa rozhodli tieto svoje výsledky jednoducho sprístupniť širokej verejnosti. Na to, aby bolo možné s takto vyprodukovanými verejne dostupnými veľkými jazykovými modelmi manipulovať a interagovať pomocou počítača, vznikol nástroj ollama, ktorý je v dnešnej dobe už podporovaný na väčšini operačných systémov. A dá sa predpokladať, že aj na vašom zaredení ho je možné nainštalovať jediným príkazom.

Veľkí hrači však zrejme nechceli zostať pozadu a taktiež publikovali rôzne menšie veľké jazykové modely, ktoré ide spúšťať pomocou OLAMA. A takto dokonca začal cyklus, kedy sa títo veľkí hrači začali v tejto hre predbiehať a dostali sme sa do podu, kde je možné si spustiť už aj veľmi, veľmi vysoko kvalitné veľké jazykové modely na svojom vlastnom počítači a nie sme teda odkazaní na platené služby týchto hračov. V dnešnej dobe v tomto smere najväčším limitujúcim faktorom je množstvo dostupnej operačnej pamäti RAM, nakoľko na to, aby kvalitné jazykové modely naozaj niečo robili, ktoré potrebujú potrebné desiatky GB. V opačnom prípade sa model buď ani nespustí, alebo beží extrémne dlho v rádoch minút, dokým vyprodukuje odpoveď.

Toto je mikropodcast, moje meno je Peter Babič a počujeme sa na budúce.