Postoji više prednosti download-a i pokretanja LLM-ova lokalno na računalu: naši osjetljivi podaci se ne šalju nikome, što je jako bitno za neke kompanije. Prednost su i bolje performanse, a i besplatno je. Fine-tuning nam omogućuje prilagodbu LLM-a našim potrebama. Kroz demo ćemo vidjeti kako pokrenuti LLM lokalno na računalu i kako pozvati taj LLM iz naše aplikacije. Naravno, moguć je i chat s LLM-om koji je pokrenut lokalno. Na izbor imamo cijeli niz LLM-ova: Llama koji je napravila Meta, Google Gemma, Mistral itd. Kroz demo ćemo upoznati alate LM Studio i Jan koje koristimo za lokalno pokretanje LLM-ova. Umjesto LLM-a možemo odabrati neki SLM (Small Language Model) koji je brži od LLM-a i namijenjen određenoj poslovnoj domeni.  Upoznati ćemo Phi-3, Microsoftov SLM.