MAOP interni AI vmesnik

Na http://maoplab25:8080 se prijavite z mailom maop@maop.biz, geslo je enako. Več uporabnikov je lahko hkrati prijavljenih z istim uporabniškim imenom. Če bi kdo želel lastno prijavo s svojim @maop mailom, si jo lahko po prijavi odpre tule s klikom na »+« zgoraj desno, uporabniško ime naj bo @maop.si mail.

Ta uporabnik potrebuje ‘admin’ pravice, ker zaenkrat, mogoče zaradi hrošča, uporabnik z rolo ‘user’ nima dostopa do LLM. Zato prosim, da sami ne spreminjate nastavitev v admin panelu itd, ampak če je kaj potrebno nastaviti drugače, napišete v teams skupino za MAOP AI ali pošljete na sa@maop.si.

Poskusno je vklopljen samo en eksterni model, »gpt-4 nano«, ki dobro zna slovensko, a ker je eksterni, ni garancije glede varovanja podatkov, ki jih vnesemo (praktično je enako kot naš skupni ChatGPT, le da je »nano« manj zmogljiv). Ostali LLM v tem vmesniku tečejo na našem strežniku in podatki ne grejo iz hiše.

Privzeti LLM je gemma3:27b-it-qat, ki zaenkrat od razpoložljivih zgleda najbolj zmogljiv v slovenščini, pa tudi sicer je videti, da daje dobre rezultate. Podoben, le manj zmogljiv, je gemma3:12b-it-qat, uporaben pa bi lahko bil tudi glm4, a z eksplicitnim navodilom, naj bo odgovor v slovenščini.

Ena uporabna funkcija tega LLM vmesnika je, da lahko izbereš več modelov hkrati in primerjaš njihove rezultate, kot je na spodnji sliki. Več kot tri naenkrat ni praktično, pa tudi modeli, ki zahtevajo več VRAM, se odzovejo precej počasneje.

Če najdete kakšno funkcionalnost, ki bi bila koristna tudi za sodelavce, prosim napišite v teams skupino za MAOP AI ali mi pošljete na mail.

Za uporabo chatgpt preko API oziroma če si zainteresiran/a za spremljanje tovrstnih raziskav in poskusov, te lahko vključimo v MAOP AI teams skupino. Sporoči na kakovost@maop.si.

V primeru tehničnih težav to sporoči na sa@maop.si.