DIY Electronic projects - Desktop

Kako pokrenuti AI‑modele offline | LLAMA | LMstudio | Pinokio

Sat, 04 Oct 2025 12:02:35 +0000

Pozdrav svima!

Danas ću da vam pokažem kako možete da iskoristite moć svog računara sa novijom GPU (npr. NVIDIA RTX 5060 Ti) i da radite sa različitim AI modelima bez interneta.

Ne morate da plaćate cloud servise, a uz to dobijate veću privatnost i brže reakcije.

Zašto je offline pokretanje korisno

Privatnost - Svi podaci ostaju na vašem hardveru – nema slanja podataka serverima treće strane.
Brzina Lokalna komunikacija (GPU ↔ CPU) je mnogo brža od mrežnih zahteva.
Nema dodatne naknade - Jednom kada ste instalirali modele, ne plaćate nikakve mesečne takse.
Kontrola nad modelom - Možete da menjate konfiguracije, fine‑tune-ujete ili dodajete nove funkcionalnosti po vašoj želji.

Šta vam je potrebno

RTX 5060 Ti (ili bilo koji GPU sa barem 8 GB VRAM).
Llama i Stable Diffusion XL mogu da rade na 16 GB‑u, ali će biti sporiji ili će se koristiti CPU.
Windows / Linux/macOS, 16+GB RAM, 50+GB HD
Python (verzija 3.10+), ostale novije verzije nisu kompatibilne ili imaju probleme

CUDA Toolkit (ako želite maksimalnu GPU brzinu).
Najnoviji driver i CUDA 11.x ili 12.x su dovoljni za RTX 5060 Ti.
Neophodni Python paketi – instalirajte ih kroz pip.

Alati

Svaki od ovih alata je dizajniran da radi lokalno (bez klauza o “cloud” pristupu), ali zahteva odgovarajuću konfiguraciju hardvera, biblioteka i okruženja. U nastavku su kratki opisi i osnovna svrha.

LLaMA – Large Language Model Meta AI
Open‑source LLM razvijen od strane Meta (Facebook). Dostupan u verzijama 7 B, 13 B, 30 B i 65 B parametara.
Generisanje teksta, chat botovi, automatsko prevođenje, analitika podataka.
Najmanje zahteva u odnosu na velike modele; 7‑13 B varijante mogu raditi na RTX 5060 Ti bez overclockinga (≈16 GB VRAM).

LMStudio – Language Model Studio
GUI aplikacija koja omogućava jednostavno testiranje, fine‑tuning i vizualizaciju bilo kojeg LLM-a (LLaMA, GPT‑NeoX, etc.).
Brzo prototipiranje, analiza performansi, integracija u sopstvene projekte.
Potpuno lokalno, ne zahteva kod; podržava CUDA 12 i GPU akceleraciju

Pinokio AI
Lokalni LLM baziran na opt-6.7b arhitekturi, optimizovan za manje memorijske uređaje (12 GB VRAM).
Chat botovi, generisanje koda, asistent u razvoju softvera.
Brža inferencija od većih modela; odličan balans između performansi i resursa na RTX 5060 Ti.

Stable Diffusion XL – Generisanje slika
Najnovija verzija diffusion modela, sa 1.0B parametara (SD‑XL). Generisanje visokokvalitetnih slika iz teksta, stil transfer, retuširanje.
Omogućava kreiranje profesionalno izgleda slika na PC‑u bez potrebe za cloud‑servisima; GPU akceleracija je ključna.

Zaključak
LLaMA, LMStudio, Pinokio AI i Stable Diffusion XL su izvanredni alati za lokalno rad sa AI modelima na RTX 5060 Ti.
Svaki od njih ima specifične prednosti: LLaMA za tekst, LMStudio za GUI prototipove, Pinokio AI za brzinu i manji GPU footprint, SD‑XL za slike visokog kvaliteta.
Sa pravilnom instalacijom i konfiguracijom, sve ove tehnologije mogu da funkcionišu isključivo offline bez dodatnih troškova.

lmstudio.png (Size: 178,49 KB / Downloads: 166)

Stable Diffusion | SD1.5 | SDXL | Flux1.D | Galerija

Thu, 25 Sep 2025 02:26:33 +0000

Neki zanimljivi primeri grafike generisane preko Stable Diffusion AI modela, lokalno preko RTX 5060Ti 16GB graficke kartice.

  s1.jpg (Size: 82,47 KB / Downloads: 223)

  s2.jpg (Size: 74,07 KB / Downloads: 218)

  s3.jpg (Size: 75,58 KB / Downloads: 214)

  s4.jpg (Size: 33,24 KB / Downloads: 209)

Zasto glavi fwrite() pri 25 zapisa/fajlova u sekundi?

Wed, 23 Sep 2020 13:57:49 +0000

Pozdrav,

imam neko parce code-a koji radi prostu stvar, hvata neke pakete podataka koju su veliki oko 5-6kB, ti paketi mi dolaze brzinom od 25 paketa u sekundi i program treba da hvata te podatke i snima u fajlove za neku dalju analizu.

Medjutim, to ne radi dobro, kako pustim to da radi program uhvati/snimi nekih 120-150 paketa/fajlova i nakon toga zaglavi??

Program treba da radi na RPi ali isti problem imam i kada to poteram na PC pod macOS, skoro se sve isto ponasa.
Na PC definitivno nemam problema sa I/O brzinom, to je i7 masina sa Aorus NVMe diskom, brze ot toga nemam ...

Probao sam da snimam i u RAMDISK (tmpfs) i isto se ponasa?

U cemu je ovde problem, ko/sta ovde pravi taj problem?

Code:
    ...

    char buf[128000];

    ...

    // U buf su popunjeni podaci ...

    // U len imam duzinu paketa, menja se izmedju 5 i 6 kB ...

    ...

    //----------------- save samples -------------

    if (samlpe_count < 1000 ) {

        char fname[80];

        sprintf(fname, "sample_%03d.dat", samlpe_count);

        printf("Writing %s ... \r\n", fname);

        FILE *my_write_fd = fopen(fname, "w+");

        fwrite(buf, len, 1, my_write_fd);

        fclose(my_write_fd);

        samlpe_count++;

    }

Matematicki problem - nalazenje najduzeg kontinualnog niza

Sat, 11 Jul 2020 11:44:00 +0000

Za potrebe nekog programa koji pisem potrebno je da uradim "filtriranje" nekih izmerenih tacaka rastojanja dobijenih preko Lidara (rotacioni laserski daljinomer).

Konretan problem se svodi na to da preko Lidara dobijam tacke izmerenog objekta koje mi u sustini trebaju ali se desi iz raznih razloga da mi u taj skup uleti i neke tacke koje nisu deo objekta koji se prati vec neke "fleke" tj slucajne tacke koje se dobiju refleksijom od pozadine i koje mi prave probleme - trebam da filtriram te tacke.

Da uprostim pricu, recimo da imam ovakva dva niza koja su dobijena iz nekog predhodnog koraka procesiranja.
Prvi niz su izmerene daljine, drugi niz je ugaoni index tacke. Ugaoni index se racuna u opsegu 0-180' sa korakom od 0.25' - tehnicki gledano nebitno je da li izrazeno kao index ili kao ugao, formula je Ugao=Index/4.

Primer (C/C++)

Code:
int daljine[1000];

int ugao[1000];

int broj_tacaka = 4;

daljine[0] = 1500; //mm

daljine[1] = 1800; //mm

daljine[2] = 1400; //mm

daljine[3] = 900; //mm

ugao[0] = 22;

ugao[1] = 23;

ugao[2] = 24;

ugao[3] = 71;

//ocekivani rezultat procesiranja treba da bude 1400mm na ugaonom indexu 24.

U ovom primeru imamo 4 tacke, prve tri su jedna-za-drugom (spojene = deo jednog detektovanog objekta) dok je 4. tacka smetnja-fleka koju trebam da ignorisem.
Algoritam MORA da nadje najblizu tacku objekta koji ima najvecu "sirinu" (najvise uzastopnih tacaka).
Moj trenutni code radi tako sto nadje minimum iz ovog skupa ali u ovom konkretnom slucaju je ocigledno ta 4. tacka smetnja i nije dobro, ocekivani rezultat je 3. tacka (pod idexom [2]) tj 1400mm na 24. ugaonom indexu.

---

Da li moze neko da mi pomogne sa ovim, tj kako bi izgledao algoritam ili konkretno parce code-a koji bi radio ispravno trazenu funkciju?
Code mora da bude veoma veoma optimizovan i brz jer mi je time-frame za procesiranje vrlo uzak i nemam mnogo procesorske snage na raspolaganju.

Kako simulirati /dev/usbserial na Linux-u

Thu, 26 Dec 2019 15:30:20 +0000

Pozdrav,

pravim neki desktop program za Linux u C++ koji treba da prica sa nekim USB periferijama (seriski terminali, USB->serial) i trenutno imam potrebu da simuliram to ponasanje periferija jer trenutno nemam te uredjaje, imam samo protokol kako radi i koji cu da isprogramiram u simulatoru.

Interesuje me kako da simuliram /dev/NESTO da bude istog tipa/osobina kao i ovi USB-seriski konverteri?

Trenutno koristim ovako nesto za pisanje na "pravi" device iz glavnog programa:

Code:
    // ...

    //open port

    cout << "Opening MCU on " << dev_mcu << endl;

    fd_mcu = open(dev_mcu.c_str(), O_RDWR);

    if (fd_mcu < 0) {

        std::cerr << "ERROR opening MCU on " << dev_mcu << std::endl;

    } else {

        struct termios options;

        tcgetattr(fd_mcu, &options);

        options.c_cflag = B9600 | CS8 | CLOCAL | CREAD;        //
        options.c_iflag = IGNPAR;

        options.c_oflag = 0;

        options.c_lflag = 0;

        tcflush(fd_mcu, TCIFLUSH);

        tcsetattr(fd_mcu, TCSANOW, &options);

        std::cout << "Configured MCU on " << dev_mcu << " as B9600 CS8 IGNPAR"  << std::endl;

    }

    // ...

    //write to port

    if (write(fd_mcu, cmd_buff_mcu, cmd_buff_mcu_len) != cmd_buff_mcu_len) {

        std::cerr << "ERROR writing CMD to MCU device!" << std::endl;

    }

Kako mogu tu u simulatoru da se "podmetnem" a da ne menjam osnovni code-e za komunikaciju (eventulano promenim samo ime uredjaja) ?

C/C++ Razvojni alati CLI & GUI

Tue, 17 Apr 2018 10:05:21 +0000

Jedan od boljih IDE alata za C/C++ (bilo koji jezik, PHP, JS, sta-god), ma koliko to suludo izgledalo, Microsoft je napravio dobru aplikaciju i odlicno radi na OS X.
Odlicno radi repozitorijum sa pluginovima, sve moze da se namesti sto korisniku treba, intelisense, Cmake, make, syntax highlighting, source-control, hiljade nekih pluginova i dodataka.
https://code.visualstudio.com

Drugi alat koji sam probao i koristio u trial periodu je CLion, i on dobro radi, ima real-time "linter" koji proverava i formatira napisan code, debuger mu je odlican ... samo mu cena bas nije slatka ...
https://www.jetbrains.com/clion/

Oba alata mogu da se koriste za razvoj cross-platfor aplikacija za Desktop, CLI, GUI ili MCU programa.

JetBrains - Rider

Tue, 15 Aug 2017 14:22:55 +0000

Iako ne spada samo u ovu kategoriju, nisam nasao bolje mesto

...u svakom slucaju, poigrah se juce sa https://www.jetbrains.com/rider na prvu loptu, deluje kao najkompletnije resenje (sem MS-ovog Visual Studia) za .NET razvoj. Probao sam ranije razna druga kako je koje izlazilo, ali ovo je jedino koje mi nije zadavalo problema u samom startu, sva ostala manje vise posle malo drndanja su pucala po savovima, ili zahtevala da menjam podesavanja projekta ili sl. Sa ovim, par projekta na kojima trenutno radim (cisto eksperimenta radi) propustih kroz njega, i rade bez problema

...vredi probati ga, ako nista drugo.

Rigol DS1000Z - Custom App

Wed, 18 Jan 2017 18:49:19 +0000

Bazirano na problemu koji je izgleda zajednicki za par nas ovde koliko vidim, a to je nedostatak trece ruke za kliktanje po osciloskopu ili kompjuteru, dosao sam na ideju da napravim jedan mali alat koji mozemo zajedno da usavrsavamo ako zelite i ako mislite da jos nekom moze da bude koristan.

Program sluzi da pomocu VisaComLib-a izlista i pronadje osciloskop iz DS1000Z serije (trenutno radi samo sa prvim koji nadje, tako da ako neko ima dva ili vise, jbg. morace da se strpi za v1.0.0.1), nakon sto pronadjemo instrument s kojim komuniciramo, u zavisnosti od zeljene akcije saljemo adekvatnu SCPI komandu uredjaju.

Slanje komandi je moguce na dva nacina:
- Kliktanjem po formi (vise korisceno radi testiranja (gubi svrhu zbog inicijalnog problema))
- Izgovaranjem adekvatne komande

Dakle aplikacija je radjena u C#-u i u sebi ima ugradjen MS Speech Recognition mehanizam, nisam hteo da integrisem LUIS BOT-a da ne bi zahtevala i dodatnu konekciju na internet, ali za osnovne komande poput: RUN, STOP, SAVE, LEFT, RIGHT (zadnje dve nisam jos nasao SCPI komandu nisam ni siguran da li je ima, a hteo sam da je iskoristim za vremensko pozicioniranje).

Testirao sam je sa svojim osciloskopom, i za moj slucaj radi sasvim ok.

Ono sto bi ja uradio je posto je ovaj code napisan cisto da vidim kako ovo cudo radi, da se najpre ocisti, i napravi modularnim za veci broj komandi da moze lako da se odrzava. Tj. da se isto odvoji u zasebnu biblioteku i odvoji od UI dela.

Zamenio bih win forms sa WPF-om ili Unity-om da se nasminka fino (nije neophodno ali neka moja licna preferenca je da i UI uvek bude moderniji).

Tako da ako ima zainteresovanih, mogu da okacim source na github za vikend kad malo kolko tolko procistim code

Kao dodatak evo par linkova koje sam koristio kao referencu:

Programming With Visa-COM
Get Started with Speech Recognition
MSO1000Z_DS1000Z Programming Guide

Ako radite u C#-u ovo moze da bude zanimljivo za IoT:
Language Understanding Inteligent Service - LUIS

Koriscenje AI-a za prepoznavanje tipografskih paterna i formata

Wed, 14 Dec 2016 03:55:34 +0000

Cao drugari, jel koristio neko mozda neuronske mreze za prepoznavanje tipografskih paterna i formata, ili bilo koje drugo "pametno" resenje?

Sta je konkretni problem, imam gomilu sajtova i sad oni su bukvalno details stranice nekih proizvoda gde izmedju ostalog se nalazi i cena. Ono sto meni treba je kako pametno prepoznati taj HTML element koji sadrzi informaiju o ceni.

Ja sam implementirao neko svoje resenje kojim sam pokrio nekih 90% i mozda malo vise od svih sajtova sto sam ja testirao ali mi je problem sto sa trenutnim mojim algoritmom ja one koje ne nalazim necu nikad ni da pronadjem vremenom, jer moj algoritam nije zasnovan na Ai-u, i nece nista da "nauci" vremenom.

Do sad nisam nikad radio sa neuronskim mrezama, tako da nisam siguran ni da li su adekvatno resenje, ali eto, cisto razmisljam na glas...

Diffbot je nesto najslicnije onome sto sam napravio samo bez Ai-a, medjutim testirao sam i ovo njihovo i zanimljivo da moje dummy resenje radi bolje na skoro svim sajtovima koje sam testirao

Svaki savet dobrodosao.

Parsiranje velikih log fajlova

Sun, 28 Dec 2014 10:24:30 +0000

Zdravo svima,

Skorije sam imao potrebu da analiziram prilicno veliki (500MB) mod_security log fajl i to u "realnom" vremenu, tj da svaki upis u fajl registrujem odmah i da promene vidim u nekom obliku koji je jednostavan za analizu napada na odredjeni web sajt.
Takodje fajl se jako brzo menja i rotira.

Resenje koje sam primenio je da sam napisao parser u pythonu koji radi slicno kao "tail -f logfile" i zanima me da li postoji bolji pristup za to:

Code:
...

with open('/var/log/apache2/modsec_audit.log') as f:

    while True: # This will wait for next line in file

        if psutil.cpu_percent() > 50:

            time.sleep(0.2) # CPU usage protection

        line = f.readline()

        if line:

            # Do something with line from file

            # Put it in DB, etc ...

...

Ovo odlicno radi jer cita liniju po liniju i ne zauzima puno memorije, zatim problem sa zakucavanjem cpu u while petlji sam resio sa sleep (jel ima bolji predlog?). Imao sam jos jedan problem a to je prekidanje skripta u pola ili bilo gde, i to sam resio sa pomeranjem file pointera u odnosu na zadnji upis u bazi.

Deo za analizu je u HTML/PHP-u i on nije sporan jer cita podatke iz DB.

@mikikg ti si cini mi se radio nesto sa nekim velikim logovima?

Hvala,
Ivan

TideSDK - Razvoj desktop aplikacija sa HTML5/CSS3/JS/PHP/Rubby

Sat, 22 Nov 2014 12:32:33 +0000

Prilikom potrage nekog resenja za razvoj desktop aplikacija za razlicite platforme (Win / Linux / OS X), naleteo sam na jedan vrlo zanimljiv framework pod nazivom TideSDK.

http://www.tidesdk.org

Koncept kombinuje razlicite web tehnologije ali ovog puta na desktop racunarima i kao takav je vrlo zanimljiv i jednostavan za koriscenje i izradu razlicitih grafickih korisnickih interfejsa (GUI) koji su generalno problem (za developere) na PC platformama. Ovde je ceo taj koncep jednostavno prebacen na HTML/CSS jer je APP ustvari samo nezavisni browser engine ali koji ima mogucnost interakcije sa ostalim standardnim stvarima na racunaru (fajlovi, slike, seriski portovi itd).

Koncept se dalje nadograduje kompletnom podrskom za SQLite (lokalna baza podataka u okviru aplikacije) i MySQL client podrskom, razne standardne PHP biblioteke sve do PHP funkcija koje imaju HTML DOM pristup za dalju nadogradnju preko JavaSript (deo TideSDK framework API-a).

Evo jedan krajnje neobican primer, "hibridna" HTML PHP skripta koja radi SQL upit na neki spoljni MySQL server i stampa prostu poruku sa rezultatom upita u prozoru aplikacije.

PHP Code:
<html>
<body>
    <script type="text/php">
        function fetch_data() {
            global $document, $window;
            $document->getElementById("data")->innerHTML = "Fetching... ";
            
            $fn = function() {
                global $document, $window;
                mysql_connect("ensembldb.ensembl.org", "anonymous", "") or $window->alert(mysql_error());
                mysql_select_db("homo_sapiens_core_47_36i") or $window->alert(mysql_error());
                
                $result = mysql_query("select * from assembly LIMIT 0,5");
                $row = mysql_fetch_array($result);
                
                $asm_seq_region_id = $row["asm_seq_region_id"];
                
                $document->getElementById("data")->innerHTML = "asm_seq_region_id = $asm_seq_region_id";        
            };
            
            $window->setTimeout($fn, 500);
        }
    script>
    
    <button onclick="fetch_data();">Fetch Databutton>
    
    <div id="data">
    div>
body>
html> 

Rezultat prevodjenja ovog code-a je kompletna Aplikacija koja moze da se pokrene na razlicitim OS-ovima i ne zahteva nikakve dodatne biblioteke ili web servise.

Dakle na ovaj nacin je moguce veoma lako napraviti multi-platform desktop aplikaciju koriscenjem "samo" HTML/CSS/JS/PHP tehnike.
Takodje je krajnje prosto (isto kao za pravo WEB okruzenje) koristiti razne JavaScript biblioteke poput JQuery, AngularJS, Bootstrap, NodeJS i ostale fine pogodnosti koje se vec duze vreme uspesno koriste na WEB-u.

Ovo je sjajno, upravo sam nasao dugoocekivano resenje za moj Si5351 PIC USB kontroler program (takodje i za moj AD9850 signal generator) i prve probe koje sam napravio su dale pozitivne rezultate tj uspeo sam bukvalno u 3 PHP linije (fopen, fwrite, fclose) da uspostavim serisku komunikaciju sa mojim modulom koristeci standardnu WEB programsku tehniku.

Na slican nacin je moguce napraviti program za razne vizuelizacije, kontrolu ili upravljanje i to ukaciti sa bilo kojim kontrolerom (PIC, STM32, Arduino itd) preko raspolozivih komunikacionih kanala.