10-09-2025, 09:35 PM
Quote:Uglavnom ukratko, bar kod ChatGPT sve je to do "rezervisane memorije", koliko je korisniku dozvoljeno da u nekom FREE modu postavi pitanje tj tekst tj "words", kao cirkularni buffer dok ima mesta on pamti sve to recimo do 4000 words, posle toga one starije infromacije izbacuje i za njega vise ne postoje i tako vrti u krug sa tom kolicinom rezervisane memorije.
U "registrovanom" rezimu za nalog (i dalje je besplatno sve samo mora da se ima nalog, Google, Github i slicno) je povecan taj limit na recio 20k words, ili recimo 200k words i onda vec ima mesta da mu se dobro objasni i najbitnije dostavi neka vezana dokumentacija, source-fajl programa na kome radimo ili PDF DS od neke periferije, i on sve te dokumente pretvara u words koje koristi u modelu za razmisljanje.
U "placenom" rezimu je ostavljen recimo taj 200k limit ali je dodato jos pomocnih alata oko te price.
Dakle, probao sam stvarno razne engine/modele i trenutno ni jedan NE RADI ISPRAVNO sa preko recimo 500 linija coda, bilo kog code-a, HTML, JS, C++, Python, sta god, za njega su to reci i ulazi u limite i tu se odprilike zavrsava karijra tih modela!
To je poznat problem i ko radi sa AI mora da racuna na to, i da ce da prica gluposti, i netacno, i nespravno i svasta! Glupi digitron!
Ljudi se "pale" na AI, kao to je nesto, ma nije to nista, glupo sokocalo koje trosi enorme resurse i struju i jos da im placam za to, jok more, RTX 50xx TI loklano i svi ti modeli rade lokalno, pa onda da osetite stvarno sta je to i kako radi, koliko je zahtevno i sta sve moze ili ne moze, da vidite "halucinacije", dead-loop, prskanje sistema zbog nedostatka memorije ...
Ovo je konkretni lokalni DEV-setup, baziranom na VS Code IDE gde je podesen AI agent da gadja lokalni servis koji se pokrece preko Ollama (Open LLMA) i koji je ucitao neki od modela, evo i spiska modela ovde, cela ekipa je tu, GPT-oss, Qwen (Alibaba) i ostali u raznim varijantama tj velicinama, 0.3, 8, 16 do 600b (bilion - milijardi) parametara:
https://ollama.com/library
VScode je solidan IDE i tu je bitna stvar osim sto pokrecemo lokalno modele da postoji integracija ovih AI "kopilota" koji je tu malo bolje integrisan i upucen, jer mu je receno prvo u kom jeziku radimo i sva pravila za njega, ima pristup fajlu na kome se radi, ili se samo selektuje deo code-a na kome se radi ali tako da se "drzi fokus" teme striktno oko tu nekih recimo 10-ak kriticnih linja coda, da ne dira ostalo jer bi on rado to sve pisao ispocetka ako mu se drugacije ne specificira preko ovakvih alata.