A ChatGPT megjelenése óta sok olyan eszköz jelent meg, amelyekben a felhasználók adatainak tiszteletben tartása kétséges. Szerencsére több nyílt forráskódú projekt is megjelent ennek orvoslására. Az Ollama AI egy eszköz a mesterséges intelligencia használatára a terminálban
Az alkalmazás megteszi lehetővé teszi az LLM-ek listájának használatát a számítógépes terminálon vagy az egykártyás eszközön mindaddig, amíg a hardver elég erős. A jó dolog az, hogy könyvtárukban minden mérethez van lehetőség.
Az LLM-ek (nagy léptékű nyelvi modellek) arra szolgálnak, hogy a természetes nyelvhez közel álló szinten megértsék a generáló és fordító nyelvet. Hatalmas mennyiségű szöveges adattal képzettek. Ezek a modellek sokféle nyelvi feladatra használhatók, mint például kérdések megválaszolása, szövegösszegzés, más nyelvekre fordítás, koherens és kreatív tartalom készítése, mondatok befejezése, nyelvi minták keresése.
A "nagy léptékű" kifejezés egyaránt utal a hatalmas adatmennyiségre (Milliárd), és azokra a paraméterekre, amelyeket a modell használ kapcsolatok létrehozására és minták megtalálására az adatok között.
A paramétereket figyelembe kell venni. Bár vannak, akik arról számolnak be, hogy Ollama AI-t használtak egy Raspberry Pi 4-en, nem minden modell használható, ha nincs elegendő memóriája. Használtam már 7 milliárd paraméteres, 6 GB RAM-mal és grafikus kártya nélküli modelleket anélkül, hogy ez alig befolyásolta volna a rendszer teljesítményét, de 13-mal nem bírt.
A kevesebb paraméterű modellek jenki turistaparódia szinten beszélnek spanyolul, és nem túl precízek a válaszadásukban, ezért érdemes óvatosan használni őket.
Ollama AI: Használj mesterséges intelligenciát a terminálban
Mielőtt folytatnánk, kezdjük egy rövid magyarázattal. A LlaMa egy gépi tanulási algoritmus, amely lehetővé teszi a mesterséges intelligencia számára, hogy megtanulja felismerni és osztályozni a tárgyak képeit.
Az ilyen típusú modellekhez Felcímkézett képekkel képezik őket, hogy megtanulják felismerni azokat a konkrét jellemzőket, mint például a textúra, a forma és a szín, amelyek lehetővé teszik, hogy más kontextusban azonosítsák őket.
Mivel az algoritmus nevét ugyanúgy ejtik ki, mint az állat nevét, néhány könyvtárat hasonló fajokról neveztek el, mint például a vicuna (a ñ-t nem használó nyelveken Vicuña) vagy az Alpaca.
Visszatérve az Ollama AI-hoz, Lehetővé teszi különböző nyílt forráskódú modellek letöltését és futtatását Linux disztribúciónk termináljáról. Telepítése a következő paranccsal történik:
curl https://ollama.ai/install.sh | sh
A modell elindításához a következő parancsot írjuk ki:
ollama run nombre_del_modelo
A modellek listáját láthatjuk itt
Például a TinyLlaama, egy alig több mint egy terabájt paraméterrel rendelkező modell telepítéséhez a következő parancsot használjuk:
ollama run tinyllama
A parancs első végrehajtásakor a modell letöltődik a számítógépre. Kérjük, vegye figyelembe, hogy egyesek több gigabájt lemezterületet foglalnak el.
A modellt a következő paranccsal törölheti:
ollama rm nombre_del modelo
A telepített modellek listájának megtekintéséhez használja a parancsot:
ollama lista
Az egyes telepített modellekre vonatkozó információkat a következőkkel tekintheti meg:
ollama show
Egy érdekes lehetőség az Ollama modelltárból az úgynevezett „cenzúrázatlanok”.. A legismertebb mesterséges intelligencia modellek bizonyos típusú kérdéseket korlátoznak, hogy ne csak a törvénynek, hanem a politikai korrektség társadalmi nyomásának is megfeleljenek.
Emlékszem, régen megkértem Copilotot, a Microsoft ChatGPT-alapú asszisztensét, hogy mondjon nekem jéghegyi vicceket, aki azt mondta, hogy az ökológiai katasztrófák túl komoly téma ahhoz, hogy viccelődjenek.
A cenzúrázatlan modellek Azonosítják azokat az eseteket, amikor a mesterséges intelligencia megtagadja a választ, vagy elfogult válaszokat ad az alapmodellekből, eltávolítják őket, és megtanítják a rendszert a helyes válaszadásra.
További teszteket kellene végeznem, hogy megtudjam, mennyire hasznos az Ollama AI korlátozott mennyiségű RAM-mal és dedikált grafikus kártya nélküli számítógépeken. Mindenesetre jó tudni, hogy a nyílt forráskódú alternatívák utat törnek maguknak, és lehetővé teszik a cenzúra felszámolását.