Sejak kemunculan ChatGPT, banyak alat bermunculan yang penghormatannya terhadap privasi pengguna diragukan. Untungnya, beberapa proyek sumber terbuka muncul untuk mengatasi hal ini. Ollama AI adalah alat untuk menggunakan kecerdasan buatan di terminal
Aplikasi akan memungkinkan Anda untuk menggunakan daftar LLM di terminal komputer atau perangkat papan tunggal Anda selama perangkat keras Anda cukup kuat. Hal baiknya adalah perpustakaan mereka memiliki opsi untuk semua ukuran.
LLM (Model Bahasa Skala Besar) digunakan untuk memahami menghasilkan dan menerjemahkan bahasa pada tingkat yang mendekati bahasa alami. Mereka dilatih dengan sejumlah besar data teks. Model-model ini dapat digunakan untuk berbagai macam tugas yang berhubungan dengan bahasa, seperti menjawab pertanyaan, merangkum teks, menerjemahkan ke dalam bahasa lain, menghasilkan konten yang koheren dan kreatif, menyelesaikan kalimat, dan menemukan pola bahasa.
Ungkapan "Skala besar" mengacu pada jumlah data yang sangat besar (Miliaran) dan parameter yang digunakan model untuk membangun hubungan dan menemukan pola di antara data.
Parameter adalah faktor yang perlu dipertimbangkan. Meski ada yang melaporkan pernah menggunakan Ollama AI di Raspberry Pi 4, namun tidak semua model bisa digunakan jika memori tidak mencukupi. Saya telah menggunakan model dengan 7 miliar parameter dengan RAM 6 GB dan tanpa kartu grafis tanpa mempengaruhi kinerja sistem, tetapi tidak dapat menangani model dengan 13.
Model dengan parameter lebih sedikit berbicara bahasa Spanyol pada tingkat parodi turis Yankee dan tanggapannya tidak terlalu tepat, jadi Anda harus berhati-hati saat menggunakannya.
Ollama AI: Gunakan kecerdasan buatan di terminal
Sebelum melanjutkan, mari kita mulai dengan penjelasan singkatnya. LlaMa adalah algoritma pembelajaran mesin yang memungkinkan Kecerdasan Buatan belajar mengenali dan mengklasifikasikan gambar objek.
Untuk model jenis ini Mereka dilatih dengan gambar berlabel sehingga mereka belajar mengenali karakteristik tertentu seperti tekstur, bentuk dan warna yang memungkinkan mereka diidentifikasi dalam konteks lain.
Karena nama algoritme diucapkan sama dengan nama hewan, beberapa perpustakaan diberi nama berdasarkan spesies serupa seperti vicuna (Vicuña dalam bahasa yang tidak menggunakan ñ) atau Alpaca.
Kembali ke Ollama AI, Ini memungkinkan kami mengunduh dan menjalankan berbagai model sumber terbuka dari terminal distribusi Linux kami. Itu diinstal dengan perintah:
curl https://ollama.ai/install.sh | sh
Untuk meluncurkan model kami menulis perintah:
ollama run nombre_del_modelo
Kita bisa melihat daftar modelnya aqu
Misalnya, untuk menginstal TinyLlaama, model dengan parameter lebih dari satu terabyte, kami menggunakan perintah:
ollama run tinyllama
Pertama kali perintah ini dijalankan, model diunduh ke komputer. Harap dicatat bahwa beberapa memerlukan beberapa gigabyte ruang disk.
Anda dapat menghapus model dengan perintah:
ollama rm nombre_del modelo
Untuk melihat daftar model yang terinstal gunakan perintah:
daftar ollama
Anda dapat melihat informasi tentang masing-masing model yang diinstal dengan:
ollama show
Pilihan menarik dari perpustakaan model Ollama adalah apa yang disebut “Tanpa sensor”.. Model Kecerdasan Buatan yang paling terkenal membatasi jenis pertanyaan tertentu agar tidak hanya mematuhi hukum tetapi juga tekanan sosial dan kebenaran politik.
Saya ingat dahulu kala saya meminta Copilot, asisten Microsoft yang berbasis ChatGPT, untuk menceritakan lelucon tentang gunung es. Dia mengatakan kepada saya bahwa bencana ekologi adalah topik yang terlalu serius untuk dijadikan bahan lelucon.
Model tanpa sensor Mereka mengidentifikasi saat-saat ketika AI menolak untuk merespons atau memberikan respons yang bias dari model dasar, menghapusnya, dan melatih sistem untuk merespons dengan benar.
Saya harus melakukan lebih banyak pengujian untuk mengetahui seberapa berguna Ollama AI pada komputer dengan jumlah RAM terbatas dan tanpa kartu grafis khusus. Bagaimanapun, ada baiknya untuk mengetahui bahwa alternatif open source sedang berkembang dan memungkinkan penghapusan sensor.