С момента появления ChatGPT появилось множество инструментов, соблюдение конфиденциальности пользователей которых вызывает сомнения. К счастью, несколько проектов с открытым исходным кодом решили эту проблему. Ollama AI — инструмент для использования искусственного интеллекта в терминале
Приложение будет позволяет вам использовать список LLM на вашем компьютерном терминале или одноплатном устройстве, если ваше оборудование достаточно мощное. Хорошо, что в их библиотеке есть варианты для всех размеров.
LLM (крупномасштабные языковые модели) используются для понимания создания и перевода языка на уровне, близком к естественному языку. Они обучаются на огромных объемах текстовых данных. Эти модели можно использовать для самых разных задач, связанных с языком, таких как ответы на вопросы, обобщение текста, перевод на другие языки, создание связного и творческого контента, завершение предложений и поиск языковых шаблонов.
Выражение «крупный масштаб». относится как к огромному объему данных (миллиарды), так и к параметрам, которые модель использует для установления связей и поиска закономерностей среди данных.
Параметры являются фактором, который следует учитывать. Хотя есть те, кто сообщает, что использовал Ollama AI на Raspberry Pi 4, не все модели можно использовать, если у вас недостаточно памяти. Я использовал модели с 7 миллиардами параметров с 6 ГБ ОЗУ и без видеокарты, почти не влияя на производительность системы, но модель с 13 она не справилась.
Модели с меньшим количеством параметров говорят по-испански на уровне туристической пародии Янки и не очень точны в своих ответах, поэтому при их использовании следует быть осторожными.
Оллама AI: используйте искусственный интеллект в терминале
Прежде чем продолжить, давайте начнем с краткого пояснения. LlaMa — это алгоритм машинного обучения, который позволяет искусственному интеллекту научиться распознавать и классифицировать изображения объектов.
К этому типу моделей Их обучают с помощью помеченных изображений, чтобы они научились распознавать определенные характеристики, такие как текстура, форма и цвет, которые позволяют их идентифицировать в других контекстах.
Поскольку название алгоритма произносится так же, как и имя животного, некоторые библиотеки были названы в честь похожих видов, таких как викунья (викуна в языках, не использующих ñ) или альпака.
Возвращаясь к Олламе AI, Это позволяет нам загружать и запускать различные модели с открытым исходным кодом с терминала нашего дистрибутива Linux. Устанавливается командой:
curl https://ollama.ai/install.sh | sh
Для запуска модели пишем команду:
ollama run nombre_del_modelo
Мы можем увидеть список моделей. здесь
Например, чтобы установить TinyLlaama, модель с параметрами чуть больше терабайта, мы используем команду:
ollama run tinyllama
При первом выполнении этой команды модель загружается на компьютер. Обратите внимание, что некоторые занимают несколько гигабайт дискового пространства.
Удалить модель можно командой:
ollama rm nombre_del modelo
Чтобы просмотреть список установленных моделей, используйте команду:
список олламы
Посмотреть информацию о каждой из установленных моделей можно с помощью:
ollama show
Интересным вариантом из библиотеки моделей Ollama являются так называемые «Без цензуры».. Самые известные модели искусственного интеллекта накладывают ограничения на определенные типы вопросов, чтобы соответствовать не только закону, но и социальному давлению политической корректности.
Помню, давным-давно я попросил Copilot, помощника Microsoft на базе ChatGPT, рассказать мне анекдоты об айсбергах. Он сказал мне, что экологические катастрофы — слишком серьезная тема, чтобы над ней шутить.
Модели без цензуры Они выявляют случаи, когда ИИ отказываются отвечать или дают предвзятые ответы от базовых моделей, удаляют их и обучают систему реагировать правильно.
Мне пришлось бы провести больше тестов, чтобы узнать, насколько полезным может быть Ollama AI на компьютерах с ограниченным объемом оперативной памяти и без выделенной видеокарты. В любом случае полезно знать, что альтернативы с открытым исходным кодом появляются и позволяют устранить цензуру.