LM Playground

LM Playground задумана как универсальная платформа для экспериментов с различными типами больших языковых моделей (LLM) на вашем устройстве. Это позволяет пользователям загружать различные LLM, загружать их в приложение и общаться с этими моделями. Эта установка позволяет на практике изучить возможности и различия между различными LLM, что делает ее бесценным инструментом для энтузиастов, исследователей и всех, кто интересуется достижениями в технологии языковых моделей.

В настоящее время поддерживаются модели:
• Мета Лама 3.2 1B и 3B
• Квен 2,5 0,5В и 1,5В
• Google Джемма2 2B и 9B
• Microsoft Фи3.5
• Мистраль 7Б
• Лама 3.1 8Б

Этот проект был создан на основе проекта llama.cpp с оптимизацией OpenCL для повышения производительности. Приложение использует модели формата GGUF с квантованием Q4KM, которые будут сохранены в папке «Загрузки».