LLM tester with llama.cpp

1. アプリの特徴とできること
本アプリは、Android 端末上で大規模言語モデル（LLM）を完全ローカルで実行し、外部サーバーに依存せずにテキスト生成やチャットを行えるアプリです。
HuggingFace から GGUF モデルを直接取得できるほか、端末内に保存された GGUF ファイルもそのまま読み込めます。

Gemma‑4 や Bonsai を含む、幅広い llama.cpp 互換モデルに対応しています。
また、Web UI経由でGemma‑4 Vision によるマルチモーダル推論にも対応しています。

さらに、Ollama 互換 API サーバーを端末内で起動でき、他アプリや PC からローカル LLM を HTTP 経由で利用できます。
Web UI（http://localhost:11434/）にも対応しており、ブラウザから操作することも可能です。

また、ローカルストレージから mmproj ファイルをアップロード可能（同時に 1 つのみ） です。

---

2. 対象ユーザと対応端末
本アプリは次のような方に適しています。

- ローカルで LLM を利用したい方
- HuggingFace やローカルファイルの GGUF モデルを使いたい方
- 生成パラメータを細かく調整したい上級ユーザ
- 自作アプリやスクリプトからローカル LLM を呼び出したい開発者
- プライバシーを重視し、クラウド依存を避けたい方

軽量モデル向け端末からハイエンド端末まで幅広く対応。
コンテキストサイズ、スレッド数、バッチサイズなどを調整することで、端末性能に合わせた最適化が可能です。

---

3. 主な機能
- HuggingFace またはローカルストレージから GGUF モデルをロード
- 完全オフライン推論（外部通信なし）
- Gemma‑4、Bonsai を含む llama.cpp 互換モデルに対応
- Gemma‑4 Vision によるマルチモーダル推論
- 高度な生成パラメータ設定（Mirostat、DRY、XTC など）
- Ollama 互換 API：
- /api/chat
- /api/generate
- /api/tags
- /v1/chat/completions
- /v1/models
- /props
- /slots
- Web UI 対応（http://localhost:11434/）
- プロンプトテンプレート自動選択
- Streaming 出力の ON/OFF
- ログ表示・クリア・ログレベル変更
- 推論中の UI ロックによる誤操作防止
- 安定性・使い勝手向上のための各種改善

---

4. 初期設定
1. メイン画面で「Settings」を開く
2. HuggingFace の GGUF URL を入力、またはローカル GGUF ファイルを選択して「Load Model」
3. 必要に応じて生成パラメータを調整し「Save Config」
4. 「SAVE & CLOSE」で設定を適用

---

5. メイン画面の操作
- Enter Prompt：プロンプト入力
- Send：生成開始
- Re-init Model：モデル再初期化
- View Log / Clear Log：ログ確認・消去
- Start/Stop API Server：API サーバー起動・停止
- Copy：出力やログをコピー
- Processing Status/Logs：タイムスタンプ付きログ表示

---

6. 設定画面の主な項目
- 設定の保存・読み込み・削除
- モデル選択（URL またはローカルファイル）
- Context Size、Temperature、Mirostat、DRY、XTC など
- Streaming 出力の ON/OFF
- カスタムまたは自動選択のプロンプトテンプレート
- API サーバーのポート設定
- ログレベル設定
- マニュアル・プライバシーポリシー

---

7. プロンプトテンプレートと停止シーケンス
モデルファイル名からファミリーを推定し、適切なテンプレートを自動選択します。
一般的な区切り文字を検出すると自動停止し、暴走生成を防ぎます。

Tips：
Gemma‑4 は短いフレーズを繰り返しやすいため、
- システムプロンプトに「繰り返しを避ける」指示を追加
- 停止シーケンスを強めに設定
すると安定しやすくなります。

---

8. API サーバー機能
提供されるエンドポイント：

- /api/chat
- /api/generate
- /api/tags
- /v1/chat/completions
- /v1/models
- /props
- /slots
- Web UI：/（http://localhost:11434/）

同時生成は 1 件のみ。
Android 13 以上では通知権限が必要な場合があります。

---

9. 本アプリの独自性
- HuggingFace とローカルストレージから GGUF を直接ロード
- Gemma‑4 Vision を含むマルチモーダル対応
- Bonsai を含む多様な llama.cpp 互換モデルに対応
- 高度な生成パラメータを GUI で細かく調整可能
- ローカルで動作する Ollama 互換 API サーバー
- モデルファミリー自動判定によるテンプレート最適化
- 幅広い端末性能に合わせて柔軟に動作調整可能