joe/sougi
Watch
1
0
Fork
You've already forked sougi
 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

OpenAI互換エンドポイント(Ollama/LM Studio/llama.cpp/OmniRoute等)をカスタムプロバイダとして登録可能に #12

New issue
Closed
opened 2026-09-27 10:35:35 +00:00 by joe · 1 comment
joe commented 2026-09-27 10:35:35 +00:00
Owner
Copy link

要望

OCR用AIに、Gemini/OpenAI/Anthropic以外のローカル・ゲートウェイ系エンドポイントを追加したい。Ollama、LM Studio、llama.cpp(llama-server)、OmniRoute等はいずれもOpenAI互換API(/v1/chat/completions)を提供するため、base_url+modelを登録するカスタムプロバイダとして扱う。

設計

  • 設定画面(/settings)に「OCRカスタムプロバイダ」セクションを追加: name / base_url / model / api_key(任意) の行を登録・削除可能。settingsテーブルにJSON保存
  • プロバイダ一覧 = 組み込み(Gemini/OpenAI/Anthropic、キー設定済みのもの) + カスタム
  • スキャン画面にプロバイダ選択セレクトを追加: 「自動(順にフェイルオーバー)」or 個別プロバイダ指定
  • 指定時はそのプロバイダのみ呼び出し。自動時は登録順に試行し失敗したら次へ
  • カスタム呼び出しはopenai SDKの OpenAI(base_url=..., api_key=...) を使用

注意

  • ローカルモデルはvision対応モデル(llava、qwen2.5-vl等)を選ぶ必要あり。UIにヒント表示
  • ローカル推論は精度がGemini等より落ちる可能性あり
## 要望 OCR用AIに、Gemini/OpenAI/Anthropic以外のローカル・ゲートウェイ系エンドポイントを追加したい。Ollama、LM Studio、llama.cpp(llama-server)、OmniRoute等はいずれもOpenAI互換API(`/v1/chat/completions`)を提供するため、base_url+modelを登録するカスタムプロバイダとして扱う。 ## 設計 - 設定画面(`/settings`)に「OCRカスタムプロバイダ」セクションを追加: name / base_url / model / api_key(任意) の行を登録・削除可能。`settings`テーブルにJSON保存 - プロバイダ一覧 = 組み込み(Gemini/OpenAI/Anthropic、キー設定済みのもの) + カスタム - スキャン画面にプロバイダ選択セレクトを追加: 「自動(順にフェイルオーバー)」or 個別プロバイダ指定 - 指定時はそのプロバイダのみ呼び出し。自動時は登録順に試行し失敗したら次へ - カスタム呼び出しはopenai SDKの `OpenAI(base_url=..., api_key=...)` を使用 ## 注意 - ローカルモデルはvision対応モデル(llava、qwen2.5-vl等)を選ぶ必要あり。UIにヒント表示 - ローカル推論は精度がGemini等より落ちる可能性あり
joe commented 2026-09-27 10:38:02 +00:00
Author
Owner
Copy link

実装しました。mainにマージ済み。

使い方

  • 設定画面(/settings)の「OCRカスタムプロバイダ」に name/base_url/model/api_key(任意)を登録 → Ollama・LM Studio・llama.cpp・OmniRoute等のOpenAI互換エンドポイントが使えます
  • 例: Ollama → base_url http://localhost:11434/v1, model llava(vision対応モデル必須)
  • スキャン画面のプロバイダセレクトで「自動(順にフェイルオーバー)」または特定プロバイダを選択可能
  • 優先順: Gemini → OpenAI → Anthropic → カスタム(登録順)

テスト58件パス。実際のローカルモデルでの読み取り精度は使ってみて要確認です。

実装しました。`main`にマージ済み。 ## 使い方 - 設定画面(`/settings`)の「OCRカスタムプロバイダ」に name/base_url/model/api_key(任意)を登録 → Ollama・LM Studio・llama.cpp・OmniRoute等のOpenAI互換エンドポイントが使えます - 例: Ollama → base_url `http://localhost:11434/v1`, model `llava`(vision対応モデル必須) - スキャン画面のプロバイダセレクトで「自動(順にフェイルオーバー)」または特定プロバイダを選択可能 - 優先順: Gemini → OpenAI → Anthropic → カスタム(登録順) テスト58件パス。実際のローカルモデルでの読み取り精度は使ってみて要確認です。
joe closed this issue 2026-09-27 10:38:03 +00:00
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
No results found.
Labels
Clear labels   
bug

   
cleanup

   
enhancement
No labels
bug
cleanup
enhancement
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
joe/sougi#12
No description provided.