joe/oproxy
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

cyb0で実行する様にちょっと修正

Browse source
This commit is contained in:
joe 2026-02-14 17:49:06 +09:00
parent 17623652ba
commit 3fea146d74
1 changed files with 4 additions and 0 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

4
README.md
View file

@ -62,3 +62,7 @@ AI Agent (Cline 等) が「なぜか思い通りに動かない」時の強力
1. **Agent対応の判断**: `d` でダンプを見れば、モデルが正しく「ツール呼び出し（JSON）」を行っているか一目瞭然です。 1. **Agent対応の判断**: `d` でダンプを見れば、モデルが正しく「ツール呼び出し（JSON）」を行っているか一目瞭然です。
2. **30bモデルの運用**: RTX 3060 で 30b クラスを動かす際、`s` と `l` の分析により「あ、これはQ3量子化じゃないと無理だ」といった戦略的な判断が可能になります。 2. **30bモデルの運用**: RTX 3060 で 30b クラスを動かす際、`s` と `l` の分析により「あ、これはQ3量子化じゃないと無理だ」といった戦略的な判断が可能になります。
3. **長考への耐性**: 600秒のタイムアウト設定により、巨大モデルの深い思考（Reasoning）を途中で遮断しません。 3. **長考への耐性**: 600秒のタイムアウト設定により、巨大モデルの深い思考（Reasoning）を途中で遮断しません。
## インストール
sudo apt install -y python3-pip
pip install httpx uvicorn fastapi --break-system-packages