Compare commits
No commits in common. "3fea146d74eb26d8f44c6ab8ae13260ff1bd022f" and "dea5747737f558da35a4b0adc758c3b0d6557031" have entirely different histories.
3fea146d74
...
dea5747737
2 changed files with 19 additions and 79 deletions
|
|
@ -62,7 +62,3 @@ AI Agent (Cline 等) が「なぜか思い通りに動かない」時の強力
|
||||||
1. **Agent対応の判断**: `d` でダンプを見れば、モデルが正しく「ツール呼び出し(JSON)」を行っているか一目瞭然です。
|
1. **Agent対応の判断**: `d` でダンプを見れば、モデルが正しく「ツール呼び出し(JSON)」を行っているか一目瞭然です。
|
||||||
2. **30bモデルの運用**: RTX 3060 で 30b クラスを動かす際、`s` と `l` の分析により「あ、これはQ3量子化じゃないと無理だ」といった戦略的な判断が可能になります。
|
2. **30bモデルの運用**: RTX 3060 で 30b クラスを動かす際、`s` と `l` の分析により「あ、これはQ3量子化じゃないと無理だ」といった戦略的な判断が可能になります。
|
||||||
3. **長考への耐性**: 600秒のタイムアウト設定により、巨大モデルの深い思考(Reasoning)を途中で遮断しません。
|
3. **長考への耐性**: 600秒のタイムアウト設定により、巨大モデルの深い思考(Reasoning)を途中で遮断しません。
|
||||||
|
|
||||||
## インストール
|
|
||||||
sudo apt install -y python3-pip
|
|
||||||
pip install httpx uvicorn fastapi --break-system-packages
|
|
||||||
|
|
|
||||||
80
oproxy.py
80
oproxy.py
|
|
@ -1,5 +1,5 @@
|
||||||
# バージョン情報: Python 3.12+ / FastAPI 0.115.0 / uvicorn 0.30.0 / httpx 0.28.0
|
# バージョン情報: Python 3.12+ / FastAPI 0.115.0 / uvicorn 0.30.0 / httpx 0.28.0
|
||||||
# [2026-02-14] 3060(12GB)戦術支援:Mattermost連携・文字化け完全対策・全ロジック非短縮版
|
# [2026-02-10] 3060(12GB)戦術支援:全機能完全統合・非短縮版
|
||||||
import argparse
|
import argparse
|
||||||
import asyncio
|
import asyncio
|
||||||
import json
|
import json
|
||||||
|
|
@ -35,11 +35,6 @@ CONFIG = {
|
||||||
"models_cache": [],
|
"models_cache": [],
|
||||||
"loop": None,
|
"loop": None,
|
||||||
"vram_total": 12.0,
|
"vram_total": 12.0,
|
||||||
# --- Mattermost 連携設定 ---
|
|
||||||
"webhook_url_secret": "https://mm.ka.sugeee.com/hooks/ctjisw6ugjg85nhddo9ox9zt4c",
|
|
||||||
"webhook_url": "https://mm.ka.sugeee.com/hooks/7d4793kdufyad8afi9x9wof13r",
|
|
||||||
"enable_webhook": True,
|
|
||||||
"max_log_len": 4000
|
|
||||||
}
|
}
|
||||||
|
|
||||||
# 高速抽出用正規表現
|
# 高速抽出用正規表現
|
||||||
|
|
@ -54,44 +49,7 @@ def pulse(char, color=C_RESET):
|
||||||
print(f"{color}{char}{C_RESET}", end="", flush=True)
|
print(f"{color}{char}{C_RESET}", end="", flush=True)
|
||||||
|
|
||||||
|
|
||||||
# --- 🛰️ Mattermost 送信エンジン (文字化け対策済み) ---
|
# --- 🧠 戦略的モデル分析 (2行分割レイアウト) ---
|
||||||
async def post_to_mattermost(model_name, path, req_body, resp_text):
|
|
||||||
"""通信完了後にバックグラウンドでMattermostへログを飛ばす。生日本語を保持する。"""
|
|
||||||
if not CONFIG["webhook_url"] or not CONFIG["enable_webhook"]:
|
|
||||||
return
|
|
||||||
try:
|
|
||||||
# リクエストのデコード(生日本語を維持)
|
|
||||||
try:
|
|
||||||
req_obj = json.loads(req_body)
|
|
||||||
req_clean = json.dumps(req_obj, indent=2, ensure_ascii=False)
|
|
||||||
except:
|
|
||||||
req_clean = req_body.decode('utf-8', errors='replace')
|
|
||||||
|
|
||||||
# レスポンスのカットオフ
|
|
||||||
resp_display = (
|
|
||||||
resp_text if len(resp_text) < CONFIG["max_log_len"]
|
|
||||||
else resp_text[:CONFIG["max_log_len"]] + "\n\n*(長文のため中略...)*"
|
|
||||||
)
|
|
||||||
|
|
||||||
payload = {
|
|
||||||
"username": f"oproxy:{model_name}",
|
|
||||||
"icon_url": "https://ollama.com/public/ollama.png",
|
|
||||||
"text": (
|
|
||||||
f"### 🛡️ LLM Traffic Log: `{path}`\n"
|
|
||||||
f"- **Model:** `{model_name}` | **Time:** {datetime.now().strftime('%H:%M:%S')}\n"
|
|
||||||
f"#### 📥 Request preview\n```json\n{req_clean[:800]}\n```\n"
|
|
||||||
f"#### 📤 Response\n{resp_display}"
|
|
||||||
)
|
|
||||||
}
|
|
||||||
async with httpx.AsyncClient(timeout=15.0) as client:
|
|
||||||
# ensure_ascii=False で Mattermost に生の日本語を届ける
|
|
||||||
encoded_payload = json.dumps(payload, ensure_ascii=False).encode('utf-8')
|
|
||||||
await client.post(CONFIG["webhook_url"], content=encoded_payload, headers={"Content-Type": "application/json"})
|
|
||||||
except Exception as e:
|
|
||||||
print(f"\n{C_RED}[Webhook Fail] {e}{C_RESET}")
|
|
||||||
|
|
||||||
|
|
||||||
# --- 🧠 戦略的モデル分析 (2行分割レイアウト・非短縮版) ---
|
|
||||||
async def fetch_detailed_models():
|
async def fetch_detailed_models():
|
||||||
"""Ollamaの内部情報を深掘りし、メタデータを完全取得する"""
|
"""Ollamaの内部情報を深掘りし、メタデータを完全取得する"""
|
||||||
try:
|
try:
|
||||||
|
|
@ -235,16 +193,9 @@ async def sticky_proxy(path: str, request: Request):
|
||||||
print(f"{get_ts()} {C_WHITE}/{path: <10}{C_RESET} ", end="", flush=True)
|
print(f"{get_ts()} {C_WHITE}/{path: <10}{C_RESET} ", end="", flush=True)
|
||||||
body = await request.body()
|
body = await request.body()
|
||||||
|
|
||||||
# 送信時にどのモデルか判別するための抽出
|
|
||||||
model_name = "unknown"
|
|
||||||
try:
|
|
||||||
model_name = json.loads(body).get("model", "unknown")
|
|
||||||
except:
|
|
||||||
pass
|
|
||||||
|
|
||||||
if do_dump:
|
if do_dump:
|
||||||
print(
|
print(
|
||||||
f"\n{C_YELLOW}{'=' * 60}\n[DUMP REQUEST: {model_name}]\n{'=' * 60}{C_RESET}"
|
f"\n{C_YELLOW}{'=' * 60}\n[DUMP REQUEST: {request.method} /{path}]\n{'=' * 60}{C_RESET}"
|
||||||
)
|
)
|
||||||
try:
|
try:
|
||||||
print(json.dumps(json.loads(body), indent=2, ensure_ascii=False))
|
print(json.dumps(json.loads(body), indent=2, ensure_ascii=False))
|
||||||
|
|
@ -273,32 +224,25 @@ async def sticky_proxy(path: str, request: Request):
|
||||||
) as response:
|
) as response:
|
||||||
pulse("v", C_GREEN)
|
pulse("v", C_GREEN)
|
||||||
|
|
||||||
full_text_buffer = []
|
|
||||||
async for chunk in response.aiter_bytes():
|
async for chunk in response.aiter_bytes():
|
||||||
# チャンクから正規表現で高速テキスト抽出
|
if do_dump:
|
||||||
|
# チャンクから正規表現で高速テキスト抽出(リアルタイム表示)
|
||||||
raw_data = chunk.decode(errors="ignore")
|
raw_data = chunk.decode(errors="ignore")
|
||||||
matches = RE_CONTENT.findall(raw_data)
|
matches = RE_CONTENT.findall(raw_data)
|
||||||
for m in matches:
|
for m in matches:
|
||||||
try:
|
try:
|
||||||
# 【最重要】Unicodeエスケープを戻し、化けないようにUTF-8で再構成
|
text = m.encode().decode(
|
||||||
text = m.encode('utf-8').decode('unicode_escape').encode('latin1').decode('utf-8')
|
"unicode_escape", errors="ignore"
|
||||||
full_text_buffer.append(text)
|
)
|
||||||
if do_dump:
|
print(
|
||||||
print(f"{C_WHITE}{text}{C_RESET}", end="", flush=True)
|
f"{C_WHITE}{text}{C_RESET}", end="", flush=True
|
||||||
|
)
|
||||||
except:
|
except:
|
||||||
# 万が一デコードに失敗した場合はマッチした文字列をそのまま保持
|
pass
|
||||||
full_text_buffer.append(m)
|
|
||||||
|
|
||||||
pulse("v", C_GREEN)
|
pulse("v", C_GREEN)
|
||||||
yield chunk
|
yield chunk
|
||||||
|
|
||||||
# 通信完了後に非同期タスクとしてWebhook送信
|
|
||||||
if full_text_buffer:
|
|
||||||
combined_text = "".join(full_text_buffer)
|
|
||||||
asyncio.create_task(post_to_mattermost(
|
|
||||||
model_name, path, body, combined_text
|
|
||||||
))
|
|
||||||
|
|
||||||
if do_dump:
|
if do_dump:
|
||||||
print(f"\n{C_GREEN}{'=' * 60}{C_RESET}")
|
print(f"\n{C_GREEN}{'=' * 60}{C_RESET}")
|
||||||
pulse("*", C_YELLOW)
|
pulse("*", C_YELLOW)
|
||||||
|
|
|
||||||
Loading…
Reference in a new issue