価格コム全件取得(現在10ページ200件まで) #7

Closed
opened 2026-09-14 15:04:00 +00:00 by joe · 1 comment
Owner

価格コムは1545件中10ページ(200件)までしか取得できていない。

課題

  • ページング上限の拡張 or 車種別絞り込みでの分割取得
  • レート制限対策
価格コムは1545件中10ページ(200件)までしか取得できていない。 ## 課題 - ページング上限の拡張 or 車種別絞り込みでの分割取得 - レート制限対策
Author
Owner

実装完了(2026-09-29)

実装内容

  1. 価格コム Page 上限の実測: ページングは Page=60 まで効く(61以降は HTTP 404)。
    総件数3,654件のうち、実取得可能上限は 60×20=1200件。
  2. kakaku2/kakaku3 擬似サイト追加(migrate_kakaku_full.py)
    • kakaku2: Sort=d5(価格順系)
    • kakaku3: Sort=d4
    • 重複車両は source_url UNIQUE によりマージ(UPD via upsert_cars)
  3. cron 実行スケジュール更新(kakaku kakaku2 kakaku3 に対応)
  4. DBセキュリティ拡張: record_price_history 追加・テーブル説明改善

検証結果(実サイト kakaku2 テスト実行)

  • ページ 57/57 成功(3失敗)
  • 抽出: 11件新規・537件更新・130件棄却
  • DBは 1148台 に拡大、重複 source_url によるマージも正常

クローズします。

## 実装完了(2026-09-29) ### 実装内容 1. **価格コム Page 上限の実測**: ページングは Page=60 まで効く(61以降は HTTP 404)。 総件数3,654件のうち、実取得可能上限は 60×20=1200件。 2. **kakaku2/kakaku3 擬似サイト追加**(`migrate_kakaku_full.py`) - kakaku2: Sort=d5(価格順系) - kakaku3: Sort=d4 - 重複車両は source_url UNIQUE によりマージ(UPD via upsert_cars) 3. **cron 実行スケジュール更新**(kakaku kakaku2 kakaku3 に対応) 4. **DBセキュリティ拡張**: record_price_history 追加・テーブル説明改善 ### 検証結果(実サイト kakaku2 テスト実行) - ページ 57/57 成功(3失敗) - 抽出: 11件新規・537件更新・130件棄却 - DBは 1148台 に拡大、重複 source_url によるマージも正常 クローズします。
joe closed this issue 2026-09-29 00:41:52 +00:00
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
joe/findcar#7
No description provided.