Skip to content

osm-planet: Planet statt Geofabrik-Einheiten (zwei Jobs, ein Lauf im Monat) - #26

Draft
malte9799 wants to merge 15 commits into
mainfrom
claude/osm-planet
Draft

malte9799 wants to merge 15 commits into
mainfrom
claude/osm-planet

Conversation

@malte9799

Copy link
Copy Markdown
Contributor

Ersetzt den Build je Geofabrik-Einheit (PR #24, bleibt als Fallback bestehen) durch einen Planet-Lauf im Monat.

Aufbau

  • osm-planet.yml: Cron am 1. um 03:17 UTC, außerdem workflow_dispatch und repository_dispatch (osm-planet).
  • Zwei parallele Jobs mit eigener Platte: nodes (points + trees) und roofs. Planet-Download vom ersten Mirror, der geht (gwdg, planet.openstreetmap.org, fau). Der Planet wird nach dem letzten Durchgang gelöscht.
  • publish läuft nur, wenn beide Jobs durch sind: meta.json aus den Teil-Dateien (bricht ab, wenn eine Gruppe fehlt), manifest.json, abgelöste Versionen nach 24 h löschen.
  • Entfallen: Einheiten, Besitzregel, Größentabelle, Release-Zwischenspeicher, Abdeckungsprüfung, Retry-Runde, Merge über Regionen.
  • Lange Schritte loggen Beginn, Ende und Heartbeat, tippecanoe läuft mit -q.
  • Uhr-Eintrag osm-tiles entfernt (workers/clock/src/index.js, wirkt beim Deploy der Worker).

Messung (Probelauf, Branch claude/planet-probe)

Download 9 min, Filter Punkte/Linien 23 min, Filter Dächer ~50 min, tippecanoe Welt-Dächer 12 min (5,5 GB RAM). Zusammen ~95 min je Job von 360. Enge Stelle ist die Platte (nach dem Download ~20 GB frei).

Getestet / ungetestet

  • Vitest (28 Tests im Testfile, Worker-Tests grün) und ein lokaler Build mit Mini-Auszug für beide Gruppen.
  • Der Workflow ist nie gelaufen. Ungemessen: Node-Verarbeitung der ~43 Mio. Zeilen, tippecanoe für Bäume/Punkte, zweiter Durchgang für Baumreihen, Platz im roofs-Job.

Nach dem Merge von Hand

Releases osm-src-points, osm-src-trees, osm-src-roofs (und osm-src) und das Präfix src/ in orbis-osm löschen; nie veröffentlichte Dateien eines gescheiterten Laufs ebenfalls.

🤖 Generated with Claude Code

malte9799 and others added 15 commits November 18, 2026 19:44
…-join, Thema roofs

Regional-Stücke in GitHub-Releases (osm-src-points/-trees/-roofs), nur Welt-Dateien nach R2,
versionierte Dateinamen mit Verweis in meta.json, Besitzregel gegen Dubletten an Auszugsgrenzen.

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
…ode endete still mit Exit 0)

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
…ungen bei Verbindungsfehlern

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
…Erstlauf)

Releases und ihre IDs im plan, ein POST je Asset mit Wiederholungen, Aufräumen alter Formate im merge.

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
…ik und GitHub

- Einheiten von oben nach unten aus dem Geofabrik-Index (PBF höchstens 8 GB, Größentabelle osm-sizes.json), Besitzregel unverändert
- FORMAT 9; merge veröffentlicht erst, wenn jede Einheit ein Stück des aktuellen Formats hat (Welt-Dateien im Bucket bleiben bis dahin)
- Matrix max-parallel 5, Download mit Fortsetzen, Retry-After und wachsender Wartezeit, Uploads mit Rate-Limit-Behandlung
- 5 Einheiten pro Tag, all_regions in Chargen zu 40, README und Tests

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
…erge entfernt, Jobs bis 6 h

- Platte (~100 GB frei) und Laufzeit begrenzen nicht mehr, nur 2-GB-Asset und RAM; Grenze 20 GB, Begründung an Berlin/Hessen-Messwerten
- Baum: Unterregionen von Sammelauszügen (us) hängen am nächsten Vorfahren (Nordamerika deckt die Staaten ab)
- Asset über 1,9 GB bricht vor dem Upload ab; extract wiederholt höchstens einmal
- merge nur bei vollständiger Abdeckung, kein partial_merge

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
…ben, zweite Runde auf frischen Runnern

- download: curl Exit 6/7 ohne HTTP-Antwort nach 3 Versuchen (kurze Pausen) -> GeofabrikUnreachable, Exit 75; 429/5xx wie bisher mit Retry-After
- Composite-Action osm-extract; Jobs retry-plan und extract-retry bauen die betroffenen Einheiten einmal neu (final: Fehler zählt)
- Tests mit gefälschtem curl, README

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
…olgreichem plan, Schritt-Zusammenfassungen

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
…Monat)

Der Build liest den Planeten (Mirror-Reihenfolge gwdg, planet.openstreetmap.org, fau) und
filtert die Themen direkt: Job nodes (points + trees), Job roofs. Der Planet wird nach dem letzten
Durchgang gelöscht. publish führt die Teil-Dateien zu meta.json zusammen und aktualisiert manifest.json.
Entfallen: Einheiten, Besitzregel, Größentabelle, Release-Zwischenspeicher, Abdeckungsprüfung,
Retry-Runde, Merge über Regionen. Lange Schritte loggen Beginn, Ende und Heartbeat, tippecanoe läuft
mit -q. Uhr-Eintrag osm-tiles entfernt (Cron im Workflow).

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
…um Merge)

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant