Datenpipelines, Worker und Speicher für Orbis. Dieses Repo ersetzt
die Branches data und data-osm sowie die von Hand ins Dashboard kopierten Worker aus dem Orbis-Repo.
Stand: Phase 1 (Fundament), Uhr-Worker orbis-clock und die bestehenden Sammler (collectors/, Workflows live-15m, daily, weekly, osm-tiles, wetter). Die übrigen Worker sind mit wrangler-Configs übernommen (Verhalten unverändert);
neue Quellen folgen in der nächsten Phase. Bewusst nicht gespiegelt (Lizenz unklar bzw. Weitergabe untersagt, App ruft live ab): PeeringDB (AUP: Daten dürfen nicht in Masse weitergegeben werden) und Autobahn-API (keine Lizenzangabe der Autobahn GmbH).
Cloudflare Cron (1 Worker "orbis-clock", */1 min)
├─ leichte Jobs direkt: Upstream → R2 (Body durchreichen, kein Parsen → kaum CPU)
└─ schwere Jobs: repository_dispatch → GitHub Actions in Orbismap/data
└─ Ergebnis → R2 (aws s3 / wrangler r2)
R2-Buckets ──(Custom Domain, CDN-Cache)──> Browser
Worker (Proxy, Push, Camdir) ──> D1 statt KV-Single-Keys
- Uhr = Cloudflare Cron (pünktlich), Rechenleistung = GitHub Actions (per
repository_dispatchsofort gestartet). - R2 hinter einer Custom Domain: Egress kostenlos, Requests laufen über den Cloudflare-Cache und zählen nicht als Worker-Requests.
r2.devwird nicht genutzt.
Hosts einstufig unter *.maltee.dev (das kostenlose Zertifikat deckt nur eine Ebene ab).
| Bucket | Host | Inhalt | Cache-Control | Aufräumen |
|---|---|---|---|---|
orbis-live |
orbis-live.maltee.dev |
Minuten-/Stundensnapshots, überschrieben | max-age=60 bis 600 je Pfad, stale-while-revalidate |
überschreibt sich selbst |
orbis-data |
orbis-data.maltee.dev |
täglich/wöchentlich: Zeugen-Karte, Vulkane, Radio, Kabel, Cams, PeeringDB, Wahlen, Häfen ... | max-age=3600, stale-while-revalidate=86400 |
Lifecycle: archive/ nach 30 Tagen |
orbis-osm |
orbis-osm.maltee.dev |
OSM-Punktdaten als PMTiles (<set>.pmtiles ×6, heat/cctv.json, meta.json, Zwischendateien src/), siehe Abschnitt „OSM-Punktdaten (PMTiles)“ |
PMTiles/Heat max-age=86400, meta.json max-age=3600 |
Build ersetzt die Dateien; alte JSON-Kacheln werden gelöscht |
orbis-wetter |
orbis-wetter.maltee.dev |
ICON-Wetterfelder (v1/<run>/<var>/*.owx, v1/latest.json) |
Runs immutable, latest.json 120 s |
Workflow behält 2 Runs (+ Lifecycle 7 Tage) |
orbis-assets |
orbis-assets.maltee.dev |
models/, textures/, große Teile von public/data |
immutable unter Hash-Pfaden, index.json kurz |
Lifecycle: nicht mehr referenzierte Hash-Pfade nach 90 Tagen |
- Pro Bucket ein eigenes R2-API-Token (Actions-Jobs bekommen nur Schreibrecht auf "ihren" Bucket).
- CORS je Bucket (alle fünf identisch, per
wrangler r2 bucket cors set):AllowedOrigins *, MethodenGET/HEAD, erlaubte Header*(u. a.Rangefür PMTiles), freigegebenETag,Content-Length,Content-Range,Last-Modified,MaxAge 86400. Die Daten sind öffentlich und ohne Cookies, daher kein Origin-Filter. Cloudflare-CDN-Antworten, die vor der Änderung gecacht wurden, haben den Header evtl. erst nach Ablauf der TTL. - Jeder Bucket hat eine
manifest.json(Pfad →updated,etag,bytes,source,license). wx-worker.jswird nicht migriert: Der Wetter-Bucket ist direkt über die Custom Domainorbis-wetter.maltee.deverreichbar, der alte Worker und der alte Bucket werden nach der Umstellung gelöscht.
Der name in jeder wrangler.jsonc entspricht dem bereits deployten Worker, damit die workers.dev-URLs gleich bleiben. keep_vars: true sorgt dafür, dass im Dashboard gesetzte Variablen Deploys überleben; Secrets bleiben ohnehin erhalten. Variablen stehen in den Configs nur als Kommentar.
| Ordner | Worker-Name | URL | Bindings / Trigger | Dashboard-Variablen |
|---|---|---|---|---|
workers/proxy |
orbis |
https://orbis.malte9799.workers.dev/ |
- | ALLOWED_ORIGINS, optional AISSTREAM_KEY |
workers/push |
orbis-trains |
https://orbis-trains.malte9799.workers.dev/ |
D1 DB (orbis-push), Cron * * * * * |
DB_CLIENT_ID, DB_API_KEY, VAPID_PUBLIC, VAPID_PRIVATE, VAPID_SUBJECT, optional ALLOWED_ORIGINS, DB_TIMETABLES_BASE |
workers/camdir |
orbis-cams |
https://orbis-cams.malte9799.workers.dev/ |
D1 DB (orbis-camdir) |
ADMIN_TOKEN, optional ALLOWED_ORIGINS |
workers/clock |
orbis-clock |
keine (workers_dev: false, fetch antwortet 404) |
R2 LIVE (orbis-live), Cron * * * * * |
Secret GH_DISPATCH_TOKEN (startet die GitHub-Actions-Sammler, siehe Sammler); ohne Secret loggt die Uhr das einmal und spiegelt weiter |
| Datenbank | ID | Worker-Binding | Migrationen |
|---|---|---|---|
orbis-push (weur) |
aa4b53d8-a690-4130-81ec-a36b01dd2d11 |
DB in workers/push |
workers/push/migrations/ |
orbis-camdir (weur) |
207c8fd0-555f-4268-aff6-888053ef9fbb |
DB in workers/camdir |
workers/camdir/migrations/ |
Schema orbis-push: subscriptions(id PK, endpoint UNIQUE, keys JSON, tz, created_at, updated_at), trips(sub_id, trip_key, data JSON, notify_at; PK (sub_id, trip_key); Index auf notify_at), sent(sub_id, key, sent_at; PK (sub_id, key); Index auf sent_at), meta(k, v). notify_at ist der Beginn des nächsten noch offenen Meldefensters der Fahrt (Abfahrt minus größte Vorlaufzeit, wöchentlich wiederkehrend, Zeitzone der Fahrt); der Cron liest pro Minute nur Fahrten mit notify_at <= jetzt und setzt notify_at danach auf das nächste Fenster. Schema orbis-camdir: dirs(key PK, value JSON, updated_at), meta(k, v). Die HTTP-Schnittstellen und Antworten sind unverändert; jeder Schreibzugriff betrifft nur die Zeilen eines Abos bzw. einer Kamera (kein Lesen-Ändern-Schreiben eines Gesamtobjekts mehr).
Migrationen anlegen und anwenden (CI macht das vor jedem Deploy von push/camdir automatisch):
pnpm exec wrangler d1 migrations apply orbis-push --remote -c workers/push/wrangler.jsonc
pnpm exec wrangler d1 migrations apply orbis-camdir --remote -c workers/camdir/wrangler.jsonc
# lokal (wrangler dev): dasselbe mit --localD1-Free-Limits: 5 Mio. gelesene Zeilen und 100.000 geschriebene Zeilen pro Tag, 5 GB Speicher, 50 Abfragen pro Worker-Aufruf. Verbrauch: der Push-Cron liest dank notify_at nur Fahrten mit offenem Meldefenster (plus je eine Abfrage für sent-Aufräumen), Schreibzugriffe nur bei Sendungen, Abo-Änderungen und dem Weiterschieben von notify_at. GET /dirs liest alle Zeilen von dirs (bei 20.000 Einträgen = 20.000 Zeilen pro Aufruf, ca. 250 Aufrufe/Tag bis zum Limit; heute sind es deutlich weniger Einträge); der Browser darf die Antwort 60 s cachen.
Tests: pnpm test (Node 22.5+; workers/d1-fake.ts führt die Migrationen gegen node:sqlite aus).
Die Jobs stehen als Tabelle JOBS in workers/clock/src/index.js (id, url, key, every, type, cache, license). Ein Job läuft, wenn (Minute des Tages + Hash(id)) % every === 0; der Hash verteilt die Jobs über die Minuten (aktuell höchstens 5 Jobs pro Minute, Budget-Grenze 40 Subrequests). Pro Job: HEAD auf das alte Objekt, bedingte Anfrage (If-None-Match/If-Modified-Since), bei 304 kein Schreibzugriff; sonst put ohne Parsen. Fehler lassen das alte Objekt stehen. manifest.json wird nach jedem Lauf mit Schreibzugriff aus list() neu gebaut (Quelle/Lizenz der von GitHub Actions geschriebenen Schlüssel kommen aus der alten Manifest-Datei). Cache-Control der Objekte: public, max-age=<every·30 s, min. 60>, stale-while-revalidate=<every·240 s>.
| Job | Schlüssel in orbis-live |
alle (min) | Lizenz |
|---|---|---|---|
usgs-quakes |
events/usgs-2.5_week.geojson |
5 | USGS, gemeinfrei |
emsc-quakes |
events/emsc-europe.json (Europa-BBox, 7 Tage, M ≥ 1,5, Fenster wird pro Lauf berechnet) |
5 | CC BY 4.0 |
gdacs |
events/gdacs.json |
5 | GDACS, Namensnennung |
eonet |
events/eonet.json |
5 | NASA, gemeinfrei |
nws-* |
events/nws/<event>.geojson (7 Ereignistypen wie in der App) |
5 | NOAA/NWS, gemeinfrei |
tsunami-paaq/pheb |
tsunami/PAAQ.xml, tsunami/PHEB.xml |
5 | NOAA, gemeinfrei |
swpc-ovation/kp/xrays |
space/swpc/ovation_aurora_latest.json, noaa-planetary-k-index.json, xrays-1-day.json |
5 | NOAA SWPC, gemeinfrei |
ndbc-latest |
ocean/ndbc-latest_obs.txt |
10 | NOAA NDBC, gemeinfrei |
nhc-* |
cyclones/nhc-{point,fcst,cone,pastpt,past}.geojson |
10 | NOAA NHC/CPHC, gemeinfrei |
Nicht gespiegelt: NOAA-Sonnenwind plasma-2-hour.json/mag-2-hour.json (liefern upstream 404, Ersatz wären json/rtsw/rtsw_wind_1m.json und rtsw_mag_1m.json, 1,4–2,4 MB), NWS pro Punkt (alerts/active?point=), alles mit Schlüssel.
Grenzen der Uhr: Worst case ohne 304 rund 5.472 Jobläufe/Tag, das sind etwa 164.000 Class-A-Writes pro Monat plus rund 86.000 für Manifest (list + put), zusammen rund 0,25 Mio von 1 Mio. HEAD je Joblauf zählt als Class B (etwa 164.000/Monat von 10 Mio). Subrequests pro Minute (Fetch, HEAD, put, Manifest): höchstens 5 Jobs × 3 + 3 (Manifest: get, list, put) + 1 Dispatch = 19 von 50.
Nicht auf der Uhr (GitHub Actions, Gruppe live-15m): Launch Library 2 (space/launches/upcoming.json, tracker.json; 15 Requests/h pro IP) und CelesTrak (space/tle/{stations,visual,weather,science,gps-ops,galileo,starlink}.txt; HTTP 403 bei wiederholtem Abruf je IP) lieferten über die geteilten Cloudflare-Egress-IPs HTTP 429/403. Die Tasks ll2-upcoming/ll2-tracker (jeder Lauf, 2 Requests je 15 min = 8/h) und celestrak (nur im :07-Lauf geradzahliger UTC-Stunden, also alle 2 h; --force-celestrak bzw. Workflow-Input force_celestrak erzwingt) in collectors/fetch-data.ts schreiben die rohen Antworten unverändert unter dieselben Schlüssel. Fehlschlag oder ungültige Antwort (leer, TLE ohne Namenszeile, LL2 ohne results) lässt das alte Objekt stehen. Cache-Control: LL2 public, max-age=300, stale-while-revalidate=1800, space/tle/ public, max-age=3600, stale-while-revalidate=14400 (collectors/upload.sh, Option --cache-prefix).
Lokal alle Jobs einmal ausführen: pnpm exec wrangler dev -c workers/clock/wrangler.jsonc --test-scheduled --var RUN_ALL:1, dann curl "http://localhost:8787/__scheduled?cron=*+*+*+*+*".
Lokal prüfen (ohne Deploy):
pnpm install
pnpm exec wrangler deploy --dry-run -c workers/proxy/wrangler.jsonc --outdir /pfad/zum/tempverzeichnisDie Cloudflare-Uhr (workers/clock) startet die Workflows per repository_dispatch (Tabelle DISPATCH, Zeiten in UTC). Die Workflows haben keinen schedule-Trigger und lassen sich zusätzlich per Run workflow starten.
Workflow (event_type) |
Dispatch (UTC) | Sammler | Ziel-Bucket | Timeout |
|---|---|---|---|---|
live-15m.yml (live-15m) |
:07, :22, :37, :52 | fetch-data.ts --group live-15m |
orbis-live |
35 min |
opensky.yml (opensky) |
stündlich, :03 | opensky-loop.mjs (Schleife, siehe OpenSky-Schleife) |
orbis-live |
360 min |
barentswatch.yml (barentswatch) |
stündlich, :04 | barentswatch-loop.mjs (Schleife, siehe BarentsWatch-Schleife) |
orbis-live |
360 min |
live-1h.yml (live-1h) |
:12, alle 2 h (gerade UTC-Stunden) | fetch-data.ts --group live-1h |
orbis-live |
20 min |
daily.yml (daily) |
täglich 03:05 | fetch-data.ts --group daily |
orbis-data |
35 min |
weekly.yml (weekly) |
montags 04:05 | fetch-data.ts --group weekly |
orbis-data |
60 min |
manual.yml (nur Run workflow, kein Dispatch) |
– | fetch-data.ts --group manual |
orbis-data |
30 min |
osm-tiles.yml (osm-tiles) |
täglich 03:17 | osm-tiles.mjs (plan → extract je Region → build; eine Region ≥ 30 Tage alt, oder alle mit all_regions) |
orbis-osm |
je Job 350 min |
karte.yml (karte) |
manuell, bei Änderung von collectors/karte/, monatlich (nur overlay) |
collectors/karte/build-data.sh (siehe Karten-Daten) |
orbis-osm unter karte/ |
je Job 240 min |
wetter.yml (wetter) |
03:20, 09:20, 15:20, 21:20 | wetter-icon.py (+ wetter-dem.py auf Wunsch) |
orbis-wetter (vars.R2_BUCKET_WETTER) |
60 min |
Aufgaben der Gruppen von collectors/fetch-data.ts (ein Task schreibt nur seine Dateien; scheitert er, bleiben die alten Objekte stehen, denn der Upload löscht nie):
| Gruppe | Task → Dateien in R2 |
|---|---|
live-15m |
safecast → safecast.json; radiation → bfs-odl.json, stuk-fi.json, hc-ca.json; firms → firms/world.json (nur mit FIRMS_MAP_KEY); demos → demos.json |
live-1h |
openmeteo-grid → openmeteo/global.json (Open-Meteo-Modellraster der Weltkugel, 408 Punkte × 10 Variablen × 24 Dreistundenschritte, kompaktes JSON ~380 KB / ~110 KB gzip; 5 Multi-Location-Requests = 408 API-Aufrufe je Lauf, also bei stündlichem Lauf ~9 800/Tag bei Limit 10 000/Tag je IP, daher Lauf nur alle 2 h (~4 900/Tag); 429 pro Minute wird mit Wartezeit wiederholt). Die App liest die Datei über VITE_LIVE_BASE und fällt nach 3 h Alter oder bei Fehler auf Live-Abrufe zurück; das Regionalraster der Vorhersagekarte hängt vom Kartenausschnitt ab und bleibt Live-Abruf. Wetterdaten von Open-Meteo.com, CC BY 4.0 (Namensnennung nötig, kostenlose API nur nicht-kommerziell). Der Task wird übersprungen, wenn src/api/omgrid.ts im orbis-Checkout fehlt. |
daily |
ukraine-harm → ukraine-harm.json; ipc-gaza → ipc-gaza.json; gaza-hdx → gaza-displacement.json, healthsites-pse.json; ukraine-oblast → ukraine-oblast.json; osm-cables → osm-cables/; volcanoes → volcanoes.json; wikidata-resources → wikidata/resources.json (Bergwerke, Öl-/Gas-/Kohlefelder aus Wikidata per SPARQL, CC0, Zeilen [lon,lat,Q-Id,Name,Klasse,Produkte]; die App liest sie vor dem Live-Query); radio → radio/top.json, radio/cells/*.json; mars → mars/traverse.json; cams → cams/<feed>.json; cams-world → cams/world.json; dazu meta.json (Zeitstempel, camFeeds) |
weekly |
ccc-us → ccc-us.json; ukraine-support → ukraine-support.json; osm-datacenters → osm-datacenters/; wri-powerplants → wri/powerplants.json (WRI Global Power Plant Database, CC BY 4.0, nur die gerenderten Spalten als Zeilen [lon,lat,MW,Brennstoff,Name,Land,Jahr,Eigentümer,URL], statt 12 MB CSV je Browser); street-panos → street/panos.json (nur mit MAPILLARY_TOKEN) |
manual |
selten wechselnde Quellen, nur per Actions → manual → Run workflow (Input group, Standard manual): ports → ports.json (Häfen-Ebene: NGA World Port Index, US-Regierungswerk ohne Urheberrechtsanspruch, + Upply Seaports, CC BY 4.0; Format {v:1, ports:[[lon,lat,Name,UN/LOCODE,Land,Stufe,…]]} wie früher public/data/ports.json; Logik in collectors/ports.mjs); wahlen → wahlen/de.json + wahlen/de-geo.json (Wahlen-Ebene: GERDA Bundestagswahlen CC BY 4.0, Landtagswahlen aus der Regionaldatenbank Deutschland dl-de/by-2-0 (via GERDA), auf Bundesländer aggregiert; Umrisse BKG VG2500 dl-de/by-2-0; Logik in collectors/wahlen.mjs) |
Tsunami-XML ist kein Sammler-Task: die Uhr spiegelt tsunami/PAAQ.xml und tsunami/PHEB.xml alle 5 min nach orbis-live. Die Dateipfade sind dieselben wie bisher im data-Branch (src/api/data.ts der App liest sie unverändert); orbis-osm enthält PMTiles (siehe Abschnitt „OSM-Punktdaten (PMTiles)“).
Hilfsskripte:
collectors/build.mjsbündeltfetch-data.tsmit esbuild nachdist/fetch-data.mjs.fetch-data.tsnutzt dieselben Loader wie die App (src/api/camfeeds.ts,earth.ts,cams.ts,events.ts) und importiert sie als@orbis/api/<name>; esbuild löst@orbisauf<ORBIS_SRC>/srcauf.ORBIS_SRCist die Wurzel eines Checkouts vonmalte9799/orbis(Standard./orbis, in den Workflows der zweiteactions/checkoutmitorbis_ref, Standardmain; nursrcundpublic/data/gameswerden ausgecheckt). Der Checkout braucht keinnode_modules: Paketimporte werden aus diesem Repo aufgelöst (@mapbox/vector-tile,pbfstehen deshalb inpackage.json).collectors/upload.sh <dir> <bucket> <cache-control>lädt peraws s3 sync(ohne--delete) hoch und merged diemanifest.jsondes Buckets (herunterladen,collectors/manifest.mjs, hochladen). Ohne R2-Zugangsdaten wird nur gewarnt.--replace-dirs(osm-tiles) ersetzt Verzeichnisse komplett,--collapse-manifestfasst Kachelordner zu einem Eintrag zusammen.collectors/manifest.mjs: Eintrag je Schlüssel{updated, bytes, source, license}; Quellen und Lizenzen stehen in der TabelleRULES(ausdocs/DATENQUELLEN.mdder App). Fürorbis-livebleiben die Einträge der Uhr erhalten; umgekehrt übernimmt die Uhr beim Neuaufbausource/licensefremder Schlüssel aus der alten Manifest-Datei.
Cache-Control beim Upload: orbis-live public, max-age=300, stale-while-revalidate=1800 (space/tle/ public, max-age=3600, stale-while-revalidate=14400); orbis-data public, max-age=3600, stale-while-revalidate=86400; orbis-osm PMTiles/Heat/Lizenz public, max-age=86400, meta.json public, max-age=3600, src/ no-store; orbis-wetter wie bisher je Schlüssel (Läufe public, max-age=31536000, immutable, latest.json public, max-age=120, v1/static public, max-age=86400).
Lokal ausführen (ohne Upload, ohne Secrets; Quellen mit Schlüssel werden übersprungen):
pnpm install
git clone https://github.com/malte9799/orbis ../orbis # Checkout daneben (oder ORBIS_SRC=/pfad/zu/orbis)
ORBIS_SRC=../orbis pnpm collect --group live-15m --out ./out
ORBIS_SRC=../orbis pnpm collect --group daily --out ./out --only volcanoes,mars # --only: einzelne Tasks
node collectors/manifest.mjs ./out - ./out-manifest.json # Manifest-TestOhne ORBIS_SRC erwartet build.mjs den Checkout unter ./orbis (so wie in CI). osm-tiles.mjs braucht osmium und tippecanoe und lädt einen Geofabrik-Auszug (siehe „OSM-Punktdaten (PMTiles)“, lokal mit einem kleinen Auszug testen); wetter-icon.py braucht pip install -r collectors/wetter-requirements.txt.
Der weltweite Flugzeug-Überblick der App kommt aus einem zentralen OpenSky-Abruf statt aus einem Abruf je Besucher. OpenSky blockt Cloudflare (der Proxy-Worker bekommt 522) und sendet kein CORS für fremde Origins; direkt aus dem Browser geht es also auch nicht.
collectors/opensky-loop.mjs(Workflowopensky.yml) holthttps://opensky-network.org/api/states/all?extended=1mit OAuth2 (Client Credentials, Token-Endpunktauth.opensky-network.org/.../openid-connect/token, Token ~30 min, Erneuerung 2 min vor Ablauf und bei 401) alle 90 s (gemessen ab Abrufbeginn, kein Aufsummieren der Laufzeit) und lädt die rohe Antwort gzip-komprimiert alsaircraft/opensky-states.jsonnachorbis-live(Content-Encoding: gzip,Cache-Control: public, max-age=60, stale-while-revalidate=120, rund 275 KB). Die App liest die Datei mit dem vorhandenen ParseropenskyStates.- Credits: ein weltweites
states/allkostet 4 Credits, das Tageskontingent ist 4000 → höchstens 1000 Abrufe/Tag (alle 86 s). Bei 90 s sind es 960 Abrufe = 3840 Credits/Tag. Das Intervall fällt auch per Konfiguration nie unter 90 s. Bei 429 wartet die SchleifeX-Rate-Limit-Retry-After-Seconds; je Runde stehtX-Rate-Limit-Remainingim Log. - Fehler: Eine fehlgeschlagene Runde (HTTP-Fehler, leere/zu kurze Liste < 500 Flugzeuge, Zeitfeld
timeälter als 10 min) lässt das alte Objekt stehen. 12 Fehlrunden in Folge (~18 min) beenden den Lauf mit Fehler; der nächste stündliche Dispatch startet eine neue Schleife. - Laufzeit und Überlappung: Eine Schleife läuft 350 min (
LOOP_MINUTES, Job-Limit 360) und endet sauber. Die Uhr dispatchtopenskystündlich (:03). Der Workflow hatconcurrency: openskyohne Abbruch: ein Dispatch während einer laufenden Schleife wartet, GitHub hält nur einen wartenden Lauf (neuere ersetzen ihn, diese Läufe erscheinen als „cancelled“, die Gesundheitsprüfung ignoriert sie). Der wartende Lauf startet sofort, wenn die Schleife endet (keine Lücke); eine früh gestorbene Schleife wird innerhalb einer Stunde ersetzt. Zwei Schleifen laufen nie gleichzeitig, das würde die Credits verdoppeln. Eine neue Schleife prüft zudem das Alter des Objekts und wartet bis zu 90 s, falls der letzte Abruf jünger ist. Ein manueller Lauf (Run workflow) wartet ebenfalls in der Gruppe. - Manifest:
aircraft/opensky-states.jsonwird in der ersten Runde und danach etwa alle 6 min inmanifest.jsoneingetragen (nicht bei jedem Abruf).health.mjsverlangt ein Alter ≤ 15 min. - Secrets (Settings → Secrets and variables → Actions):
OPENSKY_CLIENT_ID,OPENSKY_CLIENT_SECRET(API-Client des OpenSky-Kontos), dazu die vorhandenenR2_ACCOUNT_ID,R2_ACCESS_KEY_ID,R2_SECRET_ACCESS_KEY(Schreibrecht auforbis-live). Danach die Uhr neu deployen (pnpm deploy:clock), damit der Dispatchopenskystartet; der Workflow muss aufmainliegen. - Testlauf: Actions → OpenSky loop → Run workflow (Branch
main). Im Log sollten nach wenigen Sekundencredits remaining: …undround 0: … uploadedstehen.token HTTP 401/403= falsche Client-Daten;states HTTP 403oder Zeitüberschreitung (TimeoutError) = OpenSky blockt die GitHub-Runner-IPs;rate limited= Tageskontingent verbraucht (Testlauf kostet 4 Credits je Runde, danach den Lauf abbrechen). Ohne OpenSky-Secrets (lokal, Forks) macht das Skript nur einen anonymen Abruf nach--out(node collectors/opensky-loop.mjs --out ./out/aircraft) und lädt nichts hoch. - Lizenz: OpenSky Network, frei für Forschung und nicht-kommerzielle Nutzung, Namensnennung (Schäfer et al., IPSN 2014), Bedingungen: https://opensky-network.org/about/terms-of-use. Das ist keine offene Lizenz im Sinn von CC; eine kommerzielle Nutzung bräuchte Rücksprache mit OpenSky. Der Eintrag im Manifest steht in
RULES(collectors/manifest.mjs).
Die Schiffe vor Norwegen (Kystverket-Landstationen, Equinor-Offshore-Stationen, norwegische Satelliten) kommen aus einem zentralen BarentsWatch-Abruf. Die API braucht einen OAuth2-Client, dessen Secret nie in den Browser darf; außerdem reicht so ein Abruf für alle Besucher.
collectors/barentswatch-loop.mjs(Workflowbarentswatch.yml) holthttps://live.ais.barentswatch.no/v1/latest/combined?since=<jetzt − 30 min>&modelType=Full&modelFormat=Json(Token:POST https://id.barentswatch.no/connect/token,grant_type=client_credentials,scope=ais, Token 1 h, Erneuerung 5 min vor Ablauf und bei 401) alle 60 s und lädt die rohe Antwort (JSON-ArrayAisComboFull: Position + Stammdaten je MMSI) gzip-komprimiert alsais/barentswatch-latest.jsonnachorbis-live(Cache-Control: public, max-age=45, stale-while-revalidate=120). Die App liest sie mit dem ParserbarentswatchLatest.- Abdeckungsgebiet: Zu Beginn jedes Laufs holt die Schleife
v1/openaisarea(GeoJSON-MultiPolygon, gleiches Token) und legt es alsais/barentswatch-area.jsonab (Cache-Control: max-age=21600). Die App zeichnet es als gestrichelte Umrandung. Schlägt der Abruf fehl, bleibt das alte Gebiet stehen; die Positionen laufen weiter. - Abdeckung: norwegische Wirtschaftszone, Fischereischutzzone Svalbard, Schutzzone Jan Mayen; ohne Fischereifahrzeuge unter 15 m und Freizeitboote unter 45 m (Vorgabe von BarentsWatch).
- Fehler: Eine fehlgeschlagene Runde (HTTP-Fehler, weniger als 100 Schiffe, neueste Meldung älter als 15 min) lässt das alte Objekt stehen. 15 Fehlrunden in Folge beenden den Lauf; der nächste stündliche Dispatch (:04) startet eine neue Schleife. Überlappung wie bei OpenSky über
concurrency: barentswatch. - Secrets:
BARENTSWATCH_CLIENT_ID(Formemail:clientname),BARENTSWATCH_CLIENT_SECRET: auf barentswatch.no registrieren, unter Min side → API-tilgang einen Client für die AIS-API anlegen. Danach die Uhr neu deployen (pnpm deploy:clock); der Workflow muss aufmainliegen. - Testlauf: Actions → BarentsWatch loop → Run workflow. Im Log sollte
round 0: … ships … uploadedstehen;token HTTP 400/401= falsche Client-Daten oder falscher Scope. Ohne Secrets beendet sich das Skript sofort (die API kennt keinen anonymen Zugang). - Lizenz: NLOD 2.0 (Norsk lisens for offentlige data), Quellenangabe „BarentsWatch / Kystverket“. Bedingungen: https://www.barentswatch.no/en/articles/api-terms-and-conditions/
collectors/osm-tiles.mjs (Workflow osm-tiles) macht aus den Geofabrik-Auszügen sieben Datensätze, jeweils eine PMTiles-Datei weltweit in orbis-osm (Layername = Datensatz, Zoom 0–14, nur trees Zoom 15, nur Knoten, ODbL):
| Datei | Inhalt |
|---|---|
cctv.pmtiles |
Überwachungskameras (man_made=surveillance ohne ALPR/Webcams) |
blitzer.pmtiles |
Blitzer und Rotlichtkameras (highway=speed_camera, Art über type=enforcement-Relationen) |
alpr.pmtiles |
Kennzeichenleser (surveillance:type=ALPR) |
webcam.pmtiles |
Webcams mit Link |
wind.pmtiles |
einzelne Windräder |
resource.pmtiles |
Schächte, Stollen, Bohrlöcher, Steinbrüche, Bergwerke, Öl/Gas/Raffinerien |
trees.pmtiles |
zwei Ebenen, nur Zoom 15 (darüber überzoomt die Karte), für die 3D-Ansicht. Ebene trees: einzelne Bäume (natural=tree, nur Knoten, Punkte), Felder species, height (m, 0,1), circumference (m, 0,01), leaf_type (broadleaved/needleleaved/mixed/leafless), leaf_cycle (deciduous/evergreen/semi_deciduous/semi_evergreen); kein id, kein genus (die App leitet es aus species ab). Ebene tree_lines: Baumreihen (natural=tree_row) und Hecken (barrier=hedge) als LineString (Wege, geschlossene Wege bleiben Linien, auf ~1 m vereinfacht, ≤ 5 Nachkommastellen), Felder kind (row/hedge, immer gesetzt), species (nur Reihen), height (m, 0,1), leaf_type, leaf_cycle; keine ids. Fehlende Werte werden weggelassen, Standardwerte wählt der Renderer. Flächen, Wald und natural=scrub fehlen. Die Linien sind an Kachelgrenzen geschnitten (ohne Puffer) |
heat/cctv.json |
Dichte-Zellen [lon, lat, anzahl] (0,01°) der ganzen Welt für die CCTV-Heatmap |
meta.json |
format: 7, je Region Bauzeit und Zähler (regions), je Datensatz Größe/Anzahl (sets) |
LICENSE.txt |
ODbL-Hinweis |
src/<region>/<set>.geojsonl, src/<region>/info.json |
Zwischendateien (Newline-delimited GeoJSON, je Region), Eingabe des Builds; info.json = Bauzeit der Region (linesOk: false, wenn der Linien-Durchlauf scheiterte: die Region gilt dann sofort wieder als fällig). trees.geojsonl.gz und tree_lines.geojsonl.gz liegen nicht in R2, sondern als Assets <region>-trees.geojsonl.gz / <region>-tree_lines.geojsonl.gz im GitHub-Release osm-src |
Die Eigenschaften der Features sind die Felder der früheren Kachel-Datensätze (FIELDS im Sammler, src/api/osmtiles.ts der App baut daraus wieder die Arrays); Felder mit Standardwert (dir -1, Flags 0, leere Texte) fehlen. tippecanoe-Optionen: -Z0 -z14 -r1 -b0 --drop-densest-as-needed -M 1000000 -O 250000 (Punkte werden nur ausgedünnt, wo eine Kachel zu groß wird; in den hohen Zoomstufen bleiben alle). Die App liest mit HTTP-Range-Anfragen (pmtiles-Bibliothek) und nimmt diese Quelle, wenn VITE_OSM_BASE gesetzt ist (z. B. https://orbis-osm.maltee.dev/).
Baumlinien: Wege liefert der Stream (-R) nur mit Knoten-Referenzen, nicht mit Koordinaten. Der extract hebt deshalb im ersten Durchlauf die Wege (w/natural=tree_row w/barrier=hedge, OPL) auf und streamt den Auszug ein zweites Mal durch osmium getid (nur die benutzten Knoten, IDs liegen als Bitmap im Speicher; Europa etwa 70 Mio. Knoten ≈ 1 GB Zwischendatei). osmium merge + osmium export --geometry-types=linestring (Standort-Index sparse_file_array auf Platte, kein RAM-Bedarf) machen daraus Linien, der Sammler vereinfacht sie (Douglas-Peucker, 1 m) und schreibt tree_lines.geojsonl.gz. Der Build übergibt tippecanoe beide Dateien als -L trees:… und -L tree_lines:… (eine Datei, zwei Ebenen, gleicher Zoom). Kostet je Region etwa einen weiteren Download-/Filterlauf (Europa dann eher 5–6 h statt 3 h, Limit 350 min; siehe Workflow-Kommentar).
Ablauf (osm-tiles.yml): plan liest src/*/info.json und wählt die älteste Region, die älter als 30 Tage ist (Format-Wechsel zählt als veraltet) – oder alle 8 bei all_regions; extract läuft je Region als eigener Matrix-Job (osmium streamt den Auszug, Ausgabe nach src/<region>/, info.json zuletzt); build lädt src/ aller Regionen, baut die sechs PMTiles mit tippecanoe (2.79.0, aus dem Quelltext gebaut und gecacht) und heat/cctv.json, lädt alles hoch und löscht die alten JSON-Kacheln (cctv-*, blitzer-* …). Eine Region wird ersetzt, indem ihre Zwischendateien ersetzt werden, die PMTiles entstehen immer aus allen Regionen.
Erster Lauf / leerer Bucket: Actions → OSM tiles → Run workflow mit all_regions = true (alle 8 Regionen parallel, Europa ~3 h; die Jobs tauschen Daten über den Bucket aus, R2-Secrets sind Pflicht). Danach genügt der tägliche Dispatch der Uhr.
Lokal testen (kleiner Auszug, brew install osmium-tool tippecanoe pmtiles):
node collectors/osm-tiles.mjs extract ./osm-test bremen --url https://download.geofabrik.de/europe/germany/bremen-latest.osm.pbf
node collectors/osm-tiles.mjs build ./osm-test/src ./osm-test/dist # ./osm-test/dist/*.pmtiles, heat/cctv.json, meta.json
pmtiles show ./osm-test/dist/cctv.pmtiles
node collectors/osm-tiles.mjs plan ./osm-test [region|all] # welche Regionen wären fälligDie App-Seite lokal: VITE_OSM_BASE=http://localhost:8080/ setzen und dist mit einem Server ausliefern, der Range-Anfragen und CORS (Access-Control-Allow-Origin, Range erlaubt, ETag freigegeben) beherrscht.
Vier PMTiles für die Grundkarte „Orbis Karte“ der App (OpenFreeMap-Kacheln + eigene Ebenen), alle in orbis-osm/karte/; die App findet sie über VITE_OSM_BASE (src/map/basemaps/karte-data.ts, im Dev lokal aus public/data/karte/ oder VITE_KARTE_DATA_BASE).
| Datei | Inhalt | Quelle | Bauzeit |
|---|---|---|---|
labels.pmtiles |
Städte (Zoom 0–2), Gebirge, Wüsten, Regionen | Natural Earth (gemeinfrei) | Sekunden |
landcover-vec.pmtiles |
grobe Landbedeckung bis Zoom 6 | Natural Earth NE2_HR_LC |
~2 min |
landcover-hi.pmtiles |
feine Landbedeckung (~1 km) bis Zoom 8, ~190 MB | Copernicus CGLS-LC100 v3.0.1 (CC BY 4.0), 1,7 GB Download | ~40–60 min |
overlay.pmtiles |
Deponien (bisher nur Hessen) | Geofabrik-Auszug (ODbL) | Minuten |
karte.yml: plan → ein build-Job je Datei (parallel, tippecanoe und Quellen gecacht, Prüfung auf PMTiles-Header) → upload (nur wenn alle Builds grün sind; collectors/upload.sh, ohne --delete). Bei Run workflow lässt sich eine Datei wählen und upload abschalten (Ergebnis bleibt 14 Tage als Artefakt). Es werden keine neuen Secrets gebraucht (R2_* wie bei osm-tiles).
Lokal (brew install tippecanoe osmium-tool, pip install -r collectors/karte/requirements.txt):
collectors/karte/build-data.sh all # oder labels | landcover-vec | landcover-hi | overlay -> dist/karte-out/karte/
WORK=$HOME/osm collectors/karte/build-data.sh labels # vorhandene Quellen unter ~/osm wiederverwendenFür die lokale App: Dateien nach public/data/karte/ der App kopieren.
Benötigte Secrets und Variablen (Repository Orbismap/data, Settings → Secrets and variables → Actions)
| Name | Art | Wofür |
|---|---|---|
R2_ACCOUNT_ID |
Secret | Cloudflare-Konto-ID für den S3-Endpunkt https://<id>.r2.cloudflarestorage.com |
R2_ACCESS_KEY_ID, R2_SECRET_ACCESS_KEY |
Secret | R2-S3-Token mit Schreibrecht auf orbis-live, orbis-data, orbis-osm, orbis-wetter (getrennte Tokens je Bucket brauchen getrennte Secret-Namen, dann in den Workflows anpassen) |
FIRMS_MAP_KEY, NPS_API_KEY, WINDY_KEY, VICTORIA_KEY, CTA_KEY, TRAFIKLAB_KEY, TRAFIKVERKET_KEY, UTAH_511_API_KEY, ARIZONA_511_API_KEY, IDAHO_511_API_KEY, NEVADA_511_API_KEY, ALASKA_511_API_KEY, GEORGIA_511_API_KEY, LOUISIANA_511_API_KEY, PENNSYLVANIA_511_API_KEY, OHGO_API_KEY, QLDTRAFFIC_KEY, ONTARIO_511_API_KEY, ALBERTA_511_API_KEY |
Secret | API-Schlüssel der Datenquellen, aus malte9799/orbis kopieren (gleiche Namen wie in der alten data.yml) |
MAPILLARY_TOKEN |
Secret (oder Variable) | Street-Panos; Workflow liest secrets.MAPILLARY_TOKEN || vars.MAPILLARY_TOKEN |
OPENSKY_CLIENT_ID, OPENSKY_CLIENT_SECRET |
Secret | OAuth2-Client von OpenSky für die Schleife opensky.yml (siehe OpenSky-Schleife) |
BARENTSWATCH_CLIENT_ID, BARENTSWATCH_CLIENT_SECRET |
Secret | OAuth2-Client (AIS-API) von BarentsWatch für die Schleife barentswatch.yml (siehe BarentsWatch-Schleife) |
R2_BUCKET_WETTER, WETTER_PUBLIC_URL |
Variable, optional | Standard orbis-wetter und https://orbis-wetter.maltee.dev |
GH_DISPATCH_TOKEN |
Secret des Clock-Workers (kein GitHub-Secret): pnpm exec wrangler secret put GH_DISPATCH_TOKEN -c workers/clock/wrangler.jsonc |
Fine-grained Personal Access Token: Repository access nur Orbismap/data, Berechtigung Contents: Read and write. Das verlangt POST /repos/{owner}/{repo}/dispatches laut GitHub-Doku (fine-grained: „Contents“ write). Der Token muss der Org gehören bzw. von ihr zugelassen sein (Org-Einstellung für Fine-grained PATs). |
repository_dispatch-Workflows laufen nur aus der Datei auf dem Standard-Branch (main); neue Workflows greifen also erst nach dem Merge. Fehlt malte9799/orbis die öffentliche Lesbarkeit, braucht der zweite actions/checkout zusätzlich einen token.
Stand 2026-11, gegen Cloudflare-Doku prüfen.
| Dienst | Limit (Free) |
|---|---|
| R2 | 10 GB Speicher, 1 Mio Class-A- und 10 Mio Class-B-Operationen pro Monat, Egress frei |
| Workers | 100.000 Requests/Tag, 10 ms CPU pro Aufruf, 50 Subrequests pro Aufruf |
| KV | 1.000 Writes/Tag |
| D1 | 5 GB Speicher |
| Cron-Trigger | 5 pro Konto (Free), belegt: orbis-trains, orbis-clock (gegen Doku prüfen) |
Nach einer Woche Betrieb sollen R2- und Workers-Nutzung im Dashboard unter 50 % der Limits liegen.
.github/workflows/deploy-workers.yml rollt bei Push auf main nur die Worker aus, deren Ordner sich geändert hat (oder alle bei Änderung von package.json/Lockfile/Workflow). Manuell: Actions → Deploy Workers → Run workflow.
Benötigte GitHub-Secrets (Repo oder Organisation):
| Secret | Inhalt |
|---|---|
CLOUDFLARE_API_TOKEN |
API-Token mit Workers Scripts: Edit, Workers KV Storage: Edit, Workers R2 Storage: Edit, D1: Edit, Account Settings: Read; Zone: Workers Routes: Edit (maltee.dev) |
CLOUDFLARE_ACCOUNT_ID |
Konto-ID aus dem Dashboard |
API-Token anlegen:
- Cloudflare-Dashboard → My Profile → API Tokens → Create Token (alternativ Vorlage "Edit Cloudflare Workers" verwenden und prüfen).
- Create Custom Token, Berechtigungen (Account-Ebene): Workers Scripts → Edit, Workers KV Storage → Edit, Workers R2 Storage → Edit (R2-Binding des Clock-Workers), D1 → Edit (spätere Migration von Push/Camdir), Account Settings → Read; auf Zonen-Ebene Workers Routes → Edit (maltee.dev, späteres App-Hosting unter maltee.dev/orbis).
- Account Resources: nur das eigene Konto; kein Ablaufdatum oder ein langes, das du dir notierst.
- Token einmalig kopieren und im Repo unter Settings → Secrets and variables → Actions als
CLOUDFLARE_API_TOKENspeichern. - Konto-ID (Dashboard → Workers & Pages, rechte Seitenleiste) als
CLOUDFLARE_ACCOUNT_IDspeichern.
Die Secrets für Sammler und Dispatch stehen im Abschnitt Sammler.
- Lizenz zuerst prüfen. Darf die Quelle gespeichert und weitergegeben werden? Lizenz und Namensnennung in
manifest.jsonunddocs/DATENQUELLEN.md(Orbis-Repo) eintragen. Bei unklaren Fällen nicht speichern, sondern live über den Proxy abfragen. - Frequenzgruppe wählen:
- Cloudflare-Uhr direkt (rohe Spiegel, kein Parsen, Ziel
orbis-live):live-5m,live-10m,live-2h - GitHub Actions per Dispatch (Tabelle
DISPATCHim Clock-Worker):live-15m,live-1h,daily,weekly,manual(workflow_dispatch, z. B. Wahlen)
- Cloudflare-Uhr direkt (rohe Spiegel, kein Parsen, Ziel
- Ziel-Bucket festlegen (
orbis-live,orbis-data,orbis-osm,orbis-wetter,orbis-assets) und Cache-Control passend zur Frequenz setzen. - Task eintragen: Clock-Worker-Liste bzw.
await task('<name>', '<gruppe>', …)incollectors/fetch-data.ts(Gruppe = Workflow), Ausgabe nach R2; Quelle und Lizenz inRULESvoncollectors/manifest.mjs. - Manifest-Eintrag schreibt
upload.shautomatisch (updated,bytes,source,license);RULESergänzen. - In Orbis einen Snapshot-Leser einbauen (Snapshot zuerst, Live als Fallback) und die Quelle in
docs/DATENQUELLEN.mddokumentieren.
- Blitzer.de-Markers (inoffiziell, keine Nutzungsbedingungen)
- Blitzortung (Genehmigung ausstehend)
- NINA (BBK, warnung.bund.de): keine Lizenz bzw. Nutzungsbedingungen auffindbar, Regel „unklar → nicht gespeichert“; bleibt live über den Proxy
- Kacheln von Esri, RainViewer und OpenFreeMap
- Flugdaten von adsb.lol/OpenSky/ADS-B allgemein (bleiben über den Proxy mit kurzem TTL)
- alles mit Nutzer-Key (Windy, TomTom, OWM u. ä.)
- Archive Genocide (nur Proxy, solange keine Lizenz geklärt ist)