admin · pipeline
Smart pipeline — sanity, geofence, anomalier
Stage 0 fysik-filter + Stage 2 geofence i live drift. Stage 1/3/4/5/6 kommer.
Auto-refresh hvert 30s.
Funnel — sidste 5 min
Henter …
Raw = alt fra collectors. Stage 0 (drop): fysisk umulige fix.
Stage 2 (flag): on_land via geofence — fixes BLIVER i positions.
Trend sidste time (per minut)
Top anomaly-typer (24t)
| Type | Severity | Antal |
|---|
| Henter … |
Top mistænkelige MMSIs (24t)
| MMSI | Type(r) | Flags |
|---|
| Henter … |
Højeste tal = "konstant on_land" — typisk båd der ligger fast i et område OSM ikke har som vand (lille sluse, marina, fiskeplads).
Geofence — 25M polygoner
Sea polygons (OSM ocean)
—
53k polygoner
Inland lakes (HydroLAKES)
—
≥10ha globalt
Inland waters (OSM all)
—
6 kontinenter — floder, havne, kanaler
Total disk
—
ekskluderet fra daglig backup
is_at_sea benchmark
—
µs per call (lower = better)
Verificeret dækning
99.48%
på live AIS-data
Speed-break worst (24t)
—
implied kn — bedste teleport-pris
Spoofing-detektion
Hotspot zones loaded
—
Shanghai, Sortehavet, Hormuz, etc.
Hotspot flags (24t)
—
fix i kendte spoofing-områder
Replay drops (24t)
—
stale broadcasts > 1t gamle
Speed-break drops (24t)
—
teleports > 100kn
Aktive MMSIs med vedvarende speed_break-mønster
| MMSI | Speed breaks | Hotspot | On land | Total |
|---|
| Henter … |
5+ speed_break events i 24t = vedvarende mønster, ikke engangs-jitter.
Typisk MMSI-cloning eller GPS-jamming. MMSIs som 0, 200000000, 799999999 er typisk test/dummy-broadcasts.
Båd-lærdom — auto-enrichment (Wikipedia + cohort)
Boats med navn
—
eligible for enrichment
I kø (pending)
—
worker behandler 1/5s = 17k/dag
Wikipedia hits
—
~1-3% hit rate forventet
Equasis hits
—
cargo/tanker med IMO ~50%
MarineTraffic hits
—
stub — paid API ikke aktiveret
Worker rate
2/min
polite Equasis-respect
Done total
—
processeret (hit + miss)
Cohort-priors (peer-lærdom per AIS ship_type-klasse)
| Klasse |
Bucket |
Sample |
Upper p99 |
Cohort threshold |
| Henter … |
Ny båd lærer fra peers af samme klasse: ny tankskib får 20 kn
threshold (peers upper p99 = 16 × 1.3) i stedet for floor 30.
Routes — trajektorie-niveau sandhed (Stage 5+6)
Total routes
—
D·P-simplificerede sejladser
Total længde
—
km — alle båd-routes summeret
Mean kvalitet
—
density × cleanliness × shape
Bygget 24t
—
cron hver 5 min
Routes per båd-klasse
| Klasse |
Antal |
Avg kvalitet |
Avg fix raw → simp |
| Henter … |
Top 10 mest betroede både
| MMSI | Navn |
Routes |
Fix |
km |
Kvalitet |
Confidence |
| Henter … |
Confidence vokser med antal routes + samlet observeret tid. Spike-fix midtvejs på en konsistent rute fjernes af D·P.
Pipeline-stages — status
| Stage | Funktion | Status | Action |
|---|
| 0a | Invalid lat/lon | drop | Live |
| 0b | Speed > 100kn (fysisk umuligt) | drop | Live |
| 0c | Replay (ts > 1t gammel) | drop | Live |
| 1 | Transit-tid plausibilitet | pending | Phase 3 |
| 2 | Geofence (NOT is_at_sea) | flag | Live |
| 2.5 | Spoofing hotspot zones | flag | Live |
| 3 | Båd-relativ (3× sog_p95) | pending | Phase 2 |
| 4 | ML anomaly net | pending | Phase 4 |
| 5 | Route-luk (gap > 30 min) | build | Live |
| 6 | Adaptiv D·P (klasse-baseret) | build | Live |
Se design i sandbox/dp-test/proposal.md i oceaneye-backend.
Kilde: /ingress/v1/stats/pipeline · —