release: bump version to 0.43.0
This commit is contained in:
424
docs/plans/datasource-custom-api-mapping-plan.md
Normal file
424
docs/plans/datasource-custom-api-mapping-plan.md
Normal file
@@ -0,0 +1,424 @@
|
||||
# 自定义 API 数据源与 LLM 映射系统 — 实施计划
|
||||
|
||||
**状态**:规划中
|
||||
**创建日期**:2026-04-28
|
||||
**核心原则**:LLM 辅助生成映射配置;生产采集使用确定性转换引擎
|
||||
|
||||
## 已确认决策
|
||||
|
||||
| 项目 | 决策 |
|
||||
|-----|------|
|
||||
| 自定义 API 的定位 | 作为内置数据源的补充入口,不直接等同于 Earth 新功能 |
|
||||
| LLM 的职责 | 探索未知 API、分析样本 JSON、生成 mapping 草案 |
|
||||
| 采集时是否调用 LLM | 不调用;采集链路必须确定性、可审计、可复现 |
|
||||
| 自定义数据如何进入 Earth | 必须映射到已支持的目标 schema,或先进入通用数据沉淀 |
|
||||
| 外部凭证放置位置 | Settings / 外部集成统一管理 provider token;DataSources 引用 provider profile |
|
||||
| TimescaleDB | 放入 TODO;高频时序数据稳定后再评估迁移 |
|
||||
|
||||
---
|
||||
|
||||
## 一、背景与问题
|
||||
|
||||
当前系统已经有 `datasource_configs`,可以配置自定义数据源的 endpoint、auth、headers、config,也已经有部分 collector 会读取这些配置。但这只能解决“怎么请求数据”,还没有解决以下问题:
|
||||
|
||||
- API 返回 JSON 后,如何转换成系统已有领域模型。
|
||||
- 自定义数据源是补充已有能力,还是全新数据沉淀。
|
||||
- 转换规则由谁生成、谁校验、谁执行。
|
||||
- 未知数据是否能自动在 Earth 上展示。
|
||||
- 外部 token 是放在全局配置中心,还是放在每个 datasource 下。
|
||||
|
||||
专业做法是把“请求配置”“外部凭证”“目标 schema”“字段映射”“采集执行”拆开:
|
||||
|
||||
- Settings 管外部集成凭证,例如 AI Provider、BarentsWatch、未来付费 AIS API。
|
||||
- DataSources 管具体数据源实例,例如 endpoint、调度频率、目标 schema、mapping 版本。
|
||||
- LLM 只在配置阶段辅助生成 mapping,不进入生产采集链路。
|
||||
- Earth 只消费明确 schema 的数据,不消费任意未知 JSON。
|
||||
|
||||
---
|
||||
|
||||
## 二、目标架构
|
||||
|
||||
### 2.1 自定义 API 数据源生命周期
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
A[配置 endpoint/auth/request] --> B[抓取 sample JSON]
|
||||
B --> C[选择目标 schema]
|
||||
C --> D[LLM 生成 mapping 草案]
|
||||
D --> E[确定性 mapping engine 预览]
|
||||
E --> F[schema validation]
|
||||
F --> G[保存 mapping version]
|
||||
G --> H[scheduler 执行 mapped collector]
|
||||
H --> I[写入目标表或 generic_records]
|
||||
```
|
||||
|
||||
### 2.2 目标 schema 分层
|
||||
|
||||
| schema | 用途 | Earth 可视化 |
|
||||
|-------|------|-------------|
|
||||
| `vessel_ais` | 船只 AIS 位置、航速、航向、MMSI 等 | 进入船舶图层 |
|
||||
| `geo_points` | 通用点位数据,包含经纬度、名称、类型、时间 | 进入通用 geo layer(TODO) |
|
||||
| `news_events` | 新闻/事件类数据,带时间、地点、摘要、来源 | 复用新闻/事件链路 |
|
||||
| `compute_centers` | 算力中心、机房、数据中心数据 | 复用算力中心图层 |
|
||||
| `generic_records` | 未知结构化数据沉淀 | 不直接展示 |
|
||||
|
||||
v1 建议优先实现:
|
||||
|
||||
- `vessel_ais`
|
||||
- `geo_points`
|
||||
- `generic_records`
|
||||
|
||||
其他 schema 可先在 registry 中预留名称,但不承诺完整落库与可视化。
|
||||
|
||||
### 2.3 LLM 的边界
|
||||
|
||||
LLM 可以做:
|
||||
|
||||
- 根据 API 文档或 sample JSON 解释字段含义。
|
||||
- 推荐目标 schema。
|
||||
- 生成 mapping JSON 草案。
|
||||
- 给出字段置信度和需要人工确认的字段。
|
||||
- 帮用户发现分页、数组路径、时间字段、坐标字段。
|
||||
|
||||
LLM 不应该做:
|
||||
|
||||
- 在正式采集时参与每批数据转换。
|
||||
- 生成并执行 Python/JavaScript 代码。
|
||||
- 接触 API key、bearer token、basic auth password。
|
||||
- 自动创建新的 Earth 图层或数据库表。
|
||||
|
||||
---
|
||||
|
||||
## 三、后端实施计划
|
||||
|
||||
### Phase 1 — Target Schema Registry
|
||||
|
||||
新增代码级 registry,统一描述系统支持的目标数据类型。
|
||||
|
||||
每个 target schema 至少包含:
|
||||
|
||||
- `key`:例如 `vessel_ais`。
|
||||
- `label`:前端展示名称。
|
||||
- `description`:适用场景。
|
||||
- `fields`:字段名、类型、是否必填、说明、示例。
|
||||
- `validator`:Pydantic 或等价校验器。
|
||||
- `destination`:写入目标,例如 vessel 表、generic_records、future geo layer。
|
||||
|
||||
示例概念:
|
||||
|
||||
```json
|
||||
{
|
||||
"key": "vessel_ais",
|
||||
"fields": [
|
||||
{"name": "mmsi", "type": "integer", "required": true},
|
||||
{"name": "lat", "type": "float", "required": true},
|
||||
{"name": "lon", "type": "float", "required": true},
|
||||
{"name": "sog", "type": "float", "required": false},
|
||||
{"name": "cog", "type": "float", "required": false},
|
||||
{"name": "received_at", "type": "datetime", "required": false}
|
||||
]
|
||||
}
|
||||
```
|
||||
|
||||
### Phase 2 — Mapping Template Model
|
||||
|
||||
新增 mapping 配置持久化表,建议命名为 `datasource_mapping_templates`。
|
||||
|
||||
关键字段:
|
||||
|
||||
- `id`
|
||||
- `datasource_config_id`
|
||||
- `target_schema`
|
||||
- `mapping_json`
|
||||
- `sample_payload_hash`
|
||||
- `validation_status`
|
||||
- `version`
|
||||
- `is_active`
|
||||
- `created_at`
|
||||
- `updated_at`
|
||||
|
||||
`mapping_json` 是声明式 DSL,不允许任意代码执行。
|
||||
|
||||
示例:
|
||||
|
||||
```json
|
||||
{
|
||||
"source": {
|
||||
"items_path": "$.data.vessels[*]"
|
||||
},
|
||||
"fields": {
|
||||
"mmsi": {"path": "$.mmsi", "type": "integer"},
|
||||
"lat": {"path": "$.latitude", "type": "float"},
|
||||
"lon": {"path": "$.longitude", "type": "float"},
|
||||
"sog": {"path": "$.speedOverGround", "type": "float", "default": null},
|
||||
"received_at": {"path": "$.timestamp", "type": "datetime"}
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
### Phase 3 — Deterministic Mapping Engine
|
||||
|
||||
实现独立 mapping engine,输入 sample/raw payload 和 mapping JSON,输出目标 schema 记录。
|
||||
|
||||
v1 支持能力:
|
||||
|
||||
- JSONPath/JMESPath 风格路径提取。
|
||||
- 数组展开。
|
||||
- 默认值。
|
||||
- 基础类型转换:string、integer、float、boolean、datetime。
|
||||
- 坐标范围校验。
|
||||
- 简单枚举映射。
|
||||
- 错误收集:缺字段、类型转换失败、路径不存在。
|
||||
|
||||
明确不支持:
|
||||
|
||||
- 任意表达式执行。
|
||||
- 用户提交脚本。
|
||||
- LLM runtime 修复。
|
||||
|
||||
### Phase 4 — LLM Mapping Assistant API
|
||||
|
||||
新增配置阶段 API:
|
||||
|
||||
- `POST /api/v1/datasources/custom/sample`
|
||||
- 按 datasource 请求配置抓取 sample JSON。
|
||||
- `GET /api/v1/datasources/target-schemas`
|
||||
- 返回可选目标 schema 和字段说明。
|
||||
- `POST /api/v1/datasources/mappings/propose`
|
||||
- 输入 sample JSON + target schema,调用 AI provider 生成 mapping 草案。
|
||||
- `POST /api/v1/datasources/mappings/preview`
|
||||
- 使用确定性 mapping engine 预览转换结果。
|
||||
- `POST /api/v1/datasources/mappings`
|
||||
- 保存 mapping 版本。
|
||||
- `PUT /api/v1/datasources/mappings/{id}`
|
||||
- 更新 mapping,生成新版本或覆盖草稿。
|
||||
- `POST /api/v1/datasources/{id}/run-mapped`
|
||||
- 手动触发一次 mapped collector。
|
||||
|
||||
安全要求:
|
||||
|
||||
- `propose` 请求发送给 LLM 前必须脱敏 sample。
|
||||
- auth headers、token、password 不进入 prompt。
|
||||
- LLM 返回结果必须再经过 mapping schema 校验。
|
||||
|
||||
### Phase 5 — Generic Mapped HTTP Collector
|
||||
|
||||
新增通用 collector:
|
||||
|
||||
- 读取 `DataSourceConfig` 请求配置。
|
||||
- 读取 active mapping template。
|
||||
- 拉取 API 数据。
|
||||
- 使用 mapping engine 转换。
|
||||
- 使用 target schema validator 校验。
|
||||
- 调用 destination handler 写入目标表或 generic storage。
|
||||
- 将失败记录写入错误日志或 dead-letter 结构。
|
||||
|
||||
对于 `generic_records`:
|
||||
|
||||
- 保存 datasource id。
|
||||
- 保存 target schema。
|
||||
- 保存 normalized JSON。
|
||||
- 保存 raw payload 摘要或 raw reference。
|
||||
- 保存采集时间、source timestamp、mapping version。
|
||||
|
||||
---
|
||||
|
||||
## 四、前端实施计划
|
||||
|
||||
### Phase 1 — Settings 外部集成
|
||||
|
||||
Settings 中保留统一外部集成配置:
|
||||
|
||||
- AI Provider:base URL、model、API key。
|
||||
- BarentsWatch:client id/client secret 或 bearer token。
|
||||
- 未来付费接口:AISHub、MarineTraffic、VesselFinder 等 provider profile。
|
||||
|
||||
DataSources 不直接管理全局 secret,只引用 provider profile。
|
||||
|
||||
### Phase 2 — DataSources 自定义源向导
|
||||
|
||||
自定义数据源配置改成向导或右侧 drawer:
|
||||
|
||||
1. Request
|
||||
- endpoint
|
||||
- method
|
||||
- auth profile
|
||||
- headers
|
||||
- query/body config
|
||||
- schedule
|
||||
2. Sample
|
||||
- 点击抓取 sample
|
||||
- 展示 JSON tree
|
||||
- 支持选择数组根路径
|
||||
3. Target Schema
|
||||
- 选择 `vessel_ais`、`geo_points`、`generic_records`
|
||||
- 展示该 schema 必填字段
|
||||
4. Mapping Proposal
|
||||
- 调用 LLM 生成 mapping 草案
|
||||
- 显示字段匹配置信度
|
||||
- 标出需要人工确认的字段
|
||||
5. Preview
|
||||
- 用确定性 engine 预览前 N 条转换结果
|
||||
- 展示校验错误
|
||||
6. Save & Enable
|
||||
- 保存 mapping version
|
||||
- 启用调度或仅保存草稿
|
||||
|
||||
### Phase 3 — 运维视图
|
||||
|
||||
为 mapped datasource 展示:
|
||||
|
||||
- 上次运行时间。
|
||||
- 成功记录数。
|
||||
- 失败记录数。
|
||||
- 当前 mapping version。
|
||||
- 目标 schema。
|
||||
- 最近错误。
|
||||
- 手动运行按钮。
|
||||
|
||||
---
|
||||
|
||||
## 五、数据库与存储策略
|
||||
|
||||
### v1:继续使用 PostgreSQL
|
||||
|
||||
PostgreSQL 可以承载当前规模的采集、关系查询、JSONB 沉淀和基础时序查询。v1 不必因为“时序数据”立刻引入 TimescaleDB。
|
||||
|
||||
适合继续用 PostgreSQL 的场景:
|
||||
|
||||
- 数据量可控。
|
||||
- 最近状态查询为主。
|
||||
- 历史保留窗口较短。
|
||||
- 查询模式还没稳定。
|
||||
- 需要快速迭代 schema 与 mapping。
|
||||
|
||||
### TODO:TimescaleDB
|
||||
|
||||
以下条件满足后,再评估 TimescaleDB:
|
||||
|
||||
- AIS、遥测、轨迹类数据达到高频持续写入。
|
||||
- 需要按时间窗口做聚合、降采样、retention policy。
|
||||
- 单表时间序列查询明显成为瓶颈。
|
||||
- 历史轨迹保留从 24h 扩展到数周或数月。
|
||||
|
||||
候选迁移对象:
|
||||
|
||||
- `vessel_position`
|
||||
- future telemetry tables
|
||||
- future generic time-series records
|
||||
|
||||
备选方案:
|
||||
|
||||
- PostgreSQL 原生按天/月分区。
|
||||
- TimescaleDB hypertable。
|
||||
- 热数据 PostgreSQL,冷数据对象存储。
|
||||
|
||||
---
|
||||
|
||||
## 六、安全与治理
|
||||
|
||||
### Secret 管理
|
||||
|
||||
- Settings 中保存 provider credentials。
|
||||
- API 返回配置时必须 mask secret。
|
||||
- LLM prompt 只能包含脱敏 sample 和 schema 说明。
|
||||
- 后续 TODO:引入字段级加密或 KMS。
|
||||
|
||||
### Mapping 治理
|
||||
|
||||
- 每次 mapping 变更保留版本。
|
||||
- active mapping 只能有一个。
|
||||
- 允许保存 draft mapping。
|
||||
- 运行记录关联 mapping version。
|
||||
- 校验失败不能自动启用。
|
||||
|
||||
### 错误处理
|
||||
|
||||
常见错误类型:
|
||||
|
||||
- API 401/403:凭证错误或过期。
|
||||
- API 429:限流,需要调整 schedule。
|
||||
- JSON path 不存在:上游结构变化。
|
||||
- 类型转换失败:mapping 规则错误。
|
||||
- schema validation failed:转换结果不满足目标模型。
|
||||
|
||||
每次运行需要记录:
|
||||
|
||||
- datasource id。
|
||||
- mapping version。
|
||||
- started_at / finished_at。
|
||||
- fetched count。
|
||||
- mapped count。
|
||||
- written count。
|
||||
- failed count。
|
||||
- error summary。
|
||||
|
||||
---
|
||||
|
||||
## 七、测试计划
|
||||
|
||||
### Backend Unit Tests
|
||||
|
||||
- mapping engine:
|
||||
- path 提取。
|
||||
- 数组展开。
|
||||
- 默认值。
|
||||
- 类型转换。
|
||||
- datetime parse。
|
||||
- 枚举映射。
|
||||
- 缺字段错误。
|
||||
- target schema registry:
|
||||
- `vessel_ais` 必填字段校验。
|
||||
- `geo_points` 经纬度范围校验。
|
||||
- `generic_records` 接受未知结构。
|
||||
- LLM assistant:
|
||||
- mock provider 返回 mapping。
|
||||
- 验证 secret 不进入 prompt。
|
||||
- 验证非法 mapping 被拒绝。
|
||||
|
||||
### Backend Integration Tests
|
||||
|
||||
- sample JSON -> propose mapping -> preview -> save mapping。
|
||||
- mapped collector 使用保存的 mapping 写入 `generic_records`。
|
||||
- `vessel_ais` sample 写入船舶相关目标结构。
|
||||
- 上游 JSON 结构变化时,运行失败并记录错误。
|
||||
|
||||
### Frontend Tests
|
||||
|
||||
- 自定义数据源向导完整流程。
|
||||
- 未配置 AI Provider 时,提示去 Settings 配置,但允许手写 mapping。
|
||||
- LLM 返回不完整 mapping 时,Preview 阶段显示校验错误。
|
||||
- 保存 mapping 后展示 active version 和运行状态。
|
||||
|
||||
---
|
||||
|
||||
## 八、分期工作量
|
||||
|
||||
| 阶段 | 内容 | 估算 |
|
||||
|-----|------|------|
|
||||
| Phase 0 | 完成本规划、确认 schema registry 设计 | 0.5 天 |
|
||||
| Phase 1 | target schema registry + mapping template model | 1–2 天 |
|
||||
| Phase 2 | deterministic mapping engine | 2–3 天 |
|
||||
| Phase 3 | sample/propose/preview/save API | 2–3 天 |
|
||||
| Phase 4 | DataSources 自定义源向导 | 3–5 天 |
|
||||
| Phase 5 | generic mapped collector + run history | 2–4 天 |
|
||||
| Phase 6 | vessel_ais / geo_points destination handler | 2–4 天 |
|
||||
|
||||
---
|
||||
|
||||
## 九、当前差距与下一步
|
||||
|
||||
当前差距:
|
||||
|
||||
- `datasource_configs` 只描述请求配置,不描述目标 schema 和 mapping。
|
||||
- 自定义源没有 sample -> schema -> mapping -> preview -> save 的闭环。
|
||||
- 生产采集还没有通用 mapped collector。
|
||||
- Settings 与 DataSources 的职责边界需要在 UI 上进一步明确。
|
||||
- Earth 还没有通用 `geo_points` 图层。
|
||||
|
||||
下一步建议:
|
||||
|
||||
1. 先实现 target schema registry 和 mapping engine,不急着接 LLM。
|
||||
2. 用固定 sample JSON 做 `vessel_ais` 和 `generic_records` 的单元测试。
|
||||
3. 再接 LLM propose API,让 LLM 产出的只是 mapping 草案。
|
||||
4. 最后做前端向导,把人工确认和 preview 放到启用之前。
|
||||
272
docs/plans/earth-vessel-tracking-plan.md
Normal file
272
docs/plans/earth-vessel-tracking-plan.md
Normal file
@@ -0,0 +1,272 @@
|
||||
# 实时船只监控系统 — 实施计划
|
||||
|
||||
**状态**:规划中
|
||||
**创建日期**:2026-04-27
|
||||
**优先数据源**:BarentsWatch(免费)→ AISHub / MarineTraffic(TODO,付费)
|
||||
|
||||
## 已确认决策
|
||||
|
||||
| 项目 | 决策 |
|
||||
|-----|------|
|
||||
| 数据源 | BarentsWatch 先行;AISHub / MarineTraffic TODO |
|
||||
| 船只规模 | BarentsWatch 阶段全部显示;全球数据接入后按需加船型过滤(默认 Cargo + Tanker + Passenger) |
|
||||
| 更新频率 | 准实时:前端 5 分钟轮询,后端 Collector 每分钟拉取写库 |
|
||||
| 历史轨迹 | 保留(`vessel_position` 表保留 24h,后期按需扩展) |
|
||||
| 推送方式 | HTTP 轮询(不用 WebSocket);换实时数据源后再评估升级 |
|
||||
|
||||
---
|
||||
|
||||
## 一、技术背景
|
||||
|
||||
船只通过 AIS(自动识别系统)每 2–10 秒广播位置、航速、航向、目的地等信息。全球约 50 万艘持证船只在线,实时数据通过以下方式获取:
|
||||
|
||||
| 来源类型 | 典型服务 | 覆盖范围 | 成本 | 状态 |
|
||||
|---------|---------|---------|------|------|
|
||||
| **BarentsWatch Open API** | live.ais.barentswatch.no | 挪威海域实时 | 完全免费 | **当前使用** |
|
||||
| **AISHub** | aishub.net | 全球实时 | 免费/小额 | TODO:付费接入 |
|
||||
| **MarineTraffic API** | marinetraffic.com | 全球实时 | $50–$500/月 | TODO:评估 tier |
|
||||
| **VesselFinder API** | vesselfinder.com | 全球实时 | $50–$300/月 | TODO:备选 |
|
||||
| **自建 SDR 接收** | RTL-SDR + AIS-catcher | 仅本地 30–50km | 硬件 $30 | 不考虑 |
|
||||
| **NOAA 历史数据** | Marine Cadastre | 美国近海历史 | 免费 | 可用于冷启动 |
|
||||
|
||||
### BarentsWatch API
|
||||
|
||||
- 端点:`https://live.ais.barentswatch.no/v1/latest/combined`
|
||||
- 无需注册,直接 GET,返回挪威近海 2000–5000 艘船只 JSON
|
||||
- 字段:mmsi, lat, lon, sog, cog, heading, nav_status, name, vessel_type, flag
|
||||
- 刷新频率:数据约 30–60s 更新一次,可随意轮询
|
||||
|
||||
### TODO:付费数据源接入
|
||||
|
||||
- [ ] 评估 AISHub 订阅(全球覆盖,约 $30/月),接入全球实时流
|
||||
- [ ] 评估 MarineTraffic API tier,对比 AISHub 数据质量与成本
|
||||
- [ ] 实现多数据源适配器,通过 `datasource_config` 切换
|
||||
- [ ] 真实高频 AIS 稳定接入后,评估将 `vessel_position` 迁移为 TimescaleDB hypertable(保留 Postgres 原生分区作为备选)
|
||||
|
||||
---
|
||||
|
||||
## 二、实施计划
|
||||
|
||||
### Phase 0 — 数据源验证与链路打通(1–2 天)
|
||||
|
||||
- 接入 BarentsWatch Open API,验证数据格式与字段
|
||||
- 构建全球 mock 数据生成器(用于前端渲染压测,补充 BarentsWatch 的地域限制)
|
||||
- 确认前端可渲染船只点,整条链路走通
|
||||
|
||||
### Phase 1 — 后端基础设施(3–4 天)
|
||||
|
||||
#### 1.1 数据库 Schema
|
||||
|
||||
```sql
|
||||
-- 船只静态信息(每 6h 刷新一次)
|
||||
CREATE TABLE vessel_static (
|
||||
mmsi BIGINT PRIMARY KEY,
|
||||
name VARCHAR(128),
|
||||
callsign VARCHAR(16),
|
||||
vessel_type SMALLINT,
|
||||
vessel_type_name VARCHAR(64),
|
||||
flag VARCHAR(4), -- ISO 国家码
|
||||
length FLOAT,
|
||||
width FLOAT,
|
||||
draught FLOAT,
|
||||
imo BIGINT,
|
||||
updated_at TIMESTAMPTZ
|
||||
);
|
||||
|
||||
-- 船只实时位置(高频写入,保留 24h 轨迹)
|
||||
CREATE TABLE vessel_position (
|
||||
id BIGSERIAL PRIMARY KEY,
|
||||
mmsi BIGINT NOT NULL,
|
||||
lat FLOAT NOT NULL,
|
||||
lon FLOAT NOT NULL,
|
||||
sog FLOAT, -- Speed over ground(节)
|
||||
cog FLOAT, -- Course over ground(度)
|
||||
heading SMALLINT, -- 真北航向
|
||||
nav_status SMALLINT, -- 0=航行 1=锚泊 5=停靠 ...
|
||||
received_at TIMESTAMPTZ NOT NULL DEFAULT NOW()
|
||||
);
|
||||
|
||||
CREATE INDEX idx_vessel_pos_mmsi_time ON vessel_position(mmsi, received_at DESC);
|
||||
CREATE INDEX idx_vessel_pos_time ON vessel_position(received_at DESC);
|
||||
|
||||
-- 最新位置物化视图(地图渲染主数据源,避免全表扫描)
|
||||
CREATE MATERIALIZED VIEW vessel_latest AS
|
||||
SELECT DISTINCT ON (mmsi)
|
||||
vp.*, vs.name, vs.vessel_type_name, vs.flag, vs.length
|
||||
FROM vessel_position vp
|
||||
LEFT JOIN vessel_static vs USING (mmsi)
|
||||
ORDER BY mmsi, received_at DESC;
|
||||
|
||||
CREATE UNIQUE INDEX ON vessel_latest(mmsi);
|
||||
```
|
||||
|
||||
> 后期如需完整历史轨迹查询,迁移 `vessel_position` 到 TimescaleDB 或按天分区。
|
||||
|
||||
#### 1.2 Collector:VesselAISCollector
|
||||
|
||||
文件:`backend/app/services/collectors/vessel_ais.py`
|
||||
|
||||
- 继承 `BaseCollector`,注册到 `collector_registry`
|
||||
- 轮询间隔:30–60s(由数据源限速决定)
|
||||
- 支持多数据源切换,通过 `datasource_config` 配置 URL + API Key
|
||||
- 写入逻辑:upsert `vessel_latest`,append `vessel_position`
|
||||
- 接入现有调度系统(`scheduler.py`)
|
||||
|
||||
#### 1.3 API 端点
|
||||
|
||||
```
|
||||
GET /api/v1/visualization/geo/vessels
|
||||
?bbox=lon_min,lat_min,lon_max,lat_max # 视口裁剪
|
||||
?type=cargo,tanker,passenger # 船型过滤
|
||||
?limit=5000
|
||||
→ GeoJSON FeatureCollection(Point)
|
||||
|
||||
GET /api/v1/visualization/vessels/{mmsi} # 单船详情
|
||||
GET /api/v1/visualization/vessels/{mmsi}/track # 历史轨迹(默认 6h)
|
||||
?hours=6
|
||||
→ GeoJSON LineString
|
||||
```
|
||||
|
||||
GeoJSON Feature 格式:
|
||||
|
||||
```json
|
||||
{
|
||||
"type": "Feature",
|
||||
"geometry": { "type": "Point", "coordinates": [lon, lat] },
|
||||
"properties": {
|
||||
"mmsi": 123456789,
|
||||
"name": "EVER GIVEN",
|
||||
"vessel_type": 70,
|
||||
"vessel_type_name": "Cargo",
|
||||
"flag": "PA",
|
||||
"sog": 12.4,
|
||||
"cog": 247.0,
|
||||
"heading": 245,
|
||||
"nav_status": 0,
|
||||
"length": 400,
|
||||
"received_at": "2026-04-27T10:00:00Z"
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
#### 1.4 更新机制
|
||||
|
||||
**HTTP 轮询**(不使用 WebSocket):
|
||||
|
||||
- 前端 `setInterval(fetchVessels, 5 * 60 * 1000)` 定期拉取最新快照
|
||||
- 后端 Collector 每 60s 从 BarentsWatch 拉取并写库,`vessel_latest` 物化视图随时可查
|
||||
- WebSocket 留给告警/事件驱动场景(BGP、系统通知),不混入周期性位置刷新
|
||||
- 换用 AISHub / MarineTraffic 实时流后,届时再评估是否升级为 WebSocket delta push
|
||||
|
||||
---
|
||||
|
||||
### Phase 2 — 前端渲染(3–4 天)
|
||||
|
||||
文件:`frontend/public/earth/js/vessels.js`
|
||||
|
||||
#### 2.1 渲染方案
|
||||
|
||||
参考现有卫星系统(`satellites.js`)的 InstancedMesh 模式:
|
||||
|
||||
- `THREE.InstancedMesh`:每个实例 = 一艘船,矩阵包含位置 + 旋转(朝向 COG)
|
||||
- 行进船:三角箭头图标,朝向 COG 方向
|
||||
- 静止/锚泊船:圆点图标
|
||||
- SVG 图标输出到 `frontend/public/earth/assets/icons/vessel-arrow.svg` 和 `vessel-dot.svg`
|
||||
|
||||
#### 2.2 船型颜色规范
|
||||
|
||||
| 船型 | 颜色 |
|
||||
|-----|------|
|
||||
| 货轮 Cargo | `#4A90D9` 蓝 |
|
||||
| 油轮 Tanker | `#E85D04` 橙红 |
|
||||
| 客船 Passenger | `#06D6A0` 绿 |
|
||||
| 渔船 Fishing | `#FFD166` 黄 |
|
||||
| 军舰 Military | `#73797E` 灰 |
|
||||
| 其他 | `#9B9B9B` 浅灰 |
|
||||
| 锚泊/停靠 | 降低饱和度 0.4x |
|
||||
|
||||
#### 2.3 LOD(相机距离细节层次)
|
||||
|
||||
| 相机距离 | 渲染策略 |
|
||||
|---------|---------|
|
||||
| > 400 | 仅渲染 top 1000 艘(按数据新鲜度 + 船型优先级) |
|
||||
| 200–400 | 渲染 top 5000 艘 |
|
||||
| < 200 | 渲染当前视口 bbox 内全部船只 |
|
||||
|
||||
前端根据相机位置动态计算 bbox,附加到 API 请求中。
|
||||
|
||||
#### 2.4 图层集成
|
||||
|
||||
接入现有图层系统,新增"船只"图层项,支持:
|
||||
- 图层开/关,状态持久化
|
||||
- 子过滤(按船型选择显示哪类,可在图例或设置面板中配置)
|
||||
- 与海缆、BGP、卫星层级共存(renderOrder 待定,参考现有层级文档)
|
||||
|
||||
#### 2.5 Info Card
|
||||
|
||||
复用 `showInfoCard` 机制,点击船只弹出:
|
||||
|
||||
```
|
||||
EVER GIVEN 🚢
|
||||
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
|
||||
MMSI 123456789
|
||||
IMO 9811000
|
||||
旗帜 巴拿马 🇵🇦
|
||||
船型 散货轮
|
||||
当前航速 12.4 kn
|
||||
航向 247°
|
||||
状态 航行中
|
||||
目的地 ROTTERDAM
|
||||
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
|
||||
[ 查看轨迹 ] [ MarineTraffic ↗ ]
|
||||
```
|
||||
|
||||
#### 2.6 轨迹可视化
|
||||
|
||||
点击"查看轨迹" → 请求 `/vessels/{mmsi}/track` → 用 `THREE.CatmullRomCurve3` 渲染插值轨迹线,风格与海缆一致。
|
||||
|
||||
---
|
||||
|
||||
### Phase 3 — 功能完善(2–3 天)
|
||||
|
||||
| 功能 | 说明 |
|
||||
|-----|------|
|
||||
| **船只搜索** | 接入现有搜索面板,按名称 / MMSI 搜索 |
|
||||
| **统计 HUD** | 显示当前在线船只数、各类型分布 |
|
||||
| **密度热图** | 超低 zoom 时切换为 hex-bin 热力图(避免点云爆炸) |
|
||||
| **港口标注** | 加载 WorldPorts 数据集,显示主要港口标记 |
|
||||
| **关键水道监控** | 马六甲、霍尔木兹、苏伊士等高亮 + 流量统计 |
|
||||
|
||||
---
|
||||
|
||||
### Phase 4 — 性能与生产化(2–3 天)
|
||||
|
||||
- `vessel_position` 按天分区,7 天自动清理
|
||||
- TODO:真实数据量达到百万级/日后,将 `vessel_position` 升级为 TimescaleDB hypertable,配置 retention policy 与压缩策略
|
||||
- GeoJSON endpoint 用 Redis 缓存 15s
|
||||
- 若需 bbox 精确查询,引入 PostGIS `geography` + `ST_DWithin`
|
||||
- InstancedMesh + frustum culling,目标 5 万船只 60fps
|
||||
|
||||
---
|
||||
|
||||
## 三、工作量估算
|
||||
|
||||
| Phase | 内容 | 估计时间 |
|
||||
|-------|-----|---------|
|
||||
| Phase 0 | 数据源验证、mock | 1–2 天 |
|
||||
| Phase 1 | 后端 Schema + Collector + API | 3–4 天 |
|
||||
| Phase 2 | 前端渲染(InstancedMesh + 图层 + Info Card) | 3–4 天 |
|
||||
| Phase 3 | 搜索 + 统计 + 轨迹 | 2–3 天 |
|
||||
| Phase 4 | 性能优化 + 生产数据源接入 | 2–3 天 |
|
||||
| **合计** | | **约 2–3 周** |
|
||||
|
||||
---
|
||||
|
||||
## 四、参考资料
|
||||
|
||||
- BarentsWatch AIS API 文档:https://www.barentswatch.no/en/developer/ais-api/
|
||||
- MarineTraffic API:https://www.marinetraffic.com/en/ais-api-services
|
||||
- AISHub:https://www.aishub.net/api
|
||||
- AIS 导航状态码:ITU-R M.1371-5
|
||||
- 船型编码(vessel_type):ITU/IMO AIS Message 5 Type and Cargo
|
||||
- WorldPorts 数据集:https://msi.nga.mil/Publications/WPI
|
||||
97
docs/plans/frontend-markdown-renderer-plan.md
Normal file
97
docs/plans/frontend-markdown-renderer-plan.md
Normal file
@@ -0,0 +1,97 @@
|
||||
# Markdown 渲染器完善计划
|
||||
|
||||
## 背景
|
||||
|
||||
Planet 控制台当前有三类主要 Markdown 使用场景:
|
||||
|
||||
- 文档中心:技术文档、计划文档、运行手册。
|
||||
- AI Playground:模型回复、分析结果、代码片段。
|
||||
- BGP 简报:由系统生成并保存的态势报告。
|
||||
|
||||
这些场景都复用 `frontend/src/components/MarkdownRenderer/MarkdownRenderer.tsx`。因此 Markdown 能力应该集中在共享渲染器内完成,页面只负责传入内容、链接转换和布局约束,不能让每篇文档或每个页面手写复制按钮、表格样式、列表样式等交互细节。
|
||||
|
||||
## 目标
|
||||
|
||||
建设一个稳定、可复用、适合技术文档和 AI 输出的 Markdown 渲染器,优先覆盖常用语法、代码块操作和清晰的阅读样式,并为后续语法高亮、锚点导航、内容安全策略留出接口。
|
||||
|
||||
## 成功标准
|
||||
|
||||
- 代码块支持 fenced language、语言标签、复制按钮、复制成功状态和横向滚动。
|
||||
- 常用块语法稳定渲染:标题 1-6、段落、引用、分割线、表格、无序列表、有序列表、任务列表。
|
||||
- 常用行内语法稳定渲染:链接、自动链接、图片、行内代码、粗体、斜体、删除线。
|
||||
- 文档中心、AI Playground、BGP 简报继续复用同一个组件,不出现页面级重复实现。
|
||||
- 样式在普通业务面板和文档中心都有合理表现,文档中心可以通过 `.docs-markdown` 覆盖主题变量。
|
||||
- 前端 TypeScript build 通过,`git diff --check` 无空白错误。
|
||||
|
||||
## 当前实施范围
|
||||
|
||||
### 第一阶段:共享渲染器补齐
|
||||
|
||||
- 在 `MarkdownRenderer` 内解析 fenced code block 的语言信息。
|
||||
- 引入 `MarkdownCodeBlock` 子组件,负责语言标签、复制按钮和复制状态。
|
||||
- 保留现有 `Scrollbar` 横向滚动能力,避免长代码撑破页面。
|
||||
- 扩展标题渲染到 h1-h6,并保留 `getHeadingId` 对文档目录的支持。
|
||||
- 扩展列表解析,支持 `-`、`*`、`+`、`1.`、`1)` 和 GitHub 风格任务列表。
|
||||
- 扩展行内解析,支持图片、自动链接、删除线。
|
||||
|
||||
### 第二阶段:样式统一
|
||||
|
||||
- 全局 Markdown 样式覆盖业务场景,保持紧凑、清晰、可扫描。
|
||||
- 文档中心用 `.docs-markdown` 适配主题变量,避免硬编码颜色破坏明暗主题。
|
||||
- 代码块 toolbar 和 copy button 不依赖具体页面。
|
||||
- 图片默认响应式展示,避免超出内容区域。
|
||||
|
||||
### 第三阶段:验证
|
||||
|
||||
- 使用前端 build 验证 TypeScript 和 Vite 构建。
|
||||
- 使用 `git diff --check` 验证补丁格式。
|
||||
- 手动检查至少一个文档页中代码块复制按钮、语言标签和表格滚动是否出现。
|
||||
|
||||
## 后续增强项
|
||||
|
||||
### 语法高亮
|
||||
|
||||
当前不新增高亮依赖,避免一次性引入过重运行时代码。后续可以在以下方案中二选一:
|
||||
|
||||
- `shiki`:适合文档中心,视觉质量高,但包体和初始化成本更高。
|
||||
- `highlight.js`:接入简单,覆盖语言广,但样式控制需要额外约束。
|
||||
|
||||
建议当文档代码块数量稳定增加后再引入,并做按需加载或懒加载。
|
||||
|
||||
### 更完整 CommonMark 支持
|
||||
|
||||
当前渲染器覆盖 Planet 常见内容,不追求完整 CommonMark 兼容。后续如果需要完整规范,建议切换到成熟生态:
|
||||
|
||||
- `react-markdown`
|
||||
- `remark-gfm`
|
||||
- `rehype-sanitize`
|
||||
- `rehype-slug`
|
||||
|
||||
切换前需要评估:链接转换、目录 ID、现有样式、AI 输出安全策略和包体影响。
|
||||
|
||||
### 安全策略
|
||||
|
||||
目前渲染器不解析原始 HTML,这是正确默认值。后续如需支持 HTML,必须先明确:
|
||||
|
||||
- 是否允许用户输入 Markdown。
|
||||
- 是否需要 HTML 白名单。
|
||||
- 是否需要 `rehype-sanitize`。
|
||||
- 图片和链接是否需要域名策略。
|
||||
|
||||
### 文档页能力
|
||||
|
||||
可继续补齐:
|
||||
|
||||
- 标题锚点悬浮复制。
|
||||
- Mermaid 图表。
|
||||
- 代码块折叠。
|
||||
- 文档内搜索结果定位到代码块。
|
||||
- 复制按钮埋点,用于判断文档片段是否真正被使用。
|
||||
|
||||
## 维护约束
|
||||
|
||||
- Markdown 语法能力优先放在共享渲染器,不在具体文档页面散落实现。
|
||||
- 文档内容只表达内容,不承载 UI 行为。
|
||||
- 新增 Markdown 能力必须同时考虑文档中心、AI Playground、BGP 简报三个调用方。
|
||||
- 不解析原始 HTML,除非同步引入明确的 sanitize 策略。
|
||||
- 与主题相关的样式优先走页面容器变量覆盖,不在组件内写死文档中心颜色。
|
||||
Reference in New Issue
Block a user