探索DuckDB:DuckDB 数据IO路径汇总

DuckDB 数据输入/输出路径

偶然发现一个不错的Mermaid 流程图,刚好是我想要的,希望你也喜欢,

这个 Mermaid 流程图比较详细地展示了 DuckDB 数据库与多种数据源和目标之间的交互,以及它如何支持数据的输入和输出。

  1. 1. 清晰:流程图整体上结构清晰,通过不同的节点和箭头来表示数据流向,使得用户可以很容易地理解 DuckDB 如何与各种数据源和目标进行交互

  2. 2. 详细:流程图中包含了多种数据格式(如 Excel、JSON、Parquet、CSV)和数据库(如 Postgres、SQLite),以及 DuckDB 支持的多种数据操作工具(如 R dplyr、Pandas、Polars、Numpy)

  3. 3. 交互:流程图中的某些节点提供了链接,用户可以通过点击这些节点直接访问相关的 DuckDB 文档。

  4. 4. 视觉:使用了不同的颜色和样式来区分不同的类别的节点,如数据源、目标、工具等,这有助于用户快速识别和理解每个节点的功能。


探索DuckDB:DuckDB 数据IO路径汇总


下面是Mermaid[1] 代码,

flowchart LR

Postgres --> ScannerPG[Scanner] --> DuckDB
SQLite --> ScannerSL[Scanner] --> DuckDB
Local[Local disk] & HTTPS & S3[S3 API] & fssec & InMemory[In memory] --> Excel & JSON & Parquet & CSV
Excel & JSON & Parquet & CSV --> DuckDB
R_deplyr[R Deplyr] & Pandas & Polars & Numpy --> DuckDB
DuckDB --> Excel2[Excel] & JSON2[JSON] & Parquet2[Parquet] & CSV2[CSV]
Excel2 & JSON2 & Parquet2 & CSV2 --> Local_Disk & S3_API
DuckDB --> Arrow
Arrow --> DataFusion & Vaex & Delta_Lake[Delta Lake]


subgraph Sources
Local & HTTPS & S3 & fssec & InMemory
end

subgraph Targets
Local_Disk & S3_API
end

click DuckDB "https://duckdb.org/"
click ScannerPG "https://duckdb.org/docs/extensions/postgres_scanner.html"
click ScannerSL "https://duckdb.org/docs/extensions/sqlite_scanner"

class Sources,Targets cd_dashed;
class DuckDB cd_yellow;
class Excel,JSON,Parquet,CSV,Excel2,JSON2,CSV2,Parquet2,Delta_Lake cd_orange;
class fssec,Pandas,Polars,Numpy,DataFusion,Vaex cd_green;

classDef cd_grey   fill:#ddd,stroke:#fff,stroke-width:4px,color:#000;
classDef cd_yellow fill:#FFF03A,stroke:#333,stroke-width:px
classDef cd_orange fill:#F2B372,stroke:#333,stroke-width:px
classDef cd_green fill:#B9D6AA,stroke:#333,stroke-width:px
classDef cd_dashed fill:#fff,stroke:#bbb,stroke-width:2px,color:#326ce5,stroke-dasharray: 5 5;
classDef cd_box2 fill:#326ce5,stroke:#fff,stroke-width:4px,color:#fff;
classDef cd_box3 fill:#fff,stroke:#bbb,stroke-width:2px,color:#326ce5;
classDef cd_box5 fill:#bbf,stroke:#f66,stroke-width:2px,color:#fff,stroke-dasharray: 5 5




DuckDB[("DuckDB")]
Local[fa:fa-file-alt File Local]


上面图上的很多内容都在我的系列文章里有介绍,有兴趣的可以看看,今后我还会继续丰富完善。

来源:https://github.com/ned2/duckpond

引用链接

[1] Mermaid: https://github.com/mermaid-js/mermaid


原文始发于微信公众号(alitrack):探索DuckDB:DuckDB 数据IO路径汇总

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/203811.html

(0)
小半的头像小半

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!