本地运行的 Minio 服务器（可选）
如果只是为了测试，这一步可以省略，使用 minio 官方的测试服务器或者匿名的 S3 即可。
/usr/local/opt/minio/bin/minio server --config-dir=/usr/local/etc/minio --address=:9900 /usr/local/var/minio
如果你对 minio 感兴趣，可以看看这两篇文章，
-
ClickHouse 与开源的 Amazon S3 对象存储 （详细介绍了本地安装部署 minio） -
Delta Lake 数据湖与 AWS S3 对象存储 （详细介绍了 Minio Play）
上传数据到 Minio
创建了一个 bucket：ontime，并上传了 ontime.parquet， 11G
Superset 使用 DuckDB 访问 Minio
-
本地服务器
install 'httpfs';
load 'httpfs';
SET s3_endpoint='127.0.0.1:9900';
SET s3_access_key_id='minioadmin';
SET s3_secret_access_key='minioadmin';
SET s3_url_style = 'path';
SET s3_use_ssl=false;
select * from 's3://ontime/*.parquet' limit 3;
1.25s， 2 亿多数据
-
minio 官方的测试服务器
我创建了一个 bucket：ontime，并上传了网上的一个数据集， sales_5m_0.parquet (本来想传 ontime.parquet， 11G，还是别虐自己和服务器了）
install 'httpfs';
load 'httpfs';
SET s3_endpoint='play.min.io:9000';
SET s3_access_key_id='Q3AM3UQ867SPQQA43P2F';
SET s3_secret_access_key='zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG';
SET s3_url_style = 'path';
SET s3_use_ssl=true;
SET s3_region = 'us-east-1';
select * from 's3://ontime/sales_5m_0.parquet' limit 3;
Superset 使用 DuckDB 访问 S3
-
coiled 在 S3 上的匿名数据集
在 Dask 如何高效读取 parquet 格式文件用到过。
install 'httpfs';
load 'httpfs';
select * from 's3://coiled-datasets/timeseries/20-years/parquet/*.parquet' limit 10
DuckDB 的必要设置
必须勾选 Allow DML
当然需要先勾选 Expose database in SQL Lab。
默认只允许 SELECT 命令
原文始发于微信公众号（alitrack）：Superset 访问 S3上的数据集
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/62713.html
