diff --git a/website/docs/acknowledgements/index.md b/website/docs/acknowledgements/index.md index 1f4831baa..134121da5 100644 --- a/website/docs/acknowledgements/index.md +++ b/website/docs/acknowledgements/index.md @@ -51,644 +51,644 @@ gopkg.in/yaml.v3, https://github.com/go-yaml/yaml/blob/v3.0.1/LICENSE, MIT ## Rust Crates -- ansi_term 0.12.1, MIT +- ansi_term 0.12.1, MIT
https://github.com/ogham/rust-ansi-term -- anyhow 1.0.95, Apache-2.0 OR MIT +- anyhow 1.0.95, Apache-2.0 OR MIT
https://github.com/dtolnay/anyhow -- arrow 54.2.1, Apache-2.0 +- arrow 54.2.1, Apache-2.0
https://github.com/apache/arrow-rs -- arrow-buffer 54.3.1, Apache-2.0 +- arrow-buffer 54.3.1, Apache-2.0
https://github.com/apache/arrow-rs -- arrow-cast 54.2.1, Apache-2.0 +- arrow-cast 54.2.1, Apache-2.0
https://github.com/apache/arrow-rs -- arrow-csv 54.2.1, Apache-2.0 +- arrow-csv 54.2.1, Apache-2.0
https://github.com/apache/arrow-rs -- arrow-flight 54.2.1, Apache-2.0 +- arrow-flight 54.2.1, Apache-2.0
https://github.com/apache/arrow-rs -- arrow-ipc 54.2.1, Apache-2.0 +- arrow-ipc 54.2.1, Apache-2.0
https://github.com/apache/arrow-rs -- arrow-json 54.2.1, Apache-2.0 +- arrow-json 54.2.1, Apache-2.0
https://github.com/apache/arrow-rs -- arrow-odbc 16.0.0, MIT +- arrow-odbc 16.0.0, MIT
https://github.com/pacman82/arrow-odbc -- arrow-schema 54.3.1, Apache-2.0 +- arrow-schema 54.3.1, Apache-2.0
https://github.com/apache/arrow-rs -- async-graphql 7.0.15, Apache-2.0 OR MIT +- async-graphql 7.0.15, Apache-2.0 OR MIT
https://github.com/async-graphql/async-graphql -- async-graphql-axum 7.0.13, Apache-2.0 OR MIT +- async-graphql-axum 7.0.13, Apache-2.0 OR MIT
https://github.com/async-graphql/async-graphql -- async-openai 0.28.0, MIT +- async-openai 0.28.0, MIT
https://github.com/64bit/async-openai -- async-stream 0.3.6, MIT +- async-stream 0.3.6, MIT
https://github.com/tokio-rs/async-stream -- async-trait 0.1.86, Apache-2.0 OR MIT +- async-trait 0.1.86, Apache-2.0 OR MIT
https://github.com/dtolnay/async-trait -- aws-config 1.6.0, Apache-2.0 +- aws-config 1.6.1, Apache-2.0
https://github.com/smithy-lang/smithy-rs -- aws-sdk-dynamodb 1.67.0, Apache-2.0 +- aws-sdk-dynamodb 1.67.0, Apache-2.0
https://github.com/awslabs/aws-sdk-rust -- aws-sdk-secretsmanager 1.62.0, Apache-2.0 +- aws-sdk-secretsmanager 1.62.0, Apache-2.0
https://github.com/awslabs/aws-sdk-rust -- aws-sdk-sts 1.63.0, Apache-2.0 +- aws-sdk-sts 1.65.0, Apache-2.0
https://github.com/awslabs/aws-sdk-rust -- axum 0.7.9, MIT +- axum 0.7.9, MIT
https://github.com/tokio-rs/axum -- axum-extra 0.9.6, MIT +- axum-extra 0.9.6, MIT
https://github.com/tokio-rs/axum -- azure_core 0.21.0, MIT +- azure_core 0.21.0, MIT
https://github.com/azure/azure-sdk-for-rust -- azure_core 0.22.0, MIT +- azure_core 0.22.0, MIT
https://github.com/azure/azure-sdk-for-rust -- azure_storage 0.21.0, MIT +- azure_storage 0.21.0, MIT
https://github.com/azure/azure-sdk-for-rust -- azure_storage_blobs 0.21.0, MIT +- azure_storage_blobs 0.21.0, MIT
https://github.com/azure/azure-sdk-for-rust -- backoff 0.4.0, Apache-2.0 OR MIT +- backoff 0.4.0, Apache-2.0 OR MIT
https://github.com/ihrwein/backoff -- base64 0.13.1, Apache-2.0 OR MIT +- base64 0.13.1, Apache-2.0 OR MIT
https://github.com/marshallpierce/rust-base64 -- base64 0.21.7, Apache-2.0 OR MIT +- base64 0.21.7, Apache-2.0 OR MIT
https://github.com/marshallpierce/rust-base64 -- base64 0.22.1, Apache-2.0 OR MIT +- base64 0.22.1, Apache-2.0 OR MIT
https://github.com/marshallpierce/rust-base64 -- bb8 0.8.6, MIT +- bb8 0.8.6, MIT
https://github.com/djc/bb8 -- bigdecimal 0.4.7, Apache-2.0 OR MIT +- bigdecimal 0.4.7, Apache-2.0 OR MIT
https://github.com/akubera/bigdecimal-rs -- bollard 0.18.1, Apache-2.0 +- bollard 0.18.1, Apache-2.0
https://github.com/fussybeaver/bollard -- byte-unit 5.1.6, MIT +- byte-unit 5.1.6, MIT
https://github.com/magiclen/byte-unit -- bytes 1.10.0, MIT +- bytes 1.10.0, MIT
https://github.com/tokio-rs/bytes -- charset 0.1.5, Apache-2.0 OR MIT +- charset 0.1.5, Apache-2.0 OR MIT
https://github.com/hsivonen/charset -- chrono 0.4.39, Apache-2.0 OR MIT +- chrono 0.4.39, Apache-2.0 OR MIT
https://github.com/chronotope/chrono -- chrono-tz 0.8.6, Apache-2.0 OR MIT +- chrono-tz 0.8.6, Apache-2.0 OR MIT
https://github.com/chronotope/chrono-tz -- chrono-tz 0.9.0, Apache-2.0 OR MIT +- chrono-tz 0.9.0, Apache-2.0 OR MIT
https://github.com/chronotope/chrono-tz -- chrono-tz 0.10.1, Apache-2.0 OR MIT +- chrono-tz 0.10.1, Apache-2.0 OR MIT
https://github.com/chronotope/chrono-tz -- clap 4.5.36, Apache-2.0 OR MIT +- clap 4.5.36, Apache-2.0 OR MIT
https://github.com/clap-rs/clap -- clickhouse-rs 1.1.0-alpha.1, MIT +- clickhouse-rs 1.1.0-alpha.1, MIT
https://github.com/suharev7/clickhouse-rs -- csv 1.3.1, MIT OR Unlicense +- csv 1.3.1, MIT OR Unlicense
https://github.com/BurntSushi/rust-csv -- ctrlc 3.4.6, Apache-2.0 OR MIT +- ctrlc 3.4.6, Apache-2.0 OR MIT
https://github.com/Detegr/rust-ctrlc.git -- cudarc 0.12.2, Apache-2.0 OR MIT +- cudarc 0.12.2, Apache-2.0 OR MIT
https://github.com/coreylowman/cudarc -- cudarc 0.13.9, Apache-2.0 OR MIT +- cudarc 0.13.9, Apache-2.0 OR MIT
https://github.com/coreylowman/cudarc -- dashmap 6.1.0, MIT +- dashmap 6.1.0, MIT
https://github.com/xacrimon/dashmap -- datafusion 45.0.0, Apache-2.0 +- datafusion 45.0.0, Apache-2.0
https://github.com/apache/datafusion -- datafusion-federation 0.1.6, Apache-2.0 +- datafusion-federation 0.1.6, Apache-2.0
-- datafusion-federation-sql 0.1.6, Apache-2.0 +- datafusion-federation-sql 0.1.6, Apache-2.0
-- datafusion-functions-json 0.45.0, Apache-2.0 +- datafusion-functions-json 0.45.0, Apache-2.0
https://github.com/datafusion-contrib/datafusion-functions-json/ -- datafusion-table-providers 0.1.0, +- datafusion-table-providers 0.1.0,
https://github.com/datafusion-contrib/datafusion-table-providers -- delta_kernel 0.9.0, Apache-2.0 +- delta_kernel 0.9.0, Apache-2.0
https://github.com/delta-io/delta-kernel-rs -- dirs 5.0.1, Apache-2.0 OR MIT +- dirs 5.0.1, Apache-2.0 OR MIT
https://github.com/soc/dirs-rs -- docx-rs 0.4.17, MIT +- docx-rs 0.4.17, MIT
https://github.com/bokuweb/docx-rs -- dotenvy 0.15.7, MIT +- dotenvy 0.15.7, MIT
https://github.com/allan2/dotenvy -- duckdb 1.1.3, MIT +- duckdb 1.1.3, MIT
https://github.com/duckdb/duckdb-rs -- dyn-clone 1.0.18, Apache-2.0 OR MIT +- dyn-clone 1.0.18, Apache-2.0 OR MIT
https://github.com/dtolnay/dyn-clone -- either 1.13.0, Apache-2.0 OR MIT +- either 1.15.0, Apache-2.0 OR MIT
https://github.com/rayon-rs/either -- env_logger 0.11.6, Apache-2.0 OR MIT +- env_logger 0.11.6, Apache-2.0 OR MIT
https://github.com/rust-cli/env_logger -- evalconverter 0.1.0, +- evalconverter 0.1.0,
-- fundu 2.0.1, MIT +- fundu 2.0.1, MIT
https://github.com/fundu-rs/fundu -- futures 0.3.31, Apache-2.0 OR MIT +- futures 0.3.31, Apache-2.0 OR MIT
https://github.com/rust-lang/futures-rs -- futures-util 0.3.31, Apache-2.0 OR MIT +- futures-util 0.3.31, Apache-2.0 OR MIT
https://github.com/rust-lang/futures-rs -- globset 0.4.16, MIT OR Unlicense +- globset 0.4.16, MIT OR Unlicense
https://github.com/BurntSushi/ripgrep/tree/master/crates/globset -- governor 0.8.0, MIT +- governor 0.10.0, MIT
https://github.com/boinkor-net/governor.git -- graph-rs-sdk 2.0.1, MIT +- graph-rs-sdk 2.0.1, MIT
https://github.com/sreeise/graph-rs-sdk -- graphql-parser 0.4.1, Apache-2.0 OR MIT +- graphql-parser 0.4.1, Apache-2.0 OR MIT
-- headers-accept 0.1.4, MIT +- headers-accept 0.1.4, MIT
https://github.com/maxcountryman/headers-accept -- hf-hub 0.3.2, Apache-2.0 +- hf-hub 0.3.2, Apache-2.0
https://github.com/huggingface/hf-hub -- hf-hub 0.4.2, Apache-2.0 +- hf-hub 0.4.2, Apache-2.0
https://github.com/huggingface/hf-hub -- hostname 0.3.1, MIT +- hostname 0.3.1, MIT
https://github.com/svartalf/hostname -- hostname 0.4.0, MIT +- hostname 0.4.1, MIT
https://github.com/svartalf/hostname -- http 0.2.12, Apache-2.0 OR MIT +- http 0.2.12, Apache-2.0 OR MIT
https://github.com/hyperium/http -- http 1.3.1, Apache-2.0 OR MIT +- http 1.3.1, Apache-2.0 OR MIT
https://github.com/hyperium/http -- http-body-util 0.1.2, MIT +- http-body-util 0.1.3, MIT
https://github.com/hyperium/http-body -- humantime 2.1.0, Apache-2.0 OR MIT +- humantime 2.1.0, Apache-2.0 OR MIT
https://github.com/tailhook/humantime -- hyper 0.14.32, MIT +- hyper 0.14.32, MIT
https://github.com/hyperium/hyper -- hyper 1.6.0, MIT +- hyper 1.6.0, MIT
https://github.com/hyperium/hyper -- hyper-util 0.1.10, MIT +- hyper-util 0.1.10, MIT
https://github.com/hyperium/hyper-util -- iceberg 0.4.0, Apache-2.0 +- iceberg 0.4.0, Apache-2.0
https://github.com/apache/iceberg-rust -- iceberg-catalog-rest 0.4.0, Apache-2.0 +- iceberg-catalog-rest 0.4.0, Apache-2.0
https://github.com/apache/iceberg-rust -- iceberg-datafusion 0.4.0, Apache-2.0 +- iceberg-datafusion 0.4.0, Apache-2.0
https://github.com/apache/iceberg-rust -- imap 3.0.0-alpha.14, Apache-2.0 OR MIT +- imap 3.0.0-alpha.14, Apache-2.0 OR MIT
https://github.com/jonhoo/rust-imap -- indexmap 1.9.3, Apache-2.0 OR MIT +- indexmap 1.9.3, Apache-2.0 OR MIT
https://github.com/bluss/indexmap -- indexmap 2.9.0, Apache-2.0 OR MIT +- indexmap 2.9.0, Apache-2.0 OR MIT
https://github.com/indexmap-rs/indexmap -- indicatif 0.17.11, MIT +- indicatif 0.17.11, MIT
https://github.com/console-rs/indicatif -- insta 1.42.1, Apache-2.0 +- insta 1.42.1, Apache-2.0
https://github.com/mitsuhiko/insta -- itertools 0.10.5, Apache-2.0 OR MIT +- itertools 0.10.5, Apache-2.0 OR MIT
https://github.com/rust-itertools/itertools -- itertools 0.11.0, Apache-2.0 OR MIT +- itertools 0.11.0, Apache-2.0 OR MIT
https://github.com/rust-itertools/itertools -- itertools 0.12.1, Apache-2.0 OR MIT +- itertools 0.12.1, Apache-2.0 OR MIT
https://github.com/rust-itertools/itertools -- itertools 0.13.0, Apache-2.0 OR MIT +- itertools 0.13.0, Apache-2.0 OR MIT
https://github.com/rust-itertools/itertools -- itertools 0.14.0, Apache-2.0 OR MIT +- itertools 0.14.0, Apache-2.0 OR MIT
https://github.com/rust-itertools/itertools -- jsonpath-rust 0.7.5, MIT +- jsonpath-rust 0.7.5, MIT
https://github.com/besok/jsonpath-rust -- jsonwebtoken 9.3.1, MIT +- jsonwebtoken 9.3.1, MIT
https://github.com/Keats/jsonwebtoken -- keyring 3.6.2, Apache-2.0 OR MIT +- keyring 3.6.2, Apache-2.0 OR MIT
https://github.com/hwchen/keyring-rs.git -- log 0.4.27, Apache-2.0 OR MIT +- log 0.4.27, Apache-2.0 OR MIT
https://github.com/rust-lang/log -- logos 0.15.0, Apache-2.0 OR MIT +- logos 0.15.0, Apache-2.0 OR MIT
https://github.com/maciejhirsz/logos -- mailparse 0.15.0, 0BSD +- mailparse 0.15.0, 0BSD
https://github.com/staktrace/mailparse -- mcp-client 1.0.7, MIT +- mcp-client 1.0.7, MIT
https://github.com/modelcontextprotocol/rust-sdk/ -- mcp-core 1.0.7, MIT +- mcp-core 1.0.7, MIT
https://github.com/modelcontextprotocol/rust-sdk/ -- mcp-server 1.0.7, MIT +- mcp-server 1.0.7, MIT
https://github.com/modelcontextprotocol/rust-sdk/ -- mediatype 0.19.18, MIT +- mediatype 0.19.18, MIT
https://github.com/picoHz/mediatype -- mimalloc 0.1.46, MIT +- mimalloc 0.1.46, MIT
https://github.com/purpleprotocol/mimalloc_rust -- mistralrs 0.5.0, MIT +- mistralrs 0.5.0, MIT
https://github.com/EricLBuehler/mistral.rs -- mistralrs-core 0.5.0, MIT +- mistralrs-core 0.5.0, MIT
https://github.com/EricLBuehler/mistral.rs -- moka 0.12.10, Apache-2.0 OR MIT +- moka 0.12.10, Apache-2.0 OR MIT
https://github.com/moka-rs/moka -- mysql_async 0.35.1, Apache-2.0 OR MIT +- mysql_async 0.35.1, Apache-2.0 OR MIT
https://github.com/blackbeam/mysql_async -- ndarray 0.15.6, Apache-2.0 OR MIT +- ndarray 0.15.6, Apache-2.0 OR MIT
https://github.com/rust-ndarray/ndarray -- ndarray 0.16.1, Apache-2.0 OR MIT +- ndarray 0.16.1, Apache-2.0 OR MIT
https://github.com/rust-ndarray/ndarray -- nix 0.29.0, MIT +- nix 0.29.0, MIT
https://github.com/nix-rust/nix -- notify 8.0.0, CC0-1.0 +- notify 8.0.0, CC0-1.0
https://github.com/notify-rs/notify.git -- object_store 0.11.2, Apache-2.0 OR MIT +- object_store 0.11.2, Apache-2.0 OR MIT
https://github.com/apache/arrow-rs/tree/main/object_store -- octocrab 0.43.0, Apache-2.0 OR MIT +- octocrab 0.43.0, Apache-2.0 OR MIT
https://github.com/XAMPPRocky/octocrab.git -- odbc-api 12.0.1, MIT +- odbc-api 12.0.1, MIT
https://github.com/pacman82/odbc-api -- once_cell 1.21.3, Apache-2.0 OR MIT +- once_cell 1.21.3, Apache-2.0 OR MIT
https://github.com/matklad/once_cell -- opentelemetry 0.27.1, Apache-2.0 +- opentelemetry 0.27.1, Apache-2.0
https://github.com/open-telemetry/opentelemetry-rust -- opentelemetry 0.29.1, Apache-2.0 +- opentelemetry 0.29.1, Apache-2.0
https://github.com/open-telemetry/opentelemetry-rust/tree/main/opentelemetry -- opentelemetry-http 0.27.0, Apache-2.0 +- opentelemetry-http 0.27.0, Apache-2.0
https://github.com/open-telemetry/opentelemetry-rust -- opentelemetry-prometheus 0.27.0, Apache-2.0 +- opentelemetry-prometheus 0.27.0, Apache-2.0
https://github.com/open-telemetry/opentelemetry-rust -- opentelemetry-proto 0.29.0, Apache-2.0 +- opentelemetry-proto 0.29.0, Apache-2.0
https://github.com/open-telemetry/opentelemetry-rust/tree/main/opentelemetry-proto -- opentelemetry-zipkin 0.27.0, Apache-2.0 +- opentelemetry-zipkin 0.27.0, Apache-2.0
https://github.com/open-telemetry/opentelemetry-rust/tree/main/opentelemetry-zipkin -- opentelemetry_sdk 0.27.1, Apache-2.0 +- opentelemetry_sdk 0.27.1, Apache-2.0
https://github.com/open-telemetry/opentelemetry-rust -- opentelemetry_sdk 0.29.0, Apache-2.0 +- opentelemetry_sdk 0.29.0, Apache-2.0
https://github.com/open-telemetry/opentelemetry-rust/tree/main/opentelemetry-sdk -- parquet 54.2.1, Apache-2.0 +- parquet 54.2.1, Apache-2.0
https://github.com/apache/arrow-rs -- paste 1.0.15, Apache-2.0 OR MIT +- paste 1.0.15, Apache-2.0 OR MIT
https://github.com/dtolnay/paste -- path-clean 1.0.1, Apache-2.0 OR MIT +- path-clean 1.0.1, Apache-2.0 OR MIT
https://github.com/danreeves/path-clean -- pdf-extract 0.8.0, MIT +- pdf-extract 0.8.0, MIT
https://github.com/jrmuizel/pdf-extract -- percent-encoding 2.3.1, Apache-2.0 OR MIT +- percent-encoding 2.3.1, Apache-2.0 OR MIT
https://github.com/servo/rust-url/ -- pin-project 1.1.10, Apache-2.0 OR MIT +- pin-project 1.1.10, Apache-2.0 OR MIT
https://github.com/taiki-e/pin-project -- pkcs8 0.10.2, Apache-2.0 OR MIT +- pkcs8 0.10.2, Apache-2.0 OR MIT
https://github.com/RustCrypto/formats/tree/master/pkcs8 -- postcard 1.1.1, Apache-2.0 OR MIT +- postcard 1.1.1, Apache-2.0 OR MIT
https://github.com/jamesmunns/postcard -- prometheus 0.13.4, Apache-2.0 +- prometheus 0.13.4, Apache-2.0
https://github.com/tikv/rust-prometheus -- prometheus-parse 0.2.5, Apache-2.0 +- prometheus-parse 0.2.5, Apache-2.0
https://github.com/ccakes/prometheus-parse-rs -- prost 0.11.9, Apache-2.0 +- prost 0.11.9, Apache-2.0
https://github.com/tokio-rs/prost -- prost 0.12.6, Apache-2.0 +- prost 0.12.6, Apache-2.0
https://github.com/tokio-rs/prost -- prost 0.13.4, Apache-2.0 +- prost 0.13.4, Apache-2.0
https://github.com/tokio-rs/prost -- pulldown-cmark 0.12.2, MIT +- pulldown-cmark 0.12.2, MIT
https://github.com/raphlinus/pulldown-cmark -- pulldown-cmark 0.13.0, MIT +- pulldown-cmark 0.13.0, MIT
https://github.com/raphlinus/pulldown-cmark -- rand 0.7.3, Apache-2.0 OR MIT +- rand 0.7.3, Apache-2.0 OR MIT
https://github.com/rust-random/rand -- rand 0.8.5, Apache-2.0 OR MIT +- rand 0.8.5, Apache-2.0 OR MIT
https://github.com/rust-random/rand -- rand 0.9.0, Apache-2.0 OR MIT +- rand 0.9.1, Apache-2.0 OR MIT
https://github.com/rust-random/rand -- rdkafka 0.37.0, MIT +- rdkafka 0.37.0, MIT
https://github.com/fede1024/rust-rdkafka -- regex 1.11.1, Apache-2.0 OR MIT +- regex 1.11.1, Apache-2.0 OR MIT
https://github.com/rust-lang/regex -- reqwest 0.11.27, Apache-2.0 OR MIT +- reqwest 0.11.27, Apache-2.0 OR MIT
https://github.com/seanmonstar/reqwest -- reqwest 0.12.12, Apache-2.0 OR MIT +- reqwest 0.12.12, Apache-2.0 OR MIT
https://github.com/seanmonstar/reqwest -- reqwest-eventsource 0.6.0, Apache-2.0 OR MIT +- reqwest-eventsource 0.6.0, Apache-2.0 OR MIT
https://github.com/jpopesculian/reqwest-eventsource -- rstest 0.25.0, Apache-2.0 OR MIT +- rstest 0.25.0, Apache-2.0 OR MIT
https://github.com/la10736/rstest -- rusqlite 0.31.0, MIT +- rusqlite 0.31.0, MIT
https://github.com/rusqlite/rusqlite -- rustls 0.21.12, Apache-2.0 OR ISC OR MIT +- rustls 0.21.12, Apache-2.0 OR ISC OR MIT
https://github.com/rustls/rustls -- rustls 0.23.22, Apache-2.0 OR ISC OR MIT +- rustls 0.23.26, Apache-2.0 OR ISC OR MIT
https://github.com/rustls/rustls -- rustls-native-certs 0.6.3, Apache-2.0 OR ISC OR MIT +- rustls-native-certs 0.6.3, Apache-2.0 OR ISC OR MIT
https://github.com/ctz/rustls-native-certs -- rustls-native-certs 0.8.1, Apache-2.0 OR ISC OR MIT +- rustls-native-certs 0.8.1, Apache-2.0 OR ISC OR MIT
https://github.com/rustls/rustls-native-certs -- rustls-pemfile 1.0.4, Apache-2.0 OR ISC OR MIT +- rustls-pemfile 1.0.4, Apache-2.0 OR ISC OR MIT
https://github.com/rustls/pemfile -- rustls-pemfile 2.2.0, Apache-2.0 OR ISC OR MIT +- rustls-pemfile 2.2.0, Apache-2.0 OR ISC OR MIT
https://github.com/rustls/pemfile -- rustyline 15.0.0, MIT +- rustyline 15.0.0, MIT
https://github.com/kkawakam/rustyline -- schemars 0.8.22, MIT +- schemars 0.8.22, MIT
https://github.com/GREsau/schemars -- scopeguard 1.2.0, Apache-2.0 OR MIT +- scopeguard 1.2.0, Apache-2.0 OR MIT
https://github.com/bluss/scopeguard -- secrecy 0.10.3, Apache-2.0 OR MIT +- secrecy 0.10.3, Apache-2.0 OR MIT
https://github.com/iqlusioninc/crates/tree/main/secrecy -- serde 1.0.219, Apache-2.0 OR MIT +- serde 1.0.219, Apache-2.0 OR MIT
https://github.com/serde-rs/serde -- serde-value 0.7.0, MIT +- serde-value 0.7.0, MIT
https://github.com/arcnmx/serde-value -- serde_json 1.0.138, Apache-2.0 OR MIT +- serde_json 1.0.138, Apache-2.0 OR MIT
https://github.com/serde-rs/json -- serde_yaml 0.9.34+deprecated, Apache-2.0 OR MIT +- serde_yaml 0.9.34+deprecated, Apache-2.0 OR MIT
https://github.com/dtolnay/serde-yaml -- sha2 0.10.8, Apache-2.0 OR MIT +- sha2 0.10.8, Apache-2.0 OR MIT
https://github.com/RustCrypto/hashes -- snafu 0.8.5, Apache-2.0 OR MIT +- snafu 0.8.5, Apache-2.0 OR MIT
https://github.com/shepmaster/snafu -- snmalloc-rs 0.3.8, MIT +- snmalloc-rs 0.3.8, MIT
https://github.com/SchrodingerZhu/snmalloc-rs -- snowflake-api 0.9.0, Apache-2.0 +- snowflake-api 0.9.0, Apache-2.0
https://github.com/mycelial/snowflake-rs -- spark-connect-rs 0.0.1-beta.4, Apache-2.0 +- spark-connect-rs 0.0.1-beta.4, Apache-2.0
https://github.com/sjrusso8/spark-connect-rs -- ssh2 0.9.5, Apache-2.0 OR MIT +- ssh2 0.9.5, Apache-2.0 OR MIT
https://github.com/alexcrichton/ssh2-rs -- strsim 0.10.0, MIT +- strsim 0.10.0, MIT
https://github.com/dguo/strsim-rs -- strsim 0.11.1, MIT +- strsim 0.11.1, MIT
https://github.com/rapidfuzz/strsim-rs -- suppaftp 5.4.0, Apache-2.0 +- suppaftp 5.4.0, Apache-2.0
https://github.com/veeso/suppaftp -- sysinfo 0.30.13, MIT +- sysinfo 0.30.13, MIT
https://github.com/GuillaumeGomez/sysinfo -- sysinfo 0.33.1, MIT +- sysinfo 0.33.1, MIT
https://github.com/GuillaumeGomez/sysinfo -- tempfile 3.16.0, Apache-2.0 OR MIT +- tempfile 3.19.1, Apache-2.0 OR MIT
https://github.com/Stebalien/tempfile -- tera 1.20.0, MIT +- tera 1.20.0, MIT
https://github.com/Keats/tera -- text-embeddings-backend 1.5.0, +- text-embeddings-backend 1.5.0,
-- text-embeddings-backend-candle 1.5.0, +- text-embeddings-backend-candle 1.5.0,
-- text-embeddings-backend-core 1.5.0, +- text-embeddings-backend-core 1.5.0,
-- text-embeddings-core 1.5.0, +- text-embeddings-core 1.5.0,
-- text-splitter 0.18.1, MIT +- text-splitter 0.18.1, MIT
https://github.com/benbrandt/text-splitter -- tiberius 0.12.3, Apache-2.0 OR MIT +- tiberius 0.12.3, Apache-2.0 OR MIT
https://github.com/prisma/tiberius -- tiktoken-rs 0.6.0, MIT +- tiktoken-rs 0.6.0, MIT
https://github.com/zurawiki/tiktoken-rs -- tikv-jemallocator 0.6.0, Apache-2.0 OR MIT +- tikv-jemallocator 0.6.0, Apache-2.0 OR MIT
https://github.com/tikv/jemallocator -- tokenizers 0.21.0, Apache-2.0 +- tokenizers 0.21.0, Apache-2.0
https://github.com/huggingface/tokenizers -- tokio 1.43.0, MIT +- tokio 1.43.0, MIT
https://github.com/tokio-rs/tokio -- tokio-postgres 0.7.13, Apache-2.0 OR MIT +- tokio-postgres 0.7.13, Apache-2.0 OR MIT
https://github.com/sfackler/rust-postgres -- tokio-rusqlite 0.5.1, MIT +- tokio-rusqlite 0.5.1, MIT
https://github.com/programatik29/tokio-rusqlite -- tokio-rustls 0.24.1, Apache-2.0 OR MIT +- tokio-rustls 0.24.1, Apache-2.0 OR MIT
https://github.com/rustls/tokio-rustls -- tokio-rustls 0.26.1, Apache-2.0 OR MIT +- tokio-rustls 0.26.1, Apache-2.0 OR MIT
https://github.com/rustls/tokio-rustls -- tokio-stream 0.1.17, MIT +- tokio-stream 0.1.17, MIT
https://github.com/tokio-rs/tokio -- tokio-util 0.7.13, MIT +- tokio-util 0.7.13, MIT
https://github.com/tokio-rs/tokio -- tonic 0.12.3, MIT +- tonic 0.12.3, MIT
https://github.com/hyperium/tonic -- tonic-health 0.12.3, MIT +- tonic-health 0.12.3, MIT
https://github.com/hyperium/tonic -- tower 0.4.13, MIT +- tower 0.4.13, MIT
https://github.com/tower-rs/tower -- tower 0.5.2, MIT +- tower 0.5.2, MIT
https://github.com/tower-rs/tower -- tower-http 0.6.2, MIT +- tower-http 0.6.2, MIT
https://github.com/tower-rs/tower-http -- tracing 0.1.41, MIT +- tracing 0.1.41, MIT
https://github.com/tokio-rs/tracing -- tracing-futures 0.2.5, MIT +- tracing-futures 0.2.5, MIT
https://github.com/tokio-rs/tracing -- tracing-opentelemetry 0.28.0, MIT +- tracing-opentelemetry 0.28.0, MIT
https://github.com/tokio-rs/tracing-opentelemetry -- tracing-subscriber 0.3.19, MIT +- tracing-subscriber 0.3.19, MIT
https://github.com/tokio-rs/tracing -- tract-core 0.21.10, Apache-2.0 OR MIT +- tract-core 0.21.10, Apache-2.0 OR MIT
https://github.com/snipsco/tract -- tract-onnx 0.21.10, Apache-2.0 OR MIT +- tract-onnx 0.21.10, Apache-2.0 OR MIT
https://github.com/snipsco/tract -- trust-dns-resolver 0.23.2, Apache-2.0 OR MIT +- trust-dns-resolver 0.23.2, Apache-2.0 OR MIT
https://github.com/bluejekyll/trust-dns -- url 2.5.4, Apache-2.0 OR MIT +- url 2.5.4, Apache-2.0 OR MIT
https://github.com/servo/rust-url -- utoipa 5.3.1, Apache-2.0 OR MIT +- utoipa 5.3.1, Apache-2.0 OR MIT
https://github.com/juhaku/utoipa -- utoipa-swagger-ui 8.1.0, Apache-2.0 OR MIT +- utoipa-swagger-ui 8.1.0, Apache-2.0 OR MIT
https://github.com/juhaku/utoipa -- uuid 0.8.2, Apache-2.0 OR MIT +- uuid 0.8.2, Apache-2.0 OR MIT
https://github.com/uuid-rs/uuid -- uuid 1.13.1, Apache-2.0 OR MIT +- uuid 1.13.1, Apache-2.0 OR MIT
https://github.com/uuid-rs/uuid -- winver 1.0.0, MIT +- winver 1.0.0, MIT
https://github.com/rhysd/winver -- x509-certificate 0.23.1, MPL-2.0 +- x509-certificate 0.23.1, MPL-2.0
https://github.com/indygreg/cryptography-rs.git -- zip 0.6.6, MIT +- zip 0.6.6, MIT
https://github.com/zip-rs/zip.git -- zip 1.1.4, MIT +- zip 1.1.4, MIT
https://github.com/zip-rs/zip2.git -- zip 2.3.0, MIT +- zip 2.3.0, MIT
https://github.com/zip-rs/zip2.git diff --git a/website/docs/components/catalogs/databricks.md b/website/docs/components/catalogs/databricks.md index ff4363033..616d8d901 100644 --- a/website/docs/components/catalogs/databricks.md +++ b/website/docs/components/catalogs/databricks.md @@ -57,6 +57,43 @@ The `params` field is used to configure the connection to the Databricks Unity C - `databricks_token`: The Databricks API token to authenticate with the Unity Catalog API. Use the [secret replacement syntax](../secret-stores/index.md) to reference a secret, e.g. `${secrets:my_databricks_token}`. - `databricks_use_ssl`: If true, use a TLS connection to connect to the Databricks endpoint. Default is `true`. +## Authentication + +### Personal access token + +To Learn more about how to set up personal access tokens, see [Databricks PAT docs](https://docs.databricks.com/aws/en/dev-tools/auth/pat). + +```yaml +catalogs: + - from: databricks:my_uc_catalog + name: uc_catalog + include: + - '*.my_table_name' + params: + databricks_endpoint: dbc-a12cd3e4-56f7.cloud.databricks.com + databricks_token: ${secrets:DATABRICKS_TOKEN} # PAT +``` + +### Databricks service principal + +Spice supports the M2M OAuth flow with service principal credentials by utilizing the `databricks_client_id` and `databricks_client_secret` parameters. The runtime will automatically refresh the token. + +Ensure that you grant your service principal the "Data Reader" privilege preset for the catalog and "Can Attach" cluster permissions when using Spark Connect mode. + +To learn more about how to set up the service principal, see [Databricks M2M OAuth docs](https://docs.databricks.com/aws/en/dev-tools/auth/oauth-m2m). + +```yaml +catalogs: + - from: databricks:my_uc_catalog + name: uc_catalog + include: + - '*.my_table_name' + params: + databricks_endpoint: dbc-a12cd3e4-56f7.cloud.databricks.com + databricks_client_id: ${secrets:DATABRICKS_CLIENT_ID} # service principal client id + databricks_client_secret: ${secrets:DATABRICKS_CLIENT_SECRET} # service principal client secret +``` + ## `dataset_params` The `dataset_params` field is used to configure the dataset-specific parameters for the catalog. The following parameters are supported: diff --git a/website/docs/components/data-connectors/databricks.md b/website/docs/components/data-connectors/databricks.md index 8bbfbce34..9d3656f53 100644 --- a/website/docs/components/data-connectors/databricks.md +++ b/website/docs/components/data-connectors/databricks.md @@ -58,13 +58,51 @@ SELECT COUNT(*) FROM cool_dataset; Use the [secret replacement syntax](../secret-stores/index.md) to reference a secret, e.g. `${secrets:my_token}`. -| Parameter Name | Description | -| ----------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -| `mode` | The execution mode for querying against Databricks. The default is `spark_connect`. Possible values:
| -| `databricks_endpoint` | The endpoint of the Databricks instance. Required for both modes. | -| `databricks_cluster_id` | The ID of the compute cluster in Databricks to use for the query. Only valid when `mode` is `spark_connect`. | -| `databricks_use_ssl` | If true, use a TLS connection to connect to the Databricks endpoint. Default is `true`. | -| `client_timeout` | Optional. Applicable only in `delta_lake` mode. Specifies timeout for object store operations. Default value is `30s` E.g. `client_timeout: 60s` | +| Parameter Name | Description | +| -------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| `mode` | The execution mode for querying against Databricks. The default is `spark_connect`. Possible values:
| +| `databricks_endpoint` | The endpoint of the Databricks instance. Required for both modes. | +| `databricks_cluster_id` | The ID of the compute cluster in Databricks to use for the query. Only valid when `mode` is `spark_connect`. | +| `databricks_use_ssl` | If true, use a TLS connection to connect to the Databricks endpoint. Default is `true`. | +| `client_timeout` | Optional. Applicable only in `delta_lake` mode. Specifies timeout for object store operations. Default value is `30s` E.g. `client_timeout: 60s` | +| `databricks_token` | The Databricks API token to authenticate with the Unity Catalog API. Can't be used with `databricks_client_id` and `databricks_client_secret`. | +| `databricks_client_id` | The Databricks Service Principal Client ID. Can't be used with `databricks_token`. | +| `databricks_client_secret` | The Databricks Service Principal Client Secret. Can't be used with `databricks_token`. | + +## Authentication + +### Personal access token + +To Learn more about how to set up personal access tokens, see [Databricks PAT docs](https://docs.databricks.com/aws/en/dev-tools/auth/pat). + +```yaml +datasets: + - from: databricks:spiceai.datasets.my_awesome_table + name: my_awesome_table + params: + databricks_endpoint: dbc-a1b2345c-d6e7.cloud.databricks.com + databricks_cluster_id: 1234-567890-abcde123 + databricks_token: ${secrets:DATABRICKS_TOKEN} # PAT +``` + +### Databricks service principal + +Spice supports the M2M OAuth flow with service principal credentials by utilizing the `databricks_client_id` and `databricks_client_secret` parameters. The runtime will automatically refresh the token. + +Ensure that you grant your service principal the "Data Reader" privilege preset for the catalog and "Can Attach" cluster permissions when using Spark Connect mode. + +To Learn more about how to set up the service principal, see [Databricks M2M OAuth docs](https://docs.databricks.com/aws/en/dev-tools/auth/oauth-m2m). + +```yaml +datasets: + - from: databricks:spiceai.datasets.my_awesome_table + name: my_awesome_table + params: + databricks_endpoint: dbc-a1b2345c-d6e7.cloud.databricks.com + databricks_cluster_id: 1234-567890-abcde123 + databricks_client_id: ${secrets:DATABRICKS_CLIENT_ID} # service principal client id + databricks_client_secret: ${secrets:DATABRICKS_CLIENT_SECRET} # service principal client secret +``` ## Delta Lake object store parameters