Snowflake 简明教程

Snowflake 提供称为云服务的数据平台。

用于分析解决方案的传统数据库在架构上复杂、昂贵且受制约，而 Snowflake 在数据工程、数据湖概念、数据仓库、数据科学、数据应用和数据交换或共享概念上非常丰富。它很容易访问和使用，不受数据大小和存储容量的限制。用户只需要管理其自身数据即可；所有与数据平台相关的管理均由 Snowflake 自身完成。

除此之外，Snowflake 还具有以下功能：

Snowflake 支持 Amazon S3、Azure 和 Google Cloud，以使用文件系统将数据加载到 Snowflake 中。用户应将文件（.csv、.txt、.xlsx 等）上传到云中，并在创建 Snowflake 中的连接后获取数据。数据量不受限制，但文件大小最高为 5GB（根据云服务而定）。一旦数据加载到 Snowflake 中，它将利用其内部优化和压缩技术将数据以列格式存储到中央存储库中。中央存储库基于数据存储的云。

Snowflake 负责数据管理的所有方面，例如如何使用数据自动集群存储数据、数据的组织和结构、通过将数据保留在多个微分区中的压缩技术、元数据、统计信息等。Snowflake 将数据存储为数据对象，用户无法直接查看或访问它们。用户可以通过 SQL 查询（在 Snowflake 的 UI 中或使用 Java、Python、PHP、Ruby 等编程语言）访问这些数据。

查询执行是处理层或计算层的一部分。为了处理查询，Snowflake 要求计算环境，在 Snowflake 的世界中被称为“虚拟仓库”。虚拟仓库是一个计算集群。虚拟仓库由 CPU、内存和临时存储系统组成，以便它可以执行 SQL 执行和 DML（数据操作语言）操作。

但是，服务器的数量取决于虚拟仓库的大小。例如，小型仓库每个集群有 1 台服务器，而小型仓库每个集群有 2 台服务器，并且随着大型、超大型等规模的增加而加倍。

在执行查询时，Snowflake 分析所请求的查询，并使用最新的微分区，并在不同的阶段评估缓存以提高性能并减少获取数据的时间。减少时间意味着减少用户使用的积分。

云服务是 Snowflake 的“大脑”。它协调和管理 Snowflake 中的活动。它将 Snowflake 的所有组件整合在一起，以处理用户的请求，从日志验证到交付查询的响应。

以下服务在此层进行管理：−

And many more…​

它是 Snowflake 的基本版本。在此版本中它提供以下功能：

它是 Standard+ 版本，即 Standard 版本的所有功能加上以下附加功能：

它是 Enterprise+ 版本，即 Enterprise 和 Standard 版本的所有功能加上以下附加功能：

它是 Business Critical+ 版本，是最高级版本。它支持 Snowflake 的所有产品。

这是支付 Snowflake 资源使用费用的模式，通常包括虚拟仓库、云服务和无服务器功能。Snowflake 信用是计量单位。它根据利用的资源进行计算，如果客户不使用任何资源或资源处于休眠模式，则不收取任何费用。例如，当虚拟仓库正在运行并且云服务层正在执行一些用户定义的任务时，就会使用 Snowflake 信用。

下面是 Snowflake 对象的列表 −

模式之后的对象与模式相关联，模式与数据库相关联。其他实体（例如用户和角色）用于身份验证和访问管理。

以下是有关您应该了解的 Snowflake 对象的一些重要要点 −

Snowflake categorizes tables into different types based on its uses and nature. There are four types of tables −

Snowflake 中有三个主要分类的视图：

让我们从创建仓库开始 −

现在，我们来了解如何使用 Snowflake 的 SQL 界面处理仓库。

Snowflake 中的所有数据都保存 databases 。每个数据库包含一个或多个模式，这是数据库对象的逻辑分组，如表和视图。 Snowflake 没有限制数据库的数量，您可以在数据库中创建模式（在模式内），或创建对象（在模式内）。

此处，我们将了解如何使用 Snowflake 的 SQL 界面创建并查看数据库。

让我们看看如何使用 GUI 功能创建架构。

让我们了解如何使用 SQL 界面功能创建模式。

让我们看看如何使用 Snowflake 的用户界面来处理表和列。

一旦用户开始处理表格和列，各个数据库和架构就成为重要因素。如果没有提供数据库和架构的详细信息，则查询将无法成功执行。

有两种方法可以设置数据库和架构详细信息 - 一种使用 Snowflake 的 UI，另一种是在查询中的表名前提供数据库名称和架构名称，如下面的示例所示 −

在 UI 中，需要执行以下步骤 −

单击“选择架构”旁边的右上角处的向下箭头。它弹出对话框，用户可以在其中提供以下详细信息 −

以下屏幕截图说明了上述步骤 −

现在，当用户在查询中不提供数据库名称和架构名称时，它将针对如上所示的已设置数据库和架构运行。如果您需要切换到另一个数据库/架构，您可以随时进行更改。

使用以下查询为会话设置 warehouse −

使用以下查询设置会话中的 database −

使用以下查询设置会话中的 schema −

在本章节中，我们将讨论应该遵循的步骤，以使用 CSV、JSON、XML、Avro、ORC、Parquet 等文件将数据加载到表及其相应列中。

此方法仅限于加载少于 50 MB 的少量数据。

以任何格式创建示例文件。在创建文件时，请确保文件中的列数与表中的列数相匹配，否则在加载数据时操作将失败。

在 TEST_DB.TEST_SCHEMA.TEST_TABLE 中，共有三列：ID、NAME 和 ADDRESS。

以下示例数据已在“data.csv”中创建。

现在，单击位于顶部功能区的图标。单击要上传数据的表名。它显示列数和定义。

以下屏幕截图显示“加载数据”功能。

针对列重新验证示例文件。单击列名称顶部的按钮。它会弹出“加载数据”对话框。在第一个屏幕上，选择仓库名称并单击按钮。

在下一个屏幕上，单击，从本地计算机中选择一个文件。上传文件后，您可以看到该文件名，如以下屏幕截图所示。单击按钮。

现在通过单击，创建文件格式，如以下屏幕截图所示。

它会弹出对话框。输入以下详细信息。

其他内容可以保持不变。在输入详细信息后单击 Finish 按钮。

以下屏幕截图显示了上述详细信息 -

从下拉列表中选择文件格式，然后单击 Load ，如下面的屏幕截图所示 -

加载结果后，您将获得摘要，如下所示。单击 OK 按钮。

要查看数据，请运行“SELECT * from TEST_TABLE”查询。在左面板中，用户还可以查看数据库、架构和表详细信息。

要从本地文件加载数据，可以执行以下步骤 -

使用 SnowSQL（Snowflake 提供的插件）将文件上载到 Snowflake 的暂存区域。要执行此操作，请转到 help ，然后单击“下载”，如下所示 -

单击 CLI 客户端 (snowsql)，然后单击 Snowflake Repository ，如下面的屏幕截图所示 -

用户可以转到 bootstrap → 1.2 → windows_x86_64 → 单击下载最新版本。

以下屏幕截图显示了上述步骤 -

现在，安装已下载的插件。安装完成后，在您的系统中打开 CMD。运行以下命令以检查连接：

它会要求提供密码。输入您的 snowflake 密码，然后按 ENTER。您将看到连接成功。现在使用命令行 -

现在使用以下命令将文件上传到 Snowflake 阶段：

别忘了在末尾加上“分号”符号，否则它将永远运行。

文件上载后，用户可以在工作表中运行以下命令 -

数据将加载到表中。

用户可以查看各个表以及数据大小中包含了多少行。如果用户有表的访问权限，他们只需要选择一个表就能查看这些详细信息。在左下方的面板中，用户可以看到 Table Name 及行数和数据存储大小。之后，它会显示表的列定义。

以下屏幕截图显示了如何查看存储详细信息−

在此部分中，用户可以查看他们在 Snowflake 中的活动，比如他们正在使用哪些查询、查询当前的状态、查询花费了多少时间等等。

要查看历史记录，请单击顶部功能区中显示的 History 选项卡。它将显示用户的历史记录。如果用户已访问或以帐户管理员身份登录，他们可以根据各个用户筛选历史记录。它显示以下信息−

以下屏幕截图显示了历史记录视图 −

在筛选器中，用户可以通过单击 "+" 符号放置一个或多个筛选器，并且可以通过使用 "–" 符号来移除筛选器。以下屏幕截图显示了可用筛选器的列表 −

要执行帐户级别的监控，用户必须以 ACCOUNTADMIN 角色登录。

出于监视的目的，以 Account Admin 的身份登录。单击顶部功能区中显示的 Account link 。它将默认显示帐户使用情况。用户可以看到创建的数据仓库的数量、已使用的信用额度、平均使用的存储（这意味着我们在运行查询期间扫描了多少数据与整体存储相比）以及传输了多少数据。

它还会显示每个数据仓库使用的信用额度，并显示一个饼状图。在右侧，用户可以看到表格形式的 Date 与 Credit Used 。用户甚至可以通过单击“下载数据”来下载数据。可以通过更改右上角的月份来查看当月的使用情况。

以下屏幕截图显示了 Usage 选项卡信息：

单击下一选项卡 Billing 。在此处，用户可以看到之前添加的任何付款方式。用户也可以通过单击“添加信用卡”链接并提供常规详细信息（如信用卡号、CVV、到期日期、姓名等）来添加一个新的付款方式。

以下屏幕截图显示了 Billing 部分：

单击下一选项卡 USERS 。它显示帐户中所有用户的名称。

以下屏幕截图显示用户选项卡功能：

现在单击下一选项卡 ROLES 。可以通过单击角色列表顶部的 Create 按钮在此处创建新角色。通过选择一个角色，它还可以通过单击 Edit 按钮和 Drop 按钮启用或删除角色。

以下屏幕截图显示了 Roles 选项卡的功能：

除此之外，还有策略、会话、资源监视器和阅读器帐户选项卡。帐户管理员可以创建/编辑/删除策略、创建/编辑/删除会话、创建/编辑/删除资源监视器，以及类似地对阅读器帐户进行操作。

元数据存储在云服务层中，因此缓存也在同一层中。这种元数据缓存始终对每个人启用。

它基本上包含以下详细信息：

This information is basically used by SQL optimizer to execute faster and quicker. There could be a few queries those can be answered completely by metadata itself. For such kind of queries no virtual warehouse is required but Cloud service charges may be applicable.

Such queries are like −

Let’s run a query to see how Metadata Caching works and user can validate.

Login into Snowflake and go to Worksheets. Suspend the warehouse by running following query −

Now, run following queries sequentially −

User will be able to see the result in less than 100ms as shown in the following screenshot. Click the Query Id. It will display the link of query Id. Then click the link as shown below −

By default, it opens the details page where SQL is mentioned. Click the Profile tab. It displays 100% Metadata-Based Result. It means that without any compute warehouse it ran the result and fetched details based on Metadata caching.

The following screenshot displays above steps −

Query Results are stored and managed by Cloud Service Layer. It is very useful if the same query run multiple times, but condition is underlying data or base tables are not changed between time duration when query has to run multiple times. This caching has unique feature that is available for other users within the same account.

For example, If user1 runs a query first time, the result gets stored in caching. When user2 also tries to run same query (by assuming that base tables and data are not changed), it fetches the result from Query Result caching.

Result cached are available for 24hours. But, counter of 24hours get reset each time when the same query re-run. For example, if a query ran at 10AM, its caching will be available until 10AM next day. If the same query re-run at 2PM on same day, now the caching will be available until 2PM next day.

There are some criteria to fulfil to use query result cache −

以下是一些使用查询结果缓存的情况 −

让我们运行一个查询，看看查询结果缓存是如何工作的，用户可以验证。

登录 Snowflake 并转到工作表。通过运行以下查询恢复仓库 −

Now, run following queries sequentially −

单击查询 ID。它将显示查询 ID 的链接。然后单击链接，如上一个示例（Metadata-Caching）中所示。检查查询概要文件，它将如下所示 −

它显示已扫描 80.5% 的数据，因此未涉及缓存。通过运行以下查询暂停仓库 −

再次运行与之前相同的查询 −

单击 Query ID。它将显示查询 ID 的链接。然后单击链接，如上一个示例（Metadata-Caching）中所示。检查查询概要文件，它将如下所示 −

它显示查询结果重复使用。这意味着它在没有仓库查询的情况下成功运行，整个结果集已从查询结果缓存中获取。

数据缓存发生在存储层。它缓存存储文件标头和查询列数据。它存储来自所有查询的数据，但并不完全像查询结果一样。它将这些数据存储到虚拟仓库的 SS 中。当运行类似查询时，Snowflake 尽可能使用数据缓存。用户无法禁用数据缓存。数据缓存适用于在同一虚拟仓库上运行的所有查询。这意味着与元数据和查询结果缓存不同，数据缓存无法在没有虚拟仓库的情况下运行。

当运行查询时，其标头和列数据存储在虚拟仓库的 SSD 上。虚拟仓库首先读取本地可用数据（虚拟仓库的 SSD），然后从远程云存储（Snowflake 的实际存储系统）读取剩余数据。当缓存存储空间填满时，数据会根据最近最少使用（LRU）原则进行丢弃。

让我们运行一个查询，看看查询结果缓存是如何工作的，用户可以验证。

登录 Snowflake 并转到 Worksheets 。通过运行以下查询恢复仓库 −

使用以下 SQL 禁用 Query_Result 缓存 −

运行以下查询 −

单击 Query ID。它将显示查询 ID 的链接。然后单击链接，如上一个示例（Metadata-Caching）中所示。检查查询概要文件，它将如下所示 −

根据查询概要文件，已扫描 88.6% 的数据。如果您注意到右侧，则本地磁盘 IO = 2%，而远程磁盘 IO = 80%。这意味着几乎没有使用或根本没有使用数据缓存。现在，运行以下查询。WHERE 子句略有不同 −

单击 Query ID。它将显示查询 ID 的链接。然后单击链接，如上一个示例（Metadata-Caching）中所示。检查查询概要文件，它将如下所示 −

根据查询概要文件，已扫描 58.9% 的数据，这比第一次低得多。如果你注意到右侧，则本地磁盘 IO 已增至 4%，而远程磁盘 IO = 0%。这意味着几乎没有使用或根本没有从远程使用数据。

在本部分中，我们将讨论将数据作为 csv 或 tsv 卸载到本地文件所需遵循的步骤。UI 的一个限制是用户无法直接将整个数据保存到本地目录。

要从 UI 保存数据，用户需要先运行查询，然后将结果保存为 ".csv" 或 ".tsv" 文件。但是，使用 SQL 和 SNOWSQL 数据可以直接保存到本地驱动器，而无需运行查询。在下一部分中，我们将讨论后续过程。

来讨论用户界面方法。

登录 Snowflake。根据需要保存到本地目录的数据运行查询。查询成功运行后，单击下载图标，如下面的屏幕截图所示：

它会填充一个对话框，如下面的屏幕截图所示，并要求将“ File Format ”选为 CSV 或 TSV。选择后，单击“ Export ”。它会下载一个结果文件。

以下屏幕截图显示了卸载数据功能：

要将数据卸载到本地文件，首先选择一个需要卸载其数据的数据列。接下来，运行以下查询：

请注意“@%”用于 Snowflake 创建的默认阶段。如果您需要使用您自己的内部阶段，只需传递为“@<stage_name>”

成功执行查询表示数据已复制到内部阶段。Snowflake 默认情况下为所有表创建一个表阶段，如“@%<table_name>”。

现在运行以下查询以确认文件是否存储在内部阶段。

它会显示存储在内部阶段的所有文件，即使是在加载数据时不成功的文件。

现在，要将文件引入本地目录，我们需要使用“ snowsql ”。确保将其下载到系统中。如果未下载，请按照以下屏幕截图中的步骤进行下载。

单击“ CLI Client (snowsql) ”并单击 Snowflake 存储库，如下面的屏幕截图所示：

用户可以切换到 bootstrap → 1.2 → windows_x86_64 → 点击下载最新版本。以下屏幕截图显示了上述步骤：

现在，安装已下载的插件。安装完成后，在您的系统中打开 CMD。运行以下命令以检查连接：

它会要求密码。输入您的 Snowflake 密码。输入密码并按 ENTER。用户将看到成功的连接。现在，命令行显示为：

现在使用以下命令将文件上传到 Snowflake 阶段：

注释 @% 用于 Snowflake 创建的默认阶段，如果用户想要使用其自己的内部阶段，只需将其传递为 @<阶段名称>。日期将卸载到本地目录。

要创建外部加载阶段，请遵照下列说明操作：

登录 Snowflake。单击最上方的带 Databases 图标。在数据库视图中，单击数据库名称，如 TEST_DB。现在，单击 Stages 选项卡。接着，单击顶部所示的 Create 按钮，如下图所示：

它会弹出一个 Create Stage 对话框，在列表中选择 amazon|s3 并单击“下一步”按钮，如下图所示：

它将转到下一个屏幕，在该屏幕中，用户应输入以下详细信息：

在提供这些详细信息后，单击 Finish 按钮。以下屏幕截图描述了以上步骤：

用户可以在“视图”面板中看到新创建的外部加载阶段。

使用 SQL 创建外部加载阶段非常容易。只需运行以下查询，提供所有详细信息，如名称、AWS 密钥、密码、主密钥，它将创建该加载阶段。

文件格式定义上传到 S3 中的文件的结构。如果文件结构与表结构不匹配，则加载将失败。

要创建文件格式，请遵照以下说明操作：

登录 Snowflake。单击最上方的带 Databases 图标。在数据库视图中，单击数据库名称，如 TEST_DB。现在，单击 File Format 选项卡。接着，单击顶部所示的 Create 按钮。它将弹出一个 Create File Format 对话框。输入以下详细信息：

其他内容可以保持原样。输入详细信息后，单击 Finish 按钮。下面的截图显示了上述详细信息 −

用户将能够在查看面板中看到已创建的文件格式。

使用 SQL 创建文件格式非常容易。只需运行以下查询并提供如下所示的所有详细信息即可。

要创建外部暂存，请遵循以下说明：

登录到 Snowflake。单击顶部功能区中的 Databases 。在“数据库”视图中，单击数据库名称 TEST_DB。下一步，单击 Stages 选项卡，然后单击顶部中的 Create 按钮，如下图所示：

这会弹出 Create Stage 对话框，在列表中选择 amazon|s3，然后单击“Next”，如下图所示：

它将转到下一个屏幕，在该屏幕中，用户应输入以下详细信息：

提供详细信息后，单击 Finish 按钮。下图说明了上述步骤：

用户可以在“View” 面板中看到新创建的外部暂存。

使用 SQL 创建外部暂存非常简单。只需运行以下查询，提供所有详细信息，包括名称、AWS 密钥、密码、主密钥，即可创建暂存。

文件格式定义了上传到 S3 中的文件结构。如果文件结构与表结构不匹配，加载将失败。

要创建文件格式，请遵循以下说明：

登录到 Snowflake，然后单击顶部功能区中的 Databases 。在数据库视图中，单击数据库名称 TEST_DB。

下一步，单击 File Format 选项卡，然后单击顶部的“Create” 按钮。它弹出 Create File Format 对话框。输入以下详细信息：

其他部分可以保持原样。输入这些详细信息后，点击完成按钮。

以下屏幕截图显示了上述详细信息 -

用户将能够在查看面板中查看创建的文件格式。

使用 SQL 创建文件格式非常容易。只需通过提供所有必需详细信息运行以下查询，如下所示。