何时以及为什么数据库加入昂贵？

作者: 大魔王
发布时间: 2024-03-25 06:20:42 (2月前)
转自：

6 条回复

0#
回复此人
圈圈红 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 我认为整个问题都是基于错误的前提。加入大型桌子是 不 一定很贵事实上，的 有效地进行连接是关系数据库存在的主要原因之一 </强> 一点都不加入大型 套 通常是昂贵的，但很少你想加入大表A的整个内容与大表B的全部内容。相反，你写的查询，如此 只有重要的行 使用每个表，并且连接保留的实际集保持较小。 此外，您还具有Peter Wone提到的效率，这样只有每条记录的重要部分才能在内存中，直到最终结果集具体化为止。此外，在具有许多联接的大型查询中，您通常希望从较小的表集开始，然后逐步使用大表集，以便保留在内存中的集尽可能地尽可能小。 如果做得好，连接通常是 最好的办法 比较，组合或过滤大量数据。 </DIV>

编辑
1#
回复此人
不想吃东西 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 您加入表格的顺序非常重要。如果您有两组数据，请尝试以某种方式构建查询，以便首先使用最小的数据来减少查询必须处理的数据量。 对于某些数据库而言无关紧要，例如MS SQL在大多数情况下确实知道正确的连接顺序。对于某些人（如IBM Informix），订单会产生重大影响。 </DIV>

编辑
2#
回复此人
نسر الصحراء | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 瓶颈非常多 总是 磁盘I / O，甚至更具体地说 - 随机磁盘I / O（相比之下，顺序读取相当快，可以通过预读策略进行缓存）。 加盟 能够 增加随机搜索 - 如果你正在四处阅读一张大桌子的小部分。但是，查询优化器会查找它并将其转换为顺序表扫描（丢弃不需要的行），如果它认为更好。 单个非规范化表具有类似的问题 - 行很大，因此不太适合单个数据页。如果您需要远离另一行的行（并且大行大小使它们更远），那么您将拥有更多随机I / O.同样，可以强制进行表扫描以避免这种情况。但是，这一次，由于行的大小，您的表扫描必须读取更多数据。再加上你的事实 复制数据 从单个位置到多个位置，RDBMS具有更多的读取（和缓存）。 使用2个表，您还可以获得2个聚簇索引 - 并且通常可以索引更多（因为插入/更新开销较少），这可以大大提高性能（主要是，因为索引（相对）小，快速读取磁盘（或缓存便宜），并减少需要从磁盘读取的表行数量。 关于连接的唯一开销来自于找出匹配的行。 Sql Server使用3种不同类型的连接（主要基于数据集大小）来查找匹配的行。如果优化器选择了错误的连接类型（由于统计信息不准确，索引不足或只是优化器错误或边缘情况），它可能会极大地影响查询时间。 <UL> <LI> 对于（至少1个）小数据集，循环连接非常便宜。 </LI> <LI> 合并连接首先需要两种数据集。但是，如果您加入索引列，则索引已经排序，无需进一步的工作。否则，排序会产生一些CPU和内存开销。 </LI> <LI> 散列连接需要内存（用于存储散列表）和CPU（用于构建散列）。同样，这与磁盘I / O相比相当快。 然而 如果没有足够的RAM来存储哈希表，Sql Server将使用tempdb来存储部分哈希表和找到的行，然后一次只处理哈希表的一部分。与所有磁盘一样，这是相当慢的。 </LI> </UL> 在最佳情况下，这些不会导致磁盘I / O - 因此从性能角度来看可以忽略不计。 总而言之，在最坏的情况下 - 读取相同数量的实际上应该更快 合乎逻辑 来自x连接表的数据，因为它来自单个非规范化表，因为磁盘读取较小。阅读相同数量的 物理 数据，可能会有一些轻微的开销。 由于查询时间通常由I / O成本决定，并且数据的大小不会因非规范化而改变（减去一些非常微小的行开销），因此只需将表合并在一起就不会带来巨大的好处。倾向于提高性能的非规范化类型IME是缓存计算值而不是读取计算它们所需的10,000行。 </DIV>

编辑
3#
回复此人
故人 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 当您考虑连接的复杂性类时，决定是否进行非规范化或规范化是一个相当简单的过程。例如，当查询为O（k log n）时，我倾向于使用规范化来设计我的数据库，其中k是相对于所需输出幅度的。 非规范化和优化性能的简单方法是考虑规范化结构的更改如何影响非规范化结构。然而，它可能是有问题的，因为它可能需要事务逻辑来处理非规范化的结构化。 关于正常化和非规范化的争论不会结束，因为问题是巨大的。自然解决方案需要两种方法存在许多问题。 作为一般规则，我总是存储一个可以重构的规范化结构和非规范化缓存。最终，这些缓存可以帮助我解决未来的规范化问题。 </DIV>

编辑
4#
回复此人
不丶离 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 阐述别人的话， 加入只是笛卡儿的产品，有一些唇彩。 {1,2,3,4} X {1,2,3}会给我们12个组合（nXn = n ^ 2）。此计算集充当应用条件的参考。 DBMS应用条件（如左右两个都是2或3）给出匹配条件。实际上它更优化但问题是相同的。对集合大小的更改会以指数方式增加结果大小。消耗的内存量和CPU周期均以指数形式实现。 当我们非规范化时，我们完全避免这种计算，想到有一个彩色粘性，附在你书的每一页上。您可以使用引用推断出信息。我们付出的代价是我们正在妥协DBMS的本质（数据的最佳组织） </DIV>

编辑

登录后才能参与评论