当数据量越来越大，优化时是分库分表还是使用newSQL

千百元

已于 2022-08-20 23:43:27 修改

阅读量250

点赞数

分类专栏： # java 工具文章标签：数据库 mysql

于 2022-08-20 23:39:54 首次发布

本文链接： https://blog.csdn.net/liuming690452074/article/details/126445974

版权

java 同时被 2 个专栏收录

281 篇文章 3 订阅

订阅专栏

工具

185 篇文章 0 订阅

订阅专栏

当我们的mysql数量越来越大，要进行数据优化时，一般是分库分表，或使用nosql(newsql)列式存储数据库

可以使用下面作为依据：

左边问题如果是，则 +1 ，右边问题回答如果是,则newSQL +1；最后看哪边分数高，来决定公司技术选型。

左优势在高并发查，右优势在高并发写

分库分表更加的平滑，因为一般是项目中正使用着mysql; 而右则就支持更在的数据量，应项目开始时使用，中途改就有点大动了。

Clickhouse的具体特点

Ø 1.真正的面向列的DBMS

Ø 2.数据高效压缩

Ø 3.磁盘存储的数据

Ø 4.多核并行处理

Ø 5.在多个服务器上分布式处理

Ø 6.SQL语法支持

Ø 7.向量化引擎

Ø 8.实时数据更新

Ø 9.索引

Ø 10.适合在线查询

Ø 11.支持近似预估计算

Ø 12.支持嵌套的数据结构

Ø 支持数组作为数据类型

Ø 13.支持限制查询复杂性以及配额

Ø 14.复制数据复制和对数据完整性的支持

ClickHouse的不完美：

Ø 1.不支持事物。

Ø 2.不支持Update/Delete操作。

Ø 3.支持有限操作系统。

Clickhouse 简介_stone_tomcat的博客-CSDN博客

立减 ¥

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

面试官系列，深入数据库分区分库分表

互联网架构师笔记

02-15

1451

一、为什么要分库分表 软件时代，传统应用都有这样一个特点：访问量、数据量都比较小，单库单表都完全可以支撑整个业务。随着互联网的发展和用户规模的迅速扩大，对系统的要求也越来越高。因此传统的MySQL单库单表架构的性能问题就暴露出来了。而有下面几个因素会影响数据库性能: 数据量 MySQL单库数据量在5000万以内性能比较好，超过阈值后性能会随着数据量的增大而变弱。MySQL单表的数据量是500w...

【Java程序员面试专栏 数据库】MySQL核心面试指引（三）：性能优化策略

MaoLin Tian's Blog

01-21

251

读写分离主要是为了将对数据库的读写操作分散到不同的数据库节点上。这样的话，就能够小幅提升写性能，大幅提升读性能一般情况下，我们都会选择一主多从，也就是一台主数据库负责写，其他的从数据库负责读。主库和从库之间会进行数据同步，以保证从库中数据的准确性。这样的架构实现起来比较简单，并且也符合系统的写少读多的特点分库分表是一种数据库架构优化策略，用于处理大型数据库系统中的数据和负载。随着数据量的增长和访问量的提升，单一数据库可能面临性能瓶颈、扩展限制和管理困难等问题。

参与评论您还未登录，请先登录后发表或查看评论

分库分表 vs NewSQL数据库

芋艿V

09-14

165

点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 8:55 更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2020 超神之路，很肝~...

分库分表真的适合你的系统吗？聊聊分库分表和NewSQL如何选择

weixin_57907028的博客

07-11

1219

曾几何时，“并发高就分库，数据大就分表”已经成了处理 MySQL 数据增长问题的圣经。面试官喜欢问，博主喜欢写，候选人也喜欢背，似乎已经形成了一个闭环。但你有没有思考过，分库分表真的适合你的系统吗？在业务刚刚发展起来的时候，流量全部达到了一个 MySQL 上，用户信息全落到了 user 表。后来，user 表的数据量越来越大了。于是，你做了一次垂直拆分，将原来的 user 表拆分成了新的 user 表和 user_details 表。这样一拆之后，用户的信息分散到两个表，user 表面的数据量一下就变小了，

分库分表和 NewSQL 到底怎么选？

石杉的架构笔记

07-14

647

文章来源：【公众号：CoderW】目录背景分表分库分库分表的成本NewSQLNewSQL 平滑接入方案NewSQL 真的有那么好吗？NewSQL 的应用分库分表和 NewSQL 到底怎么选？背景曾几何时，“并发高就分库，数据大就分表”已经成了处理 MySQL 数据增长问题的圣经。面试官喜欢问，博主喜欢写，候选人也喜欢背，似乎已经形成了一个闭环。但你有没有思考过，分库分表真...

Apache ShardingSphere数据分片弹性伸缩加解密中间件

最新发布

纸上得来终觉浅，绝知此事要躬行

09-05

1097

Apache ShardingSphere 是一款分布式 SQL 事务和查询引擎，可通过数据分片、弹性伸缩、加密等能力对任意数据库进行增强。ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。

MySQL海量数据存储与优化（上）

weixin_41274719的博客

01-19

1195

MySQL起源和分支 MySQL 是最流行的关系型数据库软件之一，由于其体积小、速度快、开源免费、简单易用、维护成本低等，在集群架构中易于扩展、高可用，因此深受开发者和企业的欢迎。 Oracle和MySQL是世界市场占比最高的两种数据库。 IOE：IBM的服务器，Oracle数据库，EMC存储设备。都是有钱的公司产品采购，例如银行、电信、石油、证券等大企业。 Oracle：垄断，有钱的大企业采用，互联网企业之外使用第一。 MySQL：互联网高速发展，互联网企业使用第一。 My

Go-TiDB一个分布式NewSQL数据库兼容MySQL协议

08-13

TiDB 一个分布式NewSQL数据库兼容MySQL协议

“分库分表”与“NewSQL”如何选择？

大数据星球-浪尖

07-27

351

“ 最近与同行交流，经常被问到分库分表与分布式数据库如何选择。图片来自 Pexels网上也有很多关于中间件+传统关系数据库（分库分表）与 NewSQL 分布式数据库的文章，但有些观点与判...

「企业上云」系列之开源数据库的现状

weixin_37098404的博客

06-30

699

数据库作为业务的核心，在整个基础软件栈中是非常重要的一环。近几年社区也是新的方案和思想层出不穷，接下来我将总结一下近几年一些主流的开源数据库方案和背后的设计思想以及适用场...

什么时候需要分表分库？

飙歌的博客

03-09

878

我们知道，当用户在订单列表中查询所有订单时，可以通过用户ID的Hash值来快速查询到订单信息，而运营人员在后台对订单表进行查询时，则是通过订单付款时间来进行查询的，这些数据都分布在不同的库以及表中，此时就存在一个跨节点分页查询的问题了。在单表的情况下，当业务正常时，我们使用单表即可，而当业务出现了性能瓶颈时，我们首先考虑用分区的方式来优化，如果分区优化之后仍然存在后遗症，此时我们再来考虑分表分库。然而，分表分库虽然存在着各种各样的问题，但在一些海量数据、高并发的业务中，分表分库仍是最常用的优化手段。

如何解决基于Mysql数据库亿级数据下的分库分表方案，Java架构必学

QQ2352108083的博客

05-07

267

前言移动互联网时代，海量的用户数据每天都在产生，基于用户使用数据等这样的分析，都需要依靠数据统计和分析，当数据量小时，数据库方面的优化显得不太重要，一旦数据量越来越大，系统响应会变慢，TPS直线下降，直至服务不可用。补充在mysql中，每个数据库最多可创建20亿个表，一个表允许定义1024列，每行的最大长度为8092字节（不包括copy文本和图像类型的长度）。当表中定义有varchar、n...

分库分表 PK NewSQL数据库

石杉的架构笔记

04-02

625

公众号后台回复“面试”，获取精品学习资料扫描下方海报了解专栏详情本文来源：https://www.jianshu.com/p/9131edd8fd2c《Java工程师面试突击（第3季）...

mysql分表详解

进阶之旅

05-27

473

到底为什么要分表？难道数据量大就要分表？ mysql数据量对索引的影响本人mysql版本为5.7 新增数据测试为了测试mysql索引查询是否和数据量有关，本人做了以下的测试准备：新建4个表article1，article2，article3，article4，article5 每个表分别插入20万，50万，100万，200万，1500万的数据，数据都是随机生成 ...

Clickhouse优化详解

空城的博客

05-24

1909

索引列必须执行，Clickhouse中的索引列即排序列，通过order by执行，一般在查询条件中经常被用来充当筛选条件的属性被纳入进来，可以是单一的维度，也可以是组合维度的索引，通常是高级列在前、查询频率较大的列在前的原则，筛选后的数据满足在百万以内最佳。批量写入数据时，必须控制每个批次的数据中涉及到的分区的数量，在写入之前最好对需要导入的数据进行排序，无序的数数据或者涉及到的分区太多，会导致Clickhouse无法及时对新导入的数据进行合并，从而影响查询性能。