sql拆分字符串split mysql表数据量太大,达到了1亿多条数据,除了分库分表之外,还有没有其他的解决方式?

mysql表数据量太大,达到了1亿多条数据,除了分库分表之外,还有没有其他的解决方式?

在正常配置下,MySQL只能承载2000万数据(同时读写,表中有大文本字段,单服务器)。现在已经超过1亿,而且还在增加,建议按以下方式处理:

sql拆分字符串split mysql表数据量太大,达到了1亿多条数据,除了分库分表之外,还有没有其他的解决方式?

1子表。它可以按时间或一定的规则进行拆分,以便尽可能地查询子表中的数据库。这是最有效的方法。特别是写,放入一个新表,并定期同步。如果记录不断更新,最好将写入的数据放在redis中,并定期同步表3的大文本字段,将它们分隔成一个新的独立表。对于较大的文本字段,可以使用NoSQL数据库

4优化体系结构,或者优化SQL查询,避免联合表查询,尽量不要使用count(*)、in、recursion等性能消耗语句

5使用内存缓存,或者在前端读取时增加缓存数据库。重复读取时,直接从缓存中读取。

以上是一种低成本的管理方法,基本上几个服务器就可以做到,但是管理起来有点麻烦。

当然,如果总体数据量特别大,并且您不关心投资成本,那么PostgreSQL的基本思想是将记录集的行构造成字典。例如,它有一个函数,row到JSON用于构造JSON字典。假设表名是test,您可以:

或者剩下的是如何遍历JSON字典以获得具有最大值的键。例如,只需编写一个函数。它也可以用于应用层。您还可以使用JSON到记录集。当然,一般来说,比较中涉及的列数是确定的。例如,如果要比较(高度、宽度、长度),请使用“联接”将它们逐个联接到id,每个结果集都将成为由id、字段名和字段值两列组成的结果集,然后合并为一个较大的结果集。其余的是基本的select max操作。以上都是基于PostgreSQL的。我说得很简单,但没有给出完整的结果。我们来看看思路。有一些想法如果没有预备知识,也不容易只通过搜索引擎找到,不过,不建议你用百度。

标签:

最新文章

  1. 网络技术培训怎么样 新手如何学习网络推广技术?2025-03-26
  2. 小米怎样设置要密码才能打开微信 新买个小米手机,如何开通微信?2025-03-25
  3. css中一段文字怎么弄两个样式 html中border上下左右都居中怎么设置?2025-03-14
  4. 崔克山地车 崔克山地车推荐?2025-03-17
  5. php命名空间目录2025-03-13
  6. PPT制作技巧:打造漂亮的多组簇状条形图表2025-03-08
  7. qq更新资料卡怎么隐藏 怎么隐藏qq消息显示内容?2025-03-16
  8. 网页设计的目的与意义 网站设计的目的和意义?2025-03-30
  9. 华为手机如何开启振动模式 华为如何快速切换铃声和震动?2025-03-13
  10. 宠物狗训练(狗狗犯错,打它就嗤牙反抗,怎么办?)2025-03-25
  11. 新湃传媒旗下艺人 杨夏毕业于清华吗?2025-03-25
  12. 索尼z115 索尼Z115手机功能2025-03-15
  13. 肝火旺什么症状有哪些,肝火过旺有哪些表现?2025-03-23
  14. ae翻页效果在哪里 工程师证怎么考?2025-03-10
  15. 苹果电脑如何合并打印(两台苹果电脑如何共享一台打印机?)2025-03-25
  16. 优化QQ登录后状态为在线上的方法2025-03-08
  17. 天玑1000 处理器相当于骁龙多少 天玑1000相当于骁龙多少处理器?2025-03-11
  18. 优秀网站网页设计 想1000元钱找人进行网页PHP二次开发,被一些程序员嘲讽,想问问页面开发究竟多少钱可以做完?2025-03-27
  19. 淘宝店铺怎么上架不了东西 淘宝店铺上架商品失败怎么办2025-03-14
  20. 拼多多待到账金额和订单数对不上 拼多多待到账金额与订单数不符2025-03-14
  21. 窗帘水洗标一般规格多少 水洗唛是什么面料?2025-03-18
  22. hp笔记本电脑换电池多少钱(惠普笔记本换个电池多少钱?)2025-03-17
  23. 微博设置了备注名怎么取消 怎么修改企业邮箱发给别人邮件时候的显示的名字?2025-03-28
  24. 乒乓球发球侧旋怎么接(乒乓球侧旋怎么接?)2025-03-24
  25. 交换机ip地址怎么看 路由器dhcp给三层交换机怎样设置?2025-03-30
  26. 网页设计的子页怎么做 IE如何在新标签页打开网页,新窗口打开网页?2025-03-18
  27. seo文章 怎么样做好网站的 SEO 优化?2025-03-27
  28. ps怎么用套索去掉图片水印 照片上的水影怎么弄掉?2025-03-14
  29. 如何利用可牛影像制作动态图片并添加文字2025-03-14
  30. 怎么在微信上淘优惠券 如何通过微信公众号领取淘宝隐藏优惠券?2025-03-24
优质自媒体
优质自媒体 微信号:优质自媒体 扫描二维码关注公众号
优质自媒体

小编推荐

  1. 1 奥妙洗衣液哪一款好用 怎么推销洗衣液才能吸引客户?

    怎么推销洗衣液才能吸引客户?直播可以帮助您吸引大量客户

  2. 2 最畅销的电子产品 消费电子产品有哪些?

    消费电子产品有哪些?消费电子产品在不同发展水平的国家和同一国家的不同发展阶段具有不同的内涵。我国消费电子产品是指个人和家庭使用的与广播、电视有关的音视频产品,主要包括:电视机、VCD、SVCD、DVD、VCR、摄像机、收音机、录音机、组合音

  3. 3 企业邮箱大全 什么是企业邮箱?企业邮箱有什么作用?

    什么是企业邮箱?企业邮箱有什么作用?企业电子邮件是以自己的域名作为后缀的收费电子邮件。例如,企业的域名是abc网站则企业邮箱的电子邮件地址为abc@abc.com. 免费邮箱的企业形象往往更为重要。企业邮箱注册方法有哪些?这是最简单的方法。

  4. 4 优化 怎么样做好网站的 SEO 优化?

    怎么样做好网站的 SEO 优化?网站优化不是两句话就能说清楚的,所有的网站优化基本都是一样的。网站优化是一个长期的过程,短则几个月,长则几年。这里有一些常用的方法,仅供参考:关键词选择当你建立首页网站时,你应该先设置目标关键词,千万不要等到

  5. 5 站长工具seo综合查询 在SEO工作中,你觉得应该如何做好网站内容的优化?

    在SEO工作中,你觉得应该如何做好网站内容的优化?去百度搜索你的产品、服务和行业关键词,然后查看底部的相关搜索短语,记录下来。围绕这些短语,用它们作为标题,为每个单词组织或写一篇文章,在网站上发布,重复,并添加其他非网站优化。久而久之,潜在

  6. 6 下载美食 哪些网站可以下载开源的代码?

    哪些网站可以下载开源的代码?非常感谢能够开放源代码的诸神,正是有了许多优秀的开放源代码,程序开发人员才能不断提高squeak的水平。如果我们有好的代码,我们也可以考虑开源给别人学习!这里有几个开源代码下载网站。从名字可以看出,这是我们自己的

  7. 7 图像处理方法有哪些 想用深度学习来处理数据,但是发现找代码的时候大多是用来处理图像的,如何改变代码使其可以对数据进行处理?

    想用深度学习来处理数据,但是发现找代码的时候大多是用来处理图像的,如何改变代码使其可以对数据进行处理?如果有,请给我一个,哈哈哈二维FFT相当于行和列的一维FFT运算。具体实现方法如下:首先对每一行逐个进行一维FFT,然后对变换后的新矩阵的

  8. 8 网页设计教程 现在建一个网站一年费用只要298元,他们玩的是什么套路?

    现在建一个网站一年费用只要298元,他们玩的是什么套路?现在建筑公司是要开发一套软件,卖几百、几千,别以为他会给你重新开发,没必要重新开发,都是现成的软件。有很多开源软件,免费使用,小站和不重要的简单显示站完全可以使用这些,但是我们必须拥有

  9. 9 修改定位位置app 华为手机怎么修改定位?

    华为手机怎么修改定位?1. 首先我们打开手机,进入手机桌面之后,我们下拉通知栏,然后在通知栏中找到GPS功能,点击打开GPS2.在弹出的位置信息界面,我们点击开启位置服务,然后在下方选择节电功能我们打开GPS功能之后,回到手机桌面,找到设置

  10. 10 网站模板参考 网站免费建站的方法有什么?

    网站免费建站的方法有什么?如果没有技术,没有基础,想做免费的网站,你可以选择智能站平台,可以实现零码、低成本、多功能的站,至于操作步骤,也是一个非常简单的傻瓜操作,我只使用文慧智能站系统之前,非常方便,给你一个推荐!1. 访问网站平台,注册

Copyright 2025 优质自媒体,让大家了解更多图文资讯!百度地图 360地图