1秒1000并发,高并发需要什么样的服务器

大家好,今天小编关注到一个比较有意思的话题,就是关于mongodb占用cpu的问题,于是小编就整理了3个相关介绍mongodb占用cpu的解答,让我们一起看看吧。1、1秒1000并发,高并发需要什么样的服务器?2、redis、memcache和mongodb各自的优点是什么,怎么选择呢?3、java

大家好,今天小编关注到一个比较有意思的话题,就是关于mongodb占用cpu的问题,于是小编就整理了3个相关介绍mongodb占用cpu的解答,让我们一起看看吧。

1秒1000并发高并发需要什么样的服务器

硬件层面需要根据数据量,业务复杂度一起综合评估的,建议先买两台云主机(4核8g内存)搭建集群环境就行。后继再根据实际需要扩展。

软件层面:

一、如果是写入操作的,应该:

1.1 使用消息队列来异步处理(如activemq等),避免消息堵塞

1.2 使用MongoDB的批量写入功能,比如每1000条数据才写入一次

二、MongoDB部署为集群模式,可以分散压力

三、如果是读取操作,可以考虑加入redis,将热点数据进行一级缓存

一、服务器配置优化

首先我们知道几个概念:

MongoDB是NoSQL面向文档型存储数据库,属于重内存的类型,特别是在MongoDB 3.2默认的 WiredTiger引擎下,默认会占用大量的内存来保证自身性能。

因此MongoDB所需要的服务器,以题主使用的云主机为例,选型思路主要是重存储型云主机,为了保证Mongo集群的读写性能,需要以SSD云盘前提下尽可能大内存的主机,同时vCPU也不能太低会影响压缩存储效率。

如果技术储备不够,在参数调优、版本升级、数据迁移中有问题怕踩坑,可以采用一些成熟的云服务提供商的基于容器的云原生Mongo Operator产品,这样可以少踩许多坑。

参考网易轻舟这类商业化中间件

二、软件层优化

简单介绍下我在MongoDB优化中的思路:

MongoDB主要包括mongod和mongo两个进程。

mongod是处理MongoDB系统的主要进程。它处理数据请求,管理数据存储,和执行后台管理操作。当我们运行mongod命令意味着正在启动MongoDB进程,并且在后台运行。

mongo则是一个命令行工具用于连接一个特定的mongod实例。当我们没有带参数运行mongo命令它将使用默认的端口号和localhost连接

1、参数调优

操作系统OS层面连接数优化

要提供高并发的响应能力,首先要考虑提升MongoDB本身的服务能力,mongod进程的连接数主要是受到操作系统的默认文件描述符和进程/线程数限制。

redis、memcache和mongodb各自的优点是什么,怎么选择呢?

搬运自己的答案,mongodb不应和redis/memcache比较,因为两者的适用场景是完全不同的。

mongodb是一款介于内存数据库和关系数据库的数据库,是高性能、无模式的文档型数据库。

mongodb数据存储在磁盘,只有在需要时通过mmap映射到内存,在内存中修改,修改完毕由操作系统负责flush到磁盘。

优点:支持复杂的数据结构,能存储海量的数据,能提供类似关系数据库般强大的查询。

redis是一个开源的key-value存储系统,所有数据都是放在内存中的,持久化是使用RDB方式或者aof方式。仅支持key、string、hash、list、set几种结构,优点:读写速度非常快。缺点:受内存限制无法存储过多的数据,也无法提供强大的查询,只使用单核。

memcache是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。memcache仅支持简单的key-value结构,但使用多核。

在爬虫中,经常采用redis+mongodb的方式,Mongodb用于存储爬取的海量的数据,而redis则用于去重和保存待爬取的url。

谢邀

redis、memcahce 比较相似,但与 mongodb 完全不同,几乎没有可比性。

总的来说 redis/memcache 是基于内存的,讲究的是性能,多用作缓存层,比如说存放session。而 mongodb 是面向文档的,存储的是类似JSON的非结构化数据,查询起来非常方便,开发效率高,比较类似传统SQL关系型数据库。

普遍认为redis性能明显好于MemoryCache。所以这里主要比较 Redis 和 Mongodb。

体积

Redis是一个基于内存的键值数据库,它由C语言实现的,以单线程异步的方式工作,与Nginx/ NodeJS工作原理近似。所以文件非常小。编绎出来的主文件还不到 2Mb,在 Linux 服务器上初始只需要占用1Mb左右的内存。

Mongodb安装包则要大的多,跟mySQL差不多,都是百兆级的。

持久化

Redis是先读写内存再异步同步到磁盘,但持久化数据是需要时间的,如果每条记录都触发持久化,则性能优势则体现不出来,这里可能会产生一个问题,就是在数据改动不够多时,数据还没有持久化就重启了系统,这部分数据是有可能丢失的。

这里可以在设置文件中设置与入规则:

以上规则表明,如果在1秒内发生900次数据发动,则开始写入到硬盘。如果10秒发生300次发动,则就持久化。

当你也可以设置成 save 1 1 每次发动都保存到硬盘,但是性能会下降。

MongoDB则不存在内存数据有可能丢失的问题,因为MongoDB每次改动都会写入数据库文件。

memcache可做代理服务器,redis是把瑞士军刀,mongodb是最常用的nosql, 且支持sql语法。三者间在部分场景两两重叠。但是缺乏全面的可比性。就好比馒头,蛋糕和馄饨。

java面试题有哪些?

肝了一个月的面试题终于来啦,大家开心不。

2020年最新Java面试题整理,全网最全一份,包含各个技术栈,Java基础,Java集合,多线程,Java异常,spring,spring MVC,spring boot,spring cloud,netty,dubbo,activemq,Java web,jvm,kafka,MongoDB,mybatis,MySQL,Nginx,rabbitmq,Redis,Tomcat,zookeeper,设计模式,数据结构,算法,分布式,限流,降级,cap原理等等知识点

话不多说,直接上图

总共80多个PDF

【BAT必备】计算机网络面试题:

链接:https://pan.baidu.com/s/1hFggmtdL1ZmE4utBlo8S1g 提取码:qfkh

【BAT必备】设计模式面试题

链接:https://pan.baidu.com/s/1eXJveIVvQe-m3MdvLcT-fQ 提取码:j0kx

【BAT必备】数据结构算法面试题:

链接:https://pan.baidu.com/s/1daFN9jY03fXsqwc9LeKi2w 提取码:5ab7

【BAT必备】多线程面试题:

链接:https://pan.baidu.com/s/1GdvsNESoHPBjWKN2h-iK7Q 提取码:cqib

【BAT必备】并发编程锁面试题:

链接:https://pan.baidu.com/s/1hXPPtMY2dvz-g7QcSTc3PA 提取码:zhmy

到此,以上就是小编对于mongodb占用cpu的问题就介绍到这了,希望介绍关于mongodb占用cpu的3点解答对大家有用。

声明:该文观点仅代表作者本人,《家在公租房生活网》系信息发布平台,家在公租房生活网仅提供信息存储空间服务。
(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫

相关推荐

  • 这些星座把婚姻当成人生的垫脚石(掌管婚姻的星座)

    这些星座把婚姻当成人生的垫脚石,有人认为婚姻是神圣的,不能被一些利益所玷污,但有爱就够了。但显然,有这种想法的人都是很单纯的人。有些人则完全相反。他们把婚姻当做人生的敲门砖,一步步得到自己想要的东西。那么十二星座里有谁是这样的呢?白羊座:为了改变命运,白羊座是个不甘心的人。即使他们的生活非常艰难,

    百科 2023年12月13日
    00
  • 情人节活动策划背景(情人节创意营销活动策划案)

    情人节活动策划。情人节创意营销活动策划案四篇【一】一、活动背景2月14日情人节就要到了,为消费者创造一个既浪漫又温馨的节日,是每一家酒店都在努力的工作。根据我们酒店自身的经营特色,根据常消费熟客的消费习惯。这是我们今年的情人节推广计划。二、活动主题xx酒店情人节(天赐良缘,情定天元)三、活动时间20

    2023年11月22日
    00
  • 不被距离打败的恋人(距离并不能打败友情)

    不被距离打败的恋人,有人说距离是爱情的天敌,有人说距离产生美,有人因为距离而分手,有人用真诚赢得了遥远的永恒。其实真正能丈量距离的尺子在两个相爱的人心里。而那份执着的力量也会因为信任而缩短现实中的距离。只要两个人爱我们到底,为什么要觊觎我呢?第一名摩羯座VS射手座射手座常常给人留下“花心”的印象,

    2024年3月1日
    00
  • 名人英语演讲稿(经典的十大英文演讲,别告诉我你一个也没看过)

    名人英语演讲稿。精彩的英语演讲往往影响深远,最经典的英语演讲有哪些?你又看过几部呢?今天,就带大家一起来盘点一下最经典的十大英文演讲无畏的希望无畏的希望是令奥巴马从美国伊利诺伊州走向白宫的一次具有里程碑意义的重要演讲。我有一个梦想在演说中,马丁·路德·金说出了著名的平等口号:I have a dre

    百科 2023年7月19日
    00
  • 卖座网官网首页(从《绝命逃亡》突然下档,看电影发行的混战)

    卖座网官网首页。今天,准确说昨天晚上“最强国庆档”的大战就正式拉开帷幕了,而刚刚欢欢喜喜开完明星见面会的《绝命逃亡》突然就宣布下档了,还未开战,就丢盔卸甲的逃跑,这也未免认怂认得太早了吧。让人不觉心生疑虑。作为国庆预热期唯一一部新上3D大片,有尼古拉斯·凯奇和刘亦菲两员大将坐镇,海登·克里斯滕森、安

    百科 2023年8月9日
    00
  • 密组词语2个字(小学语文三年级下册复习)

    密组词语。第四单元知识一、易读错的字内(nèi)容 干燥(zào) 灼(zhuó)伤适(shì)宜 万寿(shòu)菊 展示(shì)组(zǔ)成 芬(fēn)芳 吻(wěn)合苏醒(xǐng) 强(qiáng)烈 昆(kūn)虫建(jiàn)成 大概(gài) 阻(zǔ)力包括(kuò) 超(ch

    2024年1月7日
    00

发表回复

登录后才能评论
关注微信

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:296358331@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息