[编程技术] 后端开发除了增删改查还有什么?
作者:精品下载站 日期:2021-11-30 14:00:51 浏览:35 分类:编程开发
背景
很多刚接触后端开发的同学,会发现,后端开发不就是增删改查吗?的确,如果你做的东西只是一个很小的流量的一个网站/平台的后端,用户量低,每秒钟访问量低,对数据的一致性和服务的稳定性要求也没那么高。那就是简单的增删改查,一台服务器连接数据库,API直接读写数据库。 可是日子久了,你发现你的网站/平台用户量和流量都上来了,代码越来越复杂,这就涉及到服务扩展,业务拆分,架构设计。
很多人找工作,公司会要求,高并发工作经验者优先,可是只做过几千几万人的服务,只是简单的增删改查,根本没接触过高并发。怎么办?
本人目前在新加坡 某电商平台 做后端开发,服务十亿级别用户,数据量百亿级别,QPS 千万级别,说一下我的经验。
后端开发,说到底,就是增删改查。但是一千用户的小网站的增删改查,和10亿用户的增删改查,是两件事情。
后端开发
起步
比如很多计算机专业的学生,大学的时候做过 图书馆管理系统,我们当那是最简单的增删改查。 这个有多简单呢,网页连接一台服务器连接数据库查询。 这就是最简单的后端,性能,一致性,扩展性,并发性都不需要考虑。数据正确就行了。
分布式
一台机器不够用了,需要多台服务器,需要分布式集群吧。
负载均衡
数据库
使用什么数据库,MySQL, TiDB, Redis等等。
部署
Jenkins
容器技术
Docker/K8s
性能监控/报警
需要监控很多东西,服务的内存/CPU/带宽使用,QPS,错误率,延迟等等。Prometheus+Grafana
日志平台
当我们的分布式部署之后,怎么统一的查看日志来定位问题。怎么把日志收集在一起,用什么储存方便搜索。ES?
微服务
业务解耦,比如登陆注册业务和订单业务就可以解耦,通过调用来获取数据。 服务注册与发现
数据拆分
服务拆分隔离了,那么数据库也要开始拆分了。 怎么拆分,分库分表,水平切分,垂直切分。
数据库性能优化
数据库性能瓶颈了,需要怎么优化,读的瓶颈怎么优化,写的瓶颈怎么优化。
缓存设计
当DB有读写性能压力的时候,需要加缓存,怎么保存缓存的一致性。
消息队列设计
同时使用人数过多,是不是有些地方可以异步,比如异步DB存储。有很多消息队列,RabbitMQ/RocketMQ/ActiveMQ/Kafka,各自怎么实现的,用哪种。
数据实时性
websocket/netty了解下。
热点数据
比如微博热点新闻,双十一0点流量。这种热点数据,你用缓存一样的解决不了,怎么办。上内存缓存吧。数据分散,担心内存太大,LRU吧。
服务限流
上游某个业务突然流量增大,影响了其他核心业务的调用,
最终保证
作为后端人员,不仅仅停留在用户端侧体验以及交互形式,更重要的是从用户的数据模型、业务场景、业务模型、系统架构设计、领域建模、业务流程以及高并发、高可靠、规模化等稳定性角度,去提升产品整体的体验和价值,解决用户的诉求。
我们只需要写好SQL语句,去数据库查到数据,返回到页面中展示就可以。
如果你经历从0到亿级别的数据增长,你一定会面临很多挑战,重构和优化,因为当我们从0开始的时候,一定不会考虑一亿的时候怎么设计。考虑的太远,严重浪费资源和增加复杂度,一定是业务量带动需求。随着系统承载的瓶颈,来带动我们对增删改查的优化。
比如如何设计?
如何设计表结构。 用户增长之后,读的瓶颈如何解决,写的瓶颈如何解决。 怎么提升缓存命中率,分库分表的原则是什么,读写分离怎么设计。 热点数据怎么储存。 数据不一致怎么保证。 服务怎么拆分,数据怎么拆分。 大促的时候更新QPS超出DB的性能瓶颈,怎么处理。流量削峰怎么设计,MQ怎么使用。 1千用户增长到1百万用户,你的数据怎么处理。DB查询速度会不会变慢,10个亿的用户呢。 为什么我明明设置了索引,却没生效? 怎么处理高并发?
1万QPS的时候怎么处理。 1百万QPS的时候怎么处理。 1千万QPS的时候怎么处理。 大促期间(双十一)的流量增长怎么解决? 微博突发热点(明星出轨)怎么保证服务器不挂? 在你增删改查的过程中,怎么去实现一些方案:
实现一个分布式ID生成方案。ID需要保证全剧唯一。 实现一个在亿级数据里面支持分页查询。(最简单的例子,朋友圈分页去查看好友动态)。 如何实现高可用?一台机器宕机之后不影响其他机器和的运行和整个服务的可用性。 如何实现服务降级和服务限流。 写增删改查简单,写好增删改查却不容易。作为后端程序员,你我要学的都还有很多。
猜你还喜欢
- 03-29 [编程相关] Winform窗体圆角以及描边完美解决方案
- 03-29 [前端问题] has been blocked by CORS policy跨域问题解决
- 03-29 [编程相关] GitHub Actions 入门教程
- 03-29 [编程探讨] CSS Grid 网格布局教程
- 10-12 [编程相关] python实现文件夹所有文件编码从GBK转为UTF8
- 10-11 [编程算法] opencv之霍夫变换:圆
- 10-11 [编程算法] OpenCV Camshift算法+目标跟踪源码
- 10-11 [Python] python 创建 Telnet 客户端
- 10-11 [编程相关] Python 基于 Yolov8 + CPU 实现物体检测
- 03-15 [脚本工具] 使用go语言开发自动化脚本 - 一键定场、抢购、预约、捡漏
- 01-08 [编程技术] 秒杀面试官系列 - Redis zset底层是怎么实现的
- 01-05 [编程技术] 《Redis设计与实现》pdf
取消回复欢迎 你 发表评论:
- 精品推荐!
-
- 最新文章
- 热门文章
- 热评文章
[短剧] 2025年06月03日 精选+付费短剧推荐25部
[软件合集] 25年6月3日 精选软件44个
[短剧合集] 2025年06月2日 精选+付费短剧推荐39部
[软件合集] 25年6月2日 精选软件18个
[软件合集] 25年6月1日 精选软件15个
[短剧合集] 2025年06月1日 精选+付费短剧推荐59部
[短剧] 2025年05月31日 精选+付费短剧推荐58部
[软件合集] 25年5月31日 精选软件66个
[电影] 黄沙漫天(2025) 4K.EDRMAX.杜比全景声 / 4K杜比视界/杜比全景声
[风口福利] 短视频红利新风口!炬焰创作者平台重磅激励来袭
[剧集] [央视][笑傲江湖][2001][DVD-RMVB][高清][40集全]李亚鹏、许晴、苗乙乙
[电视剧] 欢乐颂.5部全 (2016-2024)
[电视剧] [突围] [45集全] [WEB-MP4/每集1.5GB] [国语/内嵌中文字幕] [4K-2160P] [无水印]
[影视] 【稀有资源】香港老片 艺坛照妖镜之96应召名册 (1996)
[剧集] 神经风云(2023)(完结).4K
[剧集] [BT] [TVB] [黑夜彩虹(2003)] [全21集] [粤语中字] [TV-RMVB]
[资源] B站充电视频合集,包含多位重量级up主,全是大佬真金白银买来的~【99GB】
[影视] 内地绝版高清录像带 [mpg]
[书籍] 古今奇书禁书三教九流资料大合集 猎奇必备珍藏资源PDF版 1.14G
[美图] 2W美女个美女小姐姐,饱眼福
[电视剧] [突围] [45集全] [WEB-MP4/每集1.5GB] [国语/内嵌中文字幕] [4K-2160P] [无水印]
[剧集] [央视][笑傲江湖][2001][DVD-RMVB][高清][40集全]李亚鹏、许晴、苗乙乙
[电影] 美国队长4 4K原盘REMUX 杜比视界 内封简繁英双语字幕 49G
[电影] 死神来了(1-6)大合集!
[软件合集] 25年05月13日 精选软件16个
[精品软件] 25年05月15日 精选软件18个
[绝版资源] 南与北 第1-2季 合集 North and South (1985) /美国/豆瓣: 8.8[1080P][中文字幕]
[软件] 25年05月14日 精选软件57个
[短剧] 2025年05月14日 精选+付费短剧推荐39部
[短剧] 2025年05月15日 精选+付费短剧推荐36部
- 最新评论
-
- 热门tag