灰度发布 什么是灰度发布?灰度发布是指在 黑和白(0和1)之间,能够平滑过渡的一种发布方式。 AB test就是一种灰度发布方式,指为产品已发布A版本,在发布B版本时,在同一时间维度。 让一部分用户继续用A版本,一部分用户开始用B版本,如果用户对B版本没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B版本上面来。灰度发布可以保证整体系统的稳定,在初始灰度发布时就可以发现及调整问题,以保证其影响度。 灰 2024-09-07 系统设计 #系统设计
Elasticsearch ElasticsearchElasticsearch(以下称之为 ES)是一款基于 Lucene 的分布式全文搜索引擎,擅长海量数据存储、数据分析以及全文检索查询,它是一款非常优秀的数据存储与数据分析中间件,广泛应用于日志分析以及全文检索等领域,目前很多大厂都基于 Elasticsearch 开发了自己的存储中间件以及数据分析平台。 优势 速度快:因为它是基于Lucene 构建的,所以在执行查询时 2024-08-21 微服务 #微服务
设计一个秒杀系统 如何设计一个秒杀系统?秒杀系统需要考虑的问题?瞬时并发量大 大量用户会在同一时间进行抢购 网站瞬时访问流量激增 库存少 访问请求数量远远大于库存数量 只有少部分用户能够秒杀成功 前端CDN一般情况下,秒杀的流量特性就是持续性短和大 流量集中在活动即将开始的时候,会有很多用户开始持续性地刷新页面。前端资源的访问也需要损耗大量的资源因此需要利用 CDN 缓存秒杀页面的一些静态资源(如商品详情, 2024-08-07 系统设计 #系统设计
日志处理 日志分类系统日志:项目运行中产生的,一般用于帮助开发人员找错排错。 操作日志:项目操作产生的,适用于记录一些业务上的必要操作中需要记录下来的日志。常见于记账,支付,重要信息变动等场景。 如何处理日志信息首先是必须字段的设计 如果是系统日志,一般包含以下信息:时间戳,日志级别,日志消息,线程id,链路id,用户信息,系统状态等信息 如果是操作日志,需要记录操作人,操作时间,操作内容,操作数据库,相 2024-08-07 系统设计 #系统设计
定时任务 定时任务什么是定时任务我们可以先思考一下下面业务场景的解决方案: 某电商系统需要在每天上午10点,下午3点,晚上8点发放一批优惠券。 某银行系统需要在信用卡到期还款日的前三天进行短信提醒。 某财务系统需要在每天凌晨0:10结算前一天的财务数据,统计汇总。 12306会根据车次的不同,而设置某几个时间点进行分批放票。 某网站为了实现天气实时展示,每隔5分钟就去天气服务器获取最新的实时天气信息。 2024-07-28 微服务 #微服务
设计一个点赞系统 如何设计一个点赞系统?库表设计我们需要创建两张表:一张是点赞记录表,用于存储每个用户的点赞记录;另一张是 点赞数汇总表,用于存储每个项目的总点赞数。 点赞记录表: 1234567CREATE TABLE like_record ( id BIGINT AUTO_INCREMENT PRIMARY KEY, user_id BIGINT NOT NULL, post_id BIGI 2024-07-07 系统设计 #系统设计
Prompt工程 Prompt工程学习Open AI官方API进行提示工程的最佳实践,掌握核心原则,提高与AI的沟通质量和效率。 使用最新的模型 比如在2022年11月前open AI还没有推出擅长聊天的gpt3.5,turbo gpt 4等模型。只有做文本补全的text-davinci, text-curie,text-babbage等等,通常来说,开头的字母越靠后,或者是版本数字越大,说明模型越新。 把指令放 2024-06-30 大模型 #大模型
服务限流设计 服务限流固定窗口限流首先维护一个计数器,将单位时间段当做一个窗口,计数器记录这个窗口接收请求的次数。 当次数少于限流阀值,就允许访问,并且计数器+1 当次数大于限流阀值,就拒绝访问。 当前的时间窗口过去之后,计数器清零。 假设单位时间是1秒,限流阀值为3。在单位时间1秒内,每来一个请求,计数器就加1,如果计数器累加的次数超过限流阀值3,后续的请求全部拒绝。等到1s结束后,计数器清0,重新开始计 2024-06-23 系统设计 #系统设计
大数据基本概念 大数据诞生背景大数据的诞生背景、基本概念以及传统数据处理架构的限制。大数据是一种技术,用于满足数据达到海量规模以后的存储和计算需求。 大数据场景具有数据规模巨大、数据生成和处理速度快、多样性和价值等四个特征。针对大数据的存储和计算需求,传统的数据处理架构存在瓶颈,而大数据技术则能提供更强大的扩展性和处理效率。 离线与实时场景大数据的离线处理场景和实时处理场景。离线处理场景适用于有界数据,采 2024-06-13 大数据 #大数据
RAG检索增强生成 什么是RAG检索增强生成?大预言模型的三大问题 偏见(Bias) 偏见指的是模型在输出中显示出不公平、歧视性或偏颇的倾向。 训练数据的偏差:大语言模型通过大量的文本数据进行训练,如果这些数据中包含了社会、文化、性别、种族等方面的偏见,那么模型也会学习并反映出这些偏见。 数据选择和标注:数据选择和标注过程中的人为偏见也会影响模型的公正性。 幻觉(Hallucination) 幻觉指的是模型生成 2024-06-13 大模型 #大模型