💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、星火、月之暗面及文生图 广告
# 系统简介 归档系统分为3个模块。 * 业务归档:将业务系统历史数据(基本不变动)的做归档处理,并提供高效稳定快速的查询服务。 * 数据分发:将业务系统按数据标准产生到归档系统,并定时批量提供给第三方订阅者。 * 表单归档:将云表单的json大数据按关系型数据存储,对外提供表单查询服务。 * 技术选型:vuejs + springboot + mybatisplus + redis + kafka + fastdfs + elasticsearch + (tidb) + oracle + zookeeper * 工作年限:4年经验(2019年) ## 系统背景 当业务系统随着使用年限的增加,业务数据会越来越大,部分业务sql也会越来越慢。而系统中只是想查看最近的活动的业务数据也会因此卡顿,于是将业务库中的判定为历史数据的做归档处理,从而减轻业务库数据量,并且通过归档服务做历史数据查询。 # 项目收获 ## 视野收获 1. 针对业务痛点做抽象建模,设计解决方案并做技术选型和落地。(不再局限系统内,也不再局限平台内) 2. 接触到分布式存在中间件fastdfs,全文搜索引擎es,新一代hatp数据库tidb等 3. 有了考虑分布式编程的角度,基于zookeeper的curator框架编程实现。 ## 技术提升 1. 自主设计简单的定时任务方案,支持分布式部署,多机运行。 2. 自研能力提升,能从数据库设计到功能设计,到前端实现,到后台接口实现,到整合交互,到部署上线全流程处理。 3. 研究并积累使用分布式存储fastdfs的经验。 4. 研究并积累使用es的经验。 5. 研究tidb解决的问题,为后续业务实现做技术调研。(跳过分库分表,数据库支持大数据)