# 系统简介
归档系统分为3个模块。
* 业务归档:将业务系统历史数据(基本不变动)的做归档处理,并提供高效稳定快速的查询服务。
* 数据分发:将业务系统按数据标准产生到归档系统,并定时批量提供给第三方订阅者。
* 表单归档:将云表单的json大数据按关系型数据存储,对外提供表单查询服务。
* 技术选型:vuejs + springboot + mybatisplus + redis + kafka + fastdfs + elasticsearch + (tidb) + oracle + zookeeper
* 工作年限:4年经验(2019年)
## 系统背景
当业务系统随着使用年限的增加,业务数据会越来越大,部分业务sql也会越来越慢。而系统中只是想查看最近的活动的业务数据也会因此卡顿,于是将业务库中的判定为历史数据的做归档处理,从而减轻业务库数据量,并且通过归档服务做历史数据查询。
# 项目收获
## 视野收获
1. 针对业务痛点做抽象建模,设计解决方案并做技术选型和落地。(不再局限系统内,也不再局限平台内)
2. 接触到分布式存在中间件fastdfs,全文搜索引擎es,新一代hatp数据库tidb等
3. 有了考虑分布式编程的角度,基于zookeeper的curator框架编程实现。
## 技术提升
1. 自主设计简单的定时任务方案,支持分布式部署,多机运行。
2. 自研能力提升,能从数据库设计到功能设计,到前端实现,到后台接口实现,到整合交互,到部署上线全流程处理。
3. 研究并积累使用分布式存储fastdfs的经验。
4. 研究并积累使用es的经验。
5. 研究tidb解决的问题,为后续业务实现做技术调研。(跳过分库分表,数据库支持大数据)