# 系统简介 归档系统分为3个模块。 * 业务归档：将业务系统历史数据（基本不变动）的做归档处理，并提供高效稳定快速的查询服务。 * 数据分发：将业务系统按数据标准产生到归档系统，并定时批量提供给第三方订阅者。 * 表单归档：将云表单的json大数据按关系型数据存储，对外提供表单查询服务。 * 技术选型：vuejs + springboot + mybatisplus + redis + kafka + fastdfs + elasticsearch + (tidb) + oracle + zookeeper * 工作年限：4年经验（2019年） ## 系统背景 当业务系统随着使用年限的增加，业务数据会越来越大，部分业务sql也会越来越慢。而系统中只是想查看最近的活动的业务数据也会因此卡顿，于是将业务库中的判定为历史数据的做归档处理，从而减轻业务库数据量，并且通过归档服务做历史数据查询。 # 项目收获 ## 视野收获 1. 针对业务痛点做抽象建模，设计解决方案并做技术选型和落地。（不再局限系统内，也不再局限平台内） 2. 接触到分布式存在中间件fastdfs，全文搜索引擎es，新一代hatp数据库tidb等 3. 有了考虑分布式编程的角度，基于zookeeper的curator框架编程实现。 ## 技术提升 1. 自主设计简单的定时任务方案，支持分布式部署，多机运行。 2. 自研能力提升，能从数据库设计到功能设计，到前端实现，到后台接口实现，到整合交互，到部署上线全流程处理。 3. 研究并积累使用分布式存储fastdfs的经验。 4. 研究并积累使用es的经验。 5. 研究tidb解决的问题，为后续业务实现做技术调研。（跳过分库分表，数据库支持大数据）