# BIgDataProject-Library

**Repository Path**: lr-lr-lr/BIgDataProject-Library

## Basic Information

- **Project Name**: BIgDataProject-Library
- **Description**: 基于 Spark, Kafka, Flume, Hadoop, ECharts 的图书馆信息实时统计分析系统。
- **Primary Language**: Java
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2026-06-02
- **Last Updated**: 2026-06-02

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

图书馆信息实时统计分析系统 项目文档模板

library-information-statistical-system

一、介绍

基于 Spark, Kafka, Flume, Hadoop, ECharts 的图书馆信息实时统计分析系统。

项目定位：用于图书馆[书籍借阅/馆藏流转/读者行为]等数据的实时采集、统计分析与可视化展示，支撑图书馆运营决策与服务优化。

核心价值：实现[多维度数据统计/实时数据监控/历史数据回溯]，提升图书馆管理效率与服务质量。

二、软件架构

软件架构说明：采用「大数据处理层 + 后端服务层 + 前端可视化层」三层架构，全链路覆盖数据生产、处理、存储、服务及展示。

2.1 核心技术栈

- 大数据处理：Spark 3.x、Kafka 2.x、Flume 1.9+、Hadoop 3.x（HDFS/Hive）

- 后端开发：Spring Boot 2.x、Spring Security、MyBatis/JPA、Redis 6.x

- 前端开发：Vue 3 + Vite、Pinia、ECharts 5.x、WebSocket

- 基础依赖：JDK 1.8+、Scala 2.12.x、Maven 3.6+、MySQL 8.x

2.2 模块划分

- 大数据模块（bigdata）：数据生产（Kafka Producer）、实时/离线处理（Spark）、数据归档（HDFS/Hive）、工具类封装

- 后端模块（backend）：REST接口提供、WebSocket实时推送、业务逻辑处理、权限控制、数据访问与缓存

- 前端模块（frontend）：数据可视化看板、统计图表展示、数据检索、用户交互界面

三、安装教程

3.1 环境依赖

需提前完成以下环境安装与配置：

- 基础环境：JDK 1.8+、Scala 2.12.x、Maven 3.6+、Node.js 16.x+

- 大数据组件：Hadoop 3.x（HDFS/YARN）、Spark 3.x、Kafka 2.x、Zookeeper 3.6+、Flume 1.9+

- 数据存储：MySQL 8.x、Redis 6.x、Hive 3.x

3.2 部署步骤

1. 【前置操作】克隆项目仓库
git clone [项目仓库地址]  # 替换为实际仓库地址

2. 启动大数据组件
        

  - 启动Hadoop：start-all.sh  # 需配置Hadoop环境变量

  - 启动Zookeeper：zkServer.sh start

  - 启动Kafka：kafka-server-start.sh [Kafka配置文件路径]/server.properties

  - 启动Flume：flume-ng agent --conf conf --conf-file [Flume配置文件路径]/flume-kafka-hdfs.conf --name a1

3. 部署后端服务
        

  - 进入后端目录：cd backend

  - 配置修改：编辑 src/main/resources/application.yml，替换[MySQL地址/账号/密码]、[Kafka地址]、[Redis地址]等配置项

  - 打包项目：mvn clean package -Dmaven.test.skip=true

  - 启动服务：java -jar target/[后端Jar包名称].jar  # 替换为实际Jar包名

4. 提交Spark任务
        

  - 进入大数据模块目录：cd bigdata

  - 打包项目：mvn clean package -Dmaven.test.skip=true

  - 提交任务：spark-submit --class [主类全路径] target/[大数据模块Jar包名称].jar  # 替换为主类路径与Jar包名

5. 启动前端项目
        

  - 进入前端目录：cd frontend

  - 安装依赖：npm install

  - 开发环境启动：npm run dev

  - 生产环境部署：npm run build，将dist目录部署至Nginx等Web服务器

四、使用说明

1. 系统访问
        

  - 前端访问地址：http://[前端部署IP]:[端口]  # 开发环境默认通常为http://localhost:5173

  - 登录验证：输入账号密码（默认管理员：admin/[默认密码]；普通用户：user/[默认密码]）

2. 核心功能操作

  - 数据看板：查看书籍借阅统计、馆藏类别分布、出入库趋势等实时图表

  - 排行查询：检索借阅次数TopN、读者借阅时长TopN等榜单数据

  - 数据筛选：通过书籍编号、类别、时间范围等条件筛选目标统计数据

  - 数据刷新：支持手动点击「刷新」按钮获取最新数据，或等待前端自动定时刷新（默认30秒）

3. 注意事项
        

  - 确保后端服务、大数据组件正常运行，否则无法获取统计数据

  - 普通用户仅拥有数据查看权限，管理员可操作系统配置、数据管理等功能

五、参与贡献

1. Fork 本仓库

2. 创建特性分支：git checkout -b feature/[特性名称]

3. 提交代码：git commit -m "feat: 新增[功能描述]"

4. 推送分支：git push origin feature/[特性名称]

5. 创建 Pull Request，等待审核合并

【可补充】贡献规范：请遵循项目代码规范，提交前确保通过单元测试，新增功能需配套完善文档。

六、特技

- 全链路数据闭环：实现从Kafka数据生产→Spark实时处理→Redis缓存→WebSocket推送→前端可视化的端到端流转

- 多维度统计分析：支持[12+]种核心统计场景，覆盖基础数据、细分状态、排行趋势等图书馆核心运营指标

- 便捷部署：支持Docker Compose一键编排大数据组件、后端、前端等服务，实现环境一致性与快速扩展

- 安全可靠：集成Spring Security权限控制与HTTPS加密传输，保障数据安全；支持数据离线归档，可回溯历史数据

- 优质交互体验：采用ECharts可视化图表+玻璃态设计，图表支持多维度切换，数据展示直观清晰