返回作品
旅游网站用户行为分析与预测
创建于 2026 年 1 月 1 日
项目介绍
项目不是单机 CSV 分析脚本，而是按照 HDFS、Hive、Parquet 和 Spark 的大数据链路组织。原始数据、扩展数据、清洗后数据和模型文件都可以存储在 HDFS 中；清洗结果采用 Parquet 列式格式，读取速度和存储效率都优于 CSV；Hive 外部表用于 SQL 校验和数据仓库链路补充。
核心功能
- 数据生成与扩展：将原始旅游行为数据扩展到更适合大数据演示的规模。
- Spark SQL 清洗：完成缺失处理、字段规范化、异常过滤和 Parquet 输出。
- 特征工程：使用 StringIndexer、OneHotEncoder 和组合特征处理类别字段与行为特征。
- 购票预测：训练逻辑回归、决策树、随机森林等模型，对用户购票行为进行预测。
- 用户分群：使用 KMeans 聚类识别不同访问偏好和转化倾向的用户群。
- Hive 校验：通过外部表和 SQL 校验清洗结果、样本量和核心比例指标。
- 可视化看板：ECharts 展示概览、趋势、分群、相关性、模型性能和特征重要性。
功能截图
