计算机毕业设计Python+Spark考研预测系统 考研推荐系统 考研数据分析 考研大数据 大数据毕业设计 大数据毕设

news/2024/11/15 4:03:39/

安顺学院本科毕业论文(设计)题目申请表

院别:数学与计算机科学      专业:数据科学与大数据     时间:2022年 5月26日

题目名称

基于hive数据仓库的考研信息离线分析系统的设计与实现

学生姓名

杨娣荧

学号

201903144042

题目来源

A.实 验   √B.实习实践  C.社会调查   D.作品展示/毕业汇演      E其他

√A.学生自拟  B.教师推荐

题目类别

   A.论文        √B.设计

选 题 可 行 性 分 析

经济上的可行性:

基于hive数据仓库的考研信息离线分析系统,对技术的相关方面有相应的一些要求, 特别是在hive数据仓库方面,然而经过平时的坚持学习,这已不是问题,在硬件以及软件方面的环境要求都不算太高,经济方面具有较高的可行性。

技术上的可行性:

在本系统的开发中,需对前端技术,后端,hive以及IDEA、Pycharm开发工具具有一定的编码能力和操作能力,而经过大学四年的学习,对此有一定的了解及编码实践,另外在网站上有大量的学习视频,从而,在技术上可以实现。

开发上的可行性

此系统是B/S架构的系统,只需有浏览器即可,使得本系统可以很轻松的得到硬件的支撑并且运行起来,硬件并不需要安装一些软件支撑,这降低了开发的复杂度以及成本,所以在开发上是可行的。

指 导 教 师 意 见

       指导老师签字:                              

院本科毕业论文(设计)指导小组审核意见

组长签字:                           

安顺学院本科毕业论文(设计)开题报告

完成时间:     年   月   日

论文题目

基于hive数据仓库的考研信息离线分析系统的设计与实现                  

学生姓名

杨娣荧

专   业

数据科学与大数据技术

学   科

工学

电子邮箱

1047399243@qq.com

联系电话

18786125674

指导教师

于为

随着互联网技术的飞速发展,人们日常所产生的数据也在日益增长,社会也步入了大数据时代而数据多带来的不仅仅存储方面的问题在数据价值方面也带来了不可忽视的问题

大量的数据中,人们很难找到所需要有价值的数据。另外,网络的发达,同时也存在不少安全隐患,人们在找寻自己想要的数据时,可能会得到虚假信息,甚者,个人信息被盗取。所以本项目通过爬取数据分析存储于数据仓库中,以最直观的方法展现出来便于查询。

研 究 现 状 述 评

由于大数据时代的到来,人们每天产生的数据过多且冗余,数据密度高价值低的问题所以在大量的数据下面人们很难找出有价值的那部分数据现目前考研的人越发的多,但最开始的小白不知道从哪里抓起,上网查询资料,数据过于大量且繁琐,耽误很多时间,而本项目则是通过爬取研招网将各大学校的招生人数,专业及需要考查的科目收集整理做一个可视化平台,供有需要的人方便查询,用户可通过注册登录进入系统搜索自己想了解的信息。

拟 研 究 的 目 标 和 主 要 内 容

拟研究的目标:

本系统主要是运用Python语言、hive数据仓库、大数据分析技术以及Pycharm开发工具等技术和软件展现考研信息离线分析可视化,项目要求有数据采集,数据清洗,数据存储和数据展示等功能,在整体上能够给客户最直观的看到有价值的信息。

拟研究的主要内容:

通过爬取研招网及各大高校的考研信息数据,爬取各大院校的招生专业、招生人数及往年的录取分数线等,存储于本地数据库中,再通过sqoop将数据上传到hive数据仓库对数据进行清洗及分析,最后对其呈现一个可视化平台及实现用户查询功能。

研 究 的 主 要 方 法、手 段 和 途 径 及 研 究 进 度 计 划

主要方法:

    需求分析、结构设计、数据采集、数据库分析、数据库设计、数据库搭建、前端界面设计、大数据架构选型、大数据分析、大数据开发、后端开发、系统测试和系统运行维护。

主要手段

    通过实现各个模块方法,实现大数据架构与后端联调,前后端的构建为主要手段,先采用大数据对数据进行分析,将分析后的数据存储到数据库,后端从数据库中获取数据,传给前端,前端进行展示。

主要途径:

    为实现其功能和需求,开发工具使用Pycharm、IDEA,数据库搭建使用Navicat数据库客户端连接工具,服务器使用Apache服务器,大数据开发环境为linux环境,后端使用springboot的java框架。

进度计划:

2022年05月22日至06月2日:毕业设计选题

2022年06月28日至06月30日:完成论文开题报告

2022年07月01日至07月4日:进行开题答辩  

2022年07月05日至07月25日:实现系统的所有实现与设计,并且完成初稿

2022年07月28日至07月30日:进行中期检查

2022年08月01日至08月20日:修改初稿并完成论文二稿

2022年08月22日至08月28日:完成该系统的各项测试

2022年08月22日至09月16日:修改二稿并完成论文三稿

2022年09月16日至09月17日:指导教师评阅时间

2022年09月18日至09月20日:评阅教师评阅时间

2022年09月21日至09月25日:进行论文答辩

2022年09月26日至09月28日:论文定稿

论   文   提   纲

1.绪论

    简述课题背景及来源、国内外研究现状、研究的目标和内容、和课题的意义和目的。

2.系统开发环境及相关技术

    开发环境:IDEA后端开发以及大数据开发,Pycharm数据爬取,navicat数据库设计,linux大数据环境搭建。

    技术选型:前端使用html,css,javascript以及echars组件进行展示,后端使用java开源框架springboot,和数据库连接框架mybatis和mysql,大数据使用zookeeper进行集群分布式协调,flume和kafka进行数据采集和传输,hbase进行数据离线存储,hive实时同步hbase数据进行离线分析,spark streaming对数据进行实时分析并且存储。

3.基于hive数据仓库的考研信息离线分析可视化平台分析

    研究目标、平台需求分析、可行性分析、性能分析。

4.基于hive数据仓库的考研信息离线分析可视化平台设计

    mysql,hive数据库的设计、平台总体框架。

5.基于hive数据仓库的考研信息离线分析可视化平台展现

    主要实现的功能模块:前端数据展示,大数据数据获取,数据清洗,数据存储,数据展示,后端接口编写,数据库设计。

 6.结语

     从此项目中对项目的从0到1开发,从前端到后端再到大数据进行了一个贯通,对个人的成长极其重要

开 题 报 告 主 要 参 考 文 献

[1]邓凤明. 大数据生态系统大数据分析与应用实验课程体系中的应用研究[D].中央民族大学,2019.

[2]A Study of Multicultural Space in Seoul : Analysing the Coverage of Foreign Communities with News Big Data Analytics ‘BigKinds’ for 27 Years[J]. Journal of Media Economics & Culture,2017,15(2):

[3]李维,陈江治,程丽萍,刘雨航,魏周思宇.大数据分析对消费者行为的影响[J].商业故事,2018,{4}(20):107.

[4]戴红芳,罗金光,先晓兵.基于数据仓库的数据分析探索与实践[J].中国教育信息化,2015(10):13-15.

[5]高运华.基于数据仓库的数据质量分析和评估[J].黑龙江科技信息,2014(20):165.

[6]王峰.基于数据仓库的大学生成绩分析与应用[J].计算机光盘软件与应用,2013,16(05):207-208.

[7]刘珍珍.基于数据仓库的高中学生成绩分析模型设计[J].电脑知识与技术,2011,7(03):495-496.

[8]岳晓融,张立国.大数据分析在高校精准化就业服务模式中的应用研究[J].中国教育信息化,2022,28(05):105-113.

[9]Lee In,Mangalaraj George. Big Data Analytics in Supply Chain Management: A Systematic Literature Review and Research Directions[J]. Big Data and Cognitive Computing,2022,6(1).

[10]程学旗,刘盛华 ,张儒清 .大数据分析处理技术新体系的思考[J].中国科学院院刊,2022,37(01):60-67.DOI:10.16418/j.issn.1000-3045.20211117005.

[11]王宏,嵇绍国.大数据分析的现实应用及发展趋势研究[J].信息网络安全,2021(S1):134-138.

[12]Raghotham Murthy,Rajat Goel. Peregrine: Low-latency queries on Hive warehouse data[J]. XRDS: Crossroads, The ACM Magazine for Students,2012,19(1).

[13]王庆涛,吕迎丽.试论如何采用数据仓库技术建设管理信息系统[J].信息通信,2020(06):188-189.

[14]方昕.数据仓库技术在高校信息系统的运用[J].信息与电脑(理论版),2019(10):143-144.

[15]张军,王芬芬.数据仓库技术在高校数据统计与分析系统中的应用研究[J].智能计算机与应用,2019,9(03):122-125.

指 导

教 师

意 见

指导教师(签名):               

  

                  

(设计)

组  

审  

核  

意  

审核组长(签名):                 

审核小组成员(签名):1.              

                            2.              

                            3.              

                            4.              

                 

核心算法代码分享如下:

python"># coding=utf-8
import sysimport demjson
from tool import SqlHelper"""
绘画动态国家线柱状图需要的数据
"""
# 定义结构
total_data = {}def createJson(subject, scores):# sql调用sql = SqlHelper.MySQLhelper()# 年份years = []# 查询年份information = sql.fetch_all_args("select distinct year from stateline where subject = %s order by year", (subject))for infor in information:# 添加年份years.append(str(infor['year']))# 根据年份和类别查询分数inforsA = sql.fetch_all_args("select * from stateline where subject = %s and year = %s and classifier = 'A类'",("理学", infor['year']))inforsB = sql.fetch_all_args("select * from stateline where subject = %s and year = %s and classifier = 'B类'",("理学", infor['year']))# 转换格式,添加列表for inforA, inforB in zip(inforsA, inforsB):datas = []data = {}daA = []daB = []daY = []# 添加B类地区分数daB.append(inforB['equal100'])daB.append(inforB['greater100'])daB.append(inforB['total'])data['data'] = daBdatas.append(data)data = {}# 添加你输入的分数daY.append(scores[0])daY.append(scores[1])daY.append(scores[2])data['data'] = daYdatas.append(data)data = {}# 添加A类地区分数daA.append(inforA['equal100'])daA.append(inforA['greater100'])daA.append(inforA['total'])data['data'] = daAdatas.append(data)# 添加分数数据total_data['y' + str(infor['year'])] = datas# 添加年份total_data['years'] = years# 添加专业total_data['subject'] = subjectif __name__ == '__main__':subject = sys.argv[1]scores = demjson.decode(sys.argv[2])# subject = '理学'# scores = {'scores': [55,55,155]}# 调用生成json函数createJson(subject, scores['scores'])print(total_data)


http://www.ppmy.cn/news/1453003.html

相关文章

python 的继承、封装和多态

1. 继承(Inheritance) 继承是面向对象编程中的一个重要概念,它允许一个类(子类)继承另一个类(父类)的属性和方法。子类可以重用父类的代码,同时也可以扩展或修改父类的行为。 常用…

可视化大屏应用场景:智慧安防,保驾护航

hello,我是大千UI工场,本篇分享智慧安防的大屏设计,关注我们,学习N多UI干货,有设计需求,我们也可以接单。 实时监控与预警 可视化大屏可以将安防系统中的监控画面、报警信息、传感器数据等实时展示在大屏上…

排序算法之冒泡排序

冒泡排序想必大家都不陌生了吧!应该都是大家学习的第一个排序算法吧!那么接下来我为大家简单再介绍一个冒泡排序 代码实现: private static void swap(int[] array,int i,int j){int tmp array[i];array[i] array[j];array[j] tmp; }publ…

01 JVM --

JVM (Java Virtual Machine) 是一个虚拟机HotSpot 是 JVM 概念的一个实现。HotSpot 虚拟机通过即时编译 (JIT) 技术将 Java 字节码转换为本地机器码,以提高程序的执行效率。OpenJDK 是一个项目名,它在 HotSpot 的基础上开发了 HotSpot 的开源实现方法区是…

【数据库】Elasticsearch的操作

在关系数据库和Elasticsearch之间,对基本概念和数据结构的理解对于使用两者进行有效的数据操作非常关键。下面是关系数据库和Elasticsearch之间的基本概念比较,包括实际的应用例子: 对比数据库的概念 数据库与索引 关系数据库 在关系数据…

Django之配置数据库

一,创建项目 二,将项目的setting.py中的 DATABASES {default: {ENGINE: django.db.backends.sqlite3,NAME: BASE_DIR / db.sqlite3,} }替换成如下(以mysql为例) DATABASES {default: {ENGINE: django.db.backends.mysql,NAME: …

LWIP+TCP服务器

一、完整代码 tcp_server.c #include "tcp_server.h" #include <stdlib.h> #include <stdio.h> #include <string.h>void Tcp_Server_Init(void) {struct tcp_pcb *tcp_server_pcb;/* 为tcp服务器分配一个tcp_pcb结构体 */tcp_server_pcb tc…

Linux内核--设备驱动(五)USB Gadget梳理

目录 一、引言 二、USB ------>2.1、USB设备的接入 ------>2.2、USB设备枚举 ------>2.3、UAC设备 ------>2.4、UVC设备 ------>2.5、USB 主机控制器及OTG实现方式 ------>2.6、USB HOST之EHCI和OHCI与对应的dts节点及驱动 ------>2.7、USB设备接…