一、Java分布式计算技术的分析与比较（论文文献综述）
梁寒冰[1]（2021）在《煤矿皮带系统指标流式计算与Shuffle调优算法研究》文中认为近年来,随着煤矿信息化程度的提高,采、掘、提、运、通等系统设备在生产过程中产生了海量的安全生产管控数据与经营管理数据,在智慧矿山的时代背景下,构建合适的煤矿大数据流式计算平台,挖掘数据内部价值,实现安全生产设备各个绩效指标的流式计算与分析,为煤矿精益化管理提供决策支持,以此探寻有效的降本增效运营模式,对煤矿企业发展具有重要的意义。论文以陕西黄陵双龙矿皮带系统为研究对象,提出了主煤流运输设备指标的流式计算系统,该系统采用Kafka框架完成煤矿皮带系统数据的监听功能,基于Spark Streaming实现了皮带系统报警数据指标、OEE、运力及能耗指标、绩效指标和可靠性指标的流式计算。基于现场的运行数据,实现了指标流式计算结果的可视化。在Spark Streaming计算过程中,针对数据重组（Shuffle）阶段出现数据倾斜,导致集群计算效率降低,提出了基于一致性Hash算法的自定义分区器。测试结果表明,该自定义分区器对Key分布不均的数据进行10个批次的计算,其中数据倾斜批次的计算平均用时较HashPartitioner减少22.9s。耗时Z分数对比证明集群在调用该分区器后,数据倾斜不再是影响计算用时的主要因素。本文所提出的基于一致性Hash算法的自定义分区器可以优化Spark计算中出现的数据倾斜问题,集群面对倾斜数据任务时计算效率提升达16.64%。论文将Kafka、Spark Streaming、SSM等技术相结合,以陕西黄陵双龙煤矿皮带系统为例,建立了一套基于煤矿皮带系统指标流式计算系统,其计算结果可以为煤矿皮带系统设备精益化管理提供数据及决策支持,提高煤矿皮带系统综合效率。研究成果可为陕西黄陵双龙煤矿智慧矿山建设及企业精益管理提供一定的参考价值。
付华[2]（2021）在《支持冷启动自适应异常检测系统的设计与实现》文中研究表明近年来异常检测系统开始被越来越多的企业采用,完成对待检测设备/应用异常的提前告警。传统异常检测系统大多是为某一个特定场景设计,难于广泛应用到多个设备/应用中;同时往往需要在待检测设备/应用积累了足够的数据后才能进行异常检测,无法发现设备/应用在冷启动时出现的异常。针对上述问题,本文设计并实现了支持冷启动的自适应异常检测系统。该系统可以同时向多个待检测设备/应用提供异常检测能力。系统持续接收来自不同设备/应用的多个数据源的运行状态数据,实时分析数据特征,从而检测异常,并在发现异常时向管理员告警。为了实现上述功能,本文提出了一种基于空间时间的特征提取的动态卷积压缩自编码器算法（Spatial and Temporal Dynamic Convolution Contractive AutoEncoder,ST-DCCAE）。该算法会将输入的多个数据源的数据通过改进的K平均聚类（KMeans）算法和长短期记忆网络（Long Short-Term Memory,LSTM）算法生成异常特征矩阵,之后将异常特征矩阵通过动态卷积（Dynamic Convolution）的压缩自编码器（AutoEncoder）得出异常检测结果。提取异常特征矩阵综合了低数据量可行的空间机器学习算法和大数据量分析的时间深度学习算法,保证设备/应用在各个阶段都可以提取异常特征;动态卷积增强了异常检测的自适应能力,可以根据不同的数据集特征动态计算;压缩自编码器增强了算法的抗干扰性,降低算法的误报率。本文首先介绍了支持冷启动的自适应异常检测系统的相关背景,调研了相关产品和研究的现状,继而分析了支持冷启动的自适应异常检测系统需求;之后详细介绍了本文提出的ST-DCCAE算法及其实验结果;接着说明了系统总体架构设计和各模块设计;再对系统实现加以阐述;最后通过一系列测试验证了本系统的有效性。
杨宏胜[3]（2020）在《基于大数据的用户个性化推荐系统设计与实现》文中提出随着互联网的迅猛发展,不断涌现的高新技术工具改善着人们的生活水平。推荐系统在这个过程中扮演着至关重要的角色,它已经广泛应用于社交网络和电子商务等许多在线服务领域中。推荐系统是一种软件工具,它可以为用户推荐一些可能感兴趣的物品或服务,它的存在可以让人们获得更加多样化的有效信息与服务。除了社交、电商,在电影、音乐、书籍和文章等方面也随处可见。推荐系统能够持续的受欢迎得益于推荐技术的不断发展与优化。尽管如此,现有推荐系统仍然面临着冷启动、稀疏性和预测准确率较低等问题。尤其是在大数据时代,传统的推荐系统架构无法满足日新月异的商家与用户需求,同时在扩展性方面仍存在问题。随着大数据技术的不断发展,这些传统问题有了新的解决方向,其中就包括Hadoop分布式计算平台与Spark分布式计算引擎。Spark见长于内存迭代计算,也是当下主流大数据技术。本文主要研究了几种比较经典的推荐算法,针对冷启动、稀疏性和预测准确率较低等问题,进行算法改进,提出了一种新的推荐方法,并在Spark集群上设计与实现,同时提出了一种基于RDD依赖关系的缓存管理策略,提升内存计算资源的使用效率。具体的研究内容如下:（1）针对基于潜在因子模型的推荐算法存在的冷启动和数据稀疏性等问题,提出了一种基于潜在因子的矩阵分解补全混合加权推荐方法（Latent Factor-Based Matrix Factorization Completion Based Hybrid Weighted Recommendation Method）,简称LF-WMC推荐方法。从矩阵分解与矩阵补全两个方面进行初步预测,同时考虑用户项目的邻居信息集,根据用户项目评分的局部和全局影响对以上两种预测结果进行混合得到新的预测结果,最后根据三种预测结果的RMSE进行加权平均,有效缓解了冷启动、数据稀疏性等问题,同时提高了推荐预测结果的准确性。（2）针对Spark分布式计算引擎的计算效率问题,提出了一种基于RDD依赖关系的缓存管理策略,在Spark作业执行前根据RDD的Stage内部和Stage间的依赖关系,引入RDD引用计数与执行时间,针对跨Stage缓存RDD,计算两种能耗实现缓存在磁盘内存中动态切换,提高了内存资源的复用率。（3）设计并实现基于大数据的用户个性化推荐原型系统,并对各个功能模块进行测试,基本满足实际需求。
黄嘉俊[4]（2020）在《基于分布式Java环境的卷积神经网络类库实现 ——以深圳市高分二号卫星影像数据分类为例》文中研究说明随着时代的发展,不断涌现出了各种新技术,其中大数据、深度学习与云计算三项技术不只深刻影响我们的日常生活,也将更多的新思路带入了研究领域。在遥感研究领域,数据量的大幅增加虽然让研究有了长足的发展,但也随之涌现了两大问题,一个是海量数据的存储与管理问题,一个则是个人计算机越来越满足不了日益增长的计算需求问题。因此,越来越多的高校或实验室根据自身需求搭建了云计算平台以此保证自己的研究业务。本文即是依托所在研究组搭建的定制化混合云计算平台来展开,重点研究了基于分布式Java环境的卷积神经网络类库的实现。本文在了解遥感研究人员在进行深度学习研究时出现的运行时间久、现有深度学习库较为难以配置调试分布式计算环境,以及现有卷积神经网络类库Java平台版本较少的现实问题后,明确了两个主要目标,可用的卷积神经网络类库以及在分布式环境下进行部署和计算。主要实现了两个模块:（1）在较为系统的学习卷积神经网络（CNN）的前向传播与反向传播（BP）的原理以及数学模型之后,根据数学模型实现了CNN的前向传播代码,在BP的具体实现中根据梯度下降的原理设计并实现了前向式更新梯度的算法（Forward-BP）,算法在进行前向传播时就记录并更新了参数的变化,并且在编码过程中更好实现。（2）并行计算流架构下,根据Map Reduce编程思想设计以每一次Forward-BP为一次子任务分发给计算线程,然后再汇总计算结果;在数据同步的架构设计上借鉴了Concurrent Hash Map分段加锁的结构,采用深/浅复制的搭配建立了主线程Hash Map与子线程的数据通信,这在保证线程安全的前提下避免了锁的加入。在分布式环境中,结合socket技术,在主线程与计算线程中加入了通信线程保证前两者的通信与并行计算的持续进行,在分布式环境中也设计了相应的并行计算流架构与数据同步架构来理清不同线程间各自的任务以及中间的数据流向,以此为依据让编码实现。本文最终较为完整的开发了一个可用于分布式计算和Java环境的卷积神经网络类库并且以深圳市高分二号卫星图像数据为案例,进行类库的测试和实验。实验结果表明,本类库在分布式环境中,在保证了线程安全的前提下,可以对CNN并行计算Forward-BP。
邢郅超[5]（2020）在《基于分布式系统遥感图像与无人机低空遥感图像数据挖掘技术研究》文中指出随着空天遥感大数据技术的飞速发展,多维、多尺度、高分辨率的遥感影像与无人机低空遥感图像数据呈现爆发式增长。传统分类软件在对这些海量影像数据进行处理时存在耗时较长以及分类精确度浮动范围过大的问题。为保证分类精度在合理范围波动的前提下进一步提升分类效率,本文将Flink流处理运算架构与Hadoop分布式系统相结合,从集群过载保护、预防数据倾斜两个方面来进行优化,设计了一种基于Flink的快速无人机遥感图像分类处理方案。本文开展的具体工作内容如下:针对现有遥感图像与无人机低空遥感图像数据量大、地物信息复杂的特性,将Flink分布式流处理引入到遥感图像数据分类过程之中。为防止在多线程处理过程中的异步化、耦合、线程安全等问题的出现,本文在利用Flink集群从Hadoop分布式文件系统HDFS中读取图像时,以流的方式进行处理,与普通的处理模式相比能有效缩短数据读取时间,并减少无谓的I/O消耗。为解决客户端在与集群服务器在海量图像交互处理时过载问题,本文利用Kafka对Flink集群在的Checkpoint机制进行了优化与改进,提出了一种Flink集群进行海量图像数据处理时故障暂存的优化方案。通过判定在海量遥感图像与无人机低空遥感图像处理过程中服务器是否达到运算性能上限,利用双通道处理模式,在达到集群处理模式上限时,将图片加密压缩后启用Kafka分布式消息订阅系统进行缓存,以此来防止数据积压而导致的集群处理效率下降与文件损坏的问题。之后待集群无压力时再从Kafka中将剩余数据消费出来进行处理。与传统Flink集群的Checkpoint机制相比,应用此机制可以使得处理时的图片故障率获得一定程度的下降,同时有效的提升了集群处理上限。为有效提升遥感图像与无人机遥感图像处理过程的效率,并防止海量图像在Flink集群分类处理时出现的数据倾斜问题,本文针对遥感图像海量数据加扩展后利用了 Flink中的KeyBy和Reduce机制对调用Orfeo Tool Box中的lib分类算法库函数进行了相应的优化处理,提出了基于Flink集群针对无人机遥感图像的分类优化方案。与传统分类处理方法相比,对海量遥感图像处理时,在保证了图像分类精度的基础上,不仅有效的提升了分类处理效率,还大幅缩短了分类处理过程所用时间,并进一步提升了系统的可扩展性能。最后,为验证以上机制策略与优化改进方案分类方法的有效性以及系统的并发能力,本课题利用上述机制与分类优化方案进一步设计并搭建完成了基于Hadoop与Flink的遥感图像与无人机遥感图像分布式快速分类处理系统,并通过搭建的系统环境进行相应测试,同时设计了多组对比实验。经实验验证,结果表明,在对海量遥感图像处理时,与传统分类处理方式相比,优化方案分类方法总体分类时间提升了约35%,处理过程故障率下降了 12%;而在海量无人机低空遥感图像处理时,与传统分类方式相比,总体分类时间提升了约17%,处理过程故障率下降了 15%。
陈超[6]（2020）在《基于Spark的桥梁健康监测系统的设计与实现》文中指出鉴于桥梁安全事故的严重性,以及桥梁工程在国家建设和人民生活中的重要作用,桥梁健康监测受到研究人员的高度重视。但是随着桥梁监测技术的发展,大型桥梁上各种设备收集到的数据总量变得异常庞大。如何有效利用这些数据,成为该领域中的重要问题。本文提出将Spark分布式计算技术应用于桥梁健康监测系统中,使其具有处理海量监测数据的能力,可以快速地进行离线数据分析与建模。实验基于南京大胜关长江大桥的真实数据。论文主要的工作和贡献包括:（1）结合梯度提升树回归预测模型和基于拉依达准则的预测区间,提出了低频监测信号预警模型,并将该模型应用于位移监测上。与之前的研究相比,预测模型的平均R-squared提高了0.017,平均MAE值降低了28.45%;预警模型的平均查全率提高了5.5%。另外,我们将低频监测信号预警模型应用于挠度监测上,首次提出了适用于大胜关大桥的挠度实时预警模型。（2）提出了高频监测信号预警模型,将该模型应用于应变监测上。使用小波包分解与梯度提升树回归算法建立了静应变预测模型,使用拉依达准则和切比雪夫定理确定了动应变的预测区间,最后结合预测模型和预测区间,首次提出了适用于大胜关大桥的应变实时预警模型。（3）设计并实现了基于Spark分布式计算技术的桥梁健康监测系统。该系统由桥梁大数据平台和桥梁健康在线管理系统两个部分组成。性能评估的结果表明,该系统在计算性能、实时性、可用性和可扩展性等方面,均能满足桥梁健康监测的实际需求,解决了传统分析方法所遇到的困难。
刘鹤[7]（2020）在《数字化样机平台RPC通信中间件的设计与实现》文中研究说明数字化样机平台是为了实现雷达产品数字化、软件化设计验证模式而设计研发的模拟仿真平台,该平台通过通信中间件连接异构处理器计算集群提供高效的软件化信号处理能力,为用户提供雷达信号处理、电子对抗、环境设计等多流程下的设计与模拟验证功能。本文主要讨论其RPC通信中间件模块的设计与实现过程。论文起始部分对雷达数字化、软件化开发技术以及RPC中间件技术国内外的发展现状进行了调研,介绍了数字化样机平台存在的背景及意义,并简单介绍了中间件技术在雷达软件化信号处理领域的应用场景。接着通过数字化样机平台的功能需求概述,分析了通信中间件技术在平台中的重要意义。论文的主体部分主要介绍RPC通信中间件的三大功能模块:分布式计算模块主要服务于雷达信号处理模块,负责优化单机上运算性能较差的雷达算法组件;分布式管理与监控模块主要负责分布式服务节点的性能监测和配置管理工作,保障分布式运算集群高效、稳定的运行;分布式代码分发模块负责各个节点上算法的版本管理与远程部署工作,为用户提供便捷的算法组件运维功能。论文首先对这三个模块在数字化样机平台中的应用功能进行了详细的介绍,并从软件开发的角度对各个模块进行了开发需求分析。然后论文在设计实现的部分完成了RPC通信中间件三个功能模块软件服务框架的设计、客户端和服务端实现方案的设计以及各模块服务流程的设计工作。最后在系统测试部分,论文首先根据RPC通信中间件模块对于传输性能和稳定性的需求,完成了基础通信框架的对比测试以及各功能模块的实现方案对比验证。其次,论文根据RPC通信中间件的功能需求用例进行了核心功能的验证。最后对功能验证的结果进行了分析与总结。论文的最后回顾RPC通信中间件模块设计与开发验证的整体过程,总结了模块中需要进一步进行优化的功能点,并对RPC通信中间件各个模块更加智能和丰富的功能进行了展望与设想。
李琪琪[8]（2020）在《期货数据挖掘算法的研究与应用》文中认为随着改革开放的逐步深化,金融市场的飞速发展,一些相关体制逐步得到完善,期货市场面临着良好的发展机遇,越来越多的企业、个人和机构投资者都加入到期货市场中来。如今,中国期货市场与世界期货市场的联系越来越密切,经济全球化对各国期货市场的竞争产生了巨大的影响。因而,建立期货市场来规避现货市场风险,加强对我国期货市场的理论研究十分必要,利用数据挖掘对期货交易数据进行价值信息的发掘亦成为其中最主要的问题。本文从划分消费客户的类别和预测产品价格两个方面进行了期货数据挖掘算法的研究。在重点掌握分类、预测、大数据、前端技术以及数据预处理的基础上,对比得出串并行下的FCM聚类和BP预测算法,实现了算法在Spark计算框架下的分布式运算,同时将改进算法应用于期货管理平台。首先,结合K-means与模糊聚类FCM等分类算法对期货交易客户进行特征分类,以标签形式描述客户画像。在BP神经网络的基础上应用遗传算法对算法进行改进,并将两种算法对多种产品价格的预测结果进行比较;然后,将验证可行的客户聚类和产品预测算法与大数据技术结合,对算法进行优化设计,以满足大数据环境下的应用效果,在搭建的Spark平台中对两种算法进行并行化运算,提升了算法在大数据下的运算性能和数据处理能力;最后,结合客户需求,从客户、产品、预警角度设计了期货平台及数据可视化页面,为企业管理者提供数据支持,实时了解客户和产品动态信息,从而规避客户流失风险,制定精准的客户营销方案。在本文中对期货数据挖掘算法进行串并行化设计并实际应用于企业的智能平台,验证了算法的合理性、可行性,对后续开展大数据下的期货算法研究工作提供了理论基础和参考依据。
张夏童[9]（2020）在《基于路径计算的分散计算范式映射与实现》文中认为5G通信技术的面世为多样化的物联网络带来前所未有的发展契机,诸多万物互联元素从概念畅想变为现实,与此同时,海量智能设备入网,物联网应用分析数据的增长趋也势持续攀升。当前,云计算服务于物联网已成为主流趋势,一定程度上解决了物联网应用中高性能业务计算与海量分析数据存储的难题。然而,在5G赋能下充斥物联设备数据的未来,快速、可靠的业务处理变得至关重要,云计算面对特殊业务时仍存在业务响应高延迟、通信资源有限及单点故障易发的弊病,已无法满足新兴物联网应用对业务实时性、敏捷性、可靠性及安全性的需求。为解决云计算应用于未来物联网络时存在的上述弊端,本文研究分散计算范式的相关理论与实现技术,基于分散式的计算架构,利用靠近用户侧且分散在全域的计算与存储资源协同执行业务计算,提高业务承载网络的应用性能,以协作和共享的方式给用户提供实时、敏捷的计算服务。本文对分散计算实现方式之一―路径计算做概念阐述及其任务映射策略研究,同时设计并实现基于路径计算的分散计算硬件仿真平台,分别从理论与工程角度探索分散计算范式,主要研究内容如下:（1）从分散计算范式、路径计算策略及容器虚拟化技术三方面依次阐述论文国内外研究现状及相关理论与技术基础,为后续路径计算任务映射策略的研究及分散计算硬件仿真平台的实现分别做理论与技术铺垫。（2）针对云计算应用于医疗大数据场景时存在的业务响应高延迟问题,利用医院现有基础设施提出一种云雾网络架构,以支撑路径计算范式的实现;以该网络架构为基础研究路径计算任务映射策略,定义有向无环图形式的大数据任务模型至无向图形式的医院网络拓扑图的映射规则;依据上述映射规则,提出一种基于离散二值粒子群优化算法的时延优化方案,并借助Matlab平台进行实验仿真。仿真结果表明,当数据量取5～10Mb时,应用路径计算方案的任务处理时延相比云计算可降低50%以上。（3）在路径计算任务映射策略研究基础之上,面向卫星计算服务场景,设计分散计算硬件仿真平台架构,并基于Docker容器及其网络与编排技术,依次实现其中可自动化生成卫星集群模拟网络的网络仿真模块、任务图中各类别子任务计算模块及计算模块资源池;利用该平台执行图片处理类的仿真任务图,从实物角度验证基于路径计算的分散计算范式的可行性,及基于离散二值粒子群优化算法的任务图映射策略的时延性能优势。仿真结果表明,当图片数据量取4Mb时,路径计算时延性能相较于云计算可提升40%。
张孟[10]（2019）在《基于大数据的定标方法研究与初步应用》文中认为随着卫星载荷数量、功能、种类的不断增加,定标任务量持续上升,传统的定标方法和技术,越来越难以满足多参数、高时效和高频次的定标需求,以及难以提高定标时效性和频次,本文结合全球定标场网和自动化定标等新定标手段的应用,针对定标过程中多源、异构和巨量定标数据的获取、存储、管理和处理等问题,调研了国内外定标多源数据存储与管理方法,引入了基于分布式文件存储系统、分布式数据库和分布式计算等大数据技术,建立大数据定标数据库,为高频次定标提供时间连续的定标基础参量,增加遥感卫星过顶定标场地次数,提高在轨辐射定标频次。本文以Hadoop系统为基础,搭建大数据定标的原型系统,实现分布式存储与分布式计算功能。采用HTML5+JavaScript+React构建大数据定标平台前端页面,采用Java语言+Spring boot构建平台后端服务,并通过SWIG调用C/C++库、GDAL库、HDF4库和HDF5库,实现了基于B/S架构和类似于SAAS的数据和定标服务。为了增加地表和大气等定标参数的时间连续性,本文设计了类似于网络爬虫的定标多源数据自动获取功能,实现水汽、臭氧和地表等定标多源数据的爬取、预处理和存储,为长时间序列定标提供了稳定的数据支持,替代了人工定标场地实测定标参数的方法。本文利用大数据定标平台,对S-NPP VIIRS载荷进行了自动化在轨辐射定标试验,得到了 2018年4月～2018年12月期间18次有效的场地自动化定标,各波段的相对偏差均小于5%,表明场地自动化观测得到的表观反射率与星上测量的表观反射率有较好的一致性,18次场地自动化定标的均方根优于2.7%,表明场地自动化定标能够用于卫星的高频次在轨辐射定标,并能较好地检测其状态和变化趋势。针对GF-1WFV3载荷,采用国内15个定标场地,进行了在2013年～2018年期间的250多次长时序定标试验,得到了约100次有效定标结果,通过与2018年自动化定标结果进行比较,两种方法获得的4个通道定标结果的相对偏差都在1%以内,表明这两种定标方法具有很好的一致性,提高了定标结果的可靠性,说明自动化定标与全球定标场网相结合的定标新方法具有良好的应用可行性。
二、Java分布式计算技术的分析与比较（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、Java分布式计算技术的分析与比较（论文提纲范文）
（1）煤矿皮带系统指标流式计算与Shuffle调优算法研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 1 绪论 |
| 1.1 研究背景及目标 |
| 1.1.1 研究背景 |
| 1.1.2 研究目标 |
| 1.2 国内外研究现状 |
| 1.3 研究内容 |
| 2 煤矿大数据相关理论与研究 |
| 2.1 Kafka分布式消息系统 |
| 2.2 Spark架构概述 |
| 2.3 基于SSM的全栈技术 |
| 2.4 煤矿皮带系统指标 |
| 2.5 本章小结 |
| 3 基于SparkStreaming的皮带系统流式计算 |
| 3.1 煤矿大数据应用现状 |
| 3.2 皮带系统流式计算原理与设计实现 |
| 3.2.1 流式计算原理 |
| 3.2.2 流式计算系统框架设计 |
| 3.2.3 系统软硬件结构 |
| 3.3 消息吞吐系统原理及实现 |
| 3.4 分布式计算系统原理及实现 |
| 3.4.1 安全管控数据统计与指标流式计算 |
| 3.4.2 业务经管数据指标流式计算 |
| 3.5 皮带系统指标计算结果可视化 |
| 3.5.1 软件架构与功能模块 |
| 3.5.2 数据库设计 |
| 3.6 本章小结 |
| 4 数据倾斜分析及调优算法 |
| 4.1 数据倾斜分析 |
| 4.2 一致性hash算法 |
| 4.3 基于一致性Hash的自定义分区器 |
| 4.3.1 Hash环节点添加模块设计 |
| 4.3.2 基于MD5的Hash值计算模块设计 |
| 4.3.3 节点映射模块设计 |
| 4.4 分区器整体流程 |
| 4.5 分区器性能指标 |
| 4.6 本章小结 |
| 5 流式计算结果展示与Shuffle调优分析 |
| 5.1 系统指标计算结果 |
| 5.2 基于皮带数据指标的决策分析 |
| 5.3 流式计算部署实例 |
| 5.4 Shuffle调优分析 |
| 5.5 本章小结 |
| 6 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 致谢 |
| 参考文献 |
| 附录 研究生在攻读学位期间获奖 |
（2）支持冷启动自适应异常检测系统的设计与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 研究现状 |
| 1.3 研究内容 |
| 1.4 论文结构 |
| 第二章 支持冷启动的自适应异常检测系统需求分析 |
| 2.1 异常检测系统调研 |
| 2.1.1 七牛异常检测系统 |
| 2.1.2 携程Prophet异常检测系统 |
| 2.1.3 AntMonitor异常检测系统 |
| 2.1.4 调研分析 |
| 2.2 总体需求 |
| 2.3 数据接收需求 |
| 2.4 数据存储需求 |
| 2.5 异常检测需求 |
| 2.5.1 流式异常检测需求 |
| 2.5.2 离线异常训练需求 |
| 2.5.3 异常检测算法需求 |
| 2.6 数据告警需求 |
| 2.7 本章小结 |
| 第三章 支持冷启动的自适应异常检测系统算法研究 |
| 3.1 问题分析 |
| 3.1.1 支持冷启动的异常检测 |
| 3.1.2 支持自适应的异常检测 |
| 3.2 相关研究 |
| 3.3 方法说明 |
| 3.3.1 基于空间时间关系的异常特征矩阵生成算法 |
| 3.3.2 基于动态卷积的CNN的特征提取法 |
| 3.3.3 基于压缩自编码器的异常检测算法 |
| 3.4 实验结果与分析 |
| 3.4.1 数据集说明 |
| 3.4.2 实验设置 |
| 3.4.3 实验结论 |
| 3.5 本章小结 |
| 第四章 支持冷启动的自适应异常检测系统设计 |
| 4.1 异常检测系统与待检测设备/应用的关系 |
| 4.2 系统总体架构设计 |
| 4.3 数据接收模块设计 |
| 4.3.1 基于消息队列接收数据 |
| 4.3.2 预处理数据 |
| 4.4 流式异常检测模块设计 |
| 4.4.1 流式异常检测方案 |
| 4.4.2 流式异常检测状态管理 |
| 4.5 离线异常训练模块设计 |
| 4.6 异常检测模型设计 |
| 4.7 时间触发器设计 |
| 4.8 告警模块设计 |
| 4.9 数据/模型存储模块设计 |
| 4.10 配置中心设计 |
| 4.10.1 首页的设计 |
| 4.10.2 异常检测管理页面的设计 |
| 4.10.3 日志管理页面的设计 |
| 4.10.4 管理员管理页面的设计 |
| 4.10.5 配置数据存储设计 |
| 4.11 本章小结 |
| 第五章 支持冷启动的自适应异常检测系统实现 |
| 5.1 数据接收模块实现 |
| 5.1.1 数据采集组件实现 |
| 5.1.2 数据处理组件实现 |
| 5.2 流式异常检测模块实现 |
| 5.2.1 流式异常检测模块实现技术方案 |
| 5.2.2 流式异常检测模块实现流程 |
| 5.3 离线异常训练模块模块实现 |
| 5.3.1 离线异常训练模块实现技术方案 |
| 5.3.2 离线异常训练模块实现流程 |
| 5.4 异常检测模型实现 |
| 5.4.1 异常检测模型调用实现 |
| 5.4.2 异常检测模型的实现方案 |
| 5.5 时间触发器实现 |
| 5.6 告警模块实现 |
| 5.7 数据/模型存储模块实现 |
| 5.8 配置中心实现 |
| 5.8.1 Spring MVC实现方案 |
| 5.8.2 Web管理页面实现方案 |
| 5.8.3 数据表实现 |
| 5.9 本章小结 |
| 第六章 支持冷启动的自适应异常检测系统测试 |
| 6.1 测试目标 |
| 6.2 测试环境 |
| 6.2.1 硬件环境 |
| 6.2.2 软件环境 |
| 6.3 测试说明 |
| 6.3.1 测试内容 |
| 6.3.2 测试步骤 |
| 6.4 测试结果分析 |
| 6.5 本章小结 |
| 第七章 结束语 |
| 7.1 论文工作总结 |
| 7.2 下一步研究工作 |
| 参考文献 |
| 致谢 |
| 作者攻读学位期间发表的学术论文目录 |
（3）基于大数据的用户个性化推荐系统设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 专用术语注释表 |
| 第一章 绪论 |
| 1.1 课题背景及意义 |
| 1.2 课题来源及本人所做工作 |
| 1.3 本文章节安排 |
| 第二章 相关技术研究 |
| 2.1 基础知识 |
| 2.1.1 大数据定义 |
| 2.1.2 Hadoop分布式计算平台 |
| 2.1.3 Spark分布式计算引擎 |
| 2.2 推荐系统 |
| 2.2.1 国内外推荐系统研究现状 |
| 2.2.2 推荐系统关键技术 |
| 2.3 基于大数据的个性化推荐系统 |
| 2.3.1 国内外研究现状 |
| 2.3.2 基于大数据的推荐系统框架 |
| 2.4 个性化推荐算法 |
| 2.4.1 基于协同过滤的个性化推荐算法 |
| 2.4.2 混合推荐方法 |
| 2.5 本章小结 |
| 第三章 基于大数据的用户个性化推荐系统总体设计 |
| 3.1 设计目标 |
| 3.1.1 系统功能需求 |
| 3.1.2 系统性能需求 |
| 3.2 系统总体设计 |
| 3.2.1 系统流程 |
| 3.2.2 总体架构 |
| 3.3 系统功能设计 |
| 3.3.1 数据采集模块 |
| 3.3.2 数据预处理模块 |
| 3.3.3 个性化推荐模块 |
| 3.3.4 系统管理模块 |
| 3.3.5 推荐结果展示模块 |
| 3.4 数据库设计 |
| 3.5 本章小结 |
| 第四章 基于潜在因子的个性化推荐方法设计 |
| 4.1 潜在因子模型分析 |
| 4.2 基于潜在因子的个性化推荐方法 |
| 4.2.1 方法描述 |
| 4.2.2 方法详解 |
| 4.3 仿真与实验 |
| 4.3.1 数据集说明 |
| 4.3.2 实验对比分析 |
| 4.4 本章小结 |
| 第五章 基于RDD依赖关系的缓存管理策略 |
| 5.1 问题分析 |
| 5.2 基于RDD依赖关系的缓存管理策略 |
| 5.2.1 LRU与LRC |
| 5.2.2 基于RDD依赖关系的缓存管理策略 |
| 5.3 仿真与实验 |
| 5.3.1 缓存管理策略 |
| 5.3.2 实验对比分析 |
| 5.4 本章小结 |
| 第六章 系统实现与测试 |
| 6.1 系统运行及测试环境 |
| 6.1.1 系统运行及测试硬件 |
| 6.1.2 系统运行及测试软件 |
| 6.1.3 系统搭建 |
| 6.2 系统功能实现 |
| 6.2.1 系统技术架构 |
| 6.2.2 数据采集模块 |
| 6.2.3 数据预处理模块 |
| 6.2.4 个性化推荐模块 |
| 6.3 系统功能测试 |
| 6.3.1 用户注册与登录 |
| 6.3.2 用户功能测试 |
| 6.4 本章小结 |
| 第七章 总结与展望 |
| 7.1 总结 |
| 7.2 展望 |
| 参考文献 |
| 附录1 攻读硕士学位期间申请的专利 |
| 附录2 攻读硕士学位期间参加的科研项目 |
| 致谢 |
（4）基于分布式Java环境的卷积神经网络类库实现 ——以深圳市高分二号卫星影像数据分类为例（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 课题背景及研究意义 |
| 1.2 相关技术研究概况 |
| 1.2.1 遥感分类研究概况 |
| 1.2.2 深度学习研究概况 |
| 1.2.3 深度学习库概况 |
| 1.2.4 云计算研究概况 |
| 1.3 研究内容与技术路线 |
| 1.3.1 研究目的 |
| 1.3.2 技术路线与主要研究内容 |
| 1.3.3 研究创新点 |
| 1.4 本文章节安排 |
| 第2章 相关技术及理论概述 |
| 2.1 深度神经网络模型概述 |
| 2.1.1 神经网络的诞生 |
| 2.1.2 从神经元到单层感知机 |
| 2.1.3 从单层感知机到深度神经网络 |
| 2.2 卷积神经网络结构概述 |
| 2.2.1 卷积层 |
| 2.2.2 激活函数 |
| 2.2.3 池化层 |
| 2.2.4 全连接层 |
| 2.2.5 损失函数 |
| 2.3 CNN的BP算法 |
| 2.3.1 从损失函数到全连接层 |
| 2.3.2 从卷积层到上一隐藏层 |
| 2.3.3 从池化层到上一隐藏层 |
| 2.3.4 超参数介绍 |
| 2.4 并行计算框架概述 |
| 2.5 socket技术概述 |
| 2.6 本章小结 |
| 第3章 基于Java的 CNN实现与测试 |
| 3.1 CNN前向传播的Java实现 |
| 3.1.1 准备工作 |
| 3.1.2 融合了gdal的数据输入层模块 |
| 3.1.3 卷积层模块 |
| 3.1.4 池化层模块 |
| 3.1.5 全连接层模块 |
| 3.1.6 输出层模块 |
| 3.2 CNN的反向传播网络模型设计 |
| 3.2.1 Forward-BP设计思路 |
| 3.2.2 Forward-BP卷积层模块 |
| 3.2.3 Forward-BP池化层模块 |
| 3.2.4 Forward-BP全连接层模块 |
| 3.2.5 Forward-BP更新参数模块 |
| 3.3 测试 |
| 3.3.1 实验数据与预处理 |
| 3.3.2 测试与结果分析 |
| 3.4 本章小结 |
| 第4章 基于CPU运算的分布式CNN算法设计 |
| 4.1 单机多线程计算环境架构设计 |
| 4.1.1 并行计算架构设计 |
| 4.1.2 数据同步架构设计 |
| 4.2 分布式环境下的架构设计 |
| 4.2.1 分布式环境的并行计算架构设计 |
| 4.2.2 分布式环境的数据同步架构设计 |
| 4.3 实现与测试 |
| 4.3.1 基于Java的实现 |
| 4.3.2 测试与结果分析 |
| 4.4 本章小节 |
| 第5章 总结与展望 |
| 5.1 主要工作总结 |
| 5.2 不足与展望 |
| 参考文献 |
| 指导教师对学位论文的学术评语 |
| 学位论文答辩委员会决议书 |
| 致谢 |
| 攻读硕士学位期间的研究成果 |
（5）基于分布式系统遥感图像与无人机低空遥感图像数据挖掘技术研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 符号说明 |
| 第1章 绪论 |
| 1.1 课题背景与研究的目的和意义 |
| 1.2 国内外研究进展与现状 |
| 1.2.1 分布式系统架构研究现状 |
| 1.2.2 遥感分类算法研究现状 |
| 1.2.3 在遥感图像分类领域的分布式系统应用现状 |
| 1.3 论文主要研究目标、内容及创新点 |
| 1.4 论文主要工作与组织结构 |
| 第2章 分布式系统遥感图像数据挖掘理论与相关技术 |
| 2.1 Hadoop分布式系统 |
| 2.1.1 分布式文件系统HDFS |
| 2.1.2 分布式集群资源管理系统YARN |
| 2.2 Flink分布式计算处理技术 |
| 2.2.1 Flink分布式处理体系架构与基本特性 |
| 2.2.2 Flink流处理模块DataStream API |
| 2.2.3 Flink Kafka Connector |
| 2.3 遥感图像分类技术及相关理论 |
| 2.3.1 遥感图像分类处理平台 |
| 2.3.2 无监督分类算法 |
| 2.4 本章小结 |
| 第3章 基于Flink的遥感图像快速分类系统设计 |
| 3.1 系统设计要求与总体设计方案 |
| 3.2 基于Flink-HDFS遥感与无人机图像数据读取策略 |
| 3.3 基于Kafka的数据缓存保护策略设计 |
| 3.4 基于Flink分布式遥感图像分类处理优化方法 |
| 3.5 本章小结 |
| 第4章 系统实现及相关测试 |
| 4.1 基于Flink快速分类系统测试环境搭建 |
| 4.2 传统遥感图像实验验证及分析 |
| 4.2.1 相关指标评价标准 |
| 4.2.2 实验主要内容 |
| 4.2.3 Salinas高光谱遥感图像 |
| 4.3 无人机低空遥感图像库实验验证及分析 |
| 4.3.1 实验数据源 |
| 4.3.2 实验内容与结果 |
| 4.4 本章小结 |
| 第5章 总结与展望 |
| 5.1 总结 |
| 5.2 展望 |
| 附录 |
| 参考文献 |
| 致谢 |
| 攻读学位期间发表学术论文和参加科研情况 |
| 学位论文评阅及答辩情况表 |
（6）基于Spark的桥梁健康监测系统的设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景和意义 |
| 1.2 国内外研究现状 |
| 1.2.1 桥梁健康监测系统的研究现状 |
| 1.2.2 桥梁损伤预警的研究现状 |
| 1.3 研究内容 |
| 1.4 本文组织结构 |
| 第2章 相关技术 |
| 2.1 分布式计算 |
| 2.1.1 基于Spark的离线计算 |
| 2.1.2 基于Spark Streaming的实时计算 |
| 2.2 分布式存储 |
| 2.2.1 分布式文件系统 |
| 2.2.2 分布式数据库 |
| 2.3 分布式消息队列 |
| 2.4 Web开发技术 |
| 2.4.1 前后端分离开发模式 |
| 2.4.2 后端框架SpringBoot |
| 2.4.3 前端框架Vue.js |
| 2.5 本章小结 |
| 第3章 桥梁健康监测系统的需求分析与设计 |
| 3.1 桥梁健康监测系统的整体需求分析 |
| 3.2 桥梁大数据平台的需求分析 |
| 3.3 桥梁健康在线管理系统的需求分析 |
| 3.4 桥梁健康监测系统的整体设计 |
| 3.5 桥梁大数据平台的设计 |
| 3.5.1 Spark分布式计算框架 |
| 3.5.2 平台的架构设计 |
| 3.5.3 平台的模块设计 |
| 3.6 桥梁健康在线管理系统的设计 |
| 3.6.1 管理系统的架构设计 |
| 3.6.2 管理系统的模块设计 |
| 3.6.3 管理系统的流程设计 |
| 3.7 本章小结 |
| 第4章 桥梁监测数据预处理 |
| 4.1 数据源的基本情况 |
| 4.2 数据清理 |
| 4.2.1 数据的补全与剔除 |
| 4.2.2 数据基准的统一 |
| 4.2.3 噪声数据的处理 |
| 4.3 特征提取与数据集成 |
| 4.3.1 特征的提取 |
| 4.3.2 温度场数据集的构建 |
| 4.3.3 添加通车标记 |
| 4.3.4 完整数据集的构建 |
| 4.4 本章小结 |
| 第5章 桥梁健康监测实时预警模型 |
| 5.1 低频监测信号预警模型 |
| 5.1.1 问题描述 |
| 5.1.2 建模步骤与核心算法 |
| 5.2 高频监测信号预警模型 |
| 5.2.1 问题描述 |
| 5.2.2 建模步骤与核心算法 |
| 5.3 模型的性能评估 |
| 5.3.1 低频监测信号预测模型的性能评估 |
| 5.3.2 高频监测信号预测模型的性能评估 |
| 5.3.3 低频监测信号预警模型的性能评估 |
| 5.3.4 高频监测信号预警模型的性能评估 |
| 5.4 本章小结 |
| 第6章 桥梁健康监测系统的实现与评估 |
| 6.1 桥梁大数据平台的实现 |
| 6.2 桥梁健康在线管理系统的实现 |
| 6.2.1 系统登录模块实现 |
| 6.2.2 首页展示模块实现 |
| 6.2.3 离线分析模块实现 |
| 6.2.4 实时预警模块实现 |
| 6.3 系统的性能评估 |
| 6.3.1 实时性评估 |
| 6.3.2 可用性评估 |
| 6.3.3 可扩展性评估 |
| 6.3.4 功能性测试 |
| 6.4 本章小结 |
| 第7章 总结与展望 |
| 7.1 总结 |
| 7.2 展望 |
| 致谢 |
| 参考文献 |
（7）数字化样机平台RPC通信中间件的设计与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 缩略语对照表 |
| 第一章 绪论 |
| 1.1 选题的背景及意义 |
| 1.1.1 数字化样机平台技术背景 |
| 1.1.2 RPC通信中间件技术的发展 |
| 1.1.3 RPC通信中间件的意义 |
| 1.2 国内外研究现状 |
| 1.2.1 雷达数字化样机平台的现状 |
| 1.2.2 RPC中间件的发展现状 |
| 1.3 论文主要内容和结构安排 |
| 第二章 数字化样机平台 |
| 2.1 数字化样机平台功能概述 |
| 2.2 通信中间件功能需求分析 |
| 2.2.1 支持异构处理器通信 |
| 2.2.2 提高雷达信号处理性能 |
| 2.3 相关技术分析 |
| 2.3.1 基于RPC的分布式计算技术 |
| 2.3.2 RPC通信中间件技术 |
| 2.4 本章小结 |
| 第三章 RPC通信中间件软件需求分析 |
| 3.1 分布式计算模块需求分析 |
| 3.1.1 数据流驱动 |
| 3.1.2 数据传输的顺序性 |
| 3.1.3 数据处理流程的稳定性 |
| 3.1.4 算法组件松耦合性 |
| 3.1.5 数据传输高效性 |
| 3.2 分布式管理与监控模块需求分析 |
| 3.2.1 模块需求背景 |
| 3.2.2 模块需求分析 |
| 3.3 分布式代码分发模块需求分析 |
| 3.3.1 算法组件代码传输 |
| 3.3.2 远程部署与版本控制 |
| 3.4 本章小结 |
| 第四章 RPC通信中间件的设计与实现 |
| 4.1 分布式计算模块的设计与实现 |
| 4.1.1 分布式计算模块架构设计 |
| 4.1.2 分布式计算模块客户端设计与实现 |
| 4.1.3 分布式计算模块服务端设计与实现 |
| 4.2 分布式管理与监控模块的设计与实现 |
| 4.2.1 模块总体架构设计 |
| 4.2.2 分布式管理功能模块的设计与实现 |
| 4.2.3 状态监控功能模块的设计与实现 |
| 4.3 分布式代码分发模块的设计与实现 |
| 4.3.1 代码分发与版本控制方案设计 |
| 4.3.2 代码分发模块流程设计与实现 |
| 4.4 本章小结 |
| 第五章 RPC通信中间件测试与分析 |
| 5.1 测试环境 |
| 5.2 功能模块方案验证 |
| 5.2.1 RPC基础框架 |
| 5.2.2 分布式计算模块 |
| 5.2.3 分布式代码分发模块 |
| 5.3 中间件功能测试内容 |
| 5.4 测试用例设计 |
| 5.5 测试执行与结果分析 |
| 5.6 分布式计算模块性能测试分析 |
| 5.7 本章小结 |
| 第六章 总结与展望 |
| 6.1 本文总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 作者简介 |
（8）期货数据挖掘算法的研究与应用（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 1 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 国内研究现状 |
| 1.2.2 国外研究现状 |
| 1.3 课题来源 |
| 1.4 论文的研究工作 |
| 1.4.1 主要研究工作 |
| 1.4.2 框架结构 |
| 2 基本理论概述 |
| 2.1 数据挖掘技术 |
| 2.1.1 K-means聚类分析 |
| 2.1.2 模糊C均值聚类分析 |
| 2.1.3 BP(Back-Propagation)神经网络 |
| 2.1.4 遗传算法 |
| 2.2 Hadoop相关技术 |
| 2.2.1 HDFS分布式文件系统 |
| 2.2.2 Map Reduce数据计算模型 |
| 2.2.3 Spark计算模型 |
| 2.3 平台界面基础理论 |
| 2.3.1 超文本标记语言HTML(Hypertext Markup Language) |
| 2.3.2 层叠样式表CSS(Cascading Style Sheets) |
| 2.3.3 JSP(Java Server Pages)技术 |
| 2.3.4 Java Script编程 |
| 2.4 本章小结 |
| 3 基于数据挖掘的期货数据分析 |
| 3.1 数据采集与处理 |
| 3.1.1 数据来源 |
| 3.1.2 数据抽取 |
| 3.1.3 数据预处理 |
| 3.2 客户分类 |
| 3.2.1 K-means算法对客户的分类 |
| 3.2.1.1 K-means客户分类过程中算法流程 |
| 3.2.1.2 K均值聚类仿真结果 |
| 3.2.2 模糊C均值对客户的聚类 |
| 3.2.2.1 FCM客户分类算法流程 |
| 3.2.2.2 FCM算法仿真结果 |
| 3.2.3 K均值算法与FCM算法聚类结果对比分析 |
| 3.3 期货价格的预测 |
| 3.3.1 经典BP神经网络算法流程 |
| 3.3.2 遗传(GA)优化的BP神经网络算法流程 |
| 3.3.3 BP算法与GA-BP算法的预测仿真结果与对比分析 |
| 3.4 本章小结 |
| 4 大数据环境下期货算法的实现与分析 |
| 4.1 Hadoop开发平台 |
| 4.1.1 Linux系统环境 |
| 4.1.2 Hadoop集群配置 |
| 4.1.3 Spark环境配置 |
| 4.2 模糊C均值在Spark平台的实现 |
| 4.2.1 FCM并行化算法设计 |
| 4.2.2 实现结果分析 |
| 4.3 BP神经网络在Spark平台的实现 |
| 4.3.1 BP神经网络并行化算法设计 |
| 4.3.2 实现结果分析 |
| 4.4 本章小结 |
| 5 智能期货数据分析平台界面设计与应用 |
| 5.1 平台设计概述 |
| 5.1.1 平台首页页面 |
| 5.1.2 客户管理页面 |
| 5.1.3 产品分析页面 |
| 5.1.4 客户预警页面 |
| 5.2 本章小结 |
| 总结与展望 |
| 总结 |
| 展望 |
| 参考文献 |
| 附录 |
| 致谢 |
| 攻读学位期间发表的学术论文目录 |
（9）基于路径计算的分散计算范式映射与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 符号对照表 |
| 缩略语对照表 |
| 第一章 绪论 |
| 1.1 研究背景和意义 |
| 1.2 国内外研究现状 |
| 1.2.1 分散计算范式的研究现状 |
| 1.2.2 路径计算策略的研究现状 |
| 1.2.3 容器虚拟化技术的研究现状 |
| 1.3 论文章节安排 |
| 第二章 相关理论基础与技术研究 |
| 2.1 分布式计算技术 |
| 2.1.1 分布式计算基本概念 |
| 2.1.2 分布式计算关键特性 |
| 2.1.3 分布式计算通用框架 |
| 2.2 路径计算策略 |
| 2.2.1 路径计算基本概念 |
| 2.2.2 路径计算任务映射模型概述 |
| 2.2.3 路径计算启发式优化算法 |
| 2.3 容器虚拟化技术 |
| 2.3.1 容器虚拟化技术基本概念 |
| 2.3.2 Docker容器实现架构及核心元素 |
| 2.3.3 Docker应用领域及关键技术 |
| 2.4 本章小结 |
| 第三章 路径计算任务映射策略研究与仿真 |
| 3.1 引言 |
| 3.2 云雾网络架构 |
| 3.3 任务映射策略 |
| 3.3.1 有向无环图至无向图的映射规则 |
| 3.3.2 有向无环图至无向图的映射关系优化模型 |
| 3.3.3 离散二值粒子群优化算法 |
| 3.4 仿真结果与分析 |
| 3.4.1 路径计算与云计算的时延性能对比 |
| 3.4.2 任务比例系数对任务处理时延的影响 |
| 3.4.3 子任务复杂度系数对任务处理时延的影响 |
| 3.4.4 离散二值粒子群优化算法与其他映射算法的时延性能比较 |
| 3.5 本章小结 |
| 第四章 分散计算硬件仿真平台实现与测试 |
| 4.1 引言 |
| 4.2 平台架构设计及业务流程说明 |
| 4.3 网络仿真模块相关实现 |
| 4.3.1 模块实现架构 |
| 4.3.2 网络操作接口 |
| 4.3.3 容器内网生成示例 |
| 4.4 子任务计算模块相关实现 |
| 4.4.1 仿真所用业务模型 |
| 4.4.2 子任务计算容器 |
| 4.4.3 子任务计算模块资源池 |
| 4.5 实验与结果分析 |
| 4.5.1 实验环境及参数设置 |
| 4.5.2 实验一:分散计算范式可行性验证 |
| 4.5.3 实验二:路径计算与云计算时延对比验证 |
| 4.5.4 实验三:路径计算时延与任务分支比例系数关系验证 |
| 4.6 本章小结 |
| 第五章 总结与展望 |
| 5.1 论文总结 |
| 5.2 未来工作展望 |
| 参考文献 |
| 致谢 |
| 作者简介 |
（10）基于大数据的定标方法研究与初步应用（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 遥感定标技术发展现状分析 |
| 1.1.1 发射前定标 |
| 1.1.2 星上定标 |
| 1.1.3 替代定标 |
| 1.2 遥感定标数据处理手段和能力现状 |
| 1.3 大数据技术应用于定标的可行性分析 |
| 1.3.1 大数据技术概述 |
| 1.3.2 分布式存储研究与进展 |
| 1.3.3 分布式计算研究与进展 |
| 1.4 大数据技术定标的方法和发展现状 |
| 1.5 本文研究内容 |
| 第2章 大数据定标方案设计 |
| 2.1 大数据定标方案 |
| 2.1.1 分布式文件系统原理 |
| 2.1.2 分布式计算框架原理 |
| 2.1.3 大数据定标方案 |
| 2.2 大数据定标平台的组成 |
| 2.2.1 操作系统 |
| 2.2.2 SSH协议 |
| 2.2.3 JDK |
| 2.2.4 Hadoop系统 |
| 2.2.5 分布式数据库HBase |
| 2.2.6 栅格空间数据开源库 |
| 2.2.7 HDF4/5库 |
| 2.2.8 大气辐射传输模型 |
| 2.2.9 硬件要求 |
| 2.3 自动规划设计 |
| 2.3.1 轨道预报 |
| 2.3.2 SGP4/SDP4库使用说明 |
| 2.4 自动爬取设计 |
| 2.5 算法的物理基础 |
| 2.5.1 场地自动化定标法 |
| 2.5.2 全球定标场网法 |
| 2.6 本章小结 |
| 第3章 大数据定标方案的实现 |
| 3.1 分布式存储与管理定标多源数据 |
| 3.1.1 基础数据 |
| 3.1.2 影像数据 |
| 3.1.3 大气数据 |
| 3.1.4 地表数据 |
| 3.1.5 定标结果数据 |
| 3.2 分布式计算中定标多源数据处理 |
| 3.2.1 影像数据接口设计 |
| 3.2.2 地理定位 |
| 3.3 本章小结 |
| 第4章 大数据定标的软件设计与初步应用 |
| 4.1 多源数据的自动爬取模块 |
| 4.2 数据服务模块 |
| 4.2.1 定标多源数据的查询与下载 |
| 4.2.2 定标多源数据的导入 |
| 4.2.3 定标结果数据 |
| 4.3 基准场模块 |
| 4.4 自动规划模块 |
| 4.5 绝对辐射定标模块 |
| 4.6 大数据定标平台的定标应用 |
| 4.6.1 S-NPP VIIRS高频次定标应用 |
| 4.6.2 GF-1 WFV3长时序定标应用 |
| 4.7 本章小结 |
| 第5章 结论与展望 |
| 5.1 论文工作总结 |
| 5.2 论文的创新点 |
| 5.3 进一步考虑 |
| 参考文献 |
| 致谢 |
| 在读期间发表的学术论文与取得的其它研究成果 |
四、Java分布式计算技术的分析与比较（论文参考文献）
- [1]煤矿皮带系统指标流式计算与Shuffle调优算法研究[D]. 梁寒冰. 西安科技大学, 2021(02)
- [2]支持冷启动自适应异常检测系统的设计与实现[D]. 付华. 北京邮电大学, 2021(01)
- [3]基于大数据的用户个性化推荐系统设计与实现[D]. 杨宏胜. 南京邮电大学, 2020(03)
- [4]基于分布式Java环境的卷积神经网络类库实现 ——以深圳市高分二号卫星影像数据分类为例[D]. 黄嘉俊. 深圳大学, 2020(10)
- [5]基于分布式系统遥感图像与无人机低空遥感图像数据挖掘技术研究[D]. 邢郅超. 山东大学, 2020(10)
- [6]基于Spark的桥梁健康监测系统的设计与实现[D]. 陈超. 东南大学, 2020(01)
- [7]数字化样机平台RPC通信中间件的设计与实现[D]. 刘鹤. 西安电子科技大学, 2020(05)
- [8]期货数据挖掘算法的研究与应用[D]. 李琪琪. 青岛科技大学, 2020(01)
- [9]基于路径计算的分散计算范式映射与实现[D]. 张夏童. 西安电子科技大学, 2020(05)
- [10]基于大数据的定标方法研究与初步应用[D]. 张孟. 中国科学技术大学, 2019(02)