HADOOP下并行遗传算法实现及其性能测试.zip

资料分类:工业大学 VIP会员(小九)分享原创毕业论文参考材料更新时间:17-03-10
需要金币1000 个金币 资料包括:完整论文 下载论文
转换比率:金额 X 10=金币数量, 例100元=1000金币 论文字数:18352
折扣与优惠:团购最低可5折优惠 - 了解详情 论文格式:Word格式(*.doc)

摘要:遗传算法越来越被应用于处理大规模数据问题,但是传统的基于MPI的遗传算法表现的并不是太好,MapReduce是谷歌用来处理大规模数据而开发的一种强大而高容错的算法模型。在这篇论文中,我们通过使用MapReduce模式来重新实现遗传算法。我们通过MapReduce的开源实现hadoop,将传统的遗传算法利用MapReduce,部署在其Hdfs上。我们测试了少于150种的变异问题,相信通过更大的集群我们能够处理更大规模的数据。

关键词 hadoop;hdfs;mapreduce;遗传算法

 

目录

摘要

Abstract

1 绪论-3

1.1项目研究的背景-3

1.1.1 hadoop产生背景以及发展状况-3

1.1.2 遗传算法研究背景-4

1.2项目研究的意义-4

2云计算技术-6

2.1 Linux相关操作基础-6

2.1.1 Linux操作系统的基础概念-6

2.1.2 Linux命令-6

2.2云计算的概念与发展状况-7

2.2.1云计算的概念-7

2.2.2云计算的发展-7

2.3谷歌云计算-8

2.3.1 Google云计算技术架构-8

2.3.2  Google云计算的关键技术-9

2.3.3  google云计算的平台-----Google App Engine-10

2.4 Hadoop:Google云计算的开源实现-12

2.4.1 Hadoop简介-12

2.4.2  HDFS-14

2.4.3 MapReduce-20

3 遗传算法-22

3.1基本概念-22

3.2遗传算法定义-22

3.3遗传算法特点-23

3.4遗传算法的应用-23

3.4.1函数优化-23

3.4.2组合优化-24

3.5遗传运算-24

3.5.1遗传运算算法描述-24

3.5.2运算过程-24

4 hadoop集群搭建-28

4.1 linux下集群搭建-28

4.1.1安装相关软件-28

4.1.2安装步骤-29

4.2windows下集群搭建-36

4.2.1安装相关软件-36

4.2.2安装步骤-37

4.2.3注意事项-43

5 hadoop的遗传实现-44

5.1简单函数的遗传实现-44

5.1.1 MapReduce程序设计过程-44

5.1.2 运行环境-45

5.1.3  简单函数的hadoop寻优-45

5.1.3  复杂函数的hadoop寻优-48

结论-51

致谢-52

参考文献-53

意思相近论文题目: