hadoop最简单教程（hadoop安装及speak安装）

本文目录

• hadoop安装及speak安装
• 安装hadoop的步骤有哪些
• 如何安装hadoop
• 如何向 hadoop 导入数据
• 求一份hadoop的基础教程，在线等
• 如何在linux下安装hadoop
• hadoop安装教程

hadoop安装及speak安装

掌握在Linux虚拟机中安装Hadoop和Spark的方法，熟悉HDFS的基本使用方法，掌握使用Spark访问本地文件和HDFS文件的方法。
进入Linux系统，参照本教程官网“实验指南”栏目的“Hadoop的安装和使用”，完成Hadoop伪分布式模式的安装。完成Hadoop的安装以后，再安装Spark（Local模式）。使用hadoop用户名登录进入Linux系统，启动Hadoop，参照相关Hadoop书籍或网络资料，或者也可以参考本教程官网的“实验指南”栏目的“HDFS操作常用Shell命令”。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

安装hadoop的步骤有哪些

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA
注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译
（建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以自己编译一下）
前期准备就不详细说了，课堂上都介绍了
1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
5.ssh免登陆
6.安装JDK，配置环境变量等
集群规划：
主机名IP安装的软件运行的进程
HA181192.168.1.181jdk、hadoopNameNode、DFSZKFailoverController(zkfc)
HA182192.168.1.182jdk、hadoopNameNode、DFSZKFailoverController(zkfc)
HA183192.168.1.183jdk、hadoopResourceManager
HA184192.168.1.184jdk、hadoopResourceManager
HA185192.168.1.185jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
HA186192.168.1.186jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
HA187192.168.1.187jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
说明：
1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调
安装步骤：
1.安装配置zooekeeper集群（在HA185上）
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /app/
1.2修改配置
cd /app/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/app/zookeeper-3.4.5/tmp
在最后添加：
server.1=HA185:2888:3888
server.2=HA186:2888:3888
server.3=HA187:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /app/zookeeper-3.4.5/tmp
再创建一个空文件
touch /app/zookeeper-3.4.5/tmp/myid
最后向该文件写入ID
echo 1 》 /app/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点(首先分别在HA186、HA187根目录下创建一个weekend目录：mkdir /weekend)
scp -r /app/zookeeper-3.4.5/ HA186:/app/
scp -r /app/zookeeper-3.4.5/ HA187:/app/
注意：修改HA186、HA187对应/weekend/zookeeper-3.4.5/tmp/myid内容
HA186：
echo 2 》 /app/zookeeper-3.4.5/tmp/myid
HA187：
echo 3 》 /app/zookeeper-3.4.5/tmp/myid
2.安装配置hadoop集群（在HA181上操作）
2.1解压
tar -zxvf hadoop-2.4.1.tar.gz -C /weekend/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/app/jdk1.7.0_79
export HADOOP_HOME=/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop
2.2.1修改hadoop-env.sh
export JAVA_HOME=/app/jdk1.7.0_79
2.2.2修改core-site.xml
《configuration》
《!-- 指定hdfs的nameservice为ns1 --》
《property》
《name》fs.defaultFS《/name》
《value》hdfs://ns1/《/value》
《/property》
《!-- 指定hadoop临时目录 --》
《property》
《name》hadoop.tmp.dir《/name》
《value》/app/hadoop-2.4.1/tmp《/value》
《/property》
《!-- 指定zookeeper地址 --》
《property》
《name》ha.zookeeper.quorum《/name》
《value》HA185:2181,HA186:2181,HA187:2181《/value》
《/property》
《/configuration》
2.2.3修改hdfs-site.xml
《configuration》
《!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 --》
《property》
《name》dfs.nameservices《/name》
《value》ns1《/value》
《/property》
《!-- ns1下面有两个NameNode，分别是nn1，nn2 --》
《property》
《name》dfs.ha.namenodes.ns1《/name》
《value》nn1,nn2《/value》
《/property》
《!-- nn1的RPC通信地址 --》
《property》
《name》dfs.namenode.rpc-address.ns1.nn1《/name》
《value》HA181:9000《/value》
《/property》
***隐藏网址***
《property》
***隐藏网址***
《value》HA181:50070《/value》
《/property》
《!-- nn2的RPC通信地址 --》
《property》
《name》dfs.namenode.rpc-address.ns1.nn2《/name》
《value》HA182:9000《/value》
《/property》
***隐藏网址***
《property》
***隐藏网址***
《value》HA182:50070《/value》
《/property》
《!-- 指定NameNode的元数据在JournalNode上的存放位置 --》
《property》
《name》dfs.namenode.shared.edits.dir《/name》
《value》qjournal://HA185:8485;HA186:8485;HA187:8485/ns1《/value》
《/property》
《!-- 指定JournalNode在本地磁盘存放数据的位置 --》
《property》
《name》dfs.journalnode.edits.dir《/name》
《value》/app/hadoop-2.4.1/journaldata《/value》
《/property》
《!-- 开启NameNode失败自动切换 --》
《property》
《name》dfs.ha.automatic-failover.enabled《/name》
《value》true《/value》
《/property》
《!-- 配置失败自动切换实现方式 --》
《property》
《name》dfs.client.failover.proxy.provider.ns1《/name》
《value》org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider《/value》
《/property》
《!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行--》
《property》
《name》dfs.ha.fencing.methods《/name》
《value》
sshfence
shell(/bin/true)
《/value》
《/property》
《!-- 使用sshfence隔离机制时需要ssh免登陆 --》
《property》
《name》dfs.ha.fencing.ssh.private-key-files《/name》
《value》/home/hadoop/.ssh/id_rsa《/value》
《/property》
《!-- 配置sshfence隔离机制超时时间 --》
《property》
《name》dfs.ha.fencing.ssh.connect-timeout《/name》
《value》30000《/value》
《/property》
《/configuration》
2.2.4修改mapred-site.xml
《configuration》
《!-- 指定mr框架为yarn方式 --》
《property》
《name》mapreduce.framework.name《/name》
《value》yarn《/value》
《/property》
《/configuration》
2.2.5修改yarn-site.xml
《configuration》
《!-- 开启RM高可用 --》
《property》
   《name》yarn.resourcemanager.ha.enabled《/name》
   《value》true《/value》
《/property》
《!-- 指定RM的cluster id --》
《property》
   《name》yarn.resourcemanager.cluster-id《/name》
   《value》yrc《/value》
《/property》
《!-- 指定RM的名字 --》
《property》
   《name》yarn.resourcemanager.ha.rm-ids《/name》
   《value》rm1,rm2《/value》
《/property》
《!-- 分别指定RM的地址 --》
《property》
   《name》yarn.resourcemanager.hostname.rm1《/name》
   《value》HA183《/value》
《/property》
《property》
   《name》yarn.resourcemanager.hostname.rm2《/name》
   《value》HA184《/value》
《/property》
《!-- 指定zk集群地址 --》
《property》
   《name》yarn.resourcemanager.zk-address《/name》
   《value》HA185:2181,HA186:2181,HA187:2181《/value》
《/property》
《property》
   《name》yarn.nodemanager.aux-services《/name》
   《value》mapreduce_shuffle《/value》
《/property》
《/configuration》
2.2.6修改slaves(slaves是指定子节点的位置，因为要在HA181上启动HDFS、在HA183启动yarn，
所以HA181上的slaves文件指定的是datanode的位置，HA183上的slaves文件指定的是nodemanager的位置)
HA185
HA186
HA187
2.2.7配置免密码登陆
#首先要配置HA181到HA182、HA183、HA184、HA185、HA186、HA187的免密码登陆
#在HA181上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点，包括自己
ssh-copy-id HA181
ssh-copy-id HA182
ssh-copy-id HA183
ssh-copy-id HA184
ssh-copy-id HA185
ssh-copy-id HA186
ssh-copy-id HA187
#配置HA183到HA184、HA185、HA186、HA187的免密码登陆
#在HA183上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点
ssh-copy-id HA184
ssh-copy-id HA185
ssh-copy-id HA186
ssh-copy-id HA187
#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置HA182到HA181的免登陆
在HA182上生产一对钥匙
ssh-keygen -t rsa
ssh-copy-id -i HA181
2.4将配置好的hadoop拷贝到其他节点
scp -r /app/hadoop-2.5.1/ HA182:/app/
scp -r /app/hadoop-2.5.1/ HA183:/app/
scp -r /app/hadoop-2.5.1/ HA184:/app/
scp -r /app/hadoop-2.5.1/ HA185:/app/
scp -r /app/hadoop-2.5.1/ HA186:/app/
scp -r /app/hadoop-2.5.1/ HA187:/app/
###注意：严格按照下面的步骤
2.5启动zookeeper集群（分别在HA185、HA186、tcast07上启动zk）
cd /app/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status
2.6启动journalnode（分别在在HA185、HA186、HA187上执行）
cd /app/hadoop-2.5.1
hadoop-daemon.sh start journalnode
#运行jps命令检验，HA185、HA186、HA187上多了JournalNode进程
2.7格式化ZKFC(在HA181上执行即可)hdfs zkfc -formatZK
2.8格式化HDFS
#在HA181上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/app/hadoop-2.4.1/tmp，然后将/weekend/hadoop-2.4.1/tmp拷贝到HA182的/weekend/hadoop-2.4.1/下。
scp -r tmp/ HA182:/app/hadoop-2.5.1/
##也可以这样，建议hdfs namenode -bootstrapStandby
2.9启动HDFS(在HA181上执行)
sbin/start-dfs.sh
2.10启动YARN(#####注意#####：是在HA183上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
sbin/start-yarn.sh
到此，hadoop-2.4.1配置完毕，可以统计浏览器访问:
***隐藏网址***
NameNode ’HA181:9000’ (active)
***隐藏网址***
NameNode ’HA182:9000’ (standby)
验证HDFS HA
首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然后再kill掉active的NameNode
kill -9 《pid of NN》
***隐藏网址***
NameNode ’HA182:9000’ (active)
这个时候HA182上的NameNode变成了active
在执行命令：
hadoop fs -ls /
-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
刚才上传的文件依然存在！！！
手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode
***隐藏网址***
NameNode ’HA181:9000’ (standby)
验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out
OK，大功告成！！！
CID-74d21742-3e4b-4df6-a99c-d52f703b49c0
测试集群工作状态的一些指令 ：
bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息
bin/hdfs haadmin -getServiceState nn1 获取一个namenode节点的HA状态
sbin/hadoop-daemon.sh start namenode  单独启动一个namenode进程
./hadoop-daemon.sh start zkfc   单独启动一个zkfc进程

如何安装hadoop

　　在Unix上安装Hadoop的过程与在Linux上安装基本相同，因此下面不会对其进行详细介绍。
　　在Linux上安装与配置Hadoop
　　在Linux上安装Hadoop之前，需要先安装两个程序：
　　1. JDK 1.6或更高版本;
　　2. SSH(安全外壳协议)，推荐安装OpenSSH。
　　下面简述一下安装这两个程序的原因：
　　1. Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。
　　2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上的进程，只不过伪分布式中salve为localhost(即为自身)，所以对于伪分布式Hadoop，SSH一样是必须的。
　　一、安装JDK 1.6
　　安装JDK的过程很简单，下面以Ubuntu为例。
　　(1)下载和安装JDK
　　确保可以连接到互联网，输入命令：
　　sudo apt-get install sun-java6-jdk
　　输入密码，确认，然后就可以安装JDK了。
　　这里先解释一下sudo与apt这两个命令，sudo这个命令允许普通用户执行某些或全部需要root权限命令，它提供了详尽的日志，可以记录下每个用户使用这个命令做了些什么操作;同时sudo也提供了灵活的管理方式，可以限制用户使用命令。sudo的配置文件为/etc/sudoers。
　　apt的全称为the Advanced Packaging Tool，是Debian计划的一部分，是Ubuntu的软件包管理软件，通过apt安装软件无须考虑软件的依赖关系，可以直接安装所需要的软件，apt会自动下载有依赖关系的包，并按顺序安装，在Ubuntu中安装有apt的一个图形化界面程序synaptic(中文译名为“新立得”)，大家如果有兴趣也可以使用这个程序来安装所需要的软件。(如果大家想了解更多，可以查看一下关于Debian计划的资料。)
　　(2)配置环境变量
　　输入命令：
　　sudo gedit /etc/profile
　　输入密码，打开profile文件。
　　在文件的最下面输入如下内容：
　　#set Java Environment
　　export JAVA_HOME= （你的JDK安装位置，一般为/usr/lib/jvm/java-6-sun）
　　export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
　　export PATH="$JAVA_HOME/:$PATH"
　　这一步的意义是配置环境变量，使你的系统可以找到JDK。
　　(3)验证JDK是否安装成功
　　输入命令：
　　java -version
　　查看信息：
　　java version "1.6.0_14"
　　Java(TM) SE Runtime Environment (build 1.6.0_14-b08)
　　Java HotSpot(TM) Server VM (build 14.0-b16, mixed mode)
　　二、配置SSH免密码登录
　　同样以Ubuntu为例，假设用户名为u。
　　1)确认已经连接上互联网，输入命令
　　sudo apt-get install ssh
　　2)配置为可以无密码登录本机。
　　首先查看在u用户下是否存在.ssh文件夹(注意ssh前面有“.”，这是一个隐藏文件夹)，输入命令：
　　ls -a /home/u
　　一般来说，安装SSH时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手动创建一个。
　　接下来，输入命令：
　　ssh-keygen -t dsa -P ’’ -f ~/.ssh/id_dsa
　　解释一下，ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思，即密钥类型;-P用于提供密语;-f指定生成的密钥文件。(关于密钥密语的相关知识这里就不详细介绍了，里面会涉及SSH的一些知识，如果读者有兴趣，可以自行查阅资料。)
　　在Ubuntu中，~代表当前用户文件夹，这里即/home/u。
　　这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是SSH的一对私钥和公钥，类似于钥匙及锁，把id_dsa.pub(公钥)追加到授权的key里面去。
　　输入命令：
　　cat ~/.ssh/id_dsa.pub 》》 ~/.ssh/authorized_keys
　　这段话的意思是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件。
　　至此无密码登录本机已设置完毕。
　　3)验证SSH是否已安装成功，以及是否可以无密码登录本机。
　　输入命令：
　　ssh -version
　　显示结果：
　　OpenSSH_5.1p1 Debian-6ubuntu2, OpenSSL 0.9.8g 19 Oct 2007
　　Bad escape character ’rsion’.
　　显示SSH已经安装成功了。
　　输入命令：
　　ssh localhost
　　会有如下显示：
　　The authenticity of host ’localhost (::1)’ can’t be established.
　　RSA key fingerprint is 8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77.
　　Are you sure you want to continue connecting (yes/no)? yes
　　Warning: Permanently added ’localhost’ (RSA) to the list of known hosts.
　　Linux master 2.6.31-14-generic #48-Ubuntu SMP Fri Oct 16 14:04:26 UTC 2009 i686
　　To access official Ubuntu documentation, please visit:
　　
　　Last login: Mon Oct 18 17:12:40 2010 from master
　　admin@Hadoop:~$
　　这说明已经安装成功，第一次登录时会询问你是否继续链接，输入yes即可进入。
　　实际上，在Hadoop的安装过程中，是否无密码登录是无关紧要的，但是如果不配置无密码登录，每次启动Hadoop，都需要输入密码以登录到每台机器的DataNode上，考虑到一般的Hadoop集群动辄数百台或上千台机器，因此一般来说都会配置SSH的无密码登录。

如何向 hadoop 导入数据

如何向 hadoop 导入数据

1.2 使用Hadoop shell命令导入和导出数据到HDFS
实验准备
实例需要用到的数据-weblog_entries.txt
在namenode创建2个文件夹用来存放实验用的数据
mkdir /home/data 1
mkdir /home/data_download1
将weblog_entries.txt上传到namenode里的/home/data文件夹（我使用SecureFXPortable.exe 工具）
注：以下命令都是在namenode节点运行的
实验过程
1.在HDFS中创建一个新的文件夹，用于保存weblog_entries.txt
hadoop fs -mkdir /data/weblogs1
2.将weblog_entries.txt文件从本地文件系统复制到HDFS刚创建的新文件夹下
cd /home/data1
hadoop fs -copyFromLocal weblog_entries.txt /data/weblogs1
3.列出HDFS上weblog_entries.txt文件的信息：
hadoop fs –ls /data/weblogs/weblog_entries.txt 1
4.将HDFS上的weblog_entries.txt文件复制到本地系统的当前文件夹下
cd /home/data_download1
hadoop fs -copyToLocal /data/weblogs/weblog_entries.txt ./weblog_entries.txt 1
最后用 ls 命令检验下时候将weblog_entries.txt 下载到本地

如何向oracle 10g数据库导入数据

Oracle 11g数据导入到10g
一、在11g服务器上，使用expdp命令备份数据
11g 导出语句：EXPDP USERID=’facial/facial@orcl as sysdba’ schemas=facialdirectory=DATA_PUMP_DIR dumpfile=test.dmp logfile=test.log version=10.2.0.1.0
二、在10g服务器上，使用impdp命令恢复数据
准备工作：1.建库2.建表空间3.建用户并授权4.将test.dmp拷贝到10g的dpdump目录下
--创建表空间
create tablespace TS_Facial datafile ’E:\ORACLE\PRODUCT\10.2.0\ORADATA\ORCL\Facial.DBF’ size 500M autoextend on next 50M;
--创建用户
create user Facial identified by Facial default tablespace TS_Facial;
--授权给用户
grant connect,resource,dba to Facial;
test.dmp 和 test.log 放在E:\oracle\product\10.2.0\admin\orcl\dpdump目录下
10g 导入语句：IMPDP USERID=’facial/facial@orcl as sysdba’ schemas=facialdirectory=DATA_PUMP_DIR dumpfile=test.dmp logfile=test.log version=10.2.0.1.0

如何向mongodb分片集群导入数据

下载mongoDB（mongoDB下载地址），笔者使用的是mongoDB 2.0.4的Linux 64-bit版本。
解压：tar xzf mongo.tgz
默认情况下，mongoDB将数据存储在/data/db目录下，但它不会自动创建该目录，所以我们需要手动创建它：
$ sudo mkdir -p /data/db/
$ sudo chown `id -u` /data/db
也可以使用--dbpath参数来指定别的数据库目录。
如果只是想在单机上测试一下mongoDB的话，非常简单，首先启动MongoDB server，
$ ./mongodb-xxxxxxx/bin/mongod
在另外一个终端，连接到我们启动的server：
$ ./mongodb-xxxxxxx/bin/mongo
》 db.foo.save( { a : 1 } )
》 db.foo.find()

如何向clementine12.0中导入数据库数据

在resources找到database节点连上去就可以，之后按照你的用户名和密码填好就可以，但是在之前要配置数据库。

如何向sql server2008中导入数据库

打开SQL Server Management Studio，在对象资源管理器中，展开“SQL Server 实例”→“数据库”→“MySchool”节点，单击鼠标右键，选择“任务”→“导出数据”命令。出现导入和导出向导的欢迎界面，单击“下一步”按钮，出现“选择数据源”对话框，如图
在“选择数据源”对话框中设置如下选项：
数据源：SQL Native Client 10.0。
服务器名称：DC。
身份验证：Windows身份验证。
数据库：MySchool。
单击“下一步”按钮，出现“选择目标”对话框，设置如下选项（如图所示）：
目标：平面文件目标。
文件名：C:\student.txt。
格式：带分隔符。
单击“下一步”按钮，出现“指定表复制或查询”对话框，如图所示。
在“指定表复制或查询”对话框中选中“复制一个或多个表或视图的数据”单选按钮，单击“下一步”按钮，出现“配置平面文件目标”对话框，如图所示。
设置源表或源视图为MySchool.dbo.student，单击“下一步”按钮。
在“保存并执行包”对话框中选中“立即执行”复选框，如图所示，然后单击“下一步”按钮。
在如图所示的对话框中单击“完成”按钮。
如图所示，当执行完后，单击“关闭”按钮。
8
在Windows资源管理器中打开C:\student.txt文件，验证导出的结果。

如何导入数据

工具/原料
sql2008
方法/步骤
登录sql2008数据库，其实其他版本的数据库也是一样的原理
使用windows账户登录，登录成功之后打开资源管理器窗口
在数据库上单击右键，选择【新建数据库】
在弹出的新建数据库窗口中，输入数据库名字【test】然后点击确定
数据库【test】新建完成，在数据库上单击右键，选择【任务】【导入数据】
弹出导入数据向导，选择下一步
数据源选择【Excel】,文件路径选择我们需要导入的文件
目标数据库选择我们刚才新建的【test】数据库，其他保存默认不变，一直单击【下一步】
勾选我们需要导入的Excel表，如图所示，然后单击下一步，完成
开始导入数据，如图所示，成功导入，点击【关闭】
这样我们就导入了Excel中的数据

如何从linux向dbeaver导入数据

1、右击新建连接 2、选择Oracle 3、将要填的数据都填好了，下拉框选sid，点测试，通过就ok了 4、狂点下一步，最后完成。 注：无需安装oracle客户端。只有这个dbeaver就可以，只是需要个驱动包这个不用说。不会加驱动可以追问

如何从EXCEL向MATLAB导入数据

首先把excel文件放在work文件夹里，假设文件名为a.xls。
然后在matlab命令窗口输入a=xlsread(’a.xls’);
此时，a矩阵即为exel里对应的数据

使用Matlab中的Excel Link就可以了。
如果使用Excel 2003版本，操作如下：
1 打开Excel。
2 在菜单栏中选择工具→加载项→浏览。
3 在Matlab的安装目录下打开toolbox\exlink文件夹，选择EXCLLINK.XLA，点击确认。
4 自动回到加载项对话框后，确保对话框中有“Excel
Link”，选中后点击确认按钮即可，菜单栏中自动添加了Matlab加载项。
5 使用其中的putmatrix，既可以将数据导入到Matlab中。
如果使用Excel 2007版本，操作如下：
1 打开Excel。
2 点击左上的office按钮→Excel选项→转到→加载项→浏览。
3 在Matlab的安装目录下打开toolbox\exlink文件夹，选择EXCLLINK.XLA，点击确认。
4 自动回到加载项对话框后，确保对话框中有“ExcelLink”，选中后点击确认按钮即可，菜单栏中自动添加了Matlab加载项。
5 使用其中的putmatrix，既可以将数据导入到Matlab中。

求一份hadoop的基础教程，在线等

1.选择一个Hadoop的版本，然后阅读文档了解Hadoop：What’s Hadoop, Why Hadoop exists；
2.安装Hadoop，三种方式都试下；
3.在Hadoop文档里面有Hadoop Command的资料，I.hdfs command，尽量试试这两方面的命令；
4.Hadoop Files，看看Hadoop文件的概念，关注它的分布式特点，然后看Reduce函数输出文件；
5.自己写WordCount与Advanced WordCount；
6.写Sort程序；
7.使用RandomTextWriter；
8.模仿SequenceFileInputFormat、SequenceFileOutputFormat、写自己的；
9.yahoo有一个Hadoop的教程，英文版的，里面的内容很好；
10.《hadoop权威指南》当参考书，自己就可以实战了！

如何在linux下安装hadoop

如何在linux下安装hadoop

建议使用自动化部署吧。 这个还是不太难做到哦。 能否看一下my网名呢？帮助搞定一下

一、前期准备:
下载hadoop: :hadoop.apache./core/releases.
:hadoop.apache./mon/releases.
:apache./dyn/closer.cgi/hadoop/core/
:labs.xiaonei./apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz
:labs.xiaonei./apache-mirror/hadoop/
二、硬体环境
共有3台机器，均使用的CentOS，Java使用的是jdk1.6.0。
三、安装JAVA6
sudo apt-get install sun-java6-jdk
/etc/environment
开启之后加入：#中间是以英文的冒号隔开，记得windows中是以英文的分号做为分隔的
CLASSPATH=.:/usr/local/java/lib
JAVA_HOME=/usr/local/java
三、配置host表
# vi /etc/hosts
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.108 datanode1
192.168.13.110 datanode2
# vi /etc/hosts
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.108 datanode1
# vi /etc/host
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.110 datanode2
新增使用者和使用者组
addgroup hadoop
adduser hadoop
usermod -a -G hadoop hadoop
passwd hadoop
配置ssh:
服务端:
su hadoop
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys
客户端
chmod 700 /home/hadoop
chmod 755 /home/hadoop/.ssh
su hadoop
cd /home
mkdir .ssh
服务端:
chmod 644 /home/hadoop/.ssh/authorized_keys
scp authorized_keys datanode1:/home/hadoop/.ssh/
scp authorized_keys datanode2:/home/hadoop/.ssh/
ssh datanode1
ssh datanode2
　如果ssh配置好了就会出现以下提示资讯
The authenticity of host can’t be established.
Key fingerpr is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52.
Are you sure you want to continue connecting (yes/no)?
OpenSSH告诉你它不知道这台主机但是你不用担心这个问题你是第次登入这台主机键入“yes”这将把
这台主机“识别标记”加到“~/.ssh/know_hosts”档案中第 2次访问这台主机时候就不会再显示这条提示信
不过别忘了测试本机ssh　dbrg-1
　
mkdir /home/hadoop/HadoopInstall
tar -zxvf hadoop-0.20.1.tar.gz -C /home/hadoop/HadoopInstall/
cd /home/hadoop/HadoopInstall/
ln -s hadoop-0.20.1 hadoop
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:/usr/local/java/lib
export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop
export HADOOP_CONF_DIR=/home/hadoop/hadoop-conf
export PATH=$HADOOP_HOME/bin:$PATH
cd $HADOOP_HOME/conf/
mkdir /home/hadoop/hadoop-conf
cp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves /home/hadoop/hadoop-conf
vi $HADOOP_HOME/hadoop-conf/hadoop-env.sh
# The java implementation to use. Required. --修改成你自己jdk安装的目录
export JAVA_HOME=/usr/local/java

export HADOOP_CLASSPATH=.:/usr/local/java/lib
# The maximum amount of heap to use, in MB. Default is 1000.--根据你的记忆体大小调整
export HADOOP_HEAPSIZE=200
vi /home/hadoop/.bashrc
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:/usr/local/java/lib
export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop
export HADOOP_CONF_DIR=/home/hadoop/hadoop-conf
export PATH=$HADOOP_HOME/bin:$PATH
配置
namenode
#vi $HADOOP_CONF_DIR/slaves
192.168.13.108
192.168.13.110
#vi $HADOOP_CONF_DIR/core-site.xml
《?xml version="1.0"?》
《?xml-stylesheet type=text/xsl href="configuration.xsl"?》

《!-- Put site-specific property overrides in this file. --》

《configuration》
《property》
《name》fs.default.name《/name》
《value》hdfs:192.168.13.100:9000《/value》
《/property》
《/configuration》
#vi $HADOOP_CONF_DIR/hdfs-site.xml
《?xml version="1.0"?》
《?xml-stylesheet type=text/xsl href="configuration.xsl"?》

《!-- Put site-specific property overrides in this file. --》

《configuration》
《property》
《name》dfs.replication《/name》
《value》3《/value》
《description》Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
《/description》
《/property》
《/configuration》
#vi $HADOOP_CONF_DIR/mapred-site.xml
《?xml version="1.0"?》
《?xml-stylesheet type=text/xsl href="configuration.xsl"?》

《!-- Put site-specific property overrides in this file. --》

《configuration》
《property》
《name》mapred.job.tracker《/name》
《value》192.168.13.100:11000《/value》
《/property》
《/configuration》
~
在slave上的配置档案如下(hdfs-site.xml不需要配置)：
# cat core-site.xml
《?xml version="1.0"?》
《?xml-stylesheet type=text/xsl href="configuration.xsl"?》
《!-- Put site-specific property overrides in this file. --》
《configuration》
《property》
《name》fs.default.name《/name》
《value》hdfs:namenode:9000《/value》
《/property》
《/configuration》
# cat mapred-site.xml
《?xml version="1.0"?》
《?xml-stylesheet type=text/xsl href="configuration.xsl"?》
《!-- Put site-specific property overrides in this file. --》
《configuration》
《property》
《name》mapred.job.tracker《/name》
《value》namenode:11000《/value》
《/property》
《/configuration》
启动
export PATH=$HADOOP_HOME/bin:$PATH
hadoop namenode -format
start-all.sh
停止s-all.sh
在hdfs上建立danchentest资料夹，上传档案到此目录下
$HADOOP_HOME/bin/hadoop fs -mkdir danchentest
$HADOOP_HOME/bin/hadoop fs -put $HADOOP_HOME/README.txt danchentest
cd $HADOOP_HOME
hadoop jar hadoop-0.20.1-examples.jar wordcount /user/hadoop/danchentest/README.txt output1
09/12/21 18:31:44 INFO input.FileInputFormat: Total input paths to process : 1
09/12/21 18:31:45 INFO mapred.JobClient: Running job: job_200912211824_0002
09/12/21 18:31:46 INFO mapred.JobClient: map 0% reduce 0%
09/12/21 18:31:53 INFO mapred.JobClient: map 100% reduce 0%
09/12/21 18:32:05 INFO mapred.JobClient: map 100% reduce 100%
09/12/21 18:32:07 INFO mapred.JobClient: Job plete: job_200912211824_0002
09/12/21 18:32:07 INFO mapred.JobClient: Counters: 17
09/12/21 18:32:07 INFO mapred.JobClient: Job Counters
09/12/21 18:32:07 INFO mapred.JobClient: Launched reduce tasks=1
检视输出结果档案，这个档案在hdfs上
# hadoop fs -ls output1
Found 2 items
drwxr-xr-x - root supergroup 0 2009-09-30 16:01 /user/root/output1/_logs
-rw-r--r-- 3 root supergroup 1306 2009-09-30 16:01 /user/root/output1/part-r-00000
# hadoop fs -cat output1/part-r-00000
(BIS), 1
(ECCN) 1
检视hdfs执行状态,可以通过web介面来访问:192.168.13.100:50070/dfshealth.jsp;检视map-reduce资讯，
可以通过web介面来访问:192.168.13.100:50030/jobtracker.jsp;下面是直接命令列看到的结果。
出现08/01/25 16:31:40 INFO ipc.Client: Retrying connect to server: foo.bar./1.1.1.1:53567. Already tried 1 time(s).
的原因是没有格式化:hadoop namenode -format

如何在windows下安装hadoop

建议你在windows上安装linux的虚拟机器，然后在linux上安装hadoop

1、安装Cygwin
下载cygwin的setup.exe，双击执行：

选择从Inter安装：
设定安装目录：

设定安装包目录：

设定“Inter Connection”的方式，选择“Direct Connection”：

选择一个下载站点：
“下一步”之后，可能会弹出下图的“Setup Alert”对话方块，直接“确定”即可
在“Select Packages”对话方块中，必须保证“Net Category”下的“OpenSSL”被安装：

如果还打算在eclipse 上编译Hadoop，则还必须安装“Base Category”下的“sed”：

“Devel Category”下的subversion 建议安装：

下载并安装：

当下载完后，会自动进入到“setup”的对话方块：

在上图所示的对话方块中，选中“Create icon on Desk”，以方便直接从桌面上启动
Cygwin，然后点选“完成”按钮。至此，Cgywin 已经安装完成。
2、配置环境变数
需要配置的环境变数包括PATH 和JAVA_HOME：将JDK 的bin 目录、Cygwin 的bin 目录
以及Cygwin 的usr\bin（ *** in）目录都新增到PATH 环境变数中；JAVA_HOME 指向JRE 安装目录。
3、windows系统上执行hadoop丛集，伪分散式模式安装步骤：
①启动cygwin，解压hadoop安装包。通过cygdrive（位于Cygwin根目录中）可以直接对映到windows下的各个逻辑磁碟分割槽。例如hadoop安装包放在分割槽D：\下，则解压的命令为＄ tar -zxvf /cygdrive/d/hadoop-0.20.2.tar.gz,解压后可使用ls命令检视，如下图：
预设的解压目录为使用者根目录，即D：\cygwin\home\lsq（使用者帐户）。
②conf/hadoop-env.sh档案，将JAVA_HOME变数设定为java的安装目录。例如java安装在目录C：\Program Files\java\jdk1.6.0_13,如果路径没空格，直接配置即可。存在空格，需将Program Files缩写成Progra_1,如下图：
③依次conf目录下的core-site.xml、mapred-site.xml和hdfs-site.xml档案，如下图：
④安装配置SSH
点选桌面上的Cygwin图示，启动Cygwin，执行ssh-host-config命令，然后按下图上的选择输入：

当提示Do you want to use a different name?输入yes，这步是配置安装的sshd服务，以哪个使用者登入，预设是cyg_server这个使用者，这里就不事先新建cyg_server这个使用者，用当前本机的超管本地使用者：chenx，后续根据提示，2次输入这个账户的密码

出现Host configuration finished. Have fun! 一般安装顺利完成。如下图：

输入命令$ start sshd，启动SSH，如下图：

注：sshd服务安装完之后，不会预设启动，如果启动报登入失败，不能启动，可在服务属性-Log On视窗手工修改，在前述的过程之中，cygwin不会校验密码是否正确，应该只是校验了2次的输入是否一致，然后再手工启动。不知道为什么，sshd服务如果选择local system的登入方式，后续会有问题，所以sshd服务最好设定成当前的登入使用者。

⑤配置ssh登入
执行ssh-keygen命令生成金钥档案
输入如下命令：
cd ~/.ssh
ls -l
cat id_rsa.pub 》》 authorized_keys
完成上述操作后，执行exit命令先退出Cygwin视窗，如果不执行这一步操作，下面的操作可能会遇到错误。接下来，重新执行Cygwin，执行ssh localhost命令，在第一次执行ssh localhost时，会有“are you sure you want to continue connection《yes/no》?”提示，输入yes，然后回车即可。当出现下图提示，即顺利完成该步：

⑥hadoop执行
格式化namenode
开启cygwin视窗，输入如下命令：
cd hadoop-0.20.2
mkdir logs
bin/hadoop namenode –format

启动Hadoop
在Cygwin 中，进入hadoop 的bin 目录，
执行./start-all.sh 启动hadoop；
可以执行./hadoop fs -ls /命令，检视hadoop 的根目录；
可以执行jps 检视相关程序；
如下图：（如果显示和下图类似，一般hadoop安装/启动成功）

如何在hadoop 环境下安装hive

不行。 安装 vm 下载：去官网下 VMware-player-5.0.1-894247.zip 安装和配置ubanto 下载：去官网下 ubuntu-12.10-desk-i386.iso 开启vm，载入ubanto iso档案，进行安装更新 进入ubanto，如果是第一个进入，则需要设定root的密码

如何在ubantu环境下安装hadoop

上apache的hadoop页下编译好的包，解压，配一些档案就行了 很容易 网上教程很多

如何在 Linux 下安装 PyCharm

PyCharm 是由 Jetbrains 公司开发的一个跨平台器。如果你之前是在 Windows 环境下进行开发，那么你会立刻认出 Jetbrains 公司，它就是那个开发了 Resharper 的公司。 这篇文章将讨论如何在 Linux 系统上获取、安装和执行 PyCharm 。

如何在linux下安装opencv

新建一个perl，名为bar.pl
内容如下：
#!/usr/bin/perl
while (《》){
chomp;
s/(+) - .*/\1/g;
system "apt-get install ".$_;
}
然后apt-cache search opencv | perl bar.pl

hadoop安装教程

1、hadoop安装包下载。

2、登录：启动成功后访问IP，登录默认用户名和密码: Username:admin、Password:123456

3、集群指定主机（安装过程中请不要刷新页面）

4、集群安装（DKM各组件安装）：这里有3种安装方式 “基本安装”，“完整安装”，“自定义安装”。

5、开始安装组件：我以“基本安装”方式来进行示例，其他方式类同，选择“下一步”会出现如下图的进度条。

6、点击“完成安装”会转到 DKM 监控界面（ip:8998） ，首先需要登录， 用户名：admin ,密码：admin 。

7、点击登录，进入到集群监控界面，如下图：

扩展资料：

Hadoop主要有以下几个优点  ：

1.高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖  。

2.高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中  。

3.高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快   。

4.高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配 。

5.低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低  。

Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++ 。

参考资料来源：百度百科-hadoop