大数据开发知识点总结(三)
十一、Spark1.Spark介绍1.1 什么是spark基于内存的分布式计算框架只负责算 不负责存spark 在离线计算 功能上 类似于mapreduce的作用1.2 为什么用sparkMapReduce的缺点运行速度慢 （没有充分利用内存）接口比较简单，仅支持Map Reduce功能比较单一 只能做离线计算不适合迭代计算…
大数据开发知识点总结(二)
七、Sqoop实战1 Mysql数据导入HDFS上.1. 全量导入：将mysql表中全部数据都导入HDFS，如果HDFS中存在这个目录的话就会报错，默认存储的HDFS目录是 /user/root/XXX.bin/sqoop import (在sqoop的安装目录内，import表名是导入)--connect jdbc:mysql://192.168.52.130:330…
大数据开发知识点总结
一、HDFS1.基本操作：查看所有命令 hadoop fs1、查看所有目录及其文件 hadoop fs -ls /2、hdfs文件系统创建目录 hadoop fs -mkdir /input（用于测试代码）2.1、hdfs文件系统创建目录（批量）hadoop fs -mkdir -p /inout/tmp 在input文件夹内创建tmp文件夹3、hdfs文件系统创建文…
【孕期奶爸该做些什么】孕期奶爸注意事项8
孕爸须知
彻底关闭Windows10自动更新
Windows10是微软新一代桌面操作系统，华丽的图标，扁平的界面，平滑的切换，给人一种舒适的操作体验。但是，新系统的问题也是层出不穷，尤其是更新以后，会出现许多莫明其妙的问题。那么，怎样能保持住稳定的系统版本，不让系统自动升级呢？只有彻底关闭Windows10自动更新，才…
centos6.7虚拟机克隆过程(基于vmware)
VMWARE虚拟机相信大家都有用过，好处毋容置疑就是模拟真机进行操作，有些集群的调试不单只是需要一个centos系统就能完成，有时候可能需要多个系统，而重新安装一个系统和部署所有软件花费的时间肯定是巨大的，所以克隆系统就是最快的解决方案，但克隆完成后网络冲突这些问题需…
C#调用虹软人脸识别AsfFace2.0实例
虹软SDK推出了2.0版本，这个版本的所有API都集合在一个动态库里面，再通过引擎库调用，比1.2版本相对轻便了很多。小西瓜也迫不及待弄了一个新版本的C#实例，基于VS2013开发的,弄的过程中也遇到很多问题，不过通过论坛的一些大神的反馈和说明，几乎全部解决了，这次封装也有参考…
Linux系统Shell编程简单学习日记
1、什么是Shell•Shell是用户与内核进行交互操作的一种接口，目前最流行的Shell称为bashShell•Shell也是一门编程语言<解释型的编程语言>，即shell脚本•一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell，不同的shell可能支持的命令语法是…