问题：CreateProcess error=206, 文件名或扩展名太长
问题描述：IDE：IntelliJ IDEA构建工具：Maven现象：Failed to execute goal org.springframework.boot:spring-boot-ma...
分类 个人笔记 下的文章
Spark基础教程——累加器的使用（JAVA）
通常在向Spark传递函数时，比如使用map()函数或者用filter()传条件时，可以使用驱动器程序中定义的变量，但是集群中运行的每个任务都会得到这些变量的一份新的副本，更新这些副本的值也不会...
Spark基础教程——文件读写操作
Spark支持多种文件的读写操作，例如普通文本文件、JSON、CSV、SequenceFile等，而且Spark会根据文件后缀自动选择对应的处理方式。下面是Spark支持的常见的文本格式：格式名...
Spark基础教程——向Spark传递函数（Java篇）
Spark大部分转化操作和一部分行动操作，都需要依赖开发人员传递的函数进行计算。在Spark支持的3种开发语言（Java、Python、Scala）里，传递的方式略有不同。下面苦李介绍Java如...
Spark基础教程——基本RDD
1、RDD概念RDD的全称是弹性分布式数据集（Resilient Distributed Dataset），它是Spark对数据的核心抽象。在Spark中，对数据的操作可简单概括为创建RDD、转...
HBase都有哪些典型的使用场景
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，使用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，...
Ambari Confirm Hosts阶段报错：Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
利用Ambari安装Hadoop，主机与主机之间已经添加了免密登录，在Confirm Hosts步骤还是报错，错误信息如下：Permission denied (publickey,gssapi...
Spark运行原理分析
一、Spark专业术语定义1、Application：Spark应用程序指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。Spar...
Spark+Kafka实现订单实时统计功能
一.前期准备开发环境：window7+eclipse+jdk1.7部署环境：linux+zookeeper+kafka+hadoop+spark二.概念理解Spark Streaming 是Sp...
离线日志收集利器：Flume
什么是flumeflume是apache的一个数据收集框架。定义了一个数据流的模型。下面这张图hadoop业务开发流程图可以说明Flume的重要性：Flume是一个分布式、可靠、和高可用的海量日...
如何学习数据分析？
如何学好数据分析？这个一个比较大的命题，很难一两句话弄说的清楚。在这里，苦李就以一个这数据方面的从业者的身份来说一说我的学习方法，当然有一点要说的是每个人的思想、方法、工作经历、知识侧重点都是不...
单次读取万行级数据性能优化
业务场景：基于导出的功能上，要求一次性查询10w条数据。但是这个10w的开始值和结束值不固定（比如：startNum = 123; endNum = 100123;）难点一：dubbox时间超时...
大数据入门的五大核心技术
21世纪，世界已经进入数据大爆炸的时代，大数据时代已经来临。从商业公司内部的各种管理和运营数据，到个人移动终端与消费电子产品的社会化数据，再到互联网产生的海量信息数据等，每天世界上产生的信息量正...
Flume介绍和常见应用场景
一、什么是Flume？Flume是由Cloudera软件公司提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，后与2009年被捐赠了apache软件基金会，为hadoop相关...
iterm2 常用快捷键
命令说明command + t新建标签command + w关闭标签command + 数字 command + 左右方向键切换标签command + enter切换全屏command + f查...
ElasticSearch基础概念
1、索引ElasticSearch将数据存储在一个或多个索引（index）中，这里的索引就像SQL领域的数据库，例如：MySQL里的一个database。ElasticSearch内部使用Apa...
NUMA架构与性能分析
1、什么是NUMA？NUMA（Non Uniform Memory Access Architecture）是一种用于多处理器的电脑记忆体设计，内存访问时间取决于处理器的内存位置。 在NUMA下...
Nova操作汇总
1、常规操作Launch：创建instance。Start：启动instance。Reboot：soft reboot重启操作系统，整个过程中，instance依然处于运行状态。hard reb...
Spark从入门到调优，是否有捷径可走
以下是《Spark大数据分析》一书的作者Mohammed Guller在接受媒体访问时的记录，对加深Spark的理解有很大帮助，现整理如下。问：您对Apache Spark框架的定义是怎样的？该...
Mac python2.7安装pip工具
Mac自带的python默认是没有安装pip的，记录一种简单、快速安装pip的方法：curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py...