张城硕的博客

数据来源多样性，记录业务数据的不确定性，将会带来数据重复、缺失甚至错误的问题。为了更好地训练模型，数据清洗是必要的环节。

Spark操作数据，数据是以什么样的形式存在的？Spark是如何操作数据的呢？

HDFS常用Shell命令整理，后续不断填充。

Spark学习

夜深人静，处理一下博客。简单写两句话。

特征工程

Hive适用于离线分析，速度较慢，无法支持在线业务。所以引入HBase，记录本文。

对Hive使用的归纳。

为了方便的使用hdfs，我安装个hive，记录如下。

前言，因为使用hive需要使用mysql存储元数据，所以我需要在虚拟机ubuntu上安装mysql。之前用压缩包安装过，没有记录，本次形成文档，记录下来。在查询过程中，发现网上有更简单的方法，参考记录如下。