现在的spark sql编程通常使用scala api 以及 java api的方式，相比于直接使用 spark sql语句，spark api灵活很多，毕竟可以基于dataset以及rdd两种方式进行操作，不过spark sql的坑就有点多了。

1，getClass.getResourceAsStream这个类，网上通常说的是不加"/"是从当前包读取，加了"/"是从根class路径读取，但是根路径并不是在idea或者文件下看到的诸如src/main/resource/这样的路径，而是最终打包时候生成的jar的时候的格式，在生成jar包的时候resource文件夹下会被展开到根路径下，所以如果要加载resource下的资源，只需要"/资源名"就可以了

2、select crossInfo, split(crossInfo, '|') as jda from tem_test_yy lateral view explode(split(jdaList, '#')) tmpTable as crossInfo

这个语句有bug，返回的结果是

jda1|1|time1    ["j","d","a","1","|","1","|","t","i","m","e","1",""]jda1|1|time1    ["j","d","a","1","|","1","|","t","i","m","e","1",""]jda2|1|time2    ["j","d","a","2","|","1","|","t","i","m","e","2",""]jda3|0|time3   ["|","j","d","a","3","|","0","|","t","i","m","e","3",""]

主要原因是hive里面|字符要使用转义符号！！，所以正确用法是split(crossInfo, '\\|');

3、spark persist不能乱用，尤其是

MEMORY_AND_DISK_SER

级别，对于大表来说，persist效率远不如多执行一遍。。对于几十亿级别的表，效率可降低数倍。。

4、dataframe = dataset[row]  ,spark map里面的匿名函数返回值不能是dataset[row]，否则会报序列化错误，它只支持dataset[class]的形式，需要在返回以后 在driver端通过 dataset[row].toDF()转成 dataframe也就是dataset[row]才行。但是dataset[row]可以作为map的输入。

5、scala selet("_1.*")和select($"_1")，如果处理的是Tuple[_1,_2]类型的dataset,

后者会生成如下的schema

|-- _1: struct (nullable = true) |    |-- all_jda: string (nullable = true) |    |-- user_visit_ip: string (nullable = true) |    |-- sequence_num: integer (nullable = true)

前者是生成如下的schema

| -- all_jda: string (nullable = true) | -- user_visit_ip: string (nullable = true) | -- sequence_num: integer (nullable = true)

这绝对是一个坑=。=，后者会把多一层schema结构，而在spark sql语句中是能直接取到非顶层的列的。。

6、spark sql的一些问题

(1)， hive支持使用正则语句，spark sql 不支持

(2)， left out join on A.column = B.column 而不能写成 left out join on column;

(3),  select * from A left out join B on cloumn会造成ambigious错误 需要小心

(4),  concat_ws不支持对除String外的其他类型数组的连接，需要自己实现一个udf