lish's blog

welcome to here

标签: SQL

  1. SparkSQL-DataFrame

    DataFrame

    DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更还快了两倍

  2. SparkSQL

    SparkSQL

    在spark内核的基础上提供了对结构化数据的处理，允许用户直接通过hive表，Parquet文件以及一些其他数据源生成的DataFrame，提高JDBC读写表的能力，可以原生支持Postgres,Mysql等系统。
    在Spark1.3中，引入了DataFrame来重命名SchemaRDD类型。