【入門】ApacheSpark/Sparkシェルで分散処理する方法！

Apache Spark 分散処理とは何か知っていますか。Apache Sparkとは、オープンソースの分散処理フレームワークのことです。

分散処理でよく知られているのはhadoopですが、hadoopがhdfsと呼ばれる独自のファイルシステムを通し、処理を実行していきます。

Apache Sparkとは「RDD(Resilient Distributed Dataset)」と呼ばれる耐障害耐性分散可能なデータもしくはセットをオンメモリで実行できるために、 高速な分散処理が実現できるのです。

Apache Sparkの分散処理する方法・入門方法・特徴・インストール・ログファイル・Webインタフェース・バージョン表示に関して紹介していきます。

以下ではSparkの得意もしくは不得意なことを紹介していきます。

Apache Sparkの得意なことは以下の4つです。

• Hadoopで加工したのちのドリルダウン分析
• TB級までのデータを扱うシステム
• サンプリングが有効でないロングテールのデータ分析
• 数秒~数分程度のHadoopよりも短いレスポンスが必要な処理

Apache Sparkの不得意なことは以下の3つです。

• クラスタ全体のメモリに乗りきらない巨大なデータ処理(TB以上)
• 大きなデータセットを少しずつ更新する処理
• 秒以下の時に短いレスポンスが必要な処理

Apache Sparkの構成は以下のとおりです。またApache Sparkの分散処理する方法・入門方法・特徴・インストール・ログファイル・Webインタフェース・バージョン表示を紹介します。

• Spark Core Sparkの基本機能を提供して、RDDと呼ばれている耐障害耐性分散可能なデータもしくはセットを提供する
• Spark Streaming データストリームの処理を提供して、ツイッターからリアルタイムデータの取得などに使用できる。
• Spark SQL 構造化データに対するアクセス機能を提供して、hiveSQLやクエリを使ってJSONなども扱える。
• Mlib 汎用的な機械学習ライブラリを取得し、word2vecを使った類似後分類などができる
• Graph X グラフ理論に基づく計算を提供して、ソーシャルグラフを扱う場合に役立つ

続いてApache Sparkの環境構築について紹介していきます。インストールに関して解説します。そしてApache Sparkの分散処理する方法・入門方法・特徴・インストール・ログファイル・Webインタフェース・バージョン表示に関しても紹介します。

上の画像のインストールにより以下の3種類の対話型実行環境も同時にインストールされるため、デバックの際は非常に良心的ですね。

• spark-shell (Scala)
• pyspark (python)
• sparkR (R言語)

Apache Sparkの環境構築では、Macでのインストールする必要があります。

Macでのインストール以外にも、WindowsでインストールしてもApache Sparkの環境構築をできます。

また、Apache Sparkの分散処理する方法・入門方法・特徴・インストール・ログファイル・Webインタフェース・バージョン表示についてもみていきましょう。