Apache Spark 是什么?
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。几年钱在学术界异常火爆，最近几年可能不是那么火了，因为能研究的问题似乎都已经被研究的差不多了, 属于稳定期了; Apache Spark 是一个高效、通用的并行计算框架平台，其通过多种开发语言和丰富的高级 API，提供了一套统一整合的大数据计算引擎。同时，Spark 支持多种应用场景的使用，如面向结构化语言和结构化数据处理的 Spark SQL，面向机器学习的 MLlib，面向图处理的 GraphX 以及面向流式处理的 Streaming。 本文重点介绍一下如何在 ubuntu 20.00 Linux操作系统上面如何安装 Apache Spark , 包括如何安装 Java、安装 Apache Spark、以及通过 Apache Spark Web 界面访问的教程。Apache Spark 是一个用于大规模数据处理的开源、通用、多语言分析引擎。通过利用集群中的 RAM 对大量数据执行快速数据查询，它可以在单个和多个节点上工作。它提供批处理数据处理和实时流式传输，并支持 Python、SQL、Scala、Java 或 R 等语言的高级 API。该框架提供内存技术，使其能够将查询和数据直接存储在集群节点的主存储器。
Apache Spark 安装准备工作
1.root 权限的非 root 账户
2. JDK安装包(推荐使用openJDK, 避免法律问题)
Apache Spark 安装教程
更新系统包:
$ sudo apt update安装JDK:
你也可以上传你自己的JDK到服务器解压后安装
$ sudo apt install default-jdk -y确认JDK安装成功:
$ java -version安装必要Spark的包(前置动作已完成):
注意: 最新Spark下载地址: https://spark.apache.org/downloads.html;
$ sudo apt install curl mlocate git scala -y#远程获取安装包
$ curl -O https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz解压获取到的安装包
$ sudo tar xvf spark-3.2.0-bin-hadoop3.2.tgz创建Spark安装目录:
$ sudo mkdir /opt/spark移动文件到安装目录:
$ sudo mv spark-3.2.0-bin-hadoop3.2/* /opt/spark修改目录权限:
#我们这里给的是最高权限, 你可以看情况给到指定权限
$ sudo chmod -R 777 /opt/spark编辑 bashrc 配置文件，将 Apache Spark 安装目录添加到系统路径:
$ sudo nano ~/.bashrc将下面两行代码添加到文件末尾保存即可:
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin刷新修改的配置:
$ source ~/.bashrc启动Spark服务:
$ start-master.sh最后: 启动成功,我们可以通过访问 http://ServerIPaddress:8080 从仪表板中查找您的服务器主机名。
访问你的服务: http://192.0.2.10:8080
搬瓦工VPS服务套餐列表
支持主机类型：Linux VPS
支付方式：支付宝、 信用卡、PayPal
硬件配置： ★★★★☆
线路稳定： ★★★☆☆
连接速度： ★★★☆☆
技术支援： ★★★★☆
综合评价： ★★★☆☆
搬瓦工VPS使用KVM虚拟，1Gbps带宽，存储高速SSD，自带分配一个全球IPv4地址，便捷一键转译机房只需要在后台找到“Migrate to another DC”，点击一下，可以自动一键转移到其他某个机房(当然不包括CN2 GIA 和 香港机房);
VPS的全称是Virtual Private Server，中文翻译过来就是虚拟专用服务器，是相对于独立的服务器来说的。一台独立服务器，可以划分为n台VPS，每台VPS都可分配独立公网IP地址、独立操作系统，可以像独立服务器一样，重装操作系统，安装程序，单独重启服务器。因为VPS的价格更低，适合个人用户使用，所以我们搭建SSR一般都是在VPS上进行。 适合人群: 个人站长, wordpress建站, 个人程序系统搭建 小提示： VPS只是一个统称，在各商家的具体叫法可能各不相同。一般来说，与服务器相关的，只要商家没有明确标注是独服，就可以认为是VPS了。 VPS的特征： KVM虚拟，CN2 GT 网络，1Gbps带宽，每个VPS默认自带一个IPv4，支持支付宝付款，后台可以一键安装：快照备份、(VPS、VPS等等)
6.8折优惠码: 68083
| 内存(RAM) | CPU(个) | SSD(G) | 流量(T) | 价格($) | 购买地址 |
| 512M | 1核 | 10G | 500G | 30$/年 | 购买地址 |
| 1G | 1核 | 20G | 1T | 50$/年 | 购买地址 |
| 2G | 1核 | 40G | 2T | 100$/年 | 购买地址 |
| 4G | 2核 | 80G | 3T | 20$/月 | 购买地址 |
| 8G | 2核 | 160G | 5T | 40$/月 | 购买地址 |
| 16G | 3核 | 320G | 8T | 80$/月 | 购买地址 |
注意: 如果你在国内网站无法打开搬瓦工vps的网站, 那大概是被屏蔽了.你可以用搬瓦工做一个SS服务可以解决这个问题!
