SparkNVM:Spark框架持久性内存适配层
安装过程
cd SparkNVM
mvn package clean
mvn install
- 上述步骤需要root权限,操作完成后确保已将libjnipmdk.so安装到/usr/lib路径,并生成了java-1.0-jar-with-dependencies.jar文件。
- 将spark-defaults.conf中的spark.driver.extraClassPath、spark.executor.extraClassPath等参数指向java-1.0-jar-with-dependencies.jar的保存位置。
- 将libjnipmdk.so和java-1.0-jar-with-dependencies.jar拷贝到集群中的其他机器,并执行ldconfig刷新动态链接库路径。
- 使用修改后的spark-defaults.conf替换原始Spark中的同名配置文件,并启动集群。
SparkNVM:Spark框架持久性内存适配层
安装过程