hadoop - 愛碼網

在 Ubuntu 22 的基礎上進行 Hadoop 偽分布式（HDFS）的搭建

一、使用VMware安裝Ubuntu虛擬機在Linux系統各個發行版中，Ubuntu系統在服務端和桌面端使用占比最高，網絡上資料最是齊全，所以這里使用Ubuntu LTS。整體的系統安裝文件較大(>1G)，這里采用了迅雷加速下載。迅雷下載地址：下載迅雷工具下載地址：Download Ubunt ... ?

mac系統上hdfs java api的簡單使用

1、背景在上一節中，我們簡單學習了在命令行上如何操作hdfs shell api，此處我們通過java程序來操作一下。 2、環境準備需要在本地環境變量中配置 HADOOP_HOME 或在程序啟動的時候通過命令行指定hadoop.home.dir的值，值為HADOOP的home目錄地址?？赏ㄟ^o ... ?

Hadoop部署的基礎設施操作詳解

目錄官網導讀基礎設施設置IP及主機名關閉防火墻&amp;selinux 設置hosts映射時間同步安裝jdk 設置SSH免秘鑰結論官網導讀 hadoop.apache.org/docs/r2.6.5… 支持最好的平臺：GNU/Linux 依賴的軟件： J ?

Hadoop腳本遠程控制中SSH常見問題詳解

目錄背景 SSH有三個知識點背景在Hadoop腳本遠程控制中，需要知道SSH一些常見的知識點。 SSH有三個知識點 1、使用ssh通過Hadoop腳本遠程控制其他節點。 2、ssh配置免密模式。 3、ssh遠程執行的時候有一個弊端，上面說到需要使用Java JDK，使用 ?

Centos7搭建hadoop3.3.4分布式集群

1、背景最近在學習hadoop，本文記錄一下，怎樣在Centos7系統上搭建一個3個節點的hadoop集群。 2、集群規劃 hadoop集群是由2個集群構成的，分別是hdfs集群和yarn集群。2個集群都是主從結構。 2.1 hdfs集群規劃 | ip地址 | 主機名 |部署服務| |--|--| ... ?

Centos7系統編譯Hadoop3.3.4

1、背景最近在學習hadoop，此篇文章簡單記錄一下通過源碼來編譯hadoop。為什么要重新編譯hadoop源碼，是因為為了匹配不同操作系統的本地庫環境。 2、編譯源碼 2.1 下載并解壓源碼 [root@hadoop01 ~]# mkdir /opt/hadoop [root@hadoop01 ... ?

05安裝一個Hadoop分布式集群

安裝一個Hadoop分布式集群最小化的Hadoop已經可以滿足學習過程中大部分需求，但是為了研究Hadoop集群運行機制，部署一個類生產的環境還是有必要的。因為集群機器比較少，筆者沒有配置ssh，所以就需要在每一臺機器上手動啟動服務。啟動上相對繁瑣一些，優點是可以高度自定義集群中的任務節點數量，從 ?

微軟外服札記④——Spark中的那些坑...

Spark中的那些坑 Spark中的那些坑前言讀取配置文件時區陷阱怪異的DayOfWeek substring陷阱 IP地址解析枚舉的數值 posexplode函數為什么我的程序運行那么慢？慎用Count()和Show() 為什么我的程序運行那么慢？（2）優化、優化其它題外話前言 ... ?

使用docker安裝hadoop（已實現）

1.拉鏡像這里推薦第一個 docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base 或者 docker pull qianiqan/hadoop_only 2.創建容器三個容器的名稱分別是Master、S ?

【深入淺出 Yarn 架構與實現】4-4 RM 管理 Application

在 YARN 中，Application 是指應用程序，它可能啟動多個運行實例，每個運行實例由 —個 ApplicationMaster 與一組該 ApplicationMaster 啟動的任務組成，它擁有名稱、隊列、優先級等屬性，是一個比較寬泛的概念，可以是一個 MepReduce 作業、一個 D... ... ?

Hadoop生態元數據管理平臺——Atlas2.3.0發布！

大家好，我是獨孤風。今天我們來聊一下另一個元數據管理平臺Apache Atlas。Atlas其實有一些年頭了，是在2015年的時候就開源。相對于Datahub來說，Atlas顯得有一些“老”了，社區也遠沒有以前活躍。但是，從穩定性和與Hadoop生態的融合度的角度來說，Atlas目前還是無 ?

【深入淺出 Yarn 架構與實現】4-3 RM 管理 NodeManager

本篇繼續對 RM 中管理 NodeManager 的部分進行深入的講解。主要有三個部分：檢查 NM 是否存活；管理 NM 的黑白名單；響應 NM RPC 請求。 ... ?

【深入淺出 Yarn 架構與實現】4-2 RM 管理 Application Master

本篇將對 RM 中管理 Application Master 的部分進行深入的講解。下面將會介紹 RM 與 AM 整體通信執行流程，并對 RM 中涉及的對應服務進行具體講解。為了更好的學習本篇知識，建議先熟悉以下知識點，不了解的部分可翻到前面對應的文章進行學習： ... ?