<font id="tbtdb"></font>

        <sub id="tbtdb"><delect id="tbtdb"></delect></sub>

          <progress id="tbtdb"></progress>
          <address id="tbtdb"></address><thead id="tbtdb"></thead>
          <font id="tbtdb"></font>

          <meter id="tbtdb"><cite id="tbtdb"><dl id="tbtdb"></dl></cite></meter>

          好程序員-千鋒教育旗下高端IT職業教育品牌

          400-811-9990
          我的賬戶
          好程序員

          專注高端IT職業培訓

          親愛的猿猿,歡迎!

          已有賬號,請

          如尚未注冊?

          [BigData] 好程序員大數據高端班培訓 HDFS讀寫兩步教程

          [復制鏈接]
          388 0
          葉子老師 發表于 2019-5-20 14:36:39 | 只看該作者 |閱讀模式 打印 上一主題 下一主題
          好程序員大數據高端班培訓 HDFS讀寫兩步教程
          HDFS讀寫前提
            NameNode(元數據節點):存放元數據(名稱空間、副本數、權限、塊列表、集群配置信息),不包含數據節點。元數據節點將文件系統元數據存儲在內存中。
            1.DataNode(數據節點):真正存儲數據的地方,以數據塊為單位。默認數據塊大小為128M。數據節點周期性的將所有存儲塊信息發送給元數據節點。客戶端通過和NameNode節點溝通后,再向數據節點對數據讀出或寫入。
            2.SecondaryNameNode(從元數據節點):并不是元數據節點的備用節點,而是配合元數據節點工作,與元數據節點有不同的工作。SecondaryNameNode周期性地將元數據節點的命名空間鏡像文件和修改日志合并,幫助元數據節點將內存中元數據信息存儲到磁盤上。
            3.Client(客戶端):客戶端就是需要獲取HDFS系統中文件的應用程序和接口,引發HDFS的讀/寫等操作。
            值得注意的是:
            1.namenode實際客戶端只上傳一個datanode,其余兩個是namenode完成的。讓datenote自己復制的。然后復制完成以后逐級返回結果給namenode。如果2,3datanode復制失敗,再有namenode分配新的datanode地址。對于客戶端來說默認上傳一個datanode就可以了,其余的由datanode自己復制。
            2.datanode切片是由客戶端完成的。datanode第二三個副本的上傳和第一個上傳是異步的。
          HDFS中的寫流程:
            1.根namenode通信請求上傳文件,namenode檢查目標文件是否已存在,父目錄是否存在。
            2.namenode返回是否可以上傳。
            3.client請求第一個 block該傳輸到哪些datanode服務器上。
            4.namenode返回3個datanode服務器ABC。
            5.client請求3臺dn中的一臺A上傳數據(本質上是一個RPC調用,建立pipeline),A收到請求會繼續調用B,然后B調用C,將真個pipeline建立完成,逐級返回客戶端。
            6.client開始往A上傳第一個block(先從磁盤讀取數據放到一個本地內存緩存),以packet為單位,A收到一個packet就會傳給B,B傳給C;A每傳一個packet會放入一個應答隊列等待應答。
            7.當一個block傳輸完成之后,client再次請求namenode上傳第二個block的服務器。
          hdfs中的讀流程:
            1.跟namenode通信查詢元數據,找到文件塊所在的datanode服務器。
            2.挑選一臺datanode(就近原則,然后隨機)服務器,請求建立socket流。
            3.datanode開始發送數據。(從磁盤里面讀取數據放入流,以packet為單位來做校驗)
            4.客戶端以packet為單位接收,先在本地緩存,然后寫入目標文件。
          好程序員大數據高端培訓官網:http://www.xn122.com/bigdata.shtml

          精彩內容,一鍵分享給更多人!
          收藏
          收藏0
          轉播
          轉播
          分享
          淘帖0
          支持
          支持0
          反對
          反對0
          回復

          使用道具 舉報

          您需要登錄后才可以回帖

          本版積分規則

          關注我們
          好程序員
          千鋒好程序員

          北京校區(總部):北京市海淀區寶盛北里西區28號中關村智誠科創大廈

          深圳西部硅谷校區:深圳市寶安區寶安大道5010號深圳西部硅谷B座A區605-619

          杭州龍馳智慧谷校區:浙江省杭州市下沙經濟技術開發區元成路199號龍馳智慧谷B座7層

          鄭州校區:鄭州市二七區航海中路60號海為科技園C區10層、12層

          Copyright 2007-2019 北京千鋒互聯科技有限公司 .All Right

          京ICP備12003911號-5 京公安網11010802011455號

          請您保持通訊暢通1對1咨詢馬上開啟

          电影韩国三级2019在线观看