<font id="tbtdb"></font>

        <sub id="tbtdb"><delect id="tbtdb"></delect></sub>

          <progress id="tbtdb"></progress>
          <address id="tbtdb"></address><thead id="tbtdb"></thead>
          <font id="tbtdb"></font>

          <meter id="tbtdb"><cite id="tbtdb"><dl id="tbtdb"></dl></cite></meter>

          好程序員-千鋒教育旗下高端IT職業教育品牌

          400-811-9990
          我的賬戶
          好程序員

          專注高端IT職業培訓

          親愛的猿猿,歡迎!

          已有賬號,請

          如尚未注冊?

          [BigData] 好程序員大數據培訓分享關于kafka的幾個重要問題

          [復制鏈接]
          684 0
          葉子老師 發表于 2019-8-20 15:01:47 | 只看該作者 |閱讀模式 打印 上一主題 下一主題
            好程序員大數據培訓分享關于kafka的幾個重要問題:
            1.segment的概念
            topic中會有一個到多個分區,每個分區中會有多個segmentsegment的大小在kafka的配置文件里可以設置,segment的大小是相等的,每個segment有多個index文件和對應的數據文件組成的
            2.數據存儲機制?(數據寫入快的原因)
            首先是broker接收到數據,將數據放到操作系統(linux)的緩存里(pagecache)
            pagecache 會盡可能多的使用空閑內存,會使用sendfile技術盡可能多的減少操作系統和應用程序之間進行重復緩存,寫入數據的時候還會用到順序寫入的方式,寫入數據的速度可達600m/s
            3.consumer是怎么解決負載均衡問題的?
            當同一個group 的consumer的數量發生改變時,會觸發kafka的負載均衡,首先獲取consumer消費的起始分區號,再計算出consumer要消費的分區數量,最后用起始分區號的hashcode值模余分區數
          1、數據的分發策略
            kafka默認調用自己的分區器(DefaultPartitioner)進行分區,也可以自定義分區器,自定義分區器需要實現Partitioner特質,實現partition方法
          2、kafka是怎么保證數據不丟失的?
          kafka接收數據以后會根據創建的topic指定的副本數來儲存,副本數據是由kafka自己進行同步,多副本機制保證了數據的安全性
          3、kafka可以保證topic里的數據全局有序嗎
            kafka可以做到分區內有序,分區之間是無序的
            怎么做到全局有序呢?最簡單方式是創建分區topic時指定分區數為1
          4、如果想消費已經被消費過的數據
            1.采用不同的group。
            2.通過一些配置,就可以將線上產生的數據同步到鏡像中去,然后再由特定的集群區處理大批量的數據。
          好程序員大數據培訓官網:http://www.xn122.com/

          精彩內容,一鍵分享給更多人!
          收藏
          收藏0
          轉播
          轉播
          分享
          淘帖0
          支持
          支持0
          反對
          反對0
          回復

          使用道具 舉報

          您需要登錄后才可以回帖

          本版積分規則

          關注我們
          好程序員
          千鋒好程序員

          北京校區(總部):北京市海淀區寶盛北里西區28號中關村智誠科創大廈

          深圳西部硅谷校區:深圳市寶安區寶安大道5010號深圳西部硅谷B座A區605-619

          杭州龍馳智慧谷校區:浙江省杭州市下沙經濟技術開發區元成路199號龍馳智慧谷B座7層

          鄭州校區:鄭州市二七區航海中路60號海為科技園C區10層、12層

          Copyright 2007-2019 北京千鋒互聯科技有限公司 .All Right

          京ICP備12003911號-5 京公安網11010802011455號

          請您保持通訊暢通1對1咨詢馬上開啟

          电影韩国三级2019在线观看