舉報 
會員
Airflow實戰
朱鵬程 著
更新時間：2024-02-28 18:15:49
開會員，本書免費讀 >
最新章節：
B.4.2 Kubernetes的應用前景
本書由淺入深地介紹了如何快速搭建Airflow集群，包括不同操作系統的快速搭建方法、Airflow的安裝方法、Airflow集群的部署方法、Airflow中的核心概念和其他重要概念、Airflow的架構和組件、Airflow的系統管理、實踐經驗以及其他常見的調度系統。附錄提供了Docker和Kubernetes的簡介。此外，本書還提供了在生產環境中使用Airflow的諸多實踐與經驗，無論是對研發工程師創建工作流、排查工作流問題，還是對運維工程師維護集群運轉、優化集群性能，都有極其重要的借鑒價值。本書圖文并茂，理論翔實，示例豐富，適合正在使用或者即將使用Airflow作為調度系統的研發工程師、Airflow平臺的運維工程師以及對Airflow感興趣的讀者閱讀。
最新章節
- B.4.2 Kubernetes的應用前景
- B.4.1 Kubernetes的發展趨勢和未來方向
- B.4 Kubernetes的未來展望
- B.3.3 Kubernetes與云原生生態系統
- B.3.2 Kubernetes的社區
- B.3.1 Kubernetes的插件和擴展
品牌：人郵圖書
上架時間：2024-02-28 17:57:06
出版社：人民郵電出版社
本書數字版權由人郵圖書提供，并由其授權上海閱文信息技術有限公司制作發行
- B.4.2 Kubernetes的應用前景 更新時間：2024-02-28 18:15:49
- B.4.1 Kubernetes的發展趨勢和未來方向
- B.4 Kubernetes的未來展望
- B.3.3 Kubernetes與云原生生態系統
- B.3.2 Kubernetes的社區
- B.3.1 Kubernetes的插件和擴展
- B.3 Kubernetes的生態系統
- B.2.12 Label和Selector
- B.2.11 Secret
- B.2.10 ConfigMap
- B.2.9 PersistentVolume和PersistentVolumeClaim
- B.2.8 Ingress
- B.2.7 Service
- B.2.6 Namespace
- B.2.5 Controller
- B.2.4 Pod
- B.2.3 Node
- B.2.2 Master
- B.2.1 Cluster
- B.2 Kubernetes的重要概念
- B.1.3 Kubernetes的特性
- B.1.2 Kubernetes的起源和發展歷程
- B.1.1 Kubernetes的定義
- B.1 什么是Kubernetes
- 附錄B Kubernetes簡介
- A.6.4 Docker與人工智能的結合
- A.6.3 Docker與大數據的結合
- A.6.2 Docker與云計算的結合
- A.6.1 Docker在容器編排方面的競爭
- A.6 Docker的未來發展
- A.5.4 安全性的提高
- A.5.3 多云部署的實現
- A.5.2 微服務架構的實現
- A.5.1 應用程序的開發、測試和部署
- A.5 Docker的應用
- A.4.3 性能問題
- A.4.2 安全性不夠
- A.4.1 對于某些應用程序不適用
- A.4 Docker的局限性
- A.3.4 更簡單的維護和更新操作
- A.3.3 更好的資源利用率
- A.3.2 更快的部署和啟動時間
- A.3.1 更高的可移植性
- A.3 Docker的優點
- A.2.6 Docker存儲
- A.2.5 Docker網絡
- A.2.4 Docker倉庫
- A.2.3 Docker容器
- A.2.2 Docker鏡像
- A.2.1 Docker引擎
- A.2 Docker的核心概念
- A.1.2 Docker的前世今生
- A.1.1 Docker的定義
- A.1 什么是Docker
- 附錄A Docker簡介
- 10.6 本章小結
- 10.5.2 Kubeflow與Airflow的對比
- 10.5.1 Kubeflow的特點和優勢
- 10.5 Kubeflow
- 10.4.2 Azkaban與Airflow的對比
- 10.4.1 Azkaban的特點和優勢
- 10.4 Azkaban
- 10.3.2 Google Workflows與Airflow的對比
- 10.3.1 Google Workflows的特點和優勢
- 10.3 Google Workflows
- 10.2.2 AWS Step Functions與Airflow的對比
- 10.2.1 AWS Step Functions的特點和優勢
- 10.2 AWS Step Functions
- 10.1.3 DolphinScheduler與Airflow的對比
- 10.1.2 DolphinScheduler的特點和優勢
- 10.1.1 DolphinScheduler的架構
- 10.1 DolphinScheduler
- 第10章 其他調度系統
- 9.4 本章小結
- 9.3 Airflow 2.5版本的新功能
- 9.2.2 其他功能
- 9.2.1 數據感知調度
- 9.2 Airflow 2.4版本的新功能
- 9.1.3 其他功能
- 9.1.2 網格視圖
- 9.1.1 動態Task映射
- 9.1 Airflow 2.3版本的新功能
- 第9章 Airflow的新功能
- 8.8 本章小結
- 8.7.5 控制調度的并發度
- 8.7.4 配置郵件通知
- 8.7.3 為DAG和Task添加說明文檔
- 8.7.2 監控必不可少
- 8.7.1 讓集群更安全
- 8.7 其他
- 8.6 加強REST API的能力
- 8.5.3 測試插件
- 8.5.2 安裝插件
- 8.5.1 編寫插件
- 8.5 用插件擴展集群的能力
- 8.4.2 通過配置控制DAG文件解析的行為
- 8.4.1 簡化DAG文件發布
- 8.4 簡化DAG文件發布和解析
- 8.3.3 數據庫通用優化
- 8.3.2 MySQL優化
- 8.3.1 PostgreSQL優化
- 8.3 魯棒的數據庫訪問
- 8.2.3 高可用的Triggerer
- 8.2.2 高可用的Webserver
- 8.2.1 高可用的Scheduler
- 8.2 高可用
- 8.1.3 Dask Executor調優
- 8.1.2 Kubernetes Executor調優
- 8.1.1 Celery Executor 調優
- 8.1 Executor調優
- 第8章 Airflow集群實踐
- 7.8 本章小結
- 7.7.3 Webserver UI的時區顯示
- 7.7.2 Airflow是如何處理時區的
- 7.7.1 datetime對象與時區
- 7.7 時區
- 7.6.2 自動補齊
- 7.6.1 全部命令
- 7.6 CLI
- 7.5.2 如何排查問題
- 7.5.1 如何添加Python模塊
- 7.5 模塊管理
- 7.4.2 如何實現插件
- 7.4.1 插件的安裝和加載
- 7.4 插件
- 7.3.3 監控
- 7.3.2 日志
- 7.3.1 日志和監控的架構
- 7.3 日志和監控
- 7.2.4 數據安全
- 7.2.3 Webserver UI安全
- 7.2.2 API認證
- 7.2.1 訪問控制
- 7.2 安全
- 7.1.3 配置的優先級
- 7.1.2 特殊的配置
- 7.1.1 如何管理配置
- 7.1 配置
- 第7章 系統管理
- 6.5 本章小結
- 6.4 Triggerer
- 6.3.2 REST API
- 6.3.1 UI
- 6.3 Webserver
- 6.2.3 運行Task Instance
- 6.2.2 調度DAG和Task
- 6.2.1 解析DAG文件
- 6.2 Scheduler
- 6.1 架構
- 第6章 架構和組件
- 5.8 本章小結
- 5.7.2 從源代碼分析Deferrable Operator和Trigger
- 5.7.1 使用Deferrable Operator和Trigger
- 5.7 Deferrable Operator和Trigger
- 5.6.2 具體示例
- 5.6.1 Cluster Policy的使用場景和類型
- 5.6 Cluster Policy
- 5.5 Priority Weight
- 5.4.2 Pool的使用
- 5.4.1 Pool的設置
- 5.4 Pool
- 5.3.4 SSHHook源代碼分析
- 5.3.3 Connection和Hook的使用
- 5.3.2 Connection的配置
- 5.3.1 基本概念
- 5.3 Connection和Hook
- 5.2.3 通過其他方式配置Variable
- 5.2.2 通過環境變量配置Variable
- 5.2.1 通過Webserver UI配置Variable
- 5.2 Variable
- 5.1.2 如何使用XCom
- 5.1.1 XCom的使用場景
- 5.1 XCom
- 第5章 其他概念
- 4.4 本章小結
- 4.3 DAG Run和Task Instance
- 4.2.3 Task的超時處理
- 4.2.2 TaskGroup
- 4.2.1 Task的類型
- 4.2 Task
- 4.1.3 運行DAG
- 4.1.2 加載DAG
- 4.1.1 構造DAG
- 4.1 DAG簡介
- 第4章 DAG相關概念
- 3.3 本章小結
- 3.2.3 基于CeleryKubernetes Executor的部署
- 3.2.2 基于Kubernetes Executor的部署
- 3.2.1 基于Celery Executor的部署
- 3.2 在容器化生產環境中部署Airflow
- 3.1.2 基于Dask Executor的部署
- 3.1.1 基于Celery Executor的部署
- 3.1 在非容器化生產環境中部署Airflow
- 第3章 部署Airflow集群
- 2.3 本章小結
- 2.2 在容器化環境中擴展Airflow官方的鏡像
- 2.1.3 升級Airflow
- 2.1.2 安裝Airflow
- 2.1.1 準備工作
- 2.1 在非容器化環境中基于PyPI安裝Airflow
- 第2章 安裝Airflow
- 1.5 本章小結
- 1.4 運行示例
- 1.3 使用Helm部署Airflow集群
- 1.2 創建Kubernetes集群
- 1.1.3 安裝Helm
- 1.1.2 安裝Docker和kind
- 1.1.1 安裝kubectl
- 1.1 準備工作
- 第1章 快速搭建Airflow集群
- 致謝
- 如何閱讀本書
- 讀者對象
- 本書特色
- 為什么要寫這本書
- 前言
- 內容提要
- 版權
- 版權信息
- 封面
- 封面
- 版權信息
- 版權
- 內容提要
- 前言
- 為什么要寫這本書
- 本書特色
- 讀者對象
- 如何閱讀本書
- 致謝
- 第1章 快速搭建Airflow集群
- 1.1 準備工作
- 1.1.1 安裝kubectl
- 1.1.2 安裝Docker和kind
- 1.1.3 安裝Helm
- 1.2 創建Kubernetes集群
- 1.3 使用Helm部署Airflow集群
- 1.4 運行示例
- 1.5 本章小結
- 第2章 安裝Airflow
- 2.1 在非容器化環境中基于PyPI安裝Airflow
- 2.1.1 準備工作
- 2.1.2 安裝Airflow
- 2.1.3 升級Airflow
- 2.2 在容器化環境中擴展Airflow官方的鏡像
- 2.3 本章小結
- 第3章 部署Airflow集群
- 3.1 在非容器化生產環境中部署Airflow
- 3.1.1 基于Celery Executor的部署
- 3.1.2 基于Dask Executor的部署
- 3.2 在容器化生產環境中部署Airflow
- 3.2.1 基于Celery Executor的部署
- 3.2.2 基于Kubernetes Executor的部署
- 3.2.3 基于CeleryKubernetes Executor的部署
- 3.3 本章小結
- 第4章 DAG相關概念
- 4.1 DAG簡介
- 4.1.1 構造DAG
- 4.1.2 加載DAG
- 4.1.3 運行DAG
- 4.2 Task
- 4.2.1 Task的類型
- 4.2.2 TaskGroup
- 4.2.3 Task的超時處理
- 4.3 DAG Run和Task Instance
- 4.4 本章小結
- 第5章 其他概念
- 5.1 XCom
- 5.1.1 XCom的使用場景
- 5.1.2 如何使用XCom
- 5.2 Variable
- 5.2.1 通過Webserver UI配置Variable
- 5.2.2 通過環境變量配置Variable
- 5.2.3 通過其他方式配置Variable
- 5.3 Connection和Hook
- 5.3.1 基本概念
- 5.3.2 Connection的配置
- 5.3.3 Connection和Hook的使用
- 5.3.4 SSHHook源代碼分析
- 5.4 Pool
- 5.4.1 Pool的設置
- 5.4.2 Pool的使用
- 5.5 Priority Weight
- 5.6 Cluster Policy
- 5.6.1 Cluster Policy的使用場景和類型
- 5.6.2 具體示例
- 5.7 Deferrable Operator和Trigger
- 5.7.1 使用Deferrable Operator和Trigger
- 5.7.2 從源代碼分析Deferrable Operator和Trigger
- 5.8 本章小結
- 第6章 架構和組件
- 6.1 架構
- 6.2 Scheduler
- 6.2.1 解析DAG文件
- 6.2.2 調度DAG和Task
- 6.2.3 運行Task Instance
- 6.3 Webserver
- 6.3.1 UI
- 6.3.2 REST API
- 6.4 Triggerer
- 6.5 本章小結
- 第7章 系統管理
- 7.1 配置
- 7.1.1 如何管理配置
- 7.1.2 特殊的配置
- 7.1.3 配置的優先級
- 7.2 安全
- 7.2.1 訪問控制
- 7.2.2 API認證
- 7.2.3 Webserver UI安全
- 7.2.4 數據安全
- 7.3 日志和監控
- 7.3.1 日志和監控的架構
- 7.3.2 日志
- 7.3.3 監控
- 7.4 插件
- 7.4.1 插件的安裝和加載
- 7.4.2 如何實現插件
- 7.5 模塊管理
- 7.5.1 如何添加Python模塊
- 7.5.2 如何排查問題
- 7.6 CLI
- 7.6.1 全部命令
- 7.6.2 自動補齊
- 7.7 時區
- 7.7.1 datetime對象與時區
- 7.7.2 Airflow是如何處理時區的
- 7.7.3 Webserver UI的時區顯示
- 7.8 本章小結
- 第8章 Airflow集群實踐
- 8.1 Executor調優
- 8.1.1 Celery Executor 調優
- 8.1.2 Kubernetes Executor調優
- 8.1.3 Dask Executor調優
- 8.2 高可用
- 8.2.1 高可用的Scheduler
- 8.2.2 高可用的Webserver
- 8.2.3 高可用的Triggerer
- 8.3 魯棒的數據庫訪問
- 8.3.1 PostgreSQL優化
- 8.3.2 MySQL優化
- 8.3.3 數據庫通用優化
- 8.4 簡化DAG文件發布和解析
- 8.4.1 簡化DAG文件發布
- 8.4.2 通過配置控制DAG文件解析的行為
- 8.5 用插件擴展集群的能力
- 8.5.1 編寫插件
- 8.5.2 安裝插件
- 8.5.3 測試插件
- 8.6 加強REST API的能力
- 8.7 其他
- 8.7.1 讓集群更安全
- 8.7.2 監控必不可少
- 8.7.3 為DAG和Task添加說明文檔
- 8.7.4 配置郵件通知
- 8.7.5 控制調度的并發度
- 8.8 本章小結
- 第9章 Airflow的新功能
- 9.1 Airflow 2.3版本的新功能
- 9.1.1 動態Task映射
- 9.1.2 網格視圖
- 9.1.3 其他功能
- 9.2 Airflow 2.4版本的新功能
- 9.2.1 數據感知調度
- 9.2.2 其他功能
- 9.3 Airflow 2.5版本的新功能
- 9.4 本章小結
- 第10章 其他調度系統
- 10.1 DolphinScheduler
- 10.1.1 DolphinScheduler的架構
- 10.1.2 DolphinScheduler的特點和優勢
- 10.1.3 DolphinScheduler與Airflow的對比
- 10.2 AWS Step Functions
- 10.2.1 AWS Step Functions的特點和優勢
- 10.2.2 AWS Step Functions與Airflow的對比
- 10.3 Google Workflows
- 10.3.1 Google Workflows的特點和優勢
- 10.3.2 Google Workflows與Airflow的對比
- 10.4 Azkaban
- 10.4.1 Azkaban的特點和優勢
- 10.4.2 Azkaban與Airflow的對比
- 10.5 Kubeflow
- 10.5.1 Kubeflow的特點和優勢
- 10.5.2 Kubeflow與Airflow的對比
- 10.6 本章小結
- 附錄A Docker簡介
- A.1 什么是Docker
- A.1.1 Docker的定義
- A.1.2 Docker的前世今生
- A.2 Docker的核心概念
- A.2.1 Docker引擎
- A.2.2 Docker鏡像
- A.2.3 Docker容器
- A.2.4 Docker倉庫
- A.2.5 Docker網絡
- A.2.6 Docker存儲
- A.3 Docker的優點
- A.3.1 更高的可移植性
- A.3.2 更快的部署和啟動時間
- A.3.3 更好的資源利用率
- A.3.4 更簡單的維護和更新操作
- A.4 Docker的局限性
- A.4.1 對于某些應用程序不適用
- A.4.2 安全性不夠
- A.4.3 性能問題
- A.5 Docker的應用
- A.5.1 應用程序的開發、測試和部署
- A.5.2 微服務架構的實現
- A.5.3 多云部署的實現
- A.5.4 安全性的提高
- A.6 Docker的未來發展
- A.6.1 Docker在容器編排方面的競爭
- A.6.2 Docker與云計算的結合
- A.6.3 Docker與大數據的結合
- A.6.4 Docker與人工智能的結合
- 附錄B Kubernetes簡介
- B.1 什么是Kubernetes
- B.1.1 Kubernetes的定義
- B.1.2 Kubernetes的起源和發展歷程
- B.1.3 Kubernetes的特性
- B.2 Kubernetes的重要概念
- B.2.1 Cluster
- B.2.2 Master
- B.2.3 Node
- B.2.4 Pod
- B.2.5 Controller
- B.2.6 Namespace
- B.2.7 Service
- B.2.8 Ingress
- B.2.9 PersistentVolume和PersistentVolumeClaim
- B.2.10 ConfigMap
- B.2.11 Secret
- B.2.12 Label和Selector
- B.3 Kubernetes的生態系統
- B.3.1 Kubernetes的插件和擴展
- B.3.2 Kubernetes的社區
- B.3.3 Kubernetes與云原生生態系統
- B.4 Kubernetes的未來展望
- B.4.1 Kubernetes的發展趨勢和未來方向
- B.4.2 Kubernetes的應用前景 更新時間：2024-02-28 18:15:49
