炼数成金 - MySQL数据库运维系列教程/MySQL数据库查询优化技术

炼数成金 - MySQL数据库运维系列教程/MySQL数据库查询优化技术

MySQL数据库作为世界上最流行的开源数据库，以简单、易用、开源等特点，收到互联网行业的推崇。随着去IOE运动的如火如荼，MySQL数据库已经深入到传统行业，大有改变行业格局。而与此同时，MySQL数据库规模成倍的增长，如何快速定位问题，解决问题？如何规模化、自动化运维？如何进行优化，提高MySQL数据库的性能？如何架构部署MySQL集群、架构跨IDC的分布式MySQL集群？如何实现MySQL数据库的HA？将在本课程中跟大家分享。

第1课 机器选型、系统规划

机器选型

业务评估--根据业务进行评估，转化为机器资源需求。

SSD vs HDD--熟悉SSD和HDD的架构设计，了解SSD的发展趋势。

成本评估--通过成本评估，选择合适机型。

系统规划

文件系统规划--根据MySQL的特点，规划文件系统，IO调度。

数据库配置--根据IO写入特点，配置MySQL数据库。

第2课 安装部署

源码编译--源码编译安装操作处理方法。

功能定制--定制mysql的Server限流，SQL限流，并行**，ThreadPool功能。

规模化部署--了解打包、配置模板、数据目录等统一管理方法。

版本升级--跨版本升级如何做到安全可靠？

资源池管理--资源管理、实例分配、资源利用率等。

第3课 压力测试

TPC-C模型--了解TPC-C模型设计。

测试工具--熟悉常用的数据库测试工具。

基准测试--介绍只读测试、TPCC测试、读写比测试方法。

定制测试--介绍定制sql模型、定制测试工具、流量加速回放等方法。

评估标准--介绍评估测试结果的基本参数标准。

第4课 性能优化

参数优化--详细介绍与MySQL数据库息息相关的性能参数和优化方法。

性能优化--详细介绍系统层优化和MySQL功能优化。（NUMA、MALLOC等）

第5课 字符集和权限安全

字符集

常见问题--介绍字符集乱码的常见问题以及解决方法。

注意事项--介绍字符集设置的注意事项，以及如何规避。

权限安全

权限管理--介绍如何安全管理数据库的用户、数据。

强制访问控制--介绍强制访问控制，加强权限安全管理。

网络安全--通过网络隔离，vlan划分等方式加强数据库安全。

第6课 日志系统

介绍MySQL各种日志分析处理方法，常用的日志处理工具，诊断MySQL数据库健康状况、运行状态、性能问题等。主要包括：

error log--通过分析常见的错误信息，快速定位数据库的健康状况。

Binlog--介绍如何优化mysqlbinlog工具定位操作记录，以及binlog的高级用法。

slow log--介绍通过slow log定位MySQL数据库sql异常问题。

general log--介绍通过general log定位MySQL数据库的性能状况。

智能诊断--介绍收集日志信息，进行智能诊断等。

第7课 备份与恢复1

逻辑备份--介绍无本地存储的逻辑备份方法，以及并行逻辑备份，逻辑拆表。

物理备份--介绍xtrabackup物理备份方法，并行物理备份，镜像备份。

备份策略--介绍如何制定备份策略，规模化数据备份。

第8课 备份与恢复2

历史数据迁移--介绍历史数据如何迁移，自开发工具mysqlfilter如何使用。

数据恢复--介绍数据恢复的各种场景案例，实战演习。

第9课 常用工具

介绍如何利用"瑞士军刀"，快速高效的解决战斗？常用工具包括：mysqladmin、pt-toolkit、dstat/mpstat/iostat/vmstat、perf top、orzdba等，通过介绍这些工具，自定义工具或脚本，快速定位问题和解决问题。

第10课 MySQL集群

MySQL集群架构--简单介绍常见的MySQL集群架构方式。

Sharding--简单介绍常见的分库分表方法。

集群管理--介绍如何运维、部署、管理集群。

第11课 分布式集群

数据流工具--介绍数据流产品功能。

分布式集群架构--简单介绍MySQL数据库分布式集群架构设计方法。

分布式集群管理--介绍分布式集群管理、运维处理等内容。

云服务--介绍如何实现MySQL数据库的云服务。

第12课 集群高可用（HA）和容灾演练

HA工具--介绍目前常用工具，以及自定义工具设计和功能。

MySQL集群HA--简单介绍MySQL数据库集群的HA。

分布式MySQL集群HA--简单介绍分布式MySQL数据库集群的HA。

容灾演练--介绍MySQL数据库实例容灾、机房容灾等，平时多流汗，战时少流血。

第13课 自动化运维

资源分配--介绍自动化资源申请处理流程。

实例迁移--介绍如何实现自动化实例迁移。

集群扩容--介绍如何自动化实例扩容。

第14课 监控和审计系统

监控系统

监控告警--介绍监控MySQL数据库的各种异常情况，进行告警。

性能监控--介绍采集MySQL数据库的性能数据，进行性能跟踪。

水位评估--根据性能数据和资源情况，进行水位评估。

审计系统

审计方法--介绍MySQL数据库常用的审计方法。

行为审计--介绍如何审计操作记录和操作行为。

用户审计--介绍如何审计用户行为。

第15课 成长规划和总结

职业规划--介绍DBA发展趋势以及职业规划。

总结--总结所学的内容，根据反馈的问题进行总结。

MySQL数据库查询优化技术 课程大纲：

1 数据库与关系代数

2 数据库查询优化技术总揽

3 查询优化技术理论与MySQL实践（一）------子查询的优化（一）

4 查询优化技术理论与MySQL实践（二）------子查询的优化（二）

5 查询优化技术理论与MySQL实践（三）------视图重写与等价谓词重写

6 查询优化技术理论与MySQL实践（四）------条件化简

7 查询优化技术理论与MySQL实践（五）------外连接消除、嵌套连接消除与连接消除

8 查询优化技术理论与MySQL实践（六）------数据库的约束规则与语义优化

9 查询优化技术理论与MySQL实践（七）------非SPJ的优化

10 MySQL物理查询优化技术概述

11 MySQL索引的利用、优化

12 表扫描与连接算法与MySQL多表连接优化实践

13 查询优化的综合实例------TPCH实践（一）

14 查询优化的综合实例------TPCH实践（二）

15 关系代数对于数据库的查询优化的指导意义------查询优化技术总结