阿里数据科学家一次讲透数据中台：云数据库十大经典案例总结与反思
阿里数据科学家一次讲透数据中台：云数据库十大经典案例总结与反思峰会内容：形式：在线讲座首届阿里巴巴在线技术峰会报名介绍讲师：9位阿里资深大V线上培训答疑（罗龙九只是其中之一哦）费用：免费
罗龙九何许人也？
“MySQL专业大神”、“历届RDS双11负责人”、“天猫双11的ApsaraDB团队核心专家”
在首届阿里巴巴在线技术峰会上，罗龙九将为大数据分享云数据库十大经典案例总结与反思。详细内容如下：
◆ ◆ ◆
首届阿里巴巴在线技术峰会报名介绍
讲师：9位阿里资深大V线上培训答疑（罗龙九只是其中之一哦）
费用：免费
形式：在线讲座
峰会内容：
◆ ◆ ◆
报名
1、点击文末阅读原文链接直接报名
2、或者扫码加入“大数据文摘-阿里云栖社区”，有专人指导报名和做相关交流。
如果扫码入群有问题，请加微信bigdataGJJ，备注"阿里"
群定位：阿里云计算 大数据 人工智能等技术讨论
本月，群中会有专人指导大家完成注册并提供如下群友福利：
（1）相关实战技术培训干货（在线培训、培训文章、PDF等）放送
（2）阿里云计算、大数据等产品意见、建议反馈
（3）与阿里相关专家直接交流、咨询答疑
（4）受邀成为社区专家，共同策划技术选题
（5）各种福利早知道，比如云主机优惠券、课程通知、新品试用等
（6）优先报名参加云栖社区的线下活动，如云栖大会等
◆ ◆ ◆
小福利：一张图看清阿里云93款产品（高清下载）
大数据文摘后台回复“阿里”下载“2016阿里云产品全向图”高清图片，及以下干货！
◆ ◆ ◆
专访罗龙九：如何成为优秀DBA
“大家好我叫罗龙九，2010年本科毕业后加入了大学里一直梦想进入的淘宝DBA团队，本科是学教育技术专业的，可能很多人都没有听说过这个专业，所以做DBA算是跨界了。本人也非常酷爱金庸武侠小说，尤其是《天龙八部》和《射雕英雄传》，对小说中所描述的江湖侠义精神特别喜欢，我的花名叫玄惭，也出自于《天龙八部》。工作一开始我在开发DBA团队，负责支持淘宝开放平台的数据库支持工作，当时整个淘宝还是以oracle为主，所以做了1年的oracle DBA后，一些新业务开始使用MySQL做为底层数据库，所以整个团队又兴起了学习MySQL的风气，随后我又调派到支持淘江湖做MySQL DBA，在那一段时间淘宝线上数据库不是很稳定，主动的参与线上故障的排查，并进行总结和分享，技术得到了快速的积累。2012年，云计算开始慢慢发展起来，我又调派到阿里云DBA团队，负责RDS的基础运维工作和历年双11的护航保障，直到现在负责RDS的专家服务，经历RDS从小到大，从不被认知到口口皆传。目前主要关注自动化运维，云数据库生态，企业云服务领域。”
Q:在内部你被大家贴有“MySQL专业大神”的标签，请说一说为了做好MySQL都付出了哪些努力？有没有值得和大家分享的小故事？
A:回顾我的学习工作经历来看，首先在大学的时候对数据库非常感兴趣，立志成为一名优秀DBA，所以在大二的时候就开始自学oracle数据库，oracle数据库是一个非常成功的商业数据库，有着非常完善的体系结构，学习MySQL得益于我有三年oracle数据库体系结构学习沉淀，所以学习MySQL很快就上手了。
其次还要有丰富应用场景帮助你去实践和理解，在工作初期我就进入了淘宝，这是一个高并发，高压力以及丰富的应用场景的环境，会逼着你去想，去突破，不然就会阻碍业务的发展。再次我把在淘宝工作中学习到的运维经验和最佳实践运用于了RDS，从日常工作做起，一点点帮助RDS变得更加稳定，安全和易用，让更多的人能够低成本地享受到阿里在数据库积累的技术产品和服务，普惠更多的人。
最后就是有一个爱总结的习惯，我会经常把遇到的技术架构，典型问题，故障分析记录到博客中，有四个好处，第一个就是对知识的重新梳理，帮助我加深对问题的理解，以便问题在下次遇到的时候能够快速反应过来；第二个就是帮助别人，写到博客上可以让更多的人看到，这样他们如果出现同样的问题，他们也能够快速找到解决方案，有时候我也会变懒，但是就是这个原因督促我去写blog和总结，因为我心里总是认为上天给我了这门技能，就是要你去分享帮助别人的；第三个好处就是会在准备各种各样的大会ppt的时候，能够很快的拿到素材，不会去翻邮件，到处找资料，很方便；第四个就是这些经验的积累沉淀为我们后续的专家服务产品打下了基础，把诊断经验产品化，让更多的人受益。所以总结下来一要有兴趣，二要去实践，三要善于总结，四还要有一种利他的精神；
分享两个案例：第一个案例是在2013年双11筹备期间，我们的一个大客户，他们的数据库没有放在RDS中，在本地自建的机房中，研发人员在测试环境和生产环境之间的来回操作，误把生产环境的几张核心表数据删除了，当时本地没有备份，没有开启binlog，最后实在没有办法求助到我们，一开始我们也准备放弃了，认为这种数据恢复是完全没有可能的，在放弃的那一时刻，我想到了如果今天数据删除的是我，我会是什么样焦急如焚的心情，所以当时就到处寻求办法，最后找到一篇技术文章，所以就抱着一定要解决用户问题的心情，最后通过percona recovery tool这个工具，帮助用户把数据恢复出来，他们的技术负责人专程从山东过来杭州来感谢我们。还有一个值得分享的案例是2013年底快春节了，团队同事都在一起吃年夜饭，一个用户自己的错误操作删除了数据库，但是当时RDS产品策略是不支持他那种场景下的数据恢复，我们完全也有理由拒绝他，但是一个公司的人都在等待着恢复业务，数据恢复不出来可能他们这个2014年的春节都过不好了，所以最后马上回到家中，联系开发，经过一夜熬战，通过绕过产品的方式，最终把用户的数据恢复了出来，那种心里得到用户感谢的滋味是无法用语言进行描述的。所以当我们把用户的问题当作成为帮助我们提高自己问题处理能力，提升运维自动化水平，提升产品成熟和易用度的时候，会是另外的一种心情。
Q: 2015年天猫双11高峰期间订单创建每秒达到14万笔，总订单量达4.78亿，这些订单都在ApsaraDB中完成存储和处理。为了承受这样的业务，数据库层面一定做了很多优化，请谈一谈，你觉得哪个优化最至关重要？又对哪个优化最印象深刻？
A:双11期间所有天猫商家的订单，物流，商品，库存等数据都会通过数据推送最终存储到ApsaraDB中，ApsaraDB能够承受住这么大洪峰压力也不是一蹴而就，总结一句话就是：从肩挑背扛到99%聚石塔订单，ApsaraDB经历了四年的技术沉淀和突破：2012年，肩挑背扛和逐个优化；2013年，指数增长的数据链路改造；2014年，注入拦截保证数据安全；2015年，资源自动离散与收容和自动化诊断。通过这些年的沉淀，打磨，让ApsaraDB在稳定，安全，性能上大大提升。
最后我还想补充两点，第一就是ApsaraDB在内核上做了大量的改进，在性能和稳定性上我们是远超AWS，同时也集成了阿里巴巴集团在电商业务场景下的数据库优化，比如库存秒杀优化补丁，数据库限流补丁，并行复制优化补丁等等，这些非常实用的功能都已经集成到ApsaraDB中，所以只要是ApsaraDB的用户就能够以非常低的门槛拥有阿里巴巴的数据库技术；第二就是诊断经验的产品化，数据库是一个非常复杂的系统，当出现问题后用户往往无从下手，所以我们在ApsaraDB中集成了专家服务，专家服务可以在用户的数据库出现问题后自动触发诊断快照，同时还会对数据进行分析，将DBA的诊断经验集成到诊断报告中，生成诊断建议，常见的诊断建议包括索引优化建议，资源配置建议，锁相关的建议，空间相关的建议等等，帮会用户快速发现数据库存在的问题。
Q:作为连续4年都在支持天猫双11的ApsaraDB团队核心专家，请分享一些安全和稳定性方面的认识和感悟？这些认识和感悟，有没有给你带来什么帮助？
A:安全和稳定是一个全链路的事情，从客户的应用端访问，到中间链路层，最后到底层的数据存取，要构建一个安全和稳定体系十分复杂。以ApsaraDB MySQL安全能力的构建思路与方法，安全的问题需要从事前、事中、事后三个时间轴以及存储层、网络层、访问层、应用层四个层面，立体化地构建解决方案。于企业而言，不同的数据需要不同安全策略。我们建议对于一些安全程度要求较低的数据，对应的安全策略是：配置了HA高可用；每月一次验证备份的可靠性，备份保留30天；同时关闭公网访问或者采用VPC、IP白名单；涉及到用户隐私的高级数据，云数据库的安全策略进一步升级：首先云数据数据库密码是1-3月更换一次；同时打开TDE加密；数据备份全部存储在OSS中，可保留90天之久；
此外数据库还应该支持同城容灾；对于核心数据而言，云数据库首先在应用层加密，支持SSL加密传输，备份可保留720天，同时支持跨地域容灾和两地三中心的部署方式，详细参考”你的数据在云上，安全吗“。
在稳定性上我需要补充一下，复杂的系统的稳定运行离不开两个必不可少的系统，即全链路的监控系统和巡检系统。巡检系统帮助你把系统各个组件日常运行过程中出现的问题暴露处理，把问题消灭在萌芽阶段，防范于蔚然，巡检规则需要你不断地去完善，这需要一个过程；全链路监控系统帮助管理者能够清晰地判断问题出现在那里，系统的各个部件清晰地展示在你的面前，当问题发生时候能够快速定位问题，降低故障出现的时间。特别是在复杂的系统中，有十几二十多个部件，没有全链路的监控系统，根本就无法掌控。
回顾ApsaraDB的整个系统发展经历，系统一开始不是那么的完善和稳定，有一个慢慢发展的过程，系统有一个逐步标准化的过程，随着规模化越来越大后，需要系统自动化的去做一些事情，降低管理运维成本，当前两步成熟后，又开始对现有系统中积累的数据开始进行分析，产生出价值，为用户和平台提供更好的价值和利润。所以沿着上面的演进，我们诞生出来很多系统出来，比如云数据库运维平台杜康，自动修复告警和异常的robot系统，自动迁移离散的移山系统，巡检系统吹沙，全链路监控系统，天象智能运维系统，CloudDBA专家服务系统等等，有了这些系统的帮助大大降低了管理成本同时为客户带来增值服务。
Q:对DBA这个岗位是怎么理解的？你认为成为一名优秀的DBA需要具备哪些要素？
A:通常很多公司是没有DBA这个岗位的，很多都是运维，开发或者技术负责人来担任DBA这个角色，聘请一位专职的DBA常常是比较昂贵的。在阿里，DBA这个岗位是非常重视的，因为他们保护着公司最宝贵的财产，同时给业务部门提供端到端的数据库服务。在云计算时代的今天，DBA的角色也在慢慢发生改变，DBA可以把一些日常重复的运维工作交给云，包括机器采购，实例安装，基础备份和监控，然后DBA把工作重心转移到业务和数据架构中，从数据的流动，数据的生命周期，数据分析，数据安全等多个角度去帮助业务发展，从整个系统数据的全链路出发，从应用->缓存->分布式->nosql->SQL，根据本公司的业务特点选择合适的数据存储架构，所以有一些公司也有了DA这个角色。
我觉得一名优秀的DBA首先应该具备的是责任心，敬畏心，这是基础，一个企业最宝贵的资产在你的手上，你需要有这三个心；其次，处理线上的故障的时候，需要有大心脏去扛住外界的压力，同时还需要细心，让你在复杂多乱的环境下抓住问题的本质，快速解决问题；最后，还需要有一个乐于总结分享的心态，我见到很多业界top的都具备这个特点。
Q:在首届阿里技术峰会上，分享这个议题主要是基于什么考虑？另外，你认为什么样的听众适合听这个分享？
A:《云数据库十大经典案例》以MySQL数据库为例，收集整理了自RDS成立至今，用户在使用RDS过程中最常见的问题，包括：索引，sql优化，锁，延迟，参数优化，连接数，cpu，iops，磁盘，内存等问题；一个个案例的背后都是一个个活生生的生产故障，希望通过这些案例的总结，还原问题原貌，给出分析问题的思路，也许有一天，当你遇到类似问题的时候能够触类旁通，举一反三，帮助你快速解决问题；最佳实践收集了阿里多年在数据库上的开发经验和内核团队在MySQL上的优化实践，以及众多专家在处理各类问题后积累下来的最佳实践，希望能够帮助你在使用RDS的路上少一些弯路，多一些从容。这个议题对开发，运维，DBA，架构师都具有非常好的参考指导意义，当然如果你是一个公司的技术负责人，我也希望你能够学习，这个议题在深圳和成都云栖大会上都非常受欢迎，我想只要对数据库感兴趣的人，都可以来听一听。
Q:生活中，你最喜欢做的事情是什么？
A:生活中我比较喜欢看书，学习圣贤教育的视频，打篮球，爬山，参加一些讲座，最近喜欢上了徐文兵和梁冬的《黄帝内经》，《说文解字》
◆ ◆ ◆
一张图看清阿里云93款产品（高清下载）
5类系统推荐算法，告诉你用户需要什么
【干货】推荐系统原理介绍
