云计算底层技术虚拟化介绍(虚拟机感知和机器学习相遇Tintri)
云计算底层技术虚拟化介绍(虚拟机感知和机器学习相遇Tintri)Tintri VMstore的核心是Tintri File System,存储服务及数据服务全部基于这个文件系统。Tintri本身是一款NAS存储,主要应用的虚拟化场景是VMware场景。在控制管理面上,集成了VMwarer的API实现虚拟机的感知与生命周期管理。数据面上,通过NFS协议与VMware ESXi主机连接,提供文件系统级别的重删与压缩以及其他增值存储特性。 Tintri存储基于VMstore虚拟机感知的存储架构设计实现,专门针对虚拟化和闪存设计的存储系统。这主要体现在对上层VM和用户屏蔽了传统存储的LUN、Pool等底层概念,只呈现与虚拟化相关的VM、vDisk等概念,通过分析vDisk实现VM粒度的管理与分析。同时针对每一个IO请求提供从主机侧、网络至文件系统和磁盘系统全流程的性能监控。从而简化虚拟化存储发放,并提供虚拟机粒度的存储分析、优化和迁移能力 。 面对企业业务虚拟
作者:Hardy(晗狄) 来源:架构师技术联盟
大家知道,VMware推出vVol虚拟机感知存储功能主要有两个目的,一是构建其在Hypervisor领域的影响力和庞大生态体系,另一个更重要的目的是解决传统存储的LUN、Volume、Tier对于虚拟机无法联动、感知,导致虚拟化应用性能低下、管理复杂等存在的问题。VMware和其vVOL技术已是家喻户晓,那接下来和大家讨论一下在存储层实现跟VMware vVOL类似效果的一家存储厂商Tintri和其技术VMstore。
回顾一下十几年前,存储使用非常简单,每个物理服务服务器对应自己的专用LUN资源,不会发生资源冲突,管理和性能、容量扩展和优化比较简单。但是随着虚拟化、云化的需求出现,这一切发生了变化,在出现VM感知存储之前,为了给VM分配合适的存储资源,虚拟化管理员必须与存储管理员协调,以保证虚拟机不仅仅得到所需要的空间,同时也能够得到所需的性能。
虚拟化环境下的IO Blender导致了传统存储的性能下降。存储性能瓶颈和扩展的复杂性不但限制了虚拟机的密度,同时也限制了IO密集型的应用(如数据库和关键业务应用等)向虚拟化环境部署和尝试,所以出现了vVOL或称之为小LUN的解决方案,一个小LUN只做一个VM的系统盘或者数据盘。
面对企业业务虚拟化乃至云化需求,一方面存储理解虚拟机层面的业务操作,监控IO模型,动态管理每个虚拟机的QoS、按照VM粒度保护VM等诉求给存储厂商提出个更大挑战。在另一方面,在虚拟机层面统一管理、定位问题、存储资源发放、性能和空间使用监控也给虚拟化厂商提出了相应挑战。
为了解决客户业务虚拟化、云化进程中VM和存储系统之间实现联动感知,VM细粒度管理和数据保护,VMware和Tintri不仅成为这方面的践行者,更是分别从Hypervisor层和存储层两个方向入手解决该问题的领导者。
Tintri创立于2008年,在2011年发布第一款VM Aware Storage (VAS),随后分别发布T600、T800混合存储和T1000、T5000和EC6000全闪存系统。经过多年的积累、研究和开发才有了现在这样一个产品。截止到目前,全球排名前15名的公司里有一半都在使用Tintri的产品。我们已经拥有超过1000个客户,公司员工总数约550人。
Tintri存储基于VMstore虚拟机感知的存储架构设计实现,专门针对虚拟化和闪存设计的存储系统。这主要体现在对上层VM和用户屏蔽了传统存储的LUN、Pool等底层概念,只呈现与虚拟化相关的VM、vDisk等概念,通过分析vDisk实现VM粒度的管理与分析。同时针对每一个IO请求提供从主机侧、网络至文件系统和磁盘系统全流程的性能监控。从而简化虚拟化存储发放,并提供虚拟机粒度的存储分析、优化和迁移能力 。
Tintri VMstore的核心是Tintri File System,存储服务及数据服务全部基于这个文件系统。Tintri本身是一款NAS存储,主要应用的虚拟化场景是VMware场景。在控制管理面上,集成了VMwarer的API实现虚拟机的感知与生命周期管理。数据面上,通过NFS协议与VMware ESXi主机连接,提供文件系统级别的重删与压缩以及其他增值存储特性。
Tintri数据面包含了Virtual Machine Aware是核心部件,感知VM粒度存储提供vDisk粒度的存储管理和性能监控,Tintri File system和介质层。
Tintri File system跟现有存储有很大区别,主要体现在通过VMstore存储替代传统的大LUN或小LUN方案,提供一个VMstore作为Hypervisor的Datastore,通过虚拟机感知实现虚拟机粒度的管理。 传统基于LUN的虚拟化存储,为了解决VM粒度的管理,会分配很多的Datastore使管理复杂化。
相比传统LUN-base和Vvol的虚拟化存储方式, VMstore不需要卷的感念,在VM创建时感知不到存储LUN创建, VMstore直接将一个NFS共享挂给Hypervisor对应一个Datastore, VMstore在通过分析vDisk实现VM级别的管理。
在介质层提出Hybrid Flash Storage架构,这种架构不同于传统分层架构,这主要体现在通过Flash-First平台和技术使用SSD作为读写缓冲,确保100%写和99%的读都先走Flash Layer,实现的效果是在存储能力上类似全闪存阵列。一般采用等数量的SSD和HDD(Hybrid-Flash Series),即HDD和SSD磁盘数各占50%。通过融合Inline重删压缩、工作集分析的算法、磨损均衡、垃圾回收等算法实现Flash First。
VMstore感知vDisk,支持和vDisk逻辑块边界的自动对齐,这样可以提升10%-30%的IO性能。
Tintri Global Center是Tintri的管理系统,可以管理64个Tintri存储系统和48万个VM应用。它根据每个虚拟机不同性能需求,实现基于策略的、以VM为粒度的数据加密保护(SecureVM)、快照(SyncVM)、复制(ReplicateVM)和VM QoS管理。Tintri通过VM QoS功能跟踪并分析虚拟机的每一个IO,提供与需求一致的性能,提供QoS保障,动态修改IO,观察IOPS和延迟统计实时改变。
Tintri系统很容易实现系统Scale Out扩展,新增的系统作为VMware的一个新的Datastore加入到资源池中,并由Tintri Global Center统一管理。
然而VM Scale Out可以在Tintri Global Center Advanced(增强版)实现VM在VMstore之间基于策略和负载进行智能迁移。VM Scale Out分三个阶段完成。
-
首先是基于30天历史容量和性能数据分析,识别出潜在的问题,根据一周后的资源使用情况给出建议;
-
再根据数据动态、容量情况和其他事实因素为VM找到合适的位置,并可以对给出的建议进行修改和调整能力;
-
如果客户最后接受了这种建议,VM Scale-out将会告知执行后的结果和所需要的时间,并执行相关操作。
Tintri Analytics基于机器学习和内建的Connect架构实现监控、预测和分析决策能力。支持Vmstore和VM粒度的端到端延迟性能感知,定位时延瓶颈点和性能根源。
Tintri Analytics并非孤立的从存储、或应用分析,而是同时结合了应用和存储信息从容量、性能和工作集三个综合指标提供分析报告。
Tintri Analytics分析的每个指标都结合了多方原始数据内容,以性能为例。如果你想看看应用性能是否存在问题,那么Tintri Analytics将把应用原始IOPS、IO大小和读写混合比和吞吐量等原始数据作为一个合成指标,将这些元素很直观的反应VMstore的状况。
Tintri的与Hypervisor API做了很好集成,如VMware VAAI和Hyper-V ODX,将虚拟机的快照、克隆、远程复制下载至阵列侧,并提供良好的用户体验。由于Tintri的底层存储系统其实是一个文件系统,所以基于文件系统比较容易做到计算侧与存储侧的操作粒度拉通。
Tintri通过Cisco UCS Director Plugin把存储系统扩展到企业云上,通过Tintri插件提供VM级存储统计趋势分析、简化管理。也使得在Cisco UCS Director业务编排平台上使用Tintri VM级虚拟机快照、复制和数据同步等能力,目前Tintri支持跟UCS Director5.5、6.0、6.5版本集成。
Tintri也提供了vRealize Orchestrator插件实现在vRealize环境中集成和使用Tintri存储。通过vRO为常见的Tintri任务提供了各种预定义的工作流程,包括VM保护的快照,灾难恢复的复制,VM复制以及QoS管理VM的性能和服务级别等。进一步通过vRO对接vRealize Automation为自助服务门户提供统一的服务目录和租户管理。
Tintri通过与VMware vRealize Orchestrator和Cisco UCS Director集成,可以为企业云提供增强的存储服务,把企业对存储的管理统一到vRA和UCS Director上通过统一服务目录对外发放,进一步简化运维管理和存储服务云化。
通过一张图来总结一下Tintri存储技术。当VM Aware和Machine Learning相遇Tintri,存储将发生了那些变化?Tintri是一系列混合、全闪存NAS智能存储系统,实现了对虚拟化的设施和负载的完全的监控,提供虚拟机粒度的自动化管理及数据管理。
采用软硬件一体交付,存储架构采用数据面和管控面分离,以VMstore、Flash First、Tintri VMstore和VM auto-Alignment 关键技术实现基于VM级别的性能延迟可视化、VM-level分析、SecureVM、SyncVM、ReplicateVM、QoS保障和VMware感知等关键特性。
最值得一提的是VMstore技术,它满足了云化后VM对存储的使用方式。如果在看远一些,在容器和微服务大量应用和日趋成熟的情况下,由于容器粒度相对VM更细,密度更大,存储调服发放的效率更高,如果把VM感知技术复制到容器场景,提供ContainerStore技术,简化数据卷的管理,可能在未来容器存储场景中更具竞争力。
架构师技术联盟 (WeChat)专注技术架构和行业解决方案,构建专业交流平台,分享一线技术实践,洞察行业前沿趋势,内容覆盖云计算、大数据、超融合、软件定义网络、数据保护和解决方案,关注即可免费下载本号技术原创资料。