标签归档:docker

Docker新增三大功能特性,增强容器安全

11月16-17日,DockerCon Europe 2015在西班牙的巴塞罗那召开。在该会议中,Docker公司宣布了其对Docker平台中容器安全方面的三大改进——支持利用YubiKey进行硬件签名、对Docker Hub中的镜像开始进行安全扫描和支持用户名字空间。

首先,Docker开始支持利用YubiKey设备进行硬件签名。该USB设备与之前Docker已经实现的升级框架(The Update Framework,TUF)密切相关。在TUF框架下,当发布者将镜像上传到远程仓库后,Docker 会利用私钥对镜像进行签名。之后,当下载该镜像时,Docker会利用发布者的公钥来校验该镜像是否和发布者所发布的镜像一致,从而判断镜像是否被篡改过或者是否为最新版。

基于TUF,Docker在1.8版本中引入了内容可信(Docker Content Trust)的特性。YubiKey正是在内容可性框架的基础上,实现了容器的自动签名。开发人员或者系统管理员可以把YubiKey 4插入到笔记本电脑或者工作站中,从而将其独特的签名上传到容器中。当代码在工作流中移动时,该签名保证了只有经过授权的人员可以访问代码,大大提高代码的安全性。此外,YubiKey本身采用了指纹识别技术来保证该USB设备自身的安全。

其次,Docker添加了对Docker Hub中镜像文件的扫描工作。具体而言,Docker会定期的将检查表项和美国国土安全部更新的公共漏洞数据库进行比对。一旦出现匹配,Docker就会针对该镜像发出警告。这样,用户在使用该镜像时会更加谨慎,避免安全威胁;镜像贡献者也会警惕存在的漏洞,尽快进行修复。

最后,最新的Docker 1.9实验版本增加了对用户名字空间的支持。以往,容器都拥有宿主机的root用户访问权限。通过使用Linux的名字空间,Docker剥离了容器的该访问权限——只有Docker daemon进程拥有root权限,而且只有若干授权的系统管理员可以访问daemon。这样,IT部门就可以给予企业内部不同部门或者团队不同的访问控制权,提高整个工作流的安全。

微软:积极参与 Linux 生态

去年十月微软CEO Satya Nadella在旧金山的活动中说 “微软热爱LinuxMicrosoft loves Linux”,这句话让诸多人感到惊喜。至此之后,您可以在众多Linux和开源的会议中看到微软的身影。

今年八月,在美国西雅图的LinuxCon北美峰会上,微软以赞助商的身份出现。而与小企鹅们一块现身的 Microsoft Azure 也成为大会的最大亮点。

(题图来自: itworld.com)

今年十月,来自于微软开源技术中心的K. Y. Srinivasan博士也在QCon全球软件开发大会上海站给大家娓娓道来 “微软热爱Linux——我们的开源之旅”。

事实上Hyper-V虚拟驱动在Linux内核中的旅程早在5年前就开始了,上万行的代码也表明了微软对于如何让Linux在Hyper-V的虚拟环境中跑得更好更快的决心。您可知道, 根据各企业对Linux3.0新代码的贡献来衡量,微软是继红帽、英特尔、Novell和IBM之后的第五大Linux 3.0企业支持者。而Ubuntu, SLES,RedHat, CentOS,Debian, Oracle Linux等主流Linux发行版都可以完美运行在微软的虚拟化平台Hyper-V上。

另外一个令人振奋的事情是:运行在微软公有云平台 Azure 上的每4台虚拟机中就有一台是Linux!

在QCon的演讲会上,K. Y. Srinivasan博士出于好奇问了一下有多少人知道听过”微软热爱Linux”的新闻。话说起来,这还是微软第一次在中国高谈微软热爱Linux。但这一点都不影响大家的热情。在问答阶段大家纷纷举手想了解微软对于Linux的支持,和Docker的合作以及.NET开源的利弊。

同月,在中国的Linux内核开发者大会上,微软再次以赞助商的身份出现。

首先,Linux基金会副主席江藤圭也先生做了致辞。令人惊喜的是江藤圭也先生用“微软热爱Linux”的演讲稿拉开了大会的序幕。同时K.Y. Srinivasan博士给大家分享了“Hyper-v: 运行Linux工作负载的卓越平台”,并详细介绍了网络/存储性能的优化以及备份/管理等功能, 开发者们也热情高涨地抛出各种问题。

如您有兴趣了解Hyper-v上的Linux驱动(我们称之为Linux Integration Services 集成服务),您可以查看Linux内核主线版本,或到微软下载中心下载最新版本。

将传统应用迁移到云端:Kris Bliesner访谈

InfoQ近日采访了来自2nd Watch的创始人兼CTO,Kris Bliesner,Bliesner曾在迁移传统应用到云中的开发有着丰富的经验。在采访中Bliesner提到了迁移应用到云中的常见挑战,并讨论了建议的流程,以及他对于安全、合规性、DevOps和自动化等方面的想法。

InfoQ:Kris,非常感谢您抽出时间接受InfoQ的采访,首先请您简要的介绍下自己及您所从事的工作?

Bliesner:大家好,我是Kris Bliesner,2nd Watch的创始人兼CTO。我们是AWS的金牌咨询合作伙伴。使用我们所提供的方法、经验和工具和AWS的服务一起为企业提供驾驭云的途径,我们也提供应用迁移服务,同时也是ASW托管服务的合作伙伴,我们的托管服务可提供包括账务管理、性能监控、安全和合规性。

InfoQ:我们知道您在过去曾经帮助过很多企业将他们的应用迁移到云中,麻烦您介绍下在此过程中遇到的常见问题,以及您是如何解决它们的?

Bliesner:每个企业遇到的情况变化太大,但是,还是可以找到所谓的共同问题,其中一个就是我们发现多数的企业是并不真正了解自己所跑的应用。他们或许明白一旦变化了之后他们就无法去更好的去追踪了。所以管理的变化是一个问题。我们在前期会为用户提供一个准确的评估,每次都是,这样我们可以了解到用户的所有应用和资源。这样就可以让用户对我们有信心,他们知道我们在做什么,而且我们不会落掉任何细节。另外一个问题或挑战是迁移大型的数据。我们曾为一个公司作评估时遇到其有16PB的数据迁移计划。迁移大量的数据,无论任何形式的时间限制都会造成真正的痛苦。我看到亚马逊发布了AWS Snowball,这可能会让数据的迁移更快一点。

InfoQ:安全、治理、以及合规性是目前人们讨论的热点。那么对于目前正在崛起的DevOps方法论和实现如何适应这些持何种看法?

Bliesner: 这是一个好问题。总体来看,目前在企业中对于DevOps还是比较新鲜的东西,只有不到10%的大型企业实施了DevOps流程。但是如果你仔细的看下在DevOps中所使用到的工具的话,会看到它们并不能为IT运维人员带来益处、它们也没有什么安全级别、也无法做到企业所期望的。尽管现下有诸如Docker之类的非常流行的技术,但是仍然没有得到普遍的应用。如果你的一个应用是以运行几十个微服务实现的,就需要更多的注意力来配置它,还要确保它们没有任何的安全漏洞。需要创建新的方法来对付黑客的计划。我们还没有看到围绕安全和治理方面的好的想法。

InfoQ:请您讲一个用户从私有的数据中心迁移到云平台中广泛的实例流程,以及在开发/运维/流程等方面哪些是需要改变,您有何高见?

Bliesner:我们有很多种方法来实现迁移,但是开始的时候我们都要进行评估。第一步是将应用放入到相对隔离的环境中,诸如重复的主机、重构、以及退役。能够理解每个“隔离环境”的意思是非常重要的一环。比如重复的主机,另外一种说法叫“提升和转变”,我们实际上是将应用作最小化的改动然后将之放到云平台环境中运行。重构则是涉及到将应用程序能够运行在云平台环境中作必要的更改。不管其他,目标就是快速的将应用或负载运行在云平台中,这样用户就可以坐下来慢慢的去优化它了。

流程之外,云平台的环境也有许多与传统不一样的地方,例如云平台中的网络是单播方式的,而你的应用恰好使用的是多播方式,还有如你在云环境中无法看到具体的存储和Hypervisor等基础设施等细节。但是总体来说,将一个ERP系统迁移到云平台中,在此新的环境中在应用层的部署和管理与原来的环境并没有太大的不同,关于迁移本身要谈的就没有迁移之后的管理运维的问题多。云供应商应该给出更多的指标。IT人员喜欢这样的数据,因为他们已经习惯了了解系统的各个层面的细节。因为这在云平台中是不可能的,所以他们更多的去采用诸如New Relic或Nagios来确保一切都是按照预料中运行着的。当然,用户也需要准备云平台的硬件损坏所带来的问题,这也就意味着用户仍然要建立灾难恢复站点,或者是在必要的时候能够将应用切换到新的主机上运行。

InfoQ:在构建和部署迁移的应用时您会建议使用何种级别的自动化?您是如何实现的?以及所需要发生的测试?

Bliesner:我们的建议是尽可能的自动化。我们是AWSCloudFormation模版的忠实粉丝,也热衷于微软Azure的类似技术。当你去迁移一些诸如ERP之类大型的、笨重的应用时,若没有实现自动化的话,那就很难去快速的作测试,并进行快速的修复。将数据中心视为代码和跟踪一切就是最佳实践。你可以基于模版在30分钟内部署整个数据中心,同样也可以很快的将之销毁。随着时间的推移自动化对于掌控部署是最有力的助手。如果你打算迁移应用,或者是测试,或者是创建一个备份的站点,你可以通过模版来很轻松的实现它们。CloudFormation并没有内建测试或者是预置功能,所以它有一些落后和试错,但是好的一面是它可以根据你现有的代码去自动生成。从应用的角度来看,它的概念就是将整个数据中心视为一个单一的东西,可以按需去创建和销毁。这就是转换用户的IT业务流程的云平台的强大力量所在。

更多的信息,请参考2ndwatch官方博客‘当迁移到云中时面临的主要业务问题’和‘云中的应用开发’。

查看英文原文:Migrating Traditional Workloads to the Cloud:Q&A with Kris Bliesner

有了 Mesos,Verizon 终于不用再羡慕 Google 了

本文主要介绍了电信巨头Verizon是如何通过使用Mesos和容器技术,将其原来的数据中心变成自动化、高利用率,高运营效率的现代化数据中心。据称其数据中心的资源利用率可以提高到50%~60%,并且现场演示了在72秒内部署50000个docker容器,使得应用集群部署的效率至少提高了一个数量级。

Verizon选择Mesos技术的来龙去脉

世界上的互联网巨头们(Google、Facebook)已经在过去的十年中将其基础构架搭建为统一的整体,并不断提高其数据中心的运行效率。正是有了这样的刺激,商业上的创新才会被激发出来。

即使是像Verizon这样,虽然它的通信和服务器托管部门对于管理海量的服务器、存储和网络并不陌生(更不用提保障其运行),也逐渐认识到建造一个更自动化的数据中心比一个更大的要好。

大概一年多以前,我们看到了源自于搜索引擎巨头Google的大型基础架构的集群管理工具和容器技术。Verizon Labs作为价值1270亿的通信巨头Verizon的研发中心,并不仅仅是对新的集群管理工具感兴趣。Larry Rau,Verizon Labs的技术总监,被公司选出来负责建立一个与时俱进的基础架构。通过大量的调研和测试,Verizon Labs最终选择了Mesos集群管理和应用框架,并开始在上面推出和运行多种类型的服务。

电信公司在技术领域是一个保守和激进的综合体,他们一直都是这样。因为在互联网巨头出现之前,电话通信交换网络及其计费系统已经承担了这个星球上最大的任务量。(这就是为什么C语言编译器和UNIX操作系统都诞生在AT&T贝尔实验室)历史上,电信公司总是对网络技术过度雕琢,以确保整个网络的高可用。这其实占据了大量的资金,并产生了许多闲置——低利用率的计算和存储资源,最终带来了整个运营的低效率。为了改变这种现状,Verizon选择了Docker容器技术以及用来管理Docker容器及服务器集群的Mesos技术。

我们最终建立起了一种以Linux为核心,加上由遍布数据中心的普通服务器构成的技术栈。所有这些服务器都大同小异,这样就可以节约整体的硬件和维护成本。

Rau 在Verizon Labs的新产品小组工作。这个小组的使命就是找出更好的基础设施架构来支撑Verizon网络上的数以万计的工作任务。在智能手机和平板电脑的时代,电信公司不再仅仅是提供语音和数据服务,他们还提供面向用户的应用托管业务,以及一些Verizon内部服务——用来管理用户和他们托管的应用。正如你所预料的,这些应用的重要性一点都不比传统的通信业务差。Rau告诉我们,Verizon需要像其他那些互联网巨头一样动态的去缩放他们的一些应用,所以基础架构必须要做出改变了。

Rau说到”我发现我们现在的做法还是很传统的电信运营商做法:你创建一个应用,估算其规模,申请一堆的服务器,在数据中心找一个地方,花费大量的时间把这个应用安装部署好。并且每次更新这个应用时,你都会遇到一堆的问题和麻烦。我们认为我们现在必须改变这些做法了,我们需要更快速的行动,自动调整容量,降低我们的运营成本,并增加我们整体的系统投资回报率,而不是运行着一个个的计算资源孤岛”

这些经验教训是每一个数据中心管理员最终都会领悟到的,但这并不意味着我们找一个更好的集群管理工具就够了。就算是Mesos,或者Mesosphere所说的数据中心操作系统这样,在一个集群里以一种安全的方式运行多个工作任务,也还是不够的。一旦你开始考虑如何管理应用,你就需要考虑如何提供隔离能力,如何进行软件打包,如何为这些应用分配资源,这个时候你就需要容器技术了。

“我们沿着这个思路,最终发现我们必须把整个数据中心作为一个整体的硬件资源池来看” Rau说 ” 我们希望部署应用后,系统会自动找到合适的地方来运行这些应用,这个概念就是将整个数据中心当做一台电脑来看。这使得我们继续思考,我们到底想如何构建我们的应用呢?对就是使用容器技术。我们希望通过容器来构建我们的应用,并将其直接运行在我们的裸机硬件资源上。这些因为是Verizon内部数据中心上运行的自有应用,我们并不需要像公有云一样使用虚拟化技术来提供一些多租户环境。对这些做智能管理的需求将我们引到了Apache Mesos这个开源技术。我们最终建立起了一种以Linux为核心,由普通服务器组成的数据中心。这样就可以节约整体的硬件和维护成本。”

Verizon 最终打造的系统就好像Google创建的Borg集群系统一样。Google在十年前就开始在他们自己的Linux操作系统上部署容器了,并通过Borg来管理这些容器。

“我们想做的就是一个类似Google的模式。像Google一样建设基础设施架构,创建自己的系统,并让开发者将自己的应用部署在这些系统上。” Rau 说到 “最终我们就是建立了一个资源池,并将这个资源池作为一个整体来看待。同时也可以让我们更快的去部署应用。我们不用再去关心硬件或数据中心的机柜了。我们开发一个应用,运行它就可以了。我们可以做更多的创新,尝试更多的东西,并让部署更快一些。能做到这些,完全是因为你再不需要去做一个18个月的项目,花费大量的资金,仅仅是推出这个应用或服务,并猜测它是如何运作的。现在我们仅仅需要尝试一个服务,看它是如何发展的,并根据其发展情况,再通过平台扩展这个应用。一旦我们我们部署并运行一个应用,我们也可以很快的去更新它。”

Verizon 能节省多少时间和金钱?

就像你猜到的一样,Verizon 不会透露使用Mesos和Docker技术将会获得多大的预期收益。不过Rau表示,根据一些传闻和使用类似平台的人所说的情况来看,效果会是非常显著的。

硬件方面Verizon会节省大量的成本。现在应用部署的方式是这样的,业务线想要推出一些新的服务,需要先做一个三年期的计划,并尽其所能的猜测他们的业务峰值是在什么时间点,因什么而起的。因为是电信级业务,你必须为这个应用建立冗余的基础架构。更进一步,还需要建立基于地理位置的冗余架构,从而让这个应用能够达到5个9的高可用性。这就意味着Verizon需要在一个服务刚刚推出时就购买大量的硬件,以便支撑未来这个业务有可能达到的规模。我们猜想,Google在90年代到00年代爆发式增长期间,也同样遇到了这些问题,并在交了这些学费后,最终创造出了LXC容器和Borg系统。

“当Verizon推出一个新业务时,因为我们有集群闲置资源,我们就不需要立即给这个新业务一个三年预期规模的相关资源。这可以让我们根据所有应用的运营情况来增加我们的硬件投入,我们可以按季度扩展我们的集群规模。这种方法还可以使我们的计划更具体和有效。这是因为我们可以参考集群的历史数据,看我们具体有哪些应用上云,或者从云上下线了,从而将硬件采购做的更好,更加合理。”

最终我们就是建立了一个资源池,并将它作为一个整体来看待,同时也可以让我们更快的去部署应用。我们不用再去关心硬件或数据中心的机柜了。我们开发一个应用,然后运行它就可以了。我们可以做更多的创新,尝试更多的东西,并让部署更快一些。而不再需要去做一个18个月的项目,花费大量的资金,仅仅是推出这个应用或服务,并猜测它是如何运作的。

这正是Google们所做的事情。为成百上千个单独运行在独立的主机或小集群上的协调分配资源是非常困难的,与其相比,将大量的任务在一个集群里面协调资源就要容易的多了。此外,提高一个大规模集群的资源利用率要比提高好几个小规模集群的资源利用率要容易的多。这就是Google他们学到的教训,这也就是为什么他们尽可能的使用同样的硬件和软件的构建集群的原因。

虽然人们不讨论其具体细节,我们知道企业级数据中心的服务器资源利用率一般是在10%~20%之间。通过使用虚拟化技术和容器技术,公司可以将不同的多个工作任务运行在同一个机器上,这样就有可能将服务器的资源利用率提高到50%~60%。Rau说这是他们跑出来的数字。

Mesosphere声称DCOS可以将整个集群的资源利用率提高2~3倍,一些情况下甚至可以提高5倍。当你运行着数万台,甚至数十万台服务器时,这些就是惊人的数字了。这意味着公司可以部署更多的基础设施来提高其应用的底层资源,并且规范服务器的类型和规格。另外,Mesos最终可以具备超购的能力,可以将资源利用率提升的更高。感谢Quasar项目。这意味着一些客户甚至可以在不给集群带来太多问题的情况下,将资源利用率提升至75%~80%。

Lau没有透露Verizon的硬件计划,但他表示他们的目标是效仿互联网巨头并得到由”廉价的、单一的硬件设备组成的数据中心” 。这并不意味着我们必须让服务器、存储和交换机都遵循由Facebook在五年前建立的 Open Compute Project。好比是服务器厂商专门为Google们所设计的产品,Dell期望通过上周宣布的“可扩展的数据中心解决方案部门”来将这些定制硬件卖给类似Verizon这样的客户。虽然Mesos已经部署在了一些已有的机器上,但Verizon的想法是在新的硬件上为新任务建立Mesos集群。过几年老的系统从原有硬件集群上退役后,这些硬件集群将被升级,最终Mesos将接管一切。

采用Mesos技术不仅仅是节约了硬件资源,也同时节约了大量的时间。最近在西雅图召开的MesosCon上,Verizon像大家展示了他们是如何在72秒内创建50000个Docker容器。(数人科技在infoQ主办的容器大会上,演示了如何在数人云上在数十秒内启动运行10000个Docker容器)Verizon相信这样的速度,自动化管理容器和底层集群,可以让应用部署的速度提高一个数量级。

Verizon计划今年就在其Mesos集群上运行一些服务。第一批将被迁移到Mesos集群上的服务包括无线网络支撑系统和一些移动应用的后台,以及FiOS网络支撑系统(光纤到户)。Mesos也将用来支持IoT服务,包括多媒体服务、视频流媒体服务等等。Verizon还计划将其Hadoop和Spark分析任务从他们的专属集群上迁移到Mesos集群。

Verizon的具体容器技术选型

系统采用的容器技术,Verizon预计会选择Docker,而不是Kubernetes(Google开源)的Podding方案。Verizon计划采用Mesos自带的容器功能和Docker Daemons 来管理用容器进行打包部署的应用软件。Verizon也查看了CoreOS和rkt容器,以及它的Tectonic 容器管理系统(基于Kubernetes)。Verizon可能也会在某些场景下使用rkt容器,甚至是Linux的LXC容器。

“容器技术是非常成熟的,他已经存在了很长时间,Docker让容器技术更加易用了。我认为打包的形式让你可以将应用作为一个整体来看待” Rau 在谈Docker格式的容器技术 “Mesos有其自己的容器,他可以使用Linux容器,他们的namespaces,和contral groups 并与Docker守护进程通信,发布任务,这就是我们现在所做的方式。我并不是说我们会仅仅只使用Docker,但事实上Docker镜像格式和标准,已经成为了关键性的组件”

另外,Kubernetes可以作为一个框架运行在Mesos之上,所以Verizon如果需要的话,也有可能使用Kubernetes。

有一台以上的服务器,都有理由来尝试云操作系统

Mesos往往以其在大规模生产环境下的成熟案例为大家所熟知。但其实Mesos对于互联网初创企业也是非常有用的。最显著的一点就是:从一开始就使用基于Mesos的云操作系统,让一套IT构架就能支撑不同阶段业务的飞速发展。并让技术人员更关注业务,而不是把精力花在服务器配置上。借用Rahman的一句话,“只要大家拥有一台以上的服务器,都有理由来尝试云操作系统。”

美国初创公司Mattermark采用Mesos技术

Mattermark是一家专门面向私营企业交付数据的高人气初创企业。作为初创公司,其IT基础设施规模还是相对较小的。不过正是凭借着这种初创特质,其也得以顺利摆脱了众多规模更大且更为成熟的企业所难以解决的运营效率低下难题。与众多大型企业一样,Mattermark公司同样使用Apache Mesos以及Marathon框架来解决自身面对的独特问题。

这家诞生刚刚两年的年轻公司,仅仅运行着一些Amazon Web Services实例,存储着GB级别大小的数据,却认为他们的IT架构已经变得不可为继,会在不远的将来影响业务的发展。在这方面,最突出的实际难题就是数据处理任务,特别是Mattermark在日常运营当中不可避免的大量数据挖掘、机器学习以及索引工作——过去,这些工作一直在以缺乏充分理论指导的随意方式进行。

“我们拥有大量运行着重要工作内容的EC2实例,但没人了解其具体运行机制,”Mattermark公司机器学习工程师Samiur Rahman解释称。“这确实非常麻烦。”

该公司的管理层意识到,要想真正为各私营企业客户提供可靠的数据源,必须要对现有运营机制进行整顿。“我们很清楚,未来的一到两年内公司规模会出现持续扩张,”Rahman表示。“所以我们要么继续安于现有环境并不断加以构建,要么就像其它企业那样全盘淘汰现有设施并直接向现代基础设施转移。”

利用Mesos进行基础设施调度

Mattermark公司在几个月之前决定利用Mesos对自身基础设施进行重新设计,而且同时针对新系统提供了几项必须能够实现的特殊要求:

  • 需要在开发人员与公司AWS实例之间建立一套抽象层。
  • 能够将任务分发至不同的AWS实例当中。
  • 能够根据特定任务的实际需要为其分配对应资源。
  • 面向任务调度实现高度细化的控制机制。
  • 对资源进行隔离以避免相邻实例争夺资源的问题。

该公司目前在Mesos之上运行有Chronos与Marathon,而此举已经带来了理想的回报。Mattermark公司如今能够以受控方式对批量任务进行调度,同时以智能化方式将不同类型的任务运行在同一资源池中,从而提高AWS的资源利用率。举例来讲,其能够将多个低资源型网页获取任务与其它内存与CPU使用率较高的机器学习任务运行在同一个实例当中。

“能够切实完成此类资源分配(即允许这些工作负载在同一资源之上共存)的解决方案非常重要,”Rahman指出。如此一来,Mattermark公司不仅能够通过一套可靠的方式实现任务流程自动化,同时也能够在工作效果不变的前提下减少AWS实例使用量并由此降低使用成本。

相较于以往的服务器监控最佳实践,即企业需要从起始阶段就要考虑到资源占用率趋近100%时的应对措施,“我们的监控机制有所不同,因为如今80%到90%才是理想的资源利用率,”他解释道。“这意味着我们能够更加充分地利用已有资源。”

尽管Mattermark公司目前仍有一部分工作负载运行在由Elastic Load Balancer支持的AWS裸机实例当中(即非Mesos工作节点),但Rahman强调称那些需要高可用性保障的任务已经运行在Mesos-Marathon环境之内。随着Mattermark公司不断推出新的工作负载与任务类型,其也将全部由新系统负责承载。

“我们致力于让各类工作负载与任务运行在Mesos当中,”他指出。而且由于Mattermark公司已经开始广泛利用预配置Docker容器作为应用程序运行环境,其目前能够以相对简单的方式完成各类进程由纯AWS实例迁移至运行在AWS实例之上的Mesos集群中的工作。

以“积极态度”迎接大数据挑战

不过就Mattermark公司的情况而言,Mesos的真正价值在于允许其保持基础设施规模与业务发展同步扩张——反之亦然。换言之,让IT资源随着业务的发展而平滑增加,这样既不会让IT架构成为业务发展的瓶颈,也不会因需要预留大量IT资源而造成浪费。

尽管目前规模仅为150 GB的MySQL数据库很难被定义为“大数据”,但Rahman表示Mattermark公司计划在未来几年当中对其规模进行显著拓展。而其中最突出的理由就是,Mattermark公司的从业时间越长,其需要在数据库内为每家企业客户保存的数据量也就越大。

但从更具战略意义的角度出发,Mattermark公司希望能够将其数据库涵盖能力由100万家企业扩展到全球范围内的数亿家企业。随着企业客户数量的增长,其当然也希望为每位客户提供更加丰富的数据类型——包括员工数量、网站流量、融资信息、相关新闻以及社交媒体关注度等等。

“我们的业务规模取决于我们实现数据更新的速度以及将更多企业客户纳入数据库的能力,”Rahman指出。

在他看来,Mesos能够从多个角度带来助益,使得Mattermark公司更为轻松地引入各类必要的新型数据处理技术,包括Kafka以及Spark等,并在运行大规模处理任务时快速添加对应容量。总而言之,该公司在基础设施与任务之间的契合度方面投入的精力越少,那么其专注于在正确时间对正确数据进行访问、分析以及交付的能力也就越强。

“我们希望运营体系能够时刻为规模伸缩做好准备,从而帮助我们获取更多数据并从其中发掘出更多有价值信息,”Rahman表示。“另外,我们也希望能够继续保持向客户交付数据的速度。”

初创公司也要勇于尝试Mesos或数据中心操作系统

着眼于未来,Rahman表示他希望看到Mattermark公司将运营体系由开源Mesos迁移至Mesosphere数据中心操作系统(国内的朋友可以选择数人云哦),这在很大程度上意味着摆脱软件组件更新以及漏洞修复等工作带来的困扰。尽管目前尚在对DCOS的Early Access版本进行早期实验,但他已经可以在30分钟之内设置起一套以往通常需要数个星期才能搭建完成的系统。

“初创企业应该了解DCOS,因为它能够让运营工作变得更为轻松,”他解释称。另外,初创企业不必因为的自己运营规模并不像Yelp、苹果或者是Twitter那么庞大,而害怕尝试DCOS或者是开源Mesos组件。

“Mesos天然具备的开发者自由空间与良好运营效率让我们从系统重新设计当中获得了切实回报,”Rahman总结称。“只要大家拥有一台以上的服务器,都有理由在这方面做出尝试。”

中国的DCOS”数人云”

数人云是数人科技基于Mesos和Docker技术开发出的云操作系统(数据中心操作系统),其目的是能够让用户像使用单机电脑一样管理云端应用和集群。从而让企业更专注业务本身,而不是将精力花在IT基础设施构建上。

最后借用Rahman的一句话,”只要大家拥有一台以上的服务器,都有理由来尝试云操作系统。”