腾讯企业邮技术有点介绍——存储与容灾方面

茵语

一、超强存储

1、技术优势
首先要提的，就是邮箱最重要的服务——索引，邮箱索引主要存储了用户索引列表、邮件夹列表、黑白名单列表、用户属性等信息，出现异常则直接影响邮箱登录。这一重要的服务，我们已经实现：
（1）实时的读写自动容灾，在机器故障不需要人工参与；
（2）我们支持高达40w的单个邮箱邮件数上限，相比业界同行的10w上限遥遥领先，这是非常不易的。因用户量级大、邮件量多，索引日调用量超过200亿次，高峰期2200万/分钟，读写比例约10:1。在以上严峻形势下，后台通过采用KV集群、全内存索引、Cache分号段、一致性hash容灾等措施保证了索引服务的健壮，能支持单个账号40w+的邮件量，且列表展示速度可接受（小于0.5秒）。

2、性能优势
企邮的网盘、中转站和附件，使用的是腾讯自研的分布式云存储系统（FTN）。FTN平台是支撑公司大文件存储的业务平台，主要有以下特点：文件上传“秒传”、跨IDC存储分布、小运营商加速、用用上传/下载就近接入、防盗链。企邮采用了FTN读写直传，优先选择对用户速度最快的接入节点，加速附件/中转站/网盘的传输速度。

3、成本优势
邮件的数据具有很强的时效性，超过三个月的邮件，访问量低于5%。而邮件的运营成本，主要体现在存储上，尤其是大量的冷数据占了很大的运营成本。后台通过数据条带化，减少冷数据的存储份数，进而减少存储量；清理孤儿邮件；因使用的是公司级的存储平台，将大文件多业务相互排重，节约存储量。

二、多重容灾

为保证服务的可用率，后台从“接入层”、“应用层”、“存储层”都做了容灾：

1、接入层
接入层主要是接入腾讯统一接入网关-TGW，全称Tencent Gateway，是一套实现多网统一接入，支持自动负载均衡的系统。TGW具有可靠性高，扩展性强，性能高，抗攻击能力强等特点。TGW目前已经覆盖了电信，联通，移动，教育4大运营商，以及腾讯CAP平台，在全国11大城市（AC/DC）均有接入点，总接入的应用数超过500款。

2、应用层
通过clientctrl自动切换，定期从控制中心拉取需要切换的服务器列表，自动切换新机，排除故障机器。部分服务通过vbpmaster来自动调整服务器，实现自动容灾。

3、存储层
相对接入层、应用层容灾而言，数据层的容灾相对比较复杂，实现起来难度大。企邮目前使用三机仲裁容灾。其特点是三机一组，我们简称其为A,B,C。AB两台为数据机，存储实际的数据和版本号状态。C机只保存版本号状态，充当仲裁的角色。同时AB机器上都有同步进程，会双向进行同步。总体架构图如下：