QQ郵箱——騰訊IPv6規(guī)模部署和應(yīng)用案例

作者：騰訊企業(yè)郵箱    發(fā)布時間：2023-08-11 19:58:38  訪問量：1880  

QQ郵箱——騰訊IPv6規(guī)模部署和應(yīng)用案例

一、概述

2017年底，中共中央辦公廳、國務(wù)院辦公廳聯(lián)合印發(fā)《推進互聯(lián)網(wǎng)協(xié)議第六版(IPv6)規(guī)模部署行動計劃》，明確提出“用5到10年時間，形成下一代互聯(lián)網(wǎng)自主技術(shù)體系和產(chǎn)業(yè)生態(tài)，建成全球最大規(guī)模的IPv6商業(yè)應(yīng)用網(wǎng)絡(luò)，實現(xiàn)下一代互聯(lián)網(wǎng)在經(jīng)濟社會各領(lǐng)域深度融合應(yīng)用，成為全球下一代互聯(lián)網(wǎng)發(fā)展的重要主導(dǎo)力量”的目標。隨后中央網(wǎng)信辦、工業(yè)和信息化部連續(xù)三年發(fā)文推動IPv6改造工作，鼓勵和支持國內(nèi)用戶量排名前100位的商業(yè)網(wǎng)站及應(yīng)用支持IPv6接入。

二、案例描述

1、案例介紹

QQ郵箱自2002年上線，其依托于騰訊集團及騰訊云強大的基礎(chǔ)網(wǎng)絡(luò)能力，向用戶提供安全、穩(wěn)定、快速、便捷的電子服務(wù)。自推出服務(wù)以來，因其簡潔易用，良好的用戶體驗，深受廣大用戶喜愛，目前已成為中國大陸最受歡迎的免費郵箱服務(wù)產(chǎn)品。

2、架構(gòu)設(shè)計

圖1 QQ郵箱總體架構(gòu)圖

1)GSLB提供DNS以及httpdns解析，為用戶返回最近的接入點。

2)TGW作為統(tǒng)一接入網(wǎng)關(guān)，實現(xiàn)多網(wǎng)統(tǒng)一接入以及自動負載均衡。

3)PROXY提供邏輯層的功能路由。

4)LOGIC提供郵箱各項功能及服務(wù)。

3、實施方案

QQ郵箱的改造主要包括以下幾個部分：支持AAAA記錄、雙棧改造、客戶端改造、PROXY及LOGIC改造，其中GSLB作為最基礎(chǔ)的流量調(diào)度，是此次改造最基礎(chǔ)的部分。

3.1 支持AAAA記錄

用戶訪問互聯(lián)網(wǎng)的服務(wù)一般都是使用域名，在IPv6到來的時代，如何將域名轉(zhuǎn)換成對應(yīng)的IPv6地址，DNS的AAAA記錄發(fā)揮著重要作用。

圖2 用戶請求域名AAAA記錄示意圖

AAAA解析實際上并不能完全實現(xiàn)IPv6時代業(yè)務(wù)流量的精準調(diào)度，此時的GSLB權(quán)威還是只支持IPv4鏈路的請求，對于用戶使用IPv6鏈路過來的請求到達不了GSLB的權(quán)威服務(wù)器，那么接下來需要做的就是對GSLB進行雙棧改造。

3.2 雙棧改造

雙棧改造主要涉及到兩個部分，一個是GSLB權(quán)威雙棧的開發(fā)，另一個則是GSLB權(quán)威雙棧的灰度上線。

3.2.1 開發(fā)部分

圖3 GSLB權(quán)威示意圖

對于GSLB權(quán)威雙棧的開發(fā)，主要分三步走：數(shù)據(jù)的同步、雙棧協(xié)議的實現(xiàn)、域名的解析。

1)地址庫同步

在支持雙棧鏈路之后，用戶會通過IPv6鏈路訪問權(quán)威服務(wù)器，那么IPv6地址庫也就成了GSLB必不可少的一環(huán)。

2)雙棧協(xié)議的實現(xiàn)

GSLB權(quán)威服務(wù)基于DPDK實現(xiàn)，摒棄了Linux內(nèi)核協(xié)議棧，那么在處理雙棧鏈路請求的時候，需要自己處理IPv4以及IPv6協(xié)議，保證解析的高效和穩(wěn)定。

3)域名解析

對于用戶的域名請求，根據(jù)用戶請求的IP地址或者攜帶的IP地址(ECS)，判斷IP地址的歸屬，然后根據(jù)IP對應(yīng)的地址庫(IPv4查找IPv4的地址庫，IPv6則查找IPv6的地址庫)，查找對應(yīng)的國家-省份-運營商信息，返回該域名最匹配的RR記錄，實現(xiàn)雙棧的流量調(diào)度。

3.2.2 灰度部分

初版IPv6地址庫通過手工方式生成完畢，業(yè)務(wù)側(cè)需求高漲，在此背景下，灰度上量成了最迫切的需求，如何保證雙棧權(quán)威的解析系統(tǒng)可以正常使用，同時也保證灰度過程全程可控呢?

此時，通過上線一套獨立的雙棧權(quán)威解析系統(tǒng)，新建testipv6.com域名后綴授權(quán)到雙棧權(quán)威，該后綴域名在控制面可以通過日常域名操作平臺進行域名的增刪改查操作，解析面通過支持雙棧地址庫同步的agent同步IPv4和IPv6地址庫到權(quán)威服務(wù)器，對于存量業(yè)務(wù)，不更改接入域名的前提，建議業(yè)務(wù)通過小流量地區(qū)+運營商cname到雙棧權(quán)威域名的方式進行域名解析。

3.3 客戶端的改造

客戶端改造的重點在于，用戶雙棧環(huán)境下，優(yōu)先使用IPv6鏈路，當IPv6鏈路不通或者質(zhì)量不好的情況下，可以盡快切到IPv4鏈路，保障客戶端使用體驗。

1)雙棧下IPv6優(yōu)先

客戶端的改造重點在于保障用戶接入質(zhì)量的前提下完成雙棧優(yōu)先IPv6的改造要求，以及在IPv6單棧情況下可以直接訪問接入通道。

2)失敗回退

當前支持IPv6的用戶，基本都為雙棧用戶，因此可以基于測速邏輯、失敗重試、緩存最優(yōu)接入IP等方式實現(xiàn)出現(xiàn)錯誤后回退到IPv4.

3)灰度可控

支持基于用戶id、省份/運營商的灰度能力，保證質(zhì)量可控。

3.4 PROXY及邏輯服務(wù)改造

郵箱服務(wù)歷史久遠，郵箱服務(wù)中，有大量基于IP地址的邏輯，因此改造過程幾乎涉及郵箱服務(wù)的所有功能模塊。

改造的步驟也是先進行后端的邏輯改造，首先完成反垃圾基礎(chǔ)頻率服務(wù)、郵件身份識別等改造。同時反垃圾識別算法進行升級，避免IPv6流量進入后，因IP資源泛濫導(dǎo)致垃圾郵件漏過。

其次完成PROXY的IPv6地址傳遞，LOGIC層IP的處理以及日志記錄等一系列和IP相關(guān)的邏輯。

4、安全及可靠性

反垃圾能力，是保證郵件服務(wù)基礎(chǔ)體驗的核心，在改造中，針對IPv6.我們主要做了以下準備：

1)IPv6地址庫，用于判斷用戶登錄地、運營商做異常登錄判斷;

2)IPv6屬性庫，建議基于IPv6地址的畫像，積累IPv6的行為屬性特征、郵件行為特征;

3)IPv6聚集算法，在IPv4時代，我們可以通過IPC來進行聚集。IPv6時代，我們根據(jù)IPv6的分配原則以及業(yè)務(wù)上的特征，在不同的場景使用不同的聚類算法。

三、實施效果

經(jīng)過多方面的改造升級，目前QQ郵箱已全面上線，全部功能支持IPv6協(xié)議訪問。對所有用戶進行了IPv6放量支持，只要用戶網(wǎng)絡(luò)環(huán)境及終端設(shè)備支持IPv6協(xié)議，在使用QQ郵箱時即可通過IPv6協(xié)議來訪問。在雙棧環(huán)境下，IPv6流量占比約占87%。

掃碼加交流群，相互學習，一起解決工作中遇到的問題

聲明：本文由騰訊企業(yè)郵箱收集整理的《QQ郵箱——騰訊IPv6規(guī)模部署和應(yīng)用案例》，如轉(zhuǎn)載請保留鏈接:http://m.shonest.net.cn/news_in/2049