前言

在信息化时代,数据成为移动互联网企业的宝贵资源。数据的获取、上报、储存、分析乃至可视化地呈现,都成为了当前重要的研究方向。当然,大数据分析最核心的还是数据,其中数据的来源更是至关重要的。如何保证数据能够准确、及时、完整地上传到指定的服务端,是神策分析 Android SDK 需要面临的核心问题。

神策分析 Android SDK 针对数据传输,从完整性、正确性以及高效性等多方面综合考虑,设计并实现了一套适用于数据采集的网络传输方案。下面针对神策分析 Android SDK 网络模块进行详细的介绍,希望能够给大家提供一些参考。

网络请求方案

大多数 App 都会和服务端进行交互,因此需要连接到网络才能正常使用。数据采集 SDK 需要将数据上传到指定的服务端,同样需要依赖网络。Android 中网络请求的实现有多种方式例如:可以使用一些比较成熟的网络框架,快速实现网络请求功能;或者使用 Android 系统提供的网络访问 API 实现网络请求功能。下面分别介绍这两种方案的优缺点

基于开源网络框架

Android 中有很多优秀的开源网络框架,例如:Volley、OkHttp、Retrofit + RxJava 、NoHttp 等,基于开源网络框架可以方便快捷地实现网络请求功能。

基于开源网络框架实现有如下优点:

  1. 可以减少代码量,将重点放在业务上,不需要在技术框架上耗费过多的时间;
  2. 功能丰富,使用门槛低;
  3. 流行的开源网络框架经过众多应用的验证,性能相对稳定。

但是,基于开源网络框架实现也有一些缺点:

  1. 功能较多,代码逻辑复杂,学习成本较高;
  2. 内部缺陷修复难度大甚至需要依赖作者来更新维护;
  3. 包含很多可能使用不到的功能以及冗余的代码,引入后会导致体积增大很多。

基于开源网络框架实现网络请求方案有利有弊,可以根据实际需要选择合适的开源网络框架。

基于系统方法

基于系统方法实现的网络请求方案通常采用 HttpURLConnection  HttpClient:

  • HttpURLConnection:在 JDK 的 java.net 包提供的一种多用途、轻量级的访问 HTTP 协议的基本功能类,大多数的应用程序都使用该接口进行网络访问请求;
  • HttpClient:是 Apache 开源组织提供的网络访问类,封装了 HTTP 协议的细节实现,Android 6.0 之前包含在系统 API 中。

它们都提供较多的 API,而且相对比较稳定。这两种网络请求类均有以下功能:

  1. 支持 HTTPS 协议网络请求;
  2. 可以配置超时时间;
  3. 支持 IPv6 协议;
  4. 支持连接池;
  5. 可以实现流媒体的上传与下载。

在 Android 6.0 之前大多数应用的网络请求是通过 HttpClient 实现的,相比较于 HttpURLConnection ,使用 HttpClient 具有以下优势:

  1. 从易用性方面对比:HttpClient 封装了 HTTP 协议的细节,使用起来比较方便。HttpURLConnection 是 Java 的标准类,由于缺少封装导致使用不便;
  2. 从稳定性方面对比:HttpClient 功能强大且更稳定,容易控制细节。而之前的 HttpURLConnection 一直存在着版本兼容的问题。

从 Android 6.0 开始移除了 HttpClient,如果在 Android 6.0 以上继续使用 HttpClient 时,需要在相应的 module下的 build.gradle 中进行依赖库配置。具体配置如下:

android {
     useLibrary 'org.apache.http.legacy'
}

因此,在 Android 6.0 以上更推荐使用 HttpURLConnection。 从上述的分析可以看出:之前一直使用 HttpClient 是由于 HttpURLConnection 不稳定导致的。目前谷歌已经修复了 HttpURLConnection 存在的一些问题,相比 HttpClient 优势如表 2-1 所示

因此,使用基于系统方法实现的网络请求方案一般采用 HttpURLConnection 来实现。

SDK 网络模块

如果 SDK 网络模块基于开源网络框架实现,可维护性和版本控制都有一定的风险,此外还会导致 SDK 体积增大很多。由于这些缺点很难被用户所接受,因此基于开源网络框架实现网络模块不适用于 SDK。

考虑到上述原因,SDK 网络模块最终采用了基于 HttpURLConnection 的方式实现。HttpURLConnection 是系统提供的网络访问 API,不仅可满足 SDK 网络请求的需要,而且系统 API 功能更稳定,更易扩展。

原理介绍

实现原理

Android 中进行网络请求是基于 HTTP 协议实现的。HTTP 协议是目前 Internet 上最常使用、最重要的协议,该协议为典型的请求 – 响应模型:

  1. 客户端建立连接并发送请求;
  2. 服务端接受并处理请求;
  3. 服务端发送应答;
  4. 客户端接受并处理应答。

在基于 HttpURLConnection 实现网络请求方案时,很有必要对 HttpURLConnection 有进一步的了解。HttpURLConnection 继承自 URLConnection  抽象类,URLConnection 类本身依赖于 Socket 类实现网络连接。Socket 又称做套接字,它把复杂的网络操作抽象为简单的接口供上层调用。由于 HttpURLConnection 并不是底层的连接,而是在底层连接上的一个请求,因此 HttpURLConnection 不需要设置 Socket。

HttpURLConnection 支持 GET、POST、PUT、DELETE  等请求方式,最常用的就是 GET 与 POST 请求,下面从数据传输长度和安全性两方面对比:

  1. 数据传输长度:一般来说, GET 请求传输的数据长度有限制(URL 有长度限制),POST 请求传输的数据长度没有限制;
  2. 安全性:GET 请求安全性较差(发送的数据会拼接在 URL 后面),POST 请求相对安全(数据不显示在 URL 中)。

考虑到 SDK 采集的数据量相对较大,且对数据安全性要求较高,因此采用 HttpURLConnection POST 方式实现网络请求。

使用方式

HttpURLConnection 的具体使用步骤如图 3-1 所示:

图 3-1 HttpURLConnection 使用流程

由于涉及到网络访问,需要在 Manifest 文件中添加网络访问权限:

<uses-permission android:name="android.permission.INTERNET"/>

以上是对 HttpURLConnection 的原理以及具体使用的介绍,下面对 SDK 中网络请求的具体实现进行介绍。

具体实现

网络相关配置

SDK 可以对数据上报进行一系列的配置,开发者可根据 App 的特点设置相应的配置,从而达到最高效的数据上报效果。SDK 的相关配置在初始化时完成,可以配置的参数如下:

  • mServerUrl:数据上报地址,采集的本地数据将上报到该地址;
  • mFlushInterval:两次数据发送的最小时间间隔(单位毫秒),默认值为 15;
  • mFlushBulkSize:本地缓存数据的最大条目数,当本地缓存条数达到 mFlushBulkSize 则会上报数据, 默认值为 100;
  • mNetworkTypePolicy:网络上传策略,可配置为 3G、4G、5G、WIFI 等网络类型进行上报。

工作线程封装

SDK 数据上报是在子线程中完成的,当采集的数据满足上报策略时触发数据异步上报,上传任务的管理调度在 Worker 类中完成。在 Worker 初始化时,创建 HandlerThread 实例,HandlerThread 本质上是一个线程类,它继承自 Thread 类。HandlerThread 内有自己的 Looper 对象,可以进行 Looper 循环。通过获取 HandlerThread 中 Looper 对象传递给 Handler 对象,可以在 handleMessage 方法中执行异步任务。

AnalyticsMessageHandler 继承自 Handler,在 handleMessage 中接收 Worker 发送的消息并执行数据上报或删除。HandlerThread 中的 Looper 对象传递给 AnalyticsMessageHandler 对象,在 handleMessage 方法中实现异步网络任务。AnalyticsMessageHandler 代码实现如下:

private class AnalyticsMessageHandler extends Handler {
           ......
        Worker() {
            final HandlerThread thread =
                    new HandlerThread("com.sensorsdata.analytics.android.sdk.AnalyticsMessages.Worker",
                            Thread.MIN_PRIORITY);
            thread.start();
            mHandler = new AnalyticsMessageHandler(thread.getLooper());
        }
         @Override
         public void handleMessage(Message msg) {
               ......
            if (msg.what == FLUSH_QUEUE) {
               sendData();
            else if (msg.what == DELETE_ALL) {
                try {
                     mDbAdapter.deleteAllEvents();
                 catch (Exception e) {
                     com.sensorsdata.analytics.android.sdk.SALog.printStackTrace(e);
                 }
            else {
                 SALog.i(TAG, "Unexpected message received by SensorsData worker: " + msg);
            }
            ......
        }
    ......
}

Worker 中封装了 runMessage 和 runMessageOnce 两个方法:runMessage 方法用于执行数据实时上报;runMessageOnce 方法用于延时执行上报任务。通过 Handler 中的 sendMessageDelayed() 方法即可实现数据的延时上报。

 数据上报策略

在 SDK 数据存储解析中介绍了数据的采集与存储策略:采集的数据会先保存到本地,符合上报策略才会上报。

  • 客户端本地存储的数据超过一定条数时(默认 100 条)会上报数据

在 SDK 初始化时,可配置 mFlushBulkSize 参数来控制条数限制。如果不进行设置,则默认为 100 条。如果用户设置的条数小于 50 条,则默认为 50 条。SDK 采集的数据较多,如果设置上报条数太小会导致频繁的网络请求(上报数据),从而影响性能。如果用户设置上报条数过多,会导致一次上传的数据过大,这样不仅会导致上传时间长还很可能会出现上传失败的情况。如果没有特殊要求,可直接使用默认值。

  • 数据采集后间隔一定时间(默认 15 秒)会上报数据

在 SDK 初始化时,可配置 mFlushInterval 参数来控制时间间隔限制。如果不满足上报条数限制时,SDK 会执行一个延时任务,延时 mFlushInterval 设定的时间后执行。

除了上文中提到的策略外,还会在触发以下事件时,会以阻塞的形式将本地缓存的数据全部上报:

  1. 在采集 $AppEnd 事件时上报数据;
  2. 捕获 App 异常时上报数据;
  3. 在激活事件触发后上报数据。

数据安全

数据加密

SDK 上报的数据涉及到用户隐私,保护用户隐私是开发者应尽的责任和义务。SDK 提供数据加密策略对上报的数据进行加密,以防止用户信息在传输过程中发生泄漏。

SDK 的数据加密策略是将采集到的数据缓存到本地,然后采用 RSA + AES 加密算法进行加密,主要实现流程如下:

  1. App 内置 RSA 公钥及密钥(假设为 A),或者从服务端获取(从服务端获取方便更换公钥,缺点是使用更多的传输带宽、增加初始化的成本;另外服务端同时使用多个密钥对,解密时需要选取对应私钥,若密钥过多可能会影响导入性能);
  2. 随机生成长度为 128 位的对称加密 AES 对称秘钥(假设为 B),使用 RSA 公钥 A 对 AES 对称密钥 B 进行加密;
  3. 用户触发事件产生 JSON 数据,使用 AES 对称秘钥 B 对采集的事件(即整条 JSON 数据)进行加密产生密文数据;
  4. 按照与后台约定的格式拼装数据存储到本地。

拼装后的格式如下:

{
    "pkv": RSA 公钥对应的秘钥编号,
    "ekey""使用 RSA 公钥 A 对 AES 对称密钥 B 加密产生的密文",
    "payload""使用 AES 对称秘钥 B 对采集的事件即整条 JSON 数据进行加密产生密文数据"
}

上报数据时,会从磁盘读取数据。根据加密方案,ekey 字段会很长(与 RSA 密钥长度有关),每条带一个 ekey 冗余较多。因此,在上报之前会进行数据合并,对于 “ekey” 相同的数据,合并到一个数组中。合并后发送到服务端的数据格式如下:

[{
    "pkv": RSA 公钥对应的秘钥编号1,
    "ekey""使用 RSA 公钥 A 对 AES 对称密钥 B 加密产生的密文",
    "payloads": [“加密后的事件数据1”,“加密后的事件数据2”]
},{
    "pkv": RSA 公钥对应的秘钥编号2,
    "ekey""使用 RSA 公钥 A 对 AES 对称密钥 B 加密产生的密文",
    "payloads": [“加密后的事件数据3”,“加密后的事件数据4”]
}]

最后,服务端使用 “pkv” 对应的私钥解密 “ekey” 字段得到 AES 对称密钥的参数 key,解密 payloads 得到多条消息原文。

HTTPS 双向验证

HTTPS 是在 HTTP 上建立的 SSL 加密层,并对传输数据进行加密,是 HTTP 协议的安全版。

在 HTTP 协议中可能存在安全问题,主要包括以下几个方面:

  1. 传输的数据使用明文,可能被窃取;
  2. 无法校验数据是否完整;
  3. 无法确认通信双方的身份。

使用 HTTPS 协议可以有效地防止这些问题:

  1. 内容经过加密并生成一个唯一的加密秘钥;
  2. 能够校验数据是否完整;
  3. 可以确认通信双方的身份。

SDK 支持 HTTPS 协议网络请求,通过 HTTPS 双向验证保证数据的安全性。

数据上报流程

数据采集时,会创建一个异步任务加入到任务队列中,通过 TrackTaskManagerThread 调度任务顺序执行。在子线程中执行一个任务时,首先采集预置属性信息,其次将预置信息和自定义属性信息封装成神策需要的 JSON 格式,存储到数据库中。

如果当前处于 Debug 模式或者数据库超过最大缓存限制时,会进行上报数据操作;不满足时会进行如下判断:如果触发的事件为 “$SignUp” 或者本地缓存的条数大于设置的 mFlushBulkSize 时会进行上报数据;否则会触发延时上报,在间隔设置的 mFlushInterval 时间上报数据。上报流程如图 3-2 所示

图 3-2 数据上报流程图

发送数据时,以下情况不会发送数据:

  • 用户设置 mEnableNetworkRequest 为 false 时不会上报数据,用户可通过 enableNetworkRequest 方法设置是否上报数据;
  • serverURL 为空时不会上报数据;
  • 不在主进程时不会上报数据;
  • 无网络时不会上报数据;
  • 不满足 SDK 设置的上报策略时不会上报数据。

满足上报条件时,SDK 会将本地的数据全部上报。如果一次传输的数据较大,会增加数据上传失败的可能性,同时对性能的影响也比较大。因此,SDK 一次最多读取 50 条数据,对读取的原始事件数据先采用 Gzip 压缩,然后对压缩的内容进行 Base64 编码,保证高效的传输。同时考虑到数据的完整性和安全性,会将原始数据的 hashCode 值传到服务端,用于对数据完整性校验。

数据上报后,根据网络请求状态码判断数据是否上报成功:网络请求状态码在 200 ~ 300 之间时,认为 SDK 上报数据是成功的,会删除本地上报成功的数据。网络请求失败时,本地数据不删除。每次发送都会循环读取本地缓存的数据,直到数据全部上传完成。

数据上报校验

开发者在集成 SDK 开发过程中,需要校验 SDK 是否将数据正常、准确地上报到服务端。SDK 提供了通过查看 Logcat 控制台日志和 Debug 实时查询的方式来校验数据上报的准确性。

Logcat 本地日志校验

通过日志查看数据是否上报成功,首先需要在初始化 SDK 后调用 enableLog(true) 打开 SDK 的日志输出功能。如果相应事件触发,SDK 会自动进行采集并定时发送到神策分析后台。可以通过 Logcat 查看日志进行数据校验, 在 Logcat 中筛选 “SA.”  可查看事件采集上报的相关日志,具体分为以下几种情况:

  • 埋点事件触发成功时,输出 “track event” 开头的事件数据;
  • 埋点事件触发失败时,输出相应的错误原因;
  • 事件数据上报成功时,输出 “valid message” 字段开头的事件数据;
  • 事件数据上报失败时,输出 “invalid message” 字段开头的事件数据并输出错误原因。

开发过程中通过日志即可判断数据是否正常上报。

Debug 实时数据查询

SDK 提供了 Debug 模式上报数据功能,方便开发者在集成 SDK 时校验数据。Debug 模式下 SDK 采集的数据会实时进行上报,SDK 提供了 DEBUG_ONLY 和 DEBUG_AND_TRACK 两模式:

  • DEBUG_ONLY:采集数据上报到服务端但不会入库,可以在 Debug 实时查询中看到上报的数据,避免在测试过程中产生的脏数据入库;
  • DEBUG_AND_TRACK:会实时上报数据,同时数据也会入库。

Debug 实时数据查询是在神策分析系统中查看数据是否正常上报。使用 Debug 模式需要根据文档正确配置 scheme,Android 中的 scheme 是一种页面内跳转协议。定义自己的 scheme 后,可以实现通过链接拉起应用或者跳转应用中的某个页面。

SDK 中配置 scheme 的目的就是通过扫码拉起应用作为开启 Debug 调试模式的入口。使用方法是:

  1. 先使用调试设备扫描网页二维码,开启该设备的「调试模式」;
  2. 点击开始刷新后,操作 App 触发事件;
  3. 事件上传成功就会在 Debug 实时数据查看中看到对应的事件。

总结

本文主要介绍了神策分析 Android SDK 网络模块的具体实现,SDK 网络请求没有基于开源网络框架来实现,避免了体积的过度增加和代码的冗余。通过对系统类 HttpURLConnection 进行封装,采用完善的上报策略,同时对数据进行压缩、编码、校验等操作,实现了数据及时、准确、高性能的上报。

最后,希望通过这篇文章,大家能够对神策分析 Android SDK 网络模块有一个系统的了解。

参考文献

HttpURLConnection 用法解析 

Android 探索之 HttpURLConnection 网络请求