在线广告大数据与广告的关系-创视优品

在线广告大数据与广告的关系

  •   近年来,大数据思维和技术渐成显学。然而,大数据这一概念迄今并没有一个内涵上准确的界定。在参考文献[73]中,作者用规模(volume)、多样性(variety)、高速(velocity)和价值(value),即所谓的4V特征来描述大数据问题的特性,但并没有给出这类问题的界定标准。但是,从实践的角度来看什么是大数据问题,或许要比理论上的定义要简单一些:自从互联网公司开始挖掘海量用户行为数据中的价值,大数据这一概念就进入实践阶段了。它在工业界最显著的特点是区别于以往数据处理系统的低成本、分布式计算架构。从数据来源、处理方式和应用方向这3个角度来看,大数据问题都有鲜明的特点。
      (1)行为数据。传统的数据处理任务往往面对的是交易数据。所谓交易数据指的是商业活动中必须记录的数据,如电信运营商的话费充值、通话记录,银行的存取款、利息等。交易数据处理的规模往往并不太大,但是对一致性和实时性的要求非常高,IOE(IBM、Oracle和EMC)的计算架构为交易数据处理提供了成熟的方案。与此相对,商业活动中产生的非必须记录的数据,就是行为数据。电信运营商采集到的用户位置、银行的窗口排队以及网站的用户访问日志等,都属于行为数据。与交易数据相比,行为数据的加工有两个特点,首先是规模巨大,其次是对一致性的要求要低得多,例如,网站的日志丢失千分之一,往往并不是什么严重事故。由于这两个特点,传统的IOE架构并不合适,这些是大数据架构产生的原动力。
      (2)全量加工。如果数据规模很大,并且问题无法通过采样来降低处理的复杂程度,那就必须利用一些专门为海量数据处理而设计的计算和存储技术(如MapReduce、NoSQL数据库等)来实现。如图1-1所示,我们考察某数据处理过程的目标函数,就有可能存在如下两类有代表性的情形。


     大数据问题的特性示意
      A类问题:如果通过数据采样能够显著降低数据处理的复杂程度,同时解决问题的效果(即目标函数)没有太大的下降,那么显然应该这样做。这类问题可以用图中的A曲线来示意。一般的统计报表、报告等往往属于这类问题。
      B类问题:另有一些数据问题基本上不可能通过只处理一小部分数据来达到处理全量数据的效果,或者说,随着数据采样率的降低,解决问题的收益快速下降,这类问题是典型的大数据问题,可以用图1-1中的B曲线来示意。个性化推荐(personalized recommendation)和计算广告(computational advertising)等问题,需要用到每一个人的行为做定制化推送,而无法只采样一部分人做处理,符合这一特征。
      (3)自动化应用。使用数据的应用有两种类型。一种是洞察(insight)应用,即对数据进行统计分析后得到整体的结果报表,再由决策者根据结果进行决策。洞察应用传统典型的例子是企业的财务报表,而商业智能(Business Intelligence,BI)也属于洞察应用。另外一种是自动化(automation)应用,即将数据处理的结果直接送给对业务进行自动决策的引擎。计算广告正是典型的自动化应用,从用户行为数据收集,到受众定向,再到线上根据用户标签的自动决策,整个过程都是自动进行的,人的作用只是建立流程和调整策略。电商的自动进货系统,也是一种大数据的自动化应用。
      洞察应用由于业务决策过程中有人的参与环节,因此报表的数据规模不能太大,这会带来一定的信息量损失。另外,对洞察报表的解读和决策,实际上需要相当专业的训练,这一点读者想想财务报表的例子就可以明白。而自动化应用由于是由机器进行决策的,数据可以在个体粒度上进行处理,这使得数据能够发挥更大的效果。因此,我们认为,相对于传统的洞察应用,自动化应用才是真正发挥大数据优势的应用形态。
      由于上述3个特点的存在,面向中等规模交易数据的存储和计算的传统IOE架构变得不再合适,必须寻找新的方案。这些需求催生了Google的GFS、MapReduce和BigTable这“三驾马车”,也产生了Hadoop和Spark等开源技术方案。
      从行为数据、全量加工和自动化应用这3个关键点来看,在线广告中的计算问题是非常典型的大数据应用。实际上,在以往相当长的一段时期里,唯一得到充分商业化和规模化的大数据应用,就是计算广告。它为各行各业大数据的落地提供了非常有价值的借鉴样本,下面几点尤其值得了解和关注。
      (1)计算广告为规模化变现流量和数据提供了完整产品和解决方案,并创造了互联网大部分的利润。
      (2)在线广告孵化了较成熟的数据加工和交易产业链,值得所有涉及大数据从业者学习和借鉴。
      (3)由于存在商业上的限制条件,计算广告产品和技术比推荐系统更加复杂。因此,理解其产品和市场对于设计高效的商业产品大有益处。
      因此,如果你是一位大数据、商业变现或用户增长领域的产品经理、工程师或管理者,我们建议你认真了解广告的产品和技术,相信你一定会有很大收获,也会快捷地了解到这一领域真正有挑战的问题。本着这样的目的,本书的内容将会以广告市场的产品和技术演进作为一条明线,而以对数据的利用程度作为一条暗线来展开。
  • 本文章摘自书籍或来源于网络,如果您喜欢本文,请通过正规渠道购买正版书籍或者访问原网站,如有侵权,请联系我们及时删除。
  • 相关资讯

    您可能对下面的文章也感兴趣!

    我们的服务项目

    企业宣传片、三维动画、企业会议片、MG动画、短视频、产品广告

    Top