您现在的位置：
对话卢亿雷 揭秘AdMaster背后的大数据技术Yesky天极新闻 16:42
　　【天极网IT新闻频道】都说“大数据”是“未来的新石油”，很多国家或国际组织都将大数据视作战略资源，那么大数据到底该如何使用？究竟如何才能创造价值？如何作用于营销？背后支撑大数据营销的技术是什么？带着这些问题，36大数据近期专访了AdMaster(精硕科技)技术副总裁卢亿雷先生。
　　卢亿雷是现任AdMaster技术副总裁，资深大数据技术专家。关注高可靠、高可用、高扩展、高性能系统服务，关注Hadoop/HBase/Storm/Spark/ElasticSearch等离线、流式及实时分布式计算技术。曾在联想研究院、基础架构部、Carbonite China工作;拥有超过10年云存储、云计算开发及架构工作经验，多年Hadoop实战经验，专注于分布式存储、分布式计算、大数据分析等方向，有多个发明专利，《一种分布式文件系统及其数据访问方法》和《一种数据备份的版本管理方法及装置》等。曾多次被CSDN、51CTO、IT168、InfoQ、阿里技术邀请为嘉宾分享Hadoop大数据在互联网的应用。
　　在本次访谈中，卢亿雷先生不仅为我们分享了多个大数据营销案例，更从专业角度为我们揭秘了AdMaster背后的大数据技术。卢亿雷表示：大数据是一个“厚积薄发”的产业，“实时查询”是大数据未来发展的重要方向，值得所有互联网细细耕耘。
　　图1：AdMaster技术副总裁卢亿雷先生
　　下面是访谈记录：
　　36大数据：在大数据领域，AdMaster是绝对的领跑者，所以我非常的期待能了解AdMaster的大数据怎么用的，原理是什么？您能为36大数据的网友们介绍一下AdMaster这家公司吗？
　　卢亿雷先生：AdMaster是一个基于数据提供服务的技术公司，作为全球领先的营销数据技术公司，我们最核心的是数据和技术。AdMaster为超过80%的全球100强品牌，及国内知名品牌提供服务，包括：宝洁、强生、微软、宝马、联合利华、东风日产、伊利、海尔、奔驰、奥迪、嘀嘀打车等。
　　AdMaster旗下的产品线非常丰富，也比较有针对性，我们有海量广告数据监测管理平台TrackMaster，针对网站流量分析的SiteMaster，专注社会化营销和品牌舆情的SocialMaster，以及国内最专业的数据管理解决方案DMP平台等等。不同的大数据产品，数据采集、存储的方式也不一样。我们采集的数据有广告曝光点击数据、社会化平台传播和舆情数据、移动端及跨多屏幕营销广告数据及消费者洞察研究的调研数据等等。
　　我们为我们的数据结构命名叫“混合异构数据”，因为存储的数据很多，数据的种类也很多，且客户需求都非常个性和定制化，有的需要实时数据的监控，有的需要离线数据和历史数据，有的又需要流式数据等等，客户需求点非常多，所以我们做的数据模型也是非常复杂的。
　　36大数据： AdMaster的大数据产品，更多立足于互联网B2B的企业，还是传统的企业？
　　卢亿雷先生：如刚刚提到，AdMaster80%以上的客户都是全球百强企业，基本您能说得上名字的公司，都是我们的客户。这些国际领先的品牌客户对于创新和技术渴求度很高，也非常敢于尝试创新并能够引领趋势。比如宝洁、联合利华、宝马、可口可乐等等。我们客户也不会局限在这些企业中，一些快速发展的互联网企业,O2O企业也是我们的客户。可以这么理解，无论这是一家什么性质的公司，只要他们有市场营销及消费者沟通的需求，我们的数据技术都能为其提供服务。
　　36大数据：AdMaster大数据营销技术和传统的营销有什么区别，改变了什么？最大的核心竞争力是什么？
　　卢亿雷先生：我觉得两者最大的区别在于传统营销往往是凭直觉拍脑袋来花广告费，可以叫做盲推。而大数据营销做的是让营销“有理有据”。前者是凭直觉和经验，后者是凭客观数据支持。大数据营销主要特点是以数据说话，通过数据来说明问题，阐述现象。
　　AdMaster大数据营销最核心的地方在于数据源，以及我们对客户及行业需求的深度理解。AdMaster公司在大数据营销方面已经有了近10年的经验积累，这些都是奠定我们今天行业地位的核心和关键基础。
　　36大数据：AdMaster在大数据采集、抓取，清洗，分析、储存等阶段分别采用了什么核心技术，并在这些领域是否有自己独特的创新？
　　卢亿雷先生：你可以先看一下我们的大数据构架图。
　　图2：AdMaster大数据构架图
　　AdMaster自己数据采集，每天大概有100亿请求。我们的数据源采集非常丰富，数据源不止来源于数字广告、新闻、论坛和社会化平台、电商平台等，还包括来自移动端数据。
　　比如说现在很热的公众号，微信文章点赞数据，评论数据我们也都是有监测的。通过整合微信的数据，我们可以还原社会化营销事件的传播路线图。你的文章在朋友圈里面经过了多少次转化，哪些人看到了，又做了哪些转发动作？关注你文章的这些人来自哪里？具有什么特质，消费水平如何等等。也就是说，除了传播路线图，我们还可以对用户进行“画像”。针对最近火热的朋友圈信息流广告，目前行业内还无法实现直接的效果监测。AdMaster突破技术局限，通过调研数据，多维度的评估了朋友圈信息流广告效果和消费者认知，在业内收到了非常好的反馈，这就是我们在数据应用方面的创新应用和突破。目前AdMaster已有1000多台物理，遍布全国，预计未来还要增加更多。
　　36大数据：AdMaster怎样的数据安全管理措施通过了ISAE 3402国际审计标准？
　　卢亿雷先生：关于数据安全管理，一般通过技术手段和规章制度管理来确保数据安全。通过技术手段实现的数据安全管理一般分为数据本身的安全和数据防护的安全(可靠性)。数据本身的安全是通过对数据本身进行各种方式的加密来保证其安全性;数据防护的安全(可靠性)主是解决数据丢失的问题，主要通过数据备份、异地容灾等方式来保证数据可靠性。
　　AdMaster主要通过采取了访问分布式密钥，数据异地容灾备份，程序沙箱隔离的方式来实现数据安全。
　　针对数据本身的安全，AdMaster所有数据都是经过强加密的方式存储，特别是与用户相关的数据是两层加密，同时也能更好地解决数据库被脱库的问题。另外，AdMaster所有的数据都是通过分布式密钥来管理，核心数据的访问权限必须通过多方密码的输入才可以访问。
　　针对数据防护的安全(可靠性)，AdMaster采取数据备份、网络、病毒防护、安全监控等技术手段提高数据安全性。数据存储采取异地容灾方式，首先数据存储在本地机房、实时同步到中心机房、最后实时上传至分布式集群存储，保证至少5份存储，确保数据可靠性。
　　另外，利用发布程序和数据本身采用的沙箱技术，并通过严格的权限进行隔离，确保程序发布是通过puppet来统一分发的，保证发布程序的一致性。AdMaster在数据采集管理方面也做了安全管理措施，AdMaster的数据采集机器是全国布点和云服务的混合分布式架构，实现随时扩容，可以在一定程度上防护DDOS等类型的攻击。同时，通过制定应急预案及定期执行应急演练，控制数据安全风险，保证数据备份、异地容灾等方式是正常运行的。
　　36大数据：我们知道，AdMaster数据处理过程多次用到Hadoop技术，那么AdMaster的大数据框架是怎么样的呢？这样的框架有什么好处？
　　卢亿雷先生：架构图可以参照前面的那个架构图。前面我们曾提到“混合异构数据”。大数据的数据源多种多样，不单单是文本数据，还有图片、视频等非结构化数据。而我们的客户的需求也是多种多样的，这两个因素导致我们这个整个架构也很复杂。就像是构建一个城市的用水管道一样，你必须考虑到每栋楼、每个家庭和每个组织的需求量。
　　AdMaster 根据累积了超过7年的实际广告主和品牌的网络营销数千个实际案例的经验，自身研发的ADH(Advertising Distribution Hadoop)的发展及特点，其中包括内置的广告算法，应用调度器的优化，还有关于在线数据(HBase)，离线数据(MapReduce)，实时数据(Spark)，流式数据(Storm)等方式的整合介绍。下面是ADH的特点：
　　36大数据：那么，AdMaster的技术团队优势？对于大数据团队的组建，卢总有什么经验可以分享给大家？
　　卢亿雷先生：我们团队成员基本都是来自百度、阿里、腾讯等互联网公司的同学，大部分都有很深的技术积累，特别是细分方向都有资深的专家。比如说我们有管理过几千台机器的Hadoop方面的专家;有在4核，2G的条件下实现2万QPS的数据采集专家;有对超过100种队列复杂逻辑的调度的专家;有对实时处理1000万级消息的流式专家;有对几十台优化过的数据库专家;有对每天增长上TB的优化ES集群的搜索专家等等。
　　这要看你想把大数据做到什么程度和深度。这个还是和客户需求挂钩的。数据的精准度和深度非常考验大数据团队。如果你想把大数据做到极致，15个人是远远不够的。我们不可能给客户赤裸裸的数据代码。数据抓回来之后，需要清洗，存储，提炼和分析。最后形成数据可视化展现给客户。每一个流程中，都需要专业的人才。
　　因为我们不是广告公司也不是咨询公司， AdMaster是一个不折不扣的技术驱动型的公司。我们的竞争优势来源于我们的卓越技术，我们的研发人数占到公司总人数的一半，我们的工程师中为数不多的有能力提升中国广告界、Hadoop、分布式计算平台的人才。组建大数据团队没有捷径可走，我们倾向于找专业的人做专业的事。
　　36大数据：我们知道卢总之前曾在联想和百度工作过，对这些企业的氛围也非常了解，尤其是大数据技术也非常熟悉。我们想知道，你这种过往的经验，在今天AdMaster大数据应用，有哪些影响？
　　卢亿雷先生：影响非常大。我刚毕业去了联想做云存储。云存储的基本要求是可靠性，扩展性还有安全性，还有监控的容易程度，这些同样适用于大数据。百度对我来说，是一个非常重要的经历。百度的数据量太大太多。那时，百度有大概1000台到4000台的服务器，这么多遍布全国的服务器管理起来都是个难题，而且随时还会有各种突发状况出现。当你真正经历过这么大服务器群的管理和问题处理之后，现在要处理服务器问题就容易很多了。
　　对于大数据来说，经验非常重要。学和实践是两回事。现在大数据人才培训很火热，短期会教会你Hadoop怎么用，怎么优化数据库等等。但事实上，当你真正做项目的时候，你不止需要懂技术，你还需要懂业务，还需要用过往学会的、亲身经历的经验来解决问题。也就是说，动手解决问题的能力非常重要。在我看来，大数据是一个厚积薄发的产业，沉下心来细细耕耘，总会挖到那块“金矿”的。
　　附：AdMaster公司视频介绍
（作者：网络责任编辑：ep）
IT新闻微信公众平台
第一时间获取新鲜资讯
使用手机扫描左方二维码
* 网友发言均非本站立场，本站不在评论栏推荐任何网店、经销商，谨防上当受骗！大数据解析网络直播市场到底有多火
　　直播，被成为2016年最大的风口。一夜之间几乎所有社交、电商、视频App等都开始做起了直播,网红、企业、明星、电商都搭上了“直播”这班车。有人将2016年视为“中国网络直播元年”，直播到底有多火?起身草莽的直播怎样走入BAT的视线，直播的用户有什么特点?直播的盘子到底能做多大?国内领先的大数据综合服务商极光推出《移动直播行业研究报告》用为你真实解析，如火如荼的直播。
　　一、直播的发展历程和7大细分直播领域
　　纵观中国网络直播的发展历程，最早的直播是2005年成立的9158，它被视为国内视频直播行业的鼻祖。2008年，六间房转型秀场视频聊天，扭转了业务低迷的状态，2012年，YY
视频直播间启动，成为第三家依靠秀场视频直播起家的互联网公司。2014斗鱼，虎牙等游戏垂直类视频网站相继涌现，直播行业不断细分。2015
BAT 及各大知名互联网公司(网易，360
等)纷纷涉足视频直播。2016中国移动直播元年——以映客直播为代表的纯Mobile端直播App迅速崛起。
　　按照直播的内容和受众，极光大数据研究院将直播分为7大垂直类型，分别是：
　　1.综合类：代表平台有YY，IS语音等;
　　2.秀场类：代表平台网易BoBo，繁星直播;
　　3.社交类：代表平台有映客直播;
　　4.游戏类：代表平台包括斗鱼，虎牙;
　　5.明星类：V 明星直播;
　　6.体育类：代表平台有乐视体育,风云直播;
　　7.教育类：代表平台有猿辅导。
　　二、2016直播元年的如火如荼之势
　　为什么2016被称为直播元年?这些如火如荼的现象背后，来自极光大数据研究院的数据显示，截至今年6月，直播类App渗透率环比去年增长近50%。
　　在垂直领域，主要的拉动来自游戏，社交，秀场和体育类直播App，其中游戏类App渗透率最高达到4.7%。今年的NBA、中超等顶级体育赛事拉动，在2016年1月开始攀升，4月时增长加速。
　　三、直播离红海还很远
　　目前，直播类App数量井喷势地增长，资本的大量涌入，直播领域离红海到底有多远?根据极光大数据研究院统计，目前Top10的直播类App所占市场份额不到15%,
长尾市场空间广阔。
　　四、移动端直播大爆发，移动直播市场或将重新洗牌
　　随时随地都能直播，这是传统的PC秀场所没办法比拟的优势。在这样的情况下，诞生了一批基于移动端的直播App，而在资本的推动下，也越来越多的公司投身或转型移动直播领域，说2016年是移动直播爆发的一年，毫不为过。
　　极光2016年上半数据显示，传统的直播平台的中的top1YY和top2
斗鱼的渗透率环比上半年屡次出现负增长，这与加入移动直播战场的App不断涌入，吸引了大量未产生粘性的新用户有一定关系。与此同时，纯移动端衍生直播平台持续发力，欢聚时代旗下ME直播今年2月上线后经历一轮爆发后出现环比负增长，未来表现值得关注。
　　与此同时，移动直播市场在新晋App及垂直直播App的冲击下或将重新洗牌，以欢聚时代为例，过去1年其旗下综合类App渗透率环比呈下降趋势，垂直细分App环比上升。老牌综合类直播App将面临巨大的挑战。
　　五、BAT，PC端巨头…谁将是赢家?
　　移动直播的战场也在2016呈现出白热化态势。
　　一方面，起身草莽的直播已经快速获得BAT的关注，目前直播领域布局最“疯狂”的当属腾讯，2013年开始，通过投资+自建，腾讯旗下直播平台已达到14家，涵盖游戏、体育、教育、社交等多个维度。包括：社交类的NOW直播、齐齐互动视频、花样直播、呱呱视频、腾讯直播，游戏类的斗鱼、龙珠直播、QT语音、鹅掌TV，教育类猿辅导、叮当课堂，体育类的腾讯体育、企鹅直播。
　　从2016年上半年腾讯系直播App渗透率趋势看，5月上线的NOW直播后劲十足，依托于腾讯QQ及微信强大的社交关系链，有嵌入到手机QQ，也有独立App，用户可以随时随地通过移动设备进行直播。腾讯体育拥有包括NBA独家网络转播权的多项体育赛事的版权，实力不可小觑。
　　今年，阿里推出淘宝直播和天猫直播两大直播平台，两平台均定位于“消费类直播”。与主流直播平台靠打赏、道具等获得收入不同，淘宝直播和天猫直播帮助商家进行营销，还可拥有更广泛的收入来源。在火爆的泛娱乐领域，阿里全资子公司优酷土豆已经打造了直播平台来疯。平台定位为“中国第一互联网大众造星平台”。
　　虽然全民直播已经刷爆朋友圈，百度仅与玖秀互动联合低调推出百度百秀，由于未依托移动端，与移动直播还有一定的距离。百度的布局明显慢半拍。
　　Bat坐拥资本和流量和内容三大优势，其投资或自建的平台基本上可以快速上量，因此也有人认为，
BAT全部入局后，直播行业又将三分天下。
　　不光是BAT,有一定用户基数的大型互联网公司均已入局，其中小米旗下有小米直播，欢聚时代旗下有5款直播App,人人网旗下有我秀娱乐直播，陌陌旗下有哈你直播，360
制造旗下有花椒直播，哔哩哔哩的直播姬，网易 CC 和网易 BoBo、新浪微博和一下科技联合发布的一直播，源于酷狗的繁星直播。
　　另一边老牌pc直播时代的巨头欢聚时代10亿砸向移动直播。同时，旗下的虎牙、ME、100教育，分别定位于游戏、秀场、教育在垂直领域进行差异化布局，抢占市场。
　　极光数据研究院分析显示，欢聚时代垂直领域App渗透率成上升趋势，而综合类App渗透率有所下降。YY与其兄弟App的重合度仅在10%-20%之间。有一定用户基数的老牌直播App拥有自带导流优势，可以在保持原有用户粘性的前提下，将具有不同需求倾向的用户导流至旗下垂直细分直播网站。
　　六、小米抢滩直播，将取代百度成为中国互联网第三极?
　　对比百度的低调和保守，小米却异常高调，董事长亲自上阵。
　　值得注意的是，雷军系中有小米作为硬件支撑，在安卓端拥的一定的渠道优势。极光数据研究院统计的直播类App安卓设备分布的Top10机型中，7款来自小米。小米用户以12%的市场保有量获得了20.68%的直播用户占比。
　　另外，雷军作为欢聚时代董事长兼董事，拥有最高比例投票权，可以说雷军是欢聚时代实际控制人。目前直播领域的top1YY和top5虎牙都是欢聚时代旗下直播平台，不久前，游戏女主播Miss以3000万身价签约虎牙直播轰动了电竞直播圈。雷军通过发个人微博，第一时间力挺Miss的加盟，其在直播领域封疆拓土的布局之意更加显山露水。小米是否能成为互联网第三级尚不可知，但其已经具备了在直播领域抗衡bat的实力。
　　七、直播App的用户画像——男性为主，小镇青年，有钱任性
　　当互联网与传统巨头争相抢占直播市场，他们实际上抢占的是一个庞大的用户群，而这群人为什么对他们有如此强大的吸引力?极光数据研究院给你一幅直播App用户画像。数据显示，
直播App用户为男性，25.3%为女性。在直播垂直领域，游戏类App最受男性欢迎,占全量的87.4%，明星类App最受女性欢迎，“宅男”与“迷妹”成为主要用户群。
　　从年龄层来看，来自极光数据研究院的数据显示，直播App的用户七成在30岁以下，就是说，直播用户集中在85，90之后的人群。30岁以上用户群最青睐秀场、体育和明星类直播App,90后主要集中于游戏和秀场，95后是教育类直播App的主要用户，占95后用户总量的43.1%。
　　极光数据研究院对直播App用户的收入能力进行分析后发现除教育类、明星类App外，其他类型App用户的收入能力高于中国网民的收入指数。抢占这一批用户意味着抢占了一个拥有巨大变现潜力的市场。
　　与此同时，垂直细分App用户活跃时间差异显著。游戏类App活跃时间集中在下班后18~20点间，社交类App集中在晚饭后时间至睡前20点~23点，秀场类App集中在13点和18(午休及下班时间)，体育类App集中在17点，教育类App活跃时间比较平均。
　　从用户分布上看，移动直播App用户与全国移动网民用户城市等级分布趋同，二三线城市多于一线城市，其中华北、华东的用户量最多，占总用户的29.75，从一个侧面表现出经济发展的过程中小镇青年们更强烈的表达自身的意愿。
　　虽然因为内容的低俗、体验较差，直播也被广为诟病，但依然阻挡不了直播市场的火爆，从正面角度来看，直播满足了人们面对面、随时随地、可以互动等不同层次的交流要求;它的真实、直接改变了以往的社交模式，更加符合新生代的社交审美。网络直播平台这一全新媒介形式的出现引发了一场传播革命同时，它让明星IP所产生的粉丝经济变的可测量。无论这个风口是否能成为重塑我们的社交方式，但错过了这个风口，毕竟是一种遗憾。
大数据观察微信公众平台：shuju_net
最新大数据资讯，行业动态！
最新热点推荐
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。2016年直播年度大数据：校园主播月收入最高可达 190 万
近日，花椒直播发布直播年度。 显示，90 后是直播和看直播的重要人群。在年龄分布上，90 后主播占花椒直播开播总人数的 68%，观看直播的用户中 90 后占 57%。 而在地域分布上，东北主播成为主力，数量占比达 3 成，居于各省份主播数榜首。主播大多具有 “双重身份”，网红在主播中人数最多，占比达 33.8%。
花椒直播是行业首个推出校园频道的直播平台。 校园数据方面，花椒直播已经覆盖全国 98.7% 的院校，其中北京学院、四川音乐学院和华北理工大学三所高校占据前三。众多专业中，播音主持专业在数量上排名第一，之后是表演和英语。 校园主播收入方面，花椒校园主播平均月收入达到 1.6 万元，是北京市 2016 年平均收入 6906 元的 2.3 倍。排名前五十的主播平均收入超过 20 万元，排名第一的校园主播月入 190 万，是 2016 年北京白领平均月收入的 275 倍。
直播有这么高的收入，一方面是平台签约分成，另一方面也源于粉丝的打赏。花椒直播副总裁郭鹤曾表示，花椒主播一般可以分到打赏的 70%，头部主播可以达到 80%。 打赏的数据显示，花椒直播上主播总收礼数已超 50 亿次。打赏额土豪榜上，自由职业、公司职员、产业 / 服务工人、公司高管名列职业前四，标注为“大学教授”身份的注册用户以年度打赏额超 5000 万居第五。 同时，北京、广东、上海、浙江、江苏等地盛产“土豪”（月打赏 1 万元以上），其中北京地区以土豪数最多，占比达 20.4%。另外，土豪用户中半数已婚，20%的土豪是 95 后。
看过直播的你，对主播经常说的哪句话印象最深？ “左上角点关注”在花椒直播数据里被认定为“年度最洗脑”金句，而“求礼物”和“求分享”也是主播们在直播过程的必备说词。
【版权提示】中商情报网倡导尊重与保护知识产权。如发现本站文章存在版权问题，烦请联系、4，我们将及时沟通与处理。
【数据平台合作】我们的数据自媒体平台“”、数据交易所“”正式上线了！欢迎各位数据自媒体们合作入驻。免费入驻类型：各行业数据自媒体、数据企业。咨询QQ ：
中商情报网扫一扫、与您一起发现数据的价值
中商产业研究院扫一扫、每天阅读免费高价值报告
中商情报网始终聚焦科技、互联网+、创业、财经、产经大数据等，目前在全国财经网站中排名居前，旗下中商产业研究院专注产业经济细分市场研究，中商可以为用您提供一手的市场数据和高价值的商业资讯，欢迎沟通交流合作！
广告、内容合作请点这里：
askci Corporation, All Rights Reserved
中商情报网版权所有
增值电信业务经营许可证：粤B2-}