《广播电视行业应用大数据技术白皮书(2018)》解读

党中央、国务院高度重视大数据发展，将大数据上升为国家战略之一。广播电视行业的内容生产与传播消费过程中产生的海量数据蕴含着丰富的价值，探索实践广播电视行业应用大数据技术，有助于提升广电内容生产的能力、创新广电业务的产品、提升广电运营服务水平，从而助力广电媒体融合发展，推动广播电视行业产业升级。本文从广播电视应用大数据技术的需求、关键技术、平台建设、数据安全以及典型应用等方面对《广播电视行业应用大数据技术白皮书(2018)》进行了详细解读。

0 引言

当前，云计算、大数据、人工智能、虚拟现实、区块链等新一代信息技术的发展与应用，全方位影响着广播电视生产制作、播出传输和服务模式，推动媒体格局的变化。特别是大数据技术的应用，近年来取得了突飞猛进的发展，推进信息化进入一个新的发展阶段，对于广播电视行业的重要性也愈发明显。

国际上，包括美国、欧盟、英国、日本、韩国等许多国家的政府都认识到大数据的重要作用，积极开发利用大数据，制订实施大数据战略，以夺取新一轮竞争制高点。

我国也高度重视大数据发展，将大数据上升为国家战略，相继出台了一系列政策、标准、产业推进计划。我国大数据仍处于快速发展期，在垂直领域的应用程度不断深化。

中共中央总书记习近平提出，要以数据集中和共享为途径，推动技术融合、业务融合、数据融合，打通信息壁垒，形成覆盖全国、统筹利用、统一接入的数据共享大平台，构建全国信息资源共享体系，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务。这为广播电视行业应用大数据技术、建设大数据平台指明了方向。

1 广电大数据的应用需求

广播电视行业拥有丰富的数据资源，特别是随着近年来的数字化、网络化、媒体融合发展，内容生产由模拟信号处理方式向全流程的数字化、网络化转变，传输分发由单向发射传输向双向数字网络转变，内容消费方式由简单接收向多元化互动方式转变，广播电视行业在内容生产、传输分发和用户服务过程中产生的数据规模快速增长、数据体量十分庞大。国家广播电视总局《2018年全国广播电视行业统计公报》公布：2018年全国广播节目制作时间为801.76万小时，全国电视节目制作时间357.74万小时。2018年全国公共广播节目播出时间1526.74万小时;全国公共电视节目播出时间1925.03万小时。2018年全国有线广播电视实际用户数2.18亿户, 全国有线数字电视实际用户数2.01亿户。2018年全国交互式网络电视(IPTV)用户1.54亿户，互联网电视(OTT)用户4.20亿户。

广电行业产生的数据规模巨大，并且不断快速增长。数据来源多样、类型多样。广播电视行业对于数据获取和处理速度有很高的要求，特别是新闻生产、直播中用户互动等业务数据的处理。数据规模、处理时效和数据类型均在时刻变化。广电行业在业务生产过程中，利用大数据技术不仅能够提高数据使用的效率，而且能够实现数据的再利用;应用大数据采集技术，收集用户终端数据、用户互动数据、用户行为数据等用户服务数据，真正意义上把受众发展为用户，为广电业务带来创新发展的空间。

广电大数据根据不同的维度有多种分类方式，其中按照广电大数据产生的过程、时效、数据结构进行分析，便于和媒体内容生产、用户消费服务业务密切结合，促进广电大数据在各个应用场景的应用。

按照媒体内容生产过程和消费过程，可分为：媒体内容大数据和用户服务大数据。按照数据的产生和时效价值，可分为实时数据和非实时数据。按照数据的逻辑结构，可分为结构化数据、半结构化数据和非结构化数据。

媒体内容大数据，是在内容的采集、制作、播出、分发、传输、交换、管理过程中产生的数据，对媒体内容大数据进行深入的数据分析，可为内容生产提供支撑，优化生产流程、创新内容产品、传播优质内容。这部分数据包括：音频、视频、图片、文稿、字幕、元数据信息等数字化文件，是广电行业进行生产制作与传播的主体对象。这类数据具有非结构化或者半结构化数据的特征，数据体量巨大，蕴含信息丰富，具有很高的数据挖掘价值。

用户服务大数据，是在媒体内容的收看、收听、消费、互动、分享过程中产生的数据，对用户服务大数据进行数据分析，能更好地把握用户的需求和爱好，优化产品与服务，提升运维和运营质量。面向这类数据开展应用，以“用户”为中心研究业务需求特点，有利于创新业务产品，促进媒体融合和智慧广电的发展。

总的来说，广播电视行业的内容生产与传播消费过程中产生的海量数据，蕴含着丰富的价值。应用大数据技术，做好对这些海量数据的聚合、挖掘、分析、应用，可以更好地促进广电业务生产与用户服务，更好地激发媒体融合发展的创新活力。

2 大数据的关键技术

大数据关键技术涵盖从数据存储、处理、应用等多方面的技术。根据大数据的处理过程，可将其分为数据采集、数据预处理、数据存储、数据分析与挖掘、数据应用等环节。大数据技术与传统的数据处理技术不同，在大数据处理的各个环节中，出现了许多服务大数据的新兴技术。

大数据采集技术包括媒体数据采集、网络数据采集、终端数据采集、系统日志采集、数据库采集等技术应用。

大数据预处理过程可以帮助我们将那些杂乱无章的数据转化为相对单一且便于处理的结构，达到快速分析处理的目的。通常数据预处理包含数据清理、数据整合、数据规约、数据变换等四个部分。

大数据存储管理技术包括：数据存储技术、数据库技术、异构数据融合存储架构、数据模型构建和管理。

媒体内容数据中，特别是音视频内容数据，是一种非结构化数据，这样的类数据如果仅仅是采集和存储，则很难发挥其丰富的数据价值，要深度挖掘媒体内容的数据价值往往需要，需要对媒体内容数据的做处理成结构化数据处理，以便于数据价值挖掘。

大数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取有用信息的过程。主要技术包括：分类、预测、关联挖掘、聚类等。

大数据处理框架负责对大数据系统中的数据进行计算。有批处理、流处理、混合处理三种方式。

大数据展现与应用技术包括：借助于图形化手段的数据可视化技术、全文检索技术与数据查询分析技术。

3 广电大数据的平台建设

在媒体融合和大数据发展的背景下，广播电视行业要逐步转变传统理念和运营模式，借助大数据平台采集、存储、挖掘数据资产，通过大数据平台对媒体内容数据、用户服务数据进行全方位分析挖掘，从而提升媒体内容生产的能力，创新网络视听业务产品，升级媒体运营服务、加强媒体传播的监测监管。

广电大数据应用不是一个孤立的应用服务，与广播电视、有线网络、网络视听等各类业务紧密相关。广电大数据平台的技术架构和业务应用服务应进行统筹规划设计。

3.1 广电大数据的平台架构

从实际出发，广电大数据平台目前由各地分散建设，但在建设过程中，要以实现全国性广播电视行业大数据共享共用为目标，建立标准的数据接口规范，具备安全交互数据互联机制，推动形成全国性的大数据采集、汇集和应用机制。

广电大数据的平台建设，广电大数据的架构要以国标《信息技术 大数据 技术参考模型》提出的通用大数据参考架构为依据。在基于媒体融合云平台建设部署时，要充分利用软硬件资源，在平台服务层部署大数据的采集、预处理、存储管理、挖掘与应用等能力，在应用服务层部署媒体内容与用户服务的多种大数据应用服务。

在平台建设策略上，一方面要明确需求目标，做好整体规划，要以支撑大数据应用服务为目标，加强顶层设计，建立互联互通机制，推动各广电机构的数据共享，推进形成全国行业性的广电大数据采集、汇聚和应用机制。

另一方面要立足业务现实，分步推进大数据平台的建设与完善。在自身业务分析的基础上，可以选择性地建设大数据基础计算资源，大数据平台处理流程和大数据业务应用服务，进行技术和人才储备，再逐步扩大平台的规模，增加平台上的业务。

3.2 广电大数据的处理流程

大数据处理要遵循统一大数据采集、统一大数据管理、统一大数据计算、统一大数据处理、统一大数据服务的原则。处理流程上，是从数据采集、数据预处理、数据存储、数据处理、数据分析挖掘、统一数据服务到数据应用等环节的处理，数据应用产生的数据又可作为新数据源采集进入大数据处理平台，形成大数据闭环。

3.3 广电大数据的治理流程

数据治理能够消除数据的不一致性，建立规范的数据应用标准，提高数据质量。统一大数据治理机制，有助于对广电大数据管理和利用进行评估、指导和监督，实现大数据应用服务的风险可控、安全合规、效率提升和价值创造。

广电大数据治理包含以下三个维度：原则，即大数据治理工作所需要循序的基本指导性法则;范围，即数据治理包含的关键领域和主要活动;实施，即大数据治理的实施过程。

大数据治理的准则即大数据治理的重要内容包括组织职责，元数据、大数据隐私、数据质量管理、业务流程整合、数据汇聚整合、数据生命周期管理等。

大数据治理实施是指围绕大数据治理的阶段、关键要素等，建立大数据治理体系。体系包括支撑大数据治理的战略蓝图和阶段目标，岗位职责和组织制度、关键领域与流程，以及软硬件资源。

大数据治理实施流程可分为现状评估、树立目标、制定方案、执行方案、运行与测量、评估与改进等形成闭环的六个阶段。

4 广电大数据安全

广电大数据安全应该基于数据业务链路包括采集、传播、处理、存储、交换、应用，构建全面的数据安全管控体系，覆盖数据加工前、数据加工中、数据加工后、数据合规等方面的数据安全管控。在数据合规层，需参考《GB/T 35273-2017 个人信息安全规范》、《GB/T 35274-2017 信息安全技术 大数据服务 安全能力要求》、《GB/T 31168-2014 信息安全技术 云计算服务安全能力要求》，以及 ISO 27001 系列标准进行实施。通过遵循这些标准，实现对个人隐私信息的保护、保障云服务的安全控制，保障大数据服务的安全性，同时也符合国家的监管要求。通过建立一套标准的大数据采集、计算存储、服务和应用的架构，形成以数据为中心的大数据安全管理理念。

广电大数据安全需要符合安全播出的要求，包括基础安全、平台与应用安全和数据生命周期安全。

大数据的基础安全，是结合广电数据特性制定相关的制度约束规程，增强数据资产的安全，明确大数据使用者的角色和权限，对元数据安全和数据合规进行管理，从而确保对个人信息进行保护和重要数据的分级管理。

数据生命周期安全是包括数据采集、数据传输、数据存储、数据处理、数据交换和数据销毁等各个环节的安全技术。

广电大数据平台安全是对大数据整体安全形成的安全策略，从数据采集到数据资产的管理，再到平台的访问安全管控和各类数据存储安全，以及数据在分发中的加密和脱敏形成的安全技术，包括：传输交换安全、存储安全、计算安全、平台管理安全以及基础设施安全。

5 广电大数据的典型应用

充分挖掘媒体内容数据、分析用户数据，可广泛应用在广播电视内容的采集与生产、节目的推荐与经营、用户的跟踪与服务、舆情的监控与管理、节目的传输与分发以及节目监控监管等领域。广电行业中，面向广播电视台、有线网络和网络视听等领域，都具有一些应用大数据技术的典型场景。

在广播电视台，大数据的典型应用场景包括：内容采集与生产：新闻融合生产、内容的智能化生产与管理、版权管理。节目播出分发：播出内容监管、收视分析。节目评价。舆情监控监管。平台运行维护。广播电视台建立大数据应用体系可为融合媒体业务全流程提供全面支撑。

在有线网络公司，生产运营上典型应用场景包括：广电大数据共享服务、用户分类、个性化推荐、经营分析。用户服务上典型应用场景包括：收视行为分析、用户活跃度分析、客户服务。运行管理上：设备故障预测、网络优化、网络安全态势感知。

在网络视听中应用大数据的典型场景包括：节目价值导向指引与传播效果评估分析，产品优化与提升用户体验，全链路版权保护，网络安全动态感知，业务运行监管等。

国家广电总局适应行业发展需要，研究部署建立了基于“全网络、全样本、大数据、云计算”的节目收视综合评价体系，强化对广播电视、网络视听节目的规范管理，促进广播电视高质量发展。广播电视节目收视综合评价大数据系统已于2018年12月26日开通试运行。

6 结束语

近年来，我国相继出台了一系列相关政策推动大数据的技术、产业及其标准化的发展。广播电视行业也根据实际业务需求，制定了《电视收视数据元素集规范》、《电视收视数据交换接口规范》、《电视收视数据清洗规范》等行业标准规范。在此基础上，白皮书建议广电行业进一步增加相关数据类、技术类、安全类和管理类行业标准规范。

广电行业建设大数据平台，要以全国性广电行业大数据共享共用为目标。各级广播电视机构分散建设的大数据应用，要符合白皮书的指导要求。要与自身业务紧密结合，制定大数据平台建设的总体规划与实施步骤。建设大数据平台时，应充分考虑利用已建的融合媒体云平台，建设部署大数据平台。广电大数据平台的建设中，要积极应对数据汇聚、数据分析等带来的安全问题。

广电对大数据的应用将促进媒体融合的进程，为媒体融合发展提供助力。大数据的应用还将推动广电媒体产业升级，包括：推动智慧媒体发展，全面提升媒体的商业价值，为媒体产业升级提供支撑。希望在白皮书的引导下，各级广电机构、行业内外企业共同努力，积极推进大数据技术在行业的深入应用，推进广电大数据平台的建设，为广电全面转型升级赋能，构建行业发展全新格局。