遗漏值处理（缺少感兴趣的属性）、噪音数据处理（数据中存在着错误、或偏离期望值的数据）、不一致数据处理。
大数据分析及挖掘技术 大数据分析技术：改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
大数据采集技术：这一技术通过 RFID 数据、传感器数据、社交网络交互数据及移动互联网数据等方式，实现对结构化、半结构化及非结构化的海量数据的获取。 大数据预处理技术：该技术的主要任务是对采集到的数据进行辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作，以确保数据的质量。
数据采集：在大数据的生命周期中，数据采集是第一个环节。按照MapReduce应用系统的分类，大数据采集主要来自四个来源：管理信息系统、web信息系统、物理信息系统和科学实验系统。 数据访问：大数据的存储和删除采用不同的技术路线，大致可分为三类。第一类主要面向大规模结构化数据。
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。
大数据存储，指用存储器，以数据库的形式，存储采集到的数据的过程，包含三种典型路线：基于MPP架构的新型数据库集群 采用Shared Nothing架构，结合MPP架构的高效分布式计算模式，通过列存储、粗粒度索引等多项大数据处理技术，重点面向行业大数据所展开的数据存储方式。
1、从硬件角度来看，大数据储存分析的计算资源包括了高性能计算机、大容量存储设备以及高速网络设备。高性能计算机如超级计算机，拥有强大的计算能力，能够迅速处理和分析海量的数据。大容量存储设备如分布式存储系统，可以存储数以百计甚至更多的数据，确保数据的安全与完整。
2、数据多样性 数据多样性的增加主要源于不同类型的数据源，如网络日志、社交媒体、网络搜索、手机通话记录和传感器网络等。这种多样性要求数据处理系统能够理解和分析结构化数据以及非结构化数据。 数据处理速度 大数据的另一个特征是数据处理的速度。
3、价值性。这也是大数据的核心特征。在现实世界产生的数据中，有价值的数据所占比例很小。
4、大数据从整体上看分为四个特点，第一，大量。衡量单位PB级别，存储内容多。第二，高速。大数据需要在获取速度和分析速度上要及时迅速。保证在短时间内更多的人接收到信息。第三，多样。数据的来源是各种渠道上获取的，有文本数据，图片数据，视频数据等。因此数据是多种多样的。第四，价值。
5、大数据的四大特点如下： **大容量**：例如，根据IDC最近的报告，到2020年，全球数据量预计将增长50倍。大数据的规模是一个不断变化的指标，单一数据集的规模可以从数十TB到数PB不等。简单来说，存储1PB的数据需要大约2万台配备50GB硬盘的PC。数据来源多种多样，出人意料。
6、大量：大数据时代的一个显著特征是数据量的巨大增长。从早期的MB级别，数据量已经激增至GB、TB，乃至PB、EB级别。随着信息技术的进步，数据产生速度加快，来源也更加广泛。例如，淘宝网拥有近4亿会员，每天产生的商品交易数据约20TB；而脸书约有10亿用户，每天产生的日志数据超过300TB。
硬盘存储：硬盘作为计算机的主要存储介质，包括机械硬盘、固态硬盘和混合硬盘等类型，它们能够存储各类数据，如文档、图片、音频和视频等。 磁带存储：磁带是一种顺序访问存储设备，数据按顺序存储在磁带上。这种存储方式通常用于大数据的备份和长期存档。
数据采集：在大数据的生命周期中，数据采集是第一个环节。按照MapReduce应用系统的分类，大数据采集主要来自四个来源：管理信息系统、web信息系统、物理信息系统和科学实验系统。 数据访问：大数据的存储和删除采用不同的技术路线，大致可分为三类。第一类主要面向大规模结构化数据。
大数据在存储和管理时用到的关键技术主要包括：分布式存储技术：如Hadoop的HDFS，能够将数据分散地存储在多个节点上，从而实现对海量数据的处理。分布式计算框架：如Hadoop的MapReduce，能够在大量计算机集群上并行地处理大数据，实现大数据的快速分析。
大数据存储技术有以下一些主要技术：分布式文件系统 分布式文件系统是一种特殊的文件系统，它将数据分散存储在多个服务器或节点上，从而实现对大数据的存储和管理。它能够在分布式环境下提供高性能的文件服务，并且可以扩展系统规模以适应大数据量的增长。
传统的数据储存与管理技术主要包括以下几种：硬盘存储：硬盘是计算机中主要的存储介质，它包括机械硬盘、固态硬盘和混合硬盘等类型。硬盘可以存储各种类型的数据，包括文档、图片、音频、视频等。磁带存储：磁带是一种顺序存储设备，它可以将数据按照顺序依次存储在磁带上。
基于云计算架构的大数据，数据的存储和操作都是以服务的形式提供。目前，大数据的安全存储采用虚拟化海量存储技术来存储数据资源，涉及数据传输、隔离、恢复等问题。解决大数据的安全存储，一是数据加密。
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。
大数据核心技术涵盖了一系列领域，其中包括： 数据采集与预处理：- Flume：实时日志收集系统，能够定制数据发送方以收集不同类型的数据。- Zookeeper：分布式应用程序协调服务，提供数据同步功能。 数据存储：- Hadoop：开源框架，专为离线处理和大规模数据分析设计。
数据挖掘：机器学习的相关技术是数据挖掘的基石。尽管数据挖掘的概念比机器学习出现得早，并且应用范围更广泛，但数据挖掘与机器学习共同构成了大数据分析的核心技术，两者相辅相成。它们为大数据处理提供了必要的模型和算法，而这些模型和算法是大数据处理的关键。
大数据的核心技术涵盖了数据采集、预处理、存储管理和数据挖掘等多个方面。首先，数据采集涉及从各种数据源，如社交媒体、日志文件和传感器等，自动获取和整理数据。其次，数据预处理包括清理、转换和整合数据，以消除噪声、不一致性，并确保数据适用于后续分析。
大数据技术的核心体系涉及多个方面，包括数据采集与预处理、分布式存储、数据库管理、数据仓库、机器学习、并行计算以及数据可视化等。 数据采集与预处理：FlumeNG是一种实时日志收集系统，能够支持定制多种数据发送方式，以便有效收集数据。Zookeeper则提供了一个分布式的协调服务，确保数据同步。
1、大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
2、大数据关键技术涵盖数据存储、处理、应用等多方面的技术，根据大数据的处理过程，可将其分为大数据采集、大数据预处理、大数据存储及管理、大数据处理、大数据分析及挖掘、大数据展示等。
3、大数据采集技术：这一技术通过 RFID 数据、传感器数据、社交网络交互数据及移动互联网数据等方式，实现对结构化、半结构化及非结构化的海量数据的获取。 大数据预处理技术：该技术的主要任务是对采集到的数据进行辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作，以确保数据的质量。