La producción de datos sigue creciendo a tasas exponenciales. La integridad es central para la calidad de los datos. Esta integridad tiene que ver con la exactitud y consistencia de los datos almacenados en bases, depósitos y mercados de datos, archivos y documentos digitales.
Parte de la integridad puede asegurarse mediante un buen diseño de la estructura de los datos y el empleo de medios de validación. En su preservación, interesa que estén completos y sean consistentes, conformes con las reglas de calidad impuestas sobre ellos, y que se mantengan sin alteración desde la creación hasta su recepción, recuperación y reutilización.
Los datos pueden corromperse al transmitirse o almacenarse. Pueden ser codificados cinco o más veces en tránsito desde la memoria hasta un disco. Para comunicaciones y memorias digitales, se emplean esquemas de codificación que permiten detectar y corregir alteraciones de los bits, mediante la introducción de bits redundantes y algoritmos que detectan inconsistencias locales.
El almacenamiento no es infalible. Los bits almacenados pueden ‘podrirse’, cambiar de 0 a 1 o viceversa, y alterar así el significado de los datos. Los experimentos que realizan físicos en el CERN (donde se inventó la Web), producen 15 petabytes por año (15.000 discos duros de 1TB). El CERN detectó ‘fallas silenciosas’ del orden de 1 error por cada 1.000 millones de elementos, seis meses después de almacenados.
Preservar datos digitalmente por 100 años requiere de buenos procesos organizacionales y mejorar en 9 órdenes de magnitud el rendimiento y la confiabilidad de la tecnología, algo que promueven organizaciones como SNIA (snia.org). En Costa Rica, Codisa integra procesos y tecnologías para ofrecer altísimos niveles de disponibilidad y confiabilidad. Proveedores como EMC, IBM, Oracle, Symantec y HP continúan perfeccionando tecnologías de almacenamiento.