Système de gestion des données. Processus de gestion des données Caractéristiques des ensembles de données

Un cookie est un petit fichier texte sur votre appareil qui active les fonctionnalités d'un site Web.

Un cookie est un petit fichier texte qu'un site Web demande à votre navigateur Web et stocke sur votre appareil pour mémoriser votre préférence linguistique et d'autres informations similaires vous concernant et activer les fonctionnalités du site Web.

Chez Comindware, nous nous efforçons d'être clairs et transparents sur les données que nous collectons à votre sujet et sur la manière dont nous les utilisons. Et cette politique fournit des détails sur les cookies que nous collectons et sur la manière dont nous utilisons les données vous concernant. Cette politique en matière de cookies s'applique au site Web Comindware.

Toujours allumé

Assurez votre expérience personnalisée et assurez-vous que le site Web fonctionne correctement.

Les cookies toujours activés nous aident à vous offrir une expérience de site Web personnalisée et ne peuvent pas être désactivés sur notre système. Vous pouvez configurer votre navigateur Web pour qu'il bloque ou vous avertisse de ces cookies, mais certaines parties du site risquent de ne plus fonctionner par la suite.

Vitesse du site Web

Utilisé pour l’optimisation et l’amélioration continue du site Web.

Les cookies de performance nous aident à optimiser et améliorer continuellement le site Web. Ces cookies nous permettent de compter les références au site Web, de suivre les sources de trafic, de déterminer quelles pages sont les plus populaires et apportent de la valeur aux visiteurs, et de comprendre comment les utilisateurs naviguent sur le site Web. Toutes les données sont collectées dans ces cookies sous forme agrégée et sont donc anonymes.

La gestion des données est un processus qui implique la collecte, le stockage, le traitement et l'interprétation des données accumulées. Aujourd'hui, pour de nombreuses entreprises, la gestion des données est une excellente opportunité de comprendre les données déjà collectées, de « reconnaître » les concurrents, de créer des analyses prédictives (prévisions) et de répondre à de nombreuses questions commerciales.

Gestion de données

Que comprend la gestion des données ? Listons les principaux processus :

  • Gestion de base de données
  • Processus ETL (extraction, transformation et chargement de données)
  • Collecte de données
  • Protection des données et cryptage
  • La modélisation des données
  • L'analyse des données elle-même

Sur la base de ce qui précède, il devient clair que pour une gestion réussie des données, il est nécessaire :

  • Résoudre les problèmes techniques (sélectionner une base de données, déterminer où les données seront stockées - dans le cloud, sur un serveur, etc.)
  • Trouver des ressources humaines compétentes :)

Principaux défis de la gestion des données

Parmi les erreurs et difficultés les plus courantes qui surviennent lors de la collecte, du stockage et de l’interprétation des données figurent :

  • Données incomplètes
  • « Doublement » des données (et souvent contradictoires)
  • Données obsolètes

Un produit comme , qui permet de connecter des données provenant de différentes sources, de les enrichir et de les préparer pour une utilisation dans les systèmes de Business Intelligence, peut résoudre de nombreux problèmes lors de la phase de chargement des données.

L'analyse des données

Disposez-vous déjà d’une quantité appropriée de données nécessaires et importantes ? Désormais, en plus de les stocker, il faut les analyser. L'analyse des données aidera à répondre à de nombreuses questions commerciales, à prendre des décisions éclairées, à « voir » votre client et à optimiser les processus d'entrepôt et de logistique. En général, l’analyse des données est importante et nécessaire dans n’importe quel domaine, n’importe quelle entreprise, à n’importe quel niveau.

La solution d’analyse de données se compose de trois blocs principaux :

  • Magasin de données;
  • Procédures ETL (extraction, transformation et chargement de données);
  • Système de reporting et d’analyse visuelle.

Tout cela semble assez compliqué, mais en réalité, ce n’est pas si effrayant.

Solutions analytiques modernes

Que devraient faire les entreprises qui ne disposent pas d’une équipe d’analystes ? Et il n'y a pas de programmeur-développeur ? Mais il y a une envie de faire de l'analyse !

Bien sûr, il existe une solution. Il existe aujourd’hui suffisamment de systèmes automatisés d’analyse sur le marché et – ce qui est important ! – visualisation de vos données.

Quels sont les avantages de tels systèmes (type) :

  • Possibilité de mise en œuvre rapide (téléchargez le programme et installez-le au moins sur votre ordinateur portable)
  • Pas besoin de connaissances informatiques ou mathématiques complexes
  • Faible coût (à partir de 2 000 RUB par mois pour une licence à partir de mars 2018)

Ainsi, n’importe quelle entreprise peut mettre en œuvre un tel produit analytique : peu importe le nombre d’employés qu’elle emploie. Tableau convient aussi bien aux entrepreneurs individuels qu'aux grandes entreprises. En avril 2018, l'ONU a choisi Tableau comme plateforme d'analyse pour tous ses bureaux dans le monde !

Les entreprises qui travaillent avec de tels systèmes d'analyse automatisés notent que les rapports tabulaires, dont la création prenait auparavant 6 heures, sont collectés dans Tableau en littéralement 10 à 15 minutes.

Vous ne me croyez pas ? Essayez-le vous-même : téléchargez une version d'essai gratuite de Tableau et obtenez du matériel de formation sur l'utilisation du programme :

Télécharger Tableau

Téléchargez GRATUITEMENT la version complète de Tableau Desktop pendant 14 jours et recevez les supports de formation Tableau Business Analytics en CADEAU

Les données sont l’un des actifs les plus importants qui doivent être gérés afin de développer, fournir et maintenir efficacement les services informatiques.

La gestion des données/informations concerne tout ce qui concerne la manière dont une organisation planifie, collecte, crée, organise, utilise, contrôle, distribue et élimine ses données (informations), cela s'applique aux données structurées et non structurées. La gouvernance des données garantit que la valeur des données/informations est identifiée et utilisée, à la fois pour soutenir les activités internes et pour ajouter de la valeur aux processus métier au service des clients.

Les termes couramment utilisés dans ce domaine sont la gestion des données, la gestion de l'information et la gestion des actifs informationnels. Aux fins de cette publication, le terme « Gestion des données » est utilisé comme un raccourci pour les trois termes ci-dessus.

Le rôle de la gouvernance des données ne consiste pas simplement à gérer les données brutes ; il s'agit de gérer toutes les métadonnées contextuelles - les "données sur les données" supplémentaires - qui les accompagnent et qui, lorsqu'elles sont ajoutées aux données brutes, donnent des "informations" ou des "données en contexte".

Les données, en tant que base des informations d'une organisation, possèdent tous les attributs nécessaires pour être considérées comme un actif ou une ressource. Par exemple, les données sont importantes pour « atteindre les objectifs commerciaux et le succès des opérations quotidiennes d’une organisation ». De plus, ils peuvent être « obtenus et conservés par l’organisation, mais uniquement à un coût financier ». Enfin, peut-être, avec d’autres ressources/actifs, sera-t-il utilisé pour « atteindre davantage les objectifs de l’organisation ».

Les facteurs clés d’une gouvernance des données réussie sont :

Tous les utilisateurs ont accès, via différents canaux, aux informations dont ils ont besoin pour effectuer leur travail ;
Les données précieuses sont pleinement exploitées grâce au partage de données au sein de l'organisation et avec d'autres organisations ;
La qualité des données de l'organisation est maintenue à un niveau acceptable et les informations utilisées dans l'entreprise sont exactes, fiables et cohérentes ;
Les exigences légales en matière de protection de la vie privée, de sécurité, de confidentialité et d'intégrité des données sont respectées ;
L'organisation assure un haut niveau d'efficience et d'efficacité dans les activités de traitement des données et de l'information ;
Le modèle de données d'entreprise définit les entités les plus importantes et leurs relations, ce qui permettra d'éviter la redondance et la détérioration de l'architecture, qui évolue déjà au fil des années.

Gestion des actifs de données. S’il n’y a pas de gestion efficace des données, alors :

Les gens conservent et collectent des données qui ne sont pas nécessaires ;
Une organisation peut disposer d’informations historiques qui ne sont pas utilisées ;
Une organisation peut stocker de nombreuses données accessibles aux utilisateurs potentiels ;
Les informations peuvent être fournies à plus de personnes que nécessaire ou à celles qui n’en ont pas besoin ;
L'organisation peut utiliser des méthodes inefficaces et obsolètes pour collecter, analyser, stocker et récupérer des données ;
Une organisation peut ne pas réussir à collecter les données nécessaires, réduire la qualité et perdre l'intégrité des données, par exemple entre des sources de données associées.

De plus, il est difficile de répondre à la question : « les informations proviennent-elles réellement de données de bonne qualité car il n’existe pas d’indicateurs de comparaison ? Par exemple, la mauvaise qualité des données résulte souvent d’un mauvais contrôle des procédures de saisie et/ou de mise à jour. Une fois que des données inexactes ou incomplètes sont saisies dans les systèmes informatiques, tous les rapports générés à l'aide de ces données refléteront ces inexactitudes et ces lacunes.

Il peut également y avoir un manque de cohérence dans les informations générées par les différents systèmes opérationnels et autres systèmes internes multiples créés et utilisés, car les données centrales ne sont pas fiables.

Une façon d'améliorer la qualité des données consiste à utiliser un processus de gestion des données, qui définit des politiques et des normes, fournit une expertise et facilite le traitement des aspects liés aux données pour les nouveaux services.

Cela devrait fournir une gestion complète des actifs de données/informations :

Augmenter la valeur des services fournis aux clients ;
Réduire les risques commerciaux ;
Réduire les coûts des processus commerciaux ;
Stimuler l’innovation dans les processus métier internes.

Portée de la gestion des données

Il existe quatre domaines de gestion inclus dans le champ d’application de la gestion des données/informations :

Gestion des ressources de données : la gouvernance de l'information dans une organisation doit garantir que toutes ces ressources sont connues et que des personnes responsables sont chargées de les gérer, y compris la propriété des données et les métadonnées.

Ce processus est généralement appelé administration des données et comprend les responsabilités suivantes :

Déterminer les besoins en informations ;
- Construire un inventaire de données et un modèle de données d'entreprise ;
- Identification des duplications et des lacunes des données ;
- Prise en charge du catalogue/index du contenu informationnel (contenu données/information) ;
- Mesurer les coûts et la valeur des données d'une organisation.

Gestion des données/technologies de l'information : gestion du service informatique qui prend en charge les systèmes d'information d'une organisation, qui comprend des processus tels que la conception et la gestion de bases de données. Ces aspects sont généralement traités par les spécialistes du service informatique.

Gestion des processus d'information : les processus métier conduisent les services informatiques à utiliser les données. Les processus de création, de collecte, d'accès, de modification, de stockage, de suppression et d'archivage des données - c'est-à-dire les processus du cycle de vie des données - doivent être correctement contrôlés, souvent en conjonction avec le processus de gestion des applications.

Gestion des normes et politiques de données : l'organisation doit définir des normes et politiques de gestion des données dans le cadre de sa stratégie de développement informatique. Cette politique régira les procédures et responsabilités de gestion des données de l'organisation, les politiques techniques, l'architecture et les normes qui s'appliqueront à l'infrastructure informatique soutenant les systèmes d'information de l'organisation.

La portée du processus de gestion des données (selon les meilleures pratiques) inclut la gestion des données non structurées qui ne sont pas contenues dans les systèmes de bases de données conventionnels - par exemple, en utilisant des formats tels que le texte, l'image et le son. Le processus de gouvernance des données est également chargé d'assurer la qualité à toutes les étapes du cycle de vie des données, de la collecte des exigences à la fin de vie. Cette publication se concentrera sur le rôle de la gestion des données dans la collecte des exigences, les phases de conception et de développement des actifs, ainsi que le cycle de vie des services.

L'équipe qui soutient le processus de gouvernance des données peut également fournir un service d'assistance pour les informations commerciales. Ils sont alors en mesure de répondre aux questions sur la signification, le format et l’utilisabilité des données au sein de l’organisation car ils gèrent les métadonnées. Ils sont également capables de comprendre et d'expliquer quelles données externes peuvent être nécessaires pour exécuter les processus métier requis et de prendre les mesures nécessaires pour rendre la source de données externe disponible.

Il est extrêmement important de comprendre, lors de la création ou de la refonte de processus et de la prise en charge des services informatiques, qu'une bonne pratique consiste à réfléchir à la réutilisation des données et des métadonnées dans différents domaines de l'organisation. Cette capacité peut être prise en charge par un modèle de données d'entreprise, parfois appelé modèle d'information commun. Soutenir la réutilisation est souvent l’un des principaux défis de la gestion des données.

09.11.2010 Sergueï Lizine

Au cours de la dernière décennie, les systèmes d'information ont subi des changements évolutifs qualitatifs et, aujourd'hui, chacun de ces systèmes représente un environnement commercial à part entière qui assure l'interaction de nombreuses personnes. Malgré cela, de nombreuses technologies utilisées pour leur construction restent les mêmes, ce qui n'est pas toujours aussi inoffensif qu'il y paraît. De nombreuses méthodes peuvent être proposées pour moderniser sans peine les systèmes d’information et modifier les structures de données.

Des volumes croissants d'informations nécessitent des changements dans les processus commerciaux des entreprises. L'interaction traditionnelle orientée papier, lorsque les systèmes d'information traitent uniquement les informations provenant de documents papier de source primaire, est remplacée par des systèmes orientés électronique dans lesquels la source principale est le système d'information lui-même, ou plus précisément, les opérations utilisateur qui y sont effectuées. L'émergence des technologies de signature numérique électronique a permis de conférer une signification juridique aux documents électroniques, mais l'éventail des tâches permettant d'assurer le fonctionnement fiable et sûr de systèmes de ce type est beaucoup plus large.

Problèmes avec les systèmes multi-utilisateurs

La plupart des systèmes d'information d'entreprise modernes sont des systèmes multi-utilisateurs basés sur des serveurs de bases de données relationnelles. Les utilisateurs de tels systèmes peuvent être des employés d'une ou plusieurs organisations, ainsi que leurs clients (personnes physiques et morales). La capacité des utilisateurs à effectuer des opérations individuelles dans le système (limitées fonctionnellement ou déclarativement) à un moment donné dépend des données qu'il contient à ce moment-là. Le problème de la gestion des accès simultanés aux données qui se pose ici est généralement résolu à l'aide de la technologie OLTP.

Mais tous les problèmes de concurrence ne peuvent pas être contournés par programmation via des transactions et des contrôles supplémentaires. Le principal problème est le facteur humain. Chaque utilisateur ne travaille pas directement avec les données du SGBD, mais avec une copie locale de celles-ci chargée dans l'application client. De plus, il est impossible d’identifier par programme la séquence de lectures et d’écritures de données par l’utilisateur qui constituent une opération atomique. Par conséquent, il est impossible de "annuler" une telle transaction lorsque les données de lecture changent - le système n'est tout simplement pas en mesure de déterminer combien d'actions récentes de l'utilisateur forment un tout et quelles données lues l'utilisateur a prises en compte. au moment de prendre une décision.

En conséquence, il s'avère que les transactions ne sont efficaces que par rapport aux tâches de traitement de données côté serveur qui sont effectuées sur un serveur d'applications ou un serveur de base de données en arrière-plan selon un algorithme prédéterminé et sans la participation active de l'utilisateur. Bien entendu, vous pouvez essayer de concevoir l'architecture du système de telle sorte que chaque action de l'utilisateur représente une transaction distincte, au sein de laquelle tous les contrôles possibles de cohérence des données seraient effectués (c'est-à-dire le fait que l'utilisateur a initié une transaction et les paramètres transmises ne doivent pas être basées sur les données lues par l'utilisateur dans le système, qui ne sont pas vérifiées dans le cadre de la transaction). Cependant, toutes les vérifications humaines ne peuvent pas toujours être facilement décrites dans un langage de requête. De plus, cela augmente considérablement la complexité, et donc le coût de développement.

En revanche, assurer un haut niveau de fiabilité en termes de cohérence des données n'est critique que pour quelques catégories de données parmi les plus significatives, pour lesquelles une gestion en mode OLTP peut être organisée. Pour d'autres catégories de données, assurer la sécurité de l'information peut très bien se résumer à organiser le suivi de toutes les modifications apportées par les utilisateurs, non seulement les dernières, mais aussi toutes les précédentes.

Données avec historique

Aujourd'hui, lors de la création de bases de données, le principe consistant à stocker uniquement les données actuelles est presque universellement utilisé. Cette approche, qui était très pertinente dans des conditions de pénurie d'espace disque et de puissance de calcul, peut aujourd'hui être comparée à certains égards à l'utilisation d'une caméra de vidéosurveillance, qui affiche uniquement l'image actuelle sur le moniteur, sans enregistrer les événements survenus précédemment.

Lors du suivi des modifications, il est nécessaire de déterminer la nature des opérations incorrectes : s'il s'agit d'actions intentionnelles des utilisateurs ou de problèmes liés à des retards de synchronisation (dus aux particularités de l'architecture du système). Pour ce faire, en plus des données modifiées elles-mêmes, il est nécessaire de connaître leur contenu : sur la base de cette connaissance, l'utilisateur pourrait apporter des modifications ou réaliser d'autres actions réelles (peut-être même en dehors du système d'information). De plus, puisque le travail utilise des copies locales de données, il est nécessaire de connaître le contenu des données non pas dans le SGBD lui-même, mais dans sa copie locale correspondante.

La situation est encore compliquée par le fait que la disponibilité d'informations sur l'état des données au moment des opérations est nécessaire non seulement lors de la modification des données, mais également lors de leur lecture. À titre d'exemple typique, nous pouvons citer différents types de rapports générés sur la base de données système qui existaient au moment de l'élaboration du rapport. Par la suite, il n'est possible de déterminer les sources de formation de chaque indicateur synthétique du rapport que si les données originales sont conservées. Une complication supplémentaire est qu'il est nécessaire de suivre non seulement les modifications, mais également toutes les corrections apportées aux données.

L'utilisation d'un système d'information comme source de données primaires nécessite presque toujours de s'assurer de la signification juridique de l'information, ce qui est réalisé grâce à une signature numérique électronique. Le champ d'application des signatures numériques est aujourd'hui principalement limité aux documents électroniques, mais le temps nécessite non seulement de donner une signification juridique aux documents individuels transférés entre organisations, mais aussi de constituer un ensemble de données totalement juridiquement significatives, dont tout échantillon a également force juridique. De plus, chaque modification de données (qui pourrait par la suite servir de base à d'autres modifications) doit être signée par l'utilisateur qui l'a effectuée.

Ce problème est particulièrement pertinent pour les systèmes d'information gouvernementaux, où chaque employé dispose de ses propres pouvoirs et assume les responsabilités correspondantes. En outre, une tendance ces dernières années, notamment dans le domaine de l’administration publique, est une augmentation du nombre de fonctions exercées sans participation humaine. Un exemple ici est le processus de délivrance de divers extraits et certificats des registres d'État, pour la mise en œuvre complète duquel la solution des problèmes énumérés est une condition nécessaire.

Le suivi des modifications des données devient non seulement un facteur souhaitable, mais est également motivé par la nécessité de se conformer aux exigences réglementaires qui réglementent la manière de contrôler les modifications et de conserver l'historique des données client sur une période de temps prolongée.

Méthodes de gestion des données

Avant de parler des moyens d'améliorer l'efficacité de la gestion des données dans les systèmes d'information, il est logique d'examiner plus en détail les processus qui s'y déroulent. En y regardant de plus près, vous constaterez que le processus d’existence des données comprend quatre types de cycles de vie. Le premier concerne les cycles de vie directs des valeurs des attributs d'objet individuels. Le deuxième type représente les cycles de vie des objets en général, décrivant des événements tels que l'apparition de nouveaux objets et leur disparition, ainsi que leur réorganisation, composition (fusion, accession) et décomposition (séparation, séparation). Les troisième et quatrième types de cycles de vie sont des cycles de métadonnées - des classes d'objets et leurs attributs. Les événements qui peuvent leur arriver sont similaires à ceux qui arrivent aux objets : apparition, disparition, réorganisation, composition et décomposition.

La plupart des systèmes d’information modernes reposent sur une gestion simple des données. Lorsqu'il est nécessaire de stocker des informations sur une nouvelle catégorie de données, une nouvelle table est créée, et lorsqu'un tel besoin disparaît, la table est supprimée, archivée ou son utilisation est simplement arrêtée. Lorsqu'il est nécessaire de stocker des caractéristiques supplémentaires sur les objets, une nouvelle colonne est ajoutée au tableau et lorsqu'un tel besoin disparaît, la colonne est supprimée ou cesse d'être utilisée. La situation est similaire avec le stockage d’objets. Les opérations de composition et de décomposition sont mises en œuvre par la création de nouveaux éléments et le transfert de données. Quant aux valeurs des attributs d'objet, tout est simple avec elles - elles changent selon les besoins.

Avec cette méthode de gestion des données, les tâches répertoriées de gestion de l'accès multi-utilisateurs aux données ne peuvent être résolues qu'à l'aide d'outils supplémentaires. De plus, il convient de noter que la plupart des SGBD modernes disposent d'un mécanisme intégré de suivi des modifications - le journal des transactions, cependant, l'accès à son contenu est, en règle générale, limité uniquement au noyau du SGBD, mais même avec l'accès, la restauration du état à un moment donné, en raison des particularités de sa structure, n'est pas une tâche facile.

Comme autre façon de résoudre ce problème, nous pouvons envisager l’utilisation de bases de données temporelles (chronologiques). Mais aujourd’hui, il n’existe pratiquement aucune mise en œuvre industrielle à part entière de telles bases. De plus, ils se concentrent sur la résolution d’autres problèmes. Certains SGBD modernes contiennent des mécanismes spécialisés qui permettent d'utiliser la gestion des versions en arrière-plan des valeurs d'attribut (basées sur le même journal de transactions), mais ce n'est pas toujours pratique à utiliser. Une alternative consiste à changer l’approche de la gestion des données elle-même.

Technologie de stockage

L'exécution de toute opération par l'utilisateur dans le système d'information constitue la réception de nouvelles informations, qui ne doivent pas entraîner une diminution de la quantité de données dans la base de données. En ce sens, même l’opération de mise à jour est loin d’être anodine, puisqu’elle entraîne la perte des valeurs précédentes, sans parler de l’opération de suppression. Les entités d'information doivent stocker des informations sur chacun de ces quatre cycles de vie, plutôt que de les répéter.

En utilisant les termes SQL, nous pouvons dire que l'utilisation d'opérateurs de suppression et de mise à jour est inacceptable pour refléter la cessation de l'existence d'objets et des changements dans leurs caractéristiques. Ces opérateurs sont des opérateurs de services et doivent être utilisés exclusivement à des fins officielles : pour déplacer, archiver et recycler des ensembles de données. Pour que cela devienne possible, il est nécessaire que chaque enregistrement de la base de données représente des informations sur un événement (ou une partie de celui-ci) : la création d'une classe, la division des attributs, la suppression d'un objet, la modification d'un attribut, etc. Étant donné que chacun de ces événements se rapportera à l'un des quatre cycles de vie répertoriés, il est également logique de stocker des informations les concernant dans les quatre tableaux correspondants : classes, attributs, objets, valeurs.

Les événements reflétés dans les trois premiers tableaux sont des informations sur la transition des entités d'un état à un autre. Un enregistrement reflétant chacun de ces événements est un vecteur décrit par deux points : l'état précédent et l'état actuel. Un autre élément essentiel est l'horodatage de l'événement, c'est-à-dire l'heure à partir de laquelle la transition est considérée comme terminée.

Il est logique d’utiliser un identifiant d’entité nouveau ou existant comme état. Null peut être utilisé pour indiquer le vide requis pour refléter toutes les opérations à l'exception de la sélection. Par exemple, lorsqu'une entité est créée, null agit comme l'état précédent et lorsqu'il est supprimé, il agit comme l'état actuel. Plusieurs enregistrements d'événements associés doivent être utilisés pour enregistrer les opérations de fusion, de fractionnement, d'ajout et de réorganisation.

Contrairement aux trois premiers tableaux, les entrées du tableau Valeurs ne stockent pas des vecteurs, mais des rayons - les valeurs des attributs d'objet à partir d'un certain moment. Les colonnes de ce tableau sont : référence de l'objet, référence de l'attribut, valeur et heure à partir de laquelle cette valeur est utilisée.

La technologie décrite permet de simplifier la solution au problème de la modernisation des systèmes d'information, en particulier le problème de la modification des schémas (structures) de données utilisés. Aujourd’hui, lorsqu’elles changent, les données préexistantes sont essentiellement converties dans un nouveau format. Mais, d'une part, la conversion n'est pas toujours un processus assez simple, et d'autre part, le problème des informations manquantes se pose : lors de l'ajout de colonnes au tableau, pour les enregistrements précédemment créés, les champs correspondants ne seront pas remplis, et l'arrêt de l'utilisation du La colonne conduit au fait que ces données ne sont pas renseignées dans le champ qui le sera pour toutes les nouvelles entrées. Tout cela peut conduire à une violation des restrictions d'intégrité spécifiées par le développeur. La particularité de la technologie proposée est d'offrir la possibilité de travailler avec des données historiques dans le schéma de données correspondant.

Contrôle d'accès aux données

Pour lier des enregistrements d'événements décrivant une opération, il est logique d'utiliser une table supplémentaire - Transactions, et d'ajouter une colonne à toutes les autres tables - un lien vers celle-ci. Grâce à cela, il est possible d'effectuer un ensemble d'événements (opérations) qui, du point de vue de la cohérence des données, constituent une seule transaction, et simplifient également considérablement l'annulation correcte des transactions.

Il convient de noter que cela dit, les annulations de transactions, comme tous les autres correctifs, ne doivent pas être effectuées en modifiant ou en supprimant des enregistrements existants. Pour refléter les opérations de correction via les opérations d'insertion, vous devez utiliser l'heure à laquelle les données ont été écrites (heure d'écriture transactionnelle) en plus de l'heure à laquelle les données étaient à jour (heure de validité) spécifiée dans les enregistrements des classes, attributs, objets. , et Tableaux de valeurs. Les corrections sont enregistrées en ajoutant à un enregistrement existant avec une valeur incorrecte un nouvel enregistrement avec la même heure de pertinence, mais avec l'heure actuelle de l'enregistrement de données (dans l'enregistrement de la table Transactions associé) et les valeurs corrigées. Ainsi, lors de la lecture, un enregistrement avec une heure de création ultérieure est utilisé.

Dans un environnement multi-utilisateurs, pour assurer un suivi complet des opérations incorrectes, il est nécessaire de connaître le contenu des données du cache local, c'est-à-dire le contenu des données au moment du début de la transaction. Le problème majeur ici est le décalage temporel entre le début d’une transaction et sa fin. Le début d'une transaction signifie lire les données du SGBD dans le cache local, et la fin d'une transaction signifie écrire des modifications. Lors de l'utilisation du modèle d'organisation des données proposé, pour résoudre ce problème, il suffit de connaître le temps nécessaire pour lire les données du SGBD dans le cache local. Il est conseillé de le stocker dans un champ distinct du tableau Transactions.

Le stockage des données en mode insertion uniquement résout également le problème du suivi de la paternité de toutes les modifications. Pour ce faire, les informations pertinentes sont saisies de la même manière dans les enregistrements du tableau des Transactions. Si, en même temps, la signature numérique est calculée pour toutes les transactions liées à l'enregistrement sur la clé de l'utilisateur et enregistrée dans un champ distinct de la table Transactions, alors il est possible de donner une signification juridique au tableau d'informations ainsi formé, tout en assurer la répartition des responsabilités entre les utilisateurs.

L'approche décrite peut être applicable lors de la création de systèmes à diverses fins, principalement des systèmes de gestion de données de base ou d'informations de référence. En particulier, l'utilisation de cette technologie peut résoudre de nombreux problèmes lors de la création de l'un des principaux composants de l'administration électronique : le système de registre des services publics.

L'émergence de SGBD analysant les données par colonnes, de disques SSD et de technologies cloud peut affecter de manière significative à la fois les principes de construction des bases de données et le développement ultérieur des méthodes d'analyse commerciale.

Aujourd'hui, grâce à la main légère de certains représentants éminents des milieux scientifiques occidentaux, le mot héritage a été attribué aux SGBD commerciaux universels.



  • La transformation numérique était le principal sujet de discussion lors de la récente 22e conférence IT in Insurance. Les participants ont convenu que l'introduction et l'utilisation de technologies analytiques pour la monétisation des données sont déjà devenues une condition préalable aux transformations qualitatives dans l'industrie.
  • L'IoT est une puissante source de données qui, lorsqu'elle est combinée à l'analyse, peut fournir des informations sur tout, du comportement aux émotions en passant par la santé. Et c’est pourquoi c’est essentiel pour améliorer l’expérience client.
  • Développez une stratégie de gestion des données à l’aide de Data Lineage et donnez à l’IA les moyens d’atteindre son plein potentiel.
  • Il n’existe pas de plan unique pour travailler sur un projet d’analyse de données. L'expert en technologie Phil Simon suggère de considérer ces dix questions comme un guide.
  • Une entreprise prospère axée sur les données favorise une culture ciblée et collaborative ; a des dirigeants qui croient aux données et sont orientés vers la gestion. Apprenez-en davantage dans cette note de recherche TDWI qui révèle des recommandations pour devenir axé sur les données.
  • Il est temps de passer à la pratique estivale et d'envisager une tâche aussi courante et compréhensible que la planification de la rotation des cultures. Que se passe-t-il si l’on ajoute à cette tâche une pincée d’intelligence artificielle et quelques grammes de méthodes mathématiques ?
  • À la fin du printemps, SAS Russie a organisé sa première journée des stagiaires. Il s'agit d'un nouveau format de rencontres pour les étudiants et diplômés ayant passé avec succès toutes les étapes de sélection pour le programme de stages SAS et ayant déjà commencé à travailler dans notre équipe.
  • Pour en savoir plus sur le concept de données personnelles, pourquoi elles font l'actualité et pourquoi elles sont fortement réglementées par le Règlement général sur la protection des données (RGPD), nous avons discuté avec Jay Exham, avocat spécialisé en protection de la vie privée chez SAS.
  • Comment pouvez-vous améliorer l’efficacité des processus métier, de la production au stockage et à la distribution, en utilisant les technologies de l’information ?
  • SAS Analytics aidera les compagnies d'assuranceComment appliquer l’analyse avancée et l’apprentissage automatique à l’assurance maladie ?
  • La préparation des données est le processus consistant à les combiner, à les regrouper dans un format unique et à les nettoyer dans le but d'une analyse plus approfondie et de résoudre d'autres problèmes commerciaux.
  • La qualité des données n’est ni bonne ni mauvaise, ni élevée ni faible. Il s'agit de la portée ou de l'indicateur de santé des données circulant dans votre organisation.
  • Des vaches aux usines, l’IoT promet des opportunités commerciales intrigantes. Découvrez comment trois experts envisagent l’avenir de l’IoT.
  • Qu’est-ce qu’un lac de données ? Est-ce juste un battage publicitaire ? Et de manière générale, en quoi diffère-t-il d’un entrepôt de données traditionnel ?
  • Le profilage des données, l'action de surveiller et de nettoyer les données, est un outil important que les organisations peuvent utiliser pour prendre de meilleures décisions en matière de données.


 

Il pourrait être utile de lire :