Le traitement des doublons après une fusion

Sur ce forum, toutes les questions relatives à l'utilisation du logiciel de généalogie Généatique peuvent être postées.

Modérateurs: predigny, LEFF, peyroutet47

Le traitement des doublons après une fusion

Messagede pdebreu » Mar 25 Nov 2014 19:14

Bonjour

Depuis ce matin j'ai entrepris de fusionner (par" Utilitaires / Fiches / Ajouter toutes les fiches d'un fichier...") deux bases comprenant respectivement 2002 et 50 fiches, mon intention étant d'éliminer ensuite les doublons. Or après élimination des individus en double j'en suis à présent à 2149 fiches. Afin d'éviter de faire encore croitre mon fichier j'aimerais vérifier comment procéder (obtenir un nombre compris entre 2002 et 2052 me ravirait !)

Dans ma première et ma seconde tentative j'ai demandé une fusion avec "noms de conjoints identiques" et "prénoms des conjoints identiques" ; mais fusionner 2 individus impliquant de fusionner leurs ascendants j'ai été amené à "corriger" certains patronymes. Est-ce cela qui a provoqué des problèmes ? Je n'en sais rien mais en tout cas :
- la fusion s'est achevée par un message "Violation d'accès à l'adresse 000243BB dans le module BORLNDMM.DLL . Lecture de l'adresse 2FD41268"
- et j'ai remarqué que certains patronymes que j'avais modifiés apparaissaient tout à la fin de la "Table des noms"

Dans ma tentative suivante j'ai pensé m'en tirer en passant par la création d'un Gedcom puis la création d'une nouvelle base. Mais lors de la création du Gedcom j'ai eu de nouveau le message de violation d'accès ; et dans la restauration je me suis retrouvé avec encore une cinquantaine de fiches supplémentaires.

Mes questions plus précises :
1) je n'ai pas fait de traitement préalable sur les fichiers à fusionner ni juste après la fusion et avant la recherche de doublons, aurais-je dû en faire ("corrections des noms" et "actualisation des équivalences entre noms par exemple") ?
2) lors de la création d'un Gedcom j'ai remarqué dans l'onglet "Options" un choix possible pour la rubrique "Apparitions des personnes citées". J'ai choisi la seconde option (les traiter comme des personnes à part entière de la généalogie), est-ce cela qui peut expliquer (en partie) la prolifération des fiches ?
3) Les options de "réparation" ou "restructuration" peuvent-elles m'aider ? (voir un sujet que je poste par ailleurs)

Avec mes remerciements. Cordialement

Pierre
Logiciels de généalogie : Généatique 1.1.5 et Geneweb 6.05
Forums généalogiques les + fréquentés : GenNPdC et Généachtimi
Environnement informatique : Windows 7 EP ; Firefox
pdebreu
 
Messages: 51
Inscription: Mar 25 Nov 2014 17:21

Re: Le traitement des doublons après une fusion

Messagede predigny » Mar 25 Nov 2014 19:45

Avec un ajout de 50 fiches, vous devriez pouvoir fusionner ces deux généalogie sans avoir à faire la chasse aux doublons. En regardant cette généalogie de 50 personne il doit être facile de voir ce qui est "utile" et ce qui ne l'est pas et supprimer les personnes qui sont déjà sur la "grosse" généalogie. En suite, après l'ajout de toutes les fiches (moins de 50), il suffira de créer les quelques liens qui réuniront les deux parties.
La recherche des doublon est toujours une opération délicate. et même si vous la faite avant l'ajout des 50 fiches, vous trouverez sans doute des doublons. Souvent ces doublons n'en sont pas des vrais.
De toute façon il faut que les généalogies soient en bonne état (restructuration de niveau "avec réenregistrement classement et symétrie") et surtout, bien sauvegarder les deux (surtout la grosse) généalogies.
Je dois partir, on verra plus de détails demain si vous avez encore des problèmes.
G2021 v2.5.1 ; PC : W10 ; Intel Core-i7 à 3,0 GHz, RAM 16 Go, SSD 500Go + DD 1To
predigny
 
Messages: 24779
Inscription: Jeu 6 Déc 2007 16:42

Re: Le traitement des doublons après une fusion

Messagede pdebreu » Mar 25 Nov 2014 21:21

Bonjour

predigny a écrit:De toute façon il faut que les généalogies soient en bon état (restructuration de niveau "avec réenregistrement classement et symétrie")

Merci du conseil, je vais tenter cela. Je vous dirai si cela a marché.

predigny a écrit:Avec un ajout de 50 fiches, vous devriez pouvoir fusionner ces deux généalogie sans avoir à faire la chasse aux doublons.
[...]
La recherche des doublons est toujours une opération délicate. et même si vous la faite avant l'ajout des 50 fiches, vous trouverez sans doute des doublons. Souvent ces doublons n'en sont pas des vrais.

En fait je suis dans un cas un peu différent du cas général :
- dans les parties du Nord et du Pas-de-Calais où se concentrent l'essentiel de mes recherches, le repérage des personnes citées dans les actes (notamment les parrains et marraines) est crucial dans la reconstitution des familles (le choix des parrains suit des règles majoritairement suivies par tous). Relever que dans la même paroisse à quelques années d'intervalles les parrains de 2 enfants s'appellent tous deux Jean Dupont signifient que les enfants sont des parents proches - sauf si les parrains sont des homonymes, mais dans ce cas ce sont ces derniers qui sont sans doute des parents très proches. Donc l'essentiel de mes recherches consiste à inférer que deux personnes n'en sont qu'une seule... ou pas.
- bien sûr ce raisonnement marche quand on travaille au sein d'une même paroisse, ou des paroisses proches, et dans ce cas une bonne part des doublons en sont des vrais. Voilà justement la raison pour laquelle je me trouve avec une vingtaine de bases "de travail" différentes, dont je cherche à présent à consolider des parties "utiles". Mon opération sur 50 fiches est donc un travail expérimental, avant des fusions de fichiers plus conséquents. Et j'ai besoin de "faire suivre" les personnes citées dans les actes au cours des fusions

Cordialement

Pierre
Logiciels de généalogie : Généatique 1.1.5 et Geneweb 6.05
Forums généalogiques les + fréquentés : GenNPdC et Généachtimi
Environnement informatique : Windows 7 EP ; Firefox
pdebreu
 
Messages: 51
Inscription: Mar 25 Nov 2014 17:21

Re: Le traitement des doublons après une fusion

Messagede AL1493 » Mar 25 Nov 2014 21:34

Quand je veux fusionner deux généalogies (souvent une petite à ajouter dans une grosse), je commence par faire une restructuration ,comme indiqué par Prédigny, des deux bases.
Je m'assure qu'il n'y a pas de doublon dans chacune des bases.
Ensuite, j'ouvre la petite généalogie et je recherche les doublons avec la grosse base. J'imprime la liste des doublons (un fichier texte suffit), et je regarde chaque doublon pour vérifier si c'est bien un doublon et je le note dans le fichier texte.
Après avoir importé la petite base dans la grosse, je fusionne les fiches qui doivent l'être (repérées à partir de mon fichier texte), mais pas par la recherche de doublon, mais par l'outil de recherche, ainsi, je maîtrise les fusions.
Effectivement, la fusion de deux personnes implique la fusion de tous leurs ancêtres, mais Généatique fusionne aussi des enfants (frères ou soeurs) qui ont le même prénom (et pas d'informations différentes bien sûr) sans demander confirmation.
Alain

Généatique 2021 version 3.3.0.0
Photo Famille 4 version 1.6
Asus I7-2670 3.2 Ghz, RAM 8Go, Nvidia GT540 , Windows 10 Famille version 1903
AL1493
 
Messages: 929
Inscription: Dim 18 Sep 2005 09:04
Localisation: Neuilly sur Marne 93

Re: Le traitement des doublons après une fusion

Messagede pdebreu » Mar 25 Nov 2014 22:52

Bonsoir

AL1493 a écrit:Effectivement, la fusion de deux personnes implique la fusion de tous leurs ancêtres, mais Généatique fusionne aussi des enfants (frères ou soeurs) qui ont le même prénom (et pas d'informations différentes bien sûr) sans demander confirmation.

Cela ne correspond pas tout à fait à mon cas, puisque mon opération de fusion se traduit par une croissance anormale du nombre d'individus, mais c'est effectivement important à savoir. Je vais surement suivre dorénavant votre procédure (je n'avais pas encore repéré la possibilité de rechercher des doublons entre plusieurs bases)

Merci beaucoup

Pierre
Logiciels de généalogie : Généatique 1.1.5 et Geneweb 6.05
Forums généalogiques les + fréquentés : GenNPdC et Généachtimi
Environnement informatique : Windows 7 EP ; Firefox
pdebreu
 
Messages: 51
Inscription: Mar 25 Nov 2014 17:21

Re: Le traitement des doublons après une fusion

Messagede predigny » Mar 25 Nov 2014 23:42

pdebreu a écrit:....mon opération de fusion se traduit par une croissance anormale du nombre d'individus,...

C'est sûr que 2002 + 50 doit donner une généalogie de 2052 personnes après l'ajout des fiches et moins de 2052 après fusion des doublons ; sauf... quand le système fait n'importe quoi ou que l'opérateur fait plusieurs fois l'ajout des fiches.
Pour le travail sur les parrains/marraines, j'ai assez souvent utilisé ces personnes citées pour améliorer la probabilité d'une filiation mais j'ai rarement pu avoir une certitude sauf quand le curé ajoute "son oncle", "son grand-père, ...", mais évidemment c'est dans les périodes où l'on manque le plus d'informations que les curés sont le moins bavards ! J'ai des actes de mariages qui font 5 mots : 1/8 Jean DUPONT épousa Marie MACHIN" ; Bonjour la filiation !
G2021 v2.5.1 ; PC : W10 ; Intel Core-i7 à 3,0 GHz, RAM 16 Go, SSD 500Go + DD 1To
predigny
 
Messages: 24779
Inscription: Jeu 6 Déc 2007 16:42

Re: Le traitement des doublons après une fusion

Messagede pdebreu » Mer 26 Nov 2014 10:31

Bonjour

predigny a écrit:Pour le travail sur les parrains/marraines, j'ai assez souvent utilisé ces personnes citées pour améliorer la probabilité d'une filiation mais j'ai rarement pu avoir une certitude sauf quand le curé ajoute "son oncle", "son grand-père, ...", mais évidemment c'est dans les périodes où l'on manque le plus d'informations que les curés sont le moins bavards ! J'ai des actes de mariages qui font 5 mots : 1/8 Jean DUPONT épousa Marie MACHIN" ; Bonjour la filiation !

Je suis trop bavard ! Je voulais juste commenter mon intérêt pour les fusions (j'en ai d'autres en préparation)

Sur le fonds de la question : comme on s'écarte me semble-t-il des sujets à aborder dans ce forum je dirais juste que pour mes recherches (à 60 km à l'ouest de Lille) l'exploitation des noms des parrains est un moyen assez efficace - et souvent le seul ; mais je me garderais bien de le préconiser ailleurs en France (à 80 km de là il n'est plus valable).

Quant à une mention aussi sibylline que "le parrain a été Jean Debreu homme veuf", replacée dans son contexte géographique, elle m'apprend qu'à cette date il y a 2 personnes (au moins) du même nom dans la paroisse (en fait le père et son fils) ; qu'on parle ici du père ; et que l'épouse de celui-ci est décédée bien que l'acte soit introuvable dans la commune.

predigny a écrit:sauf... quand le système fait n'importe quoi ou que l'opérateur fait plusieurs fois l'ajout des fiches.

Bien sûr que je suis responsable ! D'où mon souci de mieux comprendre comment le logiciel interprète mes commandes, ce qui explique mon inscription à ce forum... qui pour l'instant correspond tout à fait à mes attentes :D

Cordialement

Pierre
Dernière édition par pdebreu le Jeu 27 Nov 2014 09:35, édité 1 fois.
Logiciels de généalogie : Généatique 1.1.5 et Geneweb 6.05
Forums généalogiques les + fréquentés : GenNPdC et Généachtimi
Environnement informatique : Windows 7 EP ; Firefox
pdebreu
 
Messages: 51
Inscription: Mar 25 Nov 2014 17:21

Re: Le traitement des doublons après une fusion

Messagede predigny » Mer 26 Nov 2014 10:39

pdebreu a écrit:...Je suis trop bavard ! Je voulais juste commenter mon intérêt pour les fusions (j'en ai d'autres en préparation)...

Moi aussi, j'était complètement hors sujet, mais des fois ça fait du bien de parler d'autre chose que des problèmes de Généatique ! :lol:
G2021 v2.5.1 ; PC : W10 ; Intel Core-i7 à 3,0 GHz, RAM 16 Go, SSD 500Go + DD 1To
predigny
 
Messages: 24779
Inscription: Jeu 6 Déc 2007 16:42

Re: Le traitement des doublons après une fusion

Messagede pdebreu » Jeu 27 Nov 2014 11:07

Bonjour

predigny a écrit:De toute façon il faut que les généalogies soient en bonne état (restructuration de niveau "avec réenregistrement classement et symétrie") et surtout, bien sauvegarder les deux (surtout la grosse) généalogies.

AL1493 a écrit:Quand je veux fusionner deux généalogies (souvent une petite à ajouter dans une grosse), je commence par faire une restructuration ,comme indiqué par Prédigny, des deux bases.
Je m'assure qu'il n'y a pas de doublon dans chacune des bases.

J'ai suivi vos conseils... et ça ne marche pas. La fusion "avec réenregistrement, classement et symétrie" se termine "avec succès", mais quand je veux faire une sauvegarde sur fichier Gedcom, patatras, j'ai de nouveau une violation d'accès et un plantage de Généatique

Dans mes diverses tentatives j'ai toutefois deux indices, venant de fichiers Gedcom issus de mes différentes bases :

1) sur ma "grosse base" j'ai des enregistrements suspects, par exemple
0 @I356@ INDI
1 NAME Marie Catherine/CUVELIER/
2 GIVN Marie Catherine
2 SURN CUVELIER,DECUYPER,CUYVELIER
1 xxx F (censuré !)
1 _DCT 01/01/2014 12:05
1 SIGN N
1 CHAN
2 DATE 25 NOV 2014
1 _REL
2 ASSO @I-358@
3 TYPE INDI
3 RELA GODM

La dernière fois que j'ai eu un plantage (une coupure d'électricité) j'ai eu la curiosité de regarder le Gedcom et j'ai repéré ce type de points communs avec le cas présent :
- des tags commençant par des blancs soulignés (_) : _DCT, _REL (contrairement à la majorité des cas)
- des réferences d'individus comme @I123@ (ou de familles comme @F45@) ou apparaissent autre chose que des chiffres (ici un trait d'union), et le non-respect de la numérotation séquentielle des individus d'une part, des familles d'autre part
- des dates correspondant au moment où le plantage est survenu
Comme une action aussi simple que relier un individu existant à une famille nécessite de faire une modification en double (ajouter pour l'individu un lien vers la famille et ajouter pour la famille un lien vers l'individu), et qu'on veut en plus pouvoir revenir en arrière, j'imagine que Généatique doit gérer des identifiants "provisoires"

2) Il y a un petit écart entre le nombre d'individus selon l'endroit où il est indiqué : il varie entre 2002 et "environ 2015". Ceci me laisse espérer qu'il n'y a qu'une dizaine d'enregistrements problèmatiques. Mais il y en aurait-il une centaine, je préférerais pouvoir récupérer les 1900 "bons" que tout resaisir.

Aussi à ce point de mon problème j'envisage deux pistes :
- la première est de tenter quand même une "réparation complète", le problème est de choisir la sauvegarde sur laquelle travailler, et de savoir quels normalisations faire (éviter qu'elles ne "mettent le souk") : tables d'équivalence des noms ? normalisation des lieux ? traiter les personnes citées comme des membres à part entière de la généalogie ?
- la seconde est de plonger dans les gedcom en traquant tous les indices d'anomalie (_DCT, @I-xxx) et n'éliminer "que" les individus concernés par cela, ou ceux pour lequel les liens individu -> famille et famille -> ne sont pas en cohérence. Si j'y arrive il me suffira de rajouter les "quelques" individus ou événements manquant. Là le problème est de peaufiner la liste de ce qu'il faut considérer comme anomalie, y compris dans des versions anciennes de Généatique (j'ai repéré un enregistrement "1 _DCD 18/10/2012", à l'époque j'utilisais sans doute Généatique 2006 !)

Si quelqu'un a des infos pouvant m'aider pour explorer ces deux pistes je suis preneur... Mais inutile de me traiter de fou et d'inconscient je le pense déjà à moitié

Bonne journée

Pierre
Logiciels de généalogie : Généatique 1.1.5 et Geneweb 6.05
Forums généalogiques les + fréquentés : GenNPdC et Généachtimi
Environnement informatique : Windows 7 EP ; Firefox
pdebreu
 
Messages: 51
Inscription: Mar 25 Nov 2014 17:21

Re: Le traitement des doublons après une fusion

Messagede predigny » Jeu 27 Nov 2014 11:23

Je ne crois pas que votre plantage vient du gedcom d'origine. Si celui-ci a des problèmes il donnera simplement une généalogie incomplète ou fausse mais une généalogie ou il y aura refus de ce gedcom (fichier non valide).
De plus je ne comprends pas très bien pourquoi vous voulez faire une sauvegarde sous forme d'un gedcom ; ce n'est pas le moyen le meilleur (mais c'est mieux que rien). Si votre généalogie s'ouvre bien, est visible sur l'écran et se comporte de façon normale, le plantage vient plutôt de la fonction gedcom. Avez vous essayé de restaurer le modèle utilisé pour créer le gedcom (bouton en bas à droite de la fenêtre de l'export gedcom). Attention, après un "Restaurer" il faut généralement modifier le nom proposé pour le fichier .ged généré.
G2021 v2.5.1 ; PC : W10 ; Intel Core-i7 à 3,0 GHz, RAM 16 Go, SSD 500Go + DD 1To
predigny
 
Messages: 24779
Inscription: Jeu 6 Déc 2007 16:42

Suivante

Retourner vers Forum Généatique 2021 - Logiciel de généalogie

 


  • Articles en relation
    Réponses
    Vus
    Dernier message

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 13 invités