<?php
/******************************************************************************/
/*                                                                            */
/*                       __        ____                                       */
/*                 ___  / /  ___  / __/__  __ _____________ ___               */
/*                / _ \/ _ \/ _ \_\ \/ _ \/ // / __/ __/ -_|_-<               */
/*               / .__/_//_/ .__/___/\___/\_,_/_/  \__/\__/___/               */
/*              /_/       /_/                                                 */
/*                                                                            */
/*                                                                            */
/******************************************************************************/
/*                                                                            */
/* Titre          : Connaitre massivement les doublons dans une table SQL     */
/*                                                                            */
/* URL            : http://www.phpsources.org/scripts333-PHP.htm              */
/* Auteur         : KOogar                                                    */
/* Date édition   : 31 Jan 2008                                               */
/* Website auteur : http://www.phpsources.org                                 */
/*                                                                            */
/******************************************************************************/


/*******************************************************************************
    * connection sql
    ***************************************************************************/
$connection = mysql_connect("localhost","root","motdepasse");
if ( ! $connection )
die ("connection impossible"); 
$mabasededonnee="Client";
mysql_select_db($mabasededonnee) or die ("pas de connection"); 

/*******************************************************************************
    * Initialisation
    ***************************************************************************/

$valeur_pourcentage = 60;  // la valeur du pourcentage de mots communs
                           // le doublon parfait c'est 100% de mots communs!!
                           // Donc $valeur_pourcentage sera initialiser à 100
                           // dans ce cas.
                           // Si vous tolerez 90% de mots communs, mettez 90 ;)


$table_sql = ""; // nom de la table sql

$champ_id = ""; // nom de votre identifiant

$champ_recherche_sql = ""; // nom du champ sur lequel on effectue la
                                      // recherche de similarité

$nbre_elements = 15; // commencer petit, le script est long a executer
                     // le nombre d'element se trouve dna la premiere boucle de
// l'algo
                     // si vous souhaitez boucler sur la table entiere,
// remplacer
                     // $nbre_elements par sizeof($tab_matchv)

/*******************************************************************************
    * le temps de déroulement du script
    ***************************************************************************/

$mtime = microtime();
$mtime = explode(" ",$mtime);
$mtime = $mtime[1] + $mtime[];
$starttime = $mtime;

/*******************************************************************************
    * enlève les accents
    ***************************************************************************/


function TexteSansAccent($texte){ 

$accent='ÀÁÂÃÄÅàáâãäåÒÓÔÕÖØòóôõöøÈÉÊËéèêëÇçÌÍÎÏìíîïÙÚÛÜùúûüÿÑñ'; 
$noaccent='AAAAAAaaaaaaOOOOOOooooooEEEEeeeeCcIIIIiiiiUUUUuuuuyNn'; 
$texte = strtr($texte,$accent,$noaccent); 
return $texte; 

}

/*******************************************************************************
    * magic_quote
    ***************************************************************************/

function AuStrip_Slashes($chaine) {
    return(get_magic_quotes_gpc() == 1 ? StripSlashes($chaine) : $chaine);}

/*******************************************************************************
    * Stop Words !!
    ***************************************************************************/

$stop_words = array("alors","au","aucuns","aussi","autre","avant","avec","avoir"
,
                    "bon","car","ce","cela","ces","ceux", "chaque","ci","comme",
                    "comment","dans","des","du","dedans","dehors","depuis",
"deux",
                    "devrait","doit", "donc","dos","droite","début","elle",
"elles",
                    "en","encore","essai","est","et","eu","fait","faites", 
"fois",
                    "font","force","haut","hors","ici","il","ils","je juste",
"la",
                    "le","les","leur","là","ma",
                    "maintenant","mais","mes","mine","moins","mon","mot","même",
"ni",
                    "nommés","notre","nous","nouveaux",
                    "ou","où","par","parce","parole","pas","personnes","peut",
"peu",
                    "pièce","plupart","pour","pourquoi",
                    "quand","que","quel","quelle","quelles","quels","qui","sa",
                    "sans","ses","seulement","si","sien","son",
                    "sont","sous","soyez sujet","sur","ta","tandis","tellement",
                    "tels","tes","ton","tous","tout","trop",
                    "très","tu","valeur","voie","voient","vont","votre","vous",
                    "vu","ça","étaient","état","étions","été","être",
                    "un","deux","trois","quatre","cinq","six","sept","huit",
"neuf","dix",
                    "0","1","2","3","4","5","6","7","8","9","10",
                    "avec","chez","par","dans","des","en","de","une","votre",
                    "meilleurs","entre","entres",
                    "depuis","alors","ne","pas","du","meme",
                    "ou","nom","seuls","acceptes","ayant",
                    "mais","ou","et","donc","or","ni","car",
                    "vos","votre","mes","mien","mien","tien","tiens","tout",
                    "toute","toutes",
                    "que","quoi","qui","comment","peu","peut","pis","puis","pas"
,
                    "chaque","chacun","chacune",
                    "son","ses","au","aux","se","sur","ce","ceux","cette","ca",
                    "ci","ceci","cela","aussi","pour",
                    "petit","grand","moyen","large","haut","bas","milieu",
"droite",
                    "gauche","centre",
                    "dit","etre","leur","leurs",
                    "plus","moin","moins",
                    "es","est","sont","son","va","suis","ai","viens",
                    "a","b","c","d","e","f","g","h","i","l","m","n","o","p","q",
                    "r","s","t","u","v","w","x","y","z"
                    );

/*******************************************************************************
    * Set le temps d'excecution
    ***************************************************************************/

set_time_limit();



/*******************************************************************************
    * Premiere requete -place tout les champs dans un tableau
    ***************************************************************************/

$qv = mysql_query("SELECT $champ_id,$champ_recherche_sql FROM $table_sql");
     $p=;
     $regs_split = array();
     $tab_matchv  = array();
     while ($rv = mysql_fetch_array($qv)) {
            $tab_matchv[$p] .= $rv[$champ_id];
            $p++;
            // Place tous les mots d'une chaine dans un tableau

            $ch = $rv[$champ_recherche_sql];
            // enleve les slashs
           $ch = AuStrip_Slashes($ch);
           // enleve les accent
           $ch = TexteSansAccent($ch);// enleve les accent
           // enleve les apostrophes
           $ch = str_replace("'"," ",$ch);
           // passe le texte en minuscule
           $ch = strtolower($ch); // passe minuscule
           $regs_split = split("[^[:alpha:]]+", $ch);
           // enleve les mots bannis en faisant le difference des 2 tableaux
           $regs_split2 = array_diff($regs_split,$stop_words);
           //print_r($regs_split2);
           $rv = implode(',',$regs_split2);
           //echo $rv; echo '<br />';
           $tab_matchv[$p] .= $rv;
           $p++;
             }
/*******************************************************************************
    * seconde requete  - place tout les champs dans un tableau
    ***************************************************************************/

$q = mysql_query("SELECT $champ_id,$champ_recherche_sql FROM $table_sql");
     $i=;
     $regs1_split = array();
     $tab_match  = array();
     while ($r = mysql_fetch_array($q)) {
            $tab_match[$i] .= $r[$champ_id];
            $i++;
            // Place tous les mots d'une chaine dans un tableau
            $ch = $r[$champ_recherche_sql];
            // enleve les slashs
           $ch = AuStrip_Slashes($ch);
           // enleve les accent
           $ch = TexteSansAccent($ch);// enleve les accent
           // enleve les apostrophes
           $ch = str_replace("'"," ",$ch);
           // passe le texte en minuscule
           $ch = strtolower($ch); // passe minuscule


            $regs1_split = split("[^[:alpha:]]+", $ch);
            // enleve les mots bannis en faisant le difference des 2 tableaux
            $regs1_split2 = array_diff($regs1_split,$stop_words);
            $rv = implode(',',$regs1_split2);

            $tab_match[$i] .= $rv;
            $i++;
            }

/*******************************************************************************
    * Sortie ecrans
    ***************************************************************************/

echo "<strong>Nombre de champs : ".round(sizeof($tab_match)/2)."<br /><br" .
" /></strong>";
echo "<strong>Verifie les $nbre_elements premiers éléments<br /><br />";
echo "<strong>Tolérance maximum de mots communs en pourcentage :</strong>
     ".$valeur_pourcentage."%</strong><br /><br />";

/*******************************************************************************
    * l'algo
    ***************************************************************************/

$p = ;
$k = ;
$delete_id_tb1 = array();
$delete_id_tb2 = array();

while ($p < $nbre_elements)
    {
   $p++;
   $j = ;
   while ($j < sizeof($tab_match))
    {
    $j++;
    $regs = array();
    $reception = array();
    // on prend un champ du tableau
    $ch_tab_match = $tab_match[$j];
    // on decoupe la chaine et on la passe dans un tableau
    $regs = split('[,]', $ch_tab_match);
    // idem avec la chaine a traiter
    $reception = split('[,]', $tab_matchv[$p]);
    // on fait la difference
    $non_matches = array_diff($regs, $reception);
    // taille de la table
    $non_matches_size  = sizeof($non_matches);
    // taille de la table
    $regs_size = sizeof($regs);
    // calcul le %
    $inaccuracy = ;
    $inaccuracy = round(($non_matches_size/$regs_size)*100);
    $accuracy = 100-$inaccuracy;
    
    // echo le resultat en %
    if ($accuracy > $valeur_pourcentage AND $accuracy != 100) {
    // recupere l'ID
    $val = $j-1;
    $save_id = $tab_match[$j-1];
    $val2 = $p-1;
    $tab_matchv_id = $tab_matchv[$p-1];
    $delete_id_tb1[$k] = $tab_matchv_id;
    $delete_id_tb2[$k] = $save_id;
    echo 'Il y a <strong><font color="#ff0000">'.$accuracy.'</font></strong>%
          de contenu similaire entre: <br /><strong>ID: '.$tab_matchv_id.
'</strong>
           >>'.$tab_matchv[$p].'<br /><strong>ID : '.$save_id.'</strong> >> ';
    echo ''.$tab_match[$j].'<br /><br /><br />
          ';
    $k++;
    }
    $j++;
   }
   $p++;
  }

/*******************************************************************************
    * Pour supprimer - A vous de voir sur quel table la suppression se fait
    * Vous avez les 2 listes d'ID, le reste devrait etre un jeu d'enfant pour
 vous ;)
    ***************************************************************************/

echo '<br /><br />Liste des ID de la premiere table<br />';
echo implode(',',array_unique($delete_id_tb1));

echo '<br /><br />Liste des ID de la seconde table<br />';
echo implode(',',array_unique($delete_id_tb2));


  $mtime = microtime();
    $mtime = explode(" ",$mtime);
    $mtime = $mtime[1] + $mtime[];
    $endtime = $mtime;
    $totaltime = ($endtime - $starttime);
 echo '<br /><br /><strong>Page générée en ',number_format($totaltime,4,',',''),
' s</strong>';

/*******************************************************************************
    * Fin
    ***************************************************************************/

mysql_close($connection);

?>