chargement des liens externes de google webmaster tools (GWT)

<?php
/******************************************************************************/
/*                                                                            */
/*                       __        ____                                       */
/*                 ___  / /  ___  / __/__  __ _____________ ___               */
/*                / _ \/ _ \/ _ \_\ \/ _ \/ // / __/ __/ -_|_-<               */
/*               / .__/_//_/ .__/___/\___/\_,_/_/  \__/\__/___/               */
/*              /_/       /_/                                                 */
/*                                                                            */
/*                                                                            */
/******************************************************************************/
/*                                                                            */
/* Titre          : chargement des liens externes de google webmaster tools...*/
/*                                                                            */
/* URL            : http://www.phpsources.org/scripts314-PHP.htm              */
/* Auteur         : forty                                                     */
/* Date édition   : 17 Déc 2007                                               */
/* Website auteur : http://www.toplien.fr/                                    */
/*                                                                            */
/******************************************************************************/


//données pour la connexion à la base de données
$db_server = 'votre-serveur-db.fr'; //adresse du serveur MySQL ou localhost
$db_name = 'nom_db'; //nom de la base de données
$db_user_login = 'user_db'; //nom d'utilisateur pour la BD
$db_user_pass = 'mot_pass_db'; //mot de passe pour la BD

// email et mot de passe de google webmaster tools
$username = 'votre_email_GWT';
$password = 'votre_mot_pass_google_GWT';

//fichier temporaire
$filename = './gwt_file.txt';

/* Tables
-- 
-- Structure de la table `google_sites`
-- 

CREATE TABLE `google_sites` (
  `url` varchar(150) collate latin1_german2_ci NOT NULL,
  PRIMARY KEY  (`url`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1 COLLATE=latin1_german2_ci 
COMMENT='Sites déclarés dans GWT';

-- 
-- Structure de la table `google_pages`
-- 

CREATE TABLE `google_pages` (
  `url` varchar(150) collate latin1_german2_ci NOT NULL,
  `nb_liens` int(11) NOT NULL,
  PRIMARY KEY  (`url`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1 COLLATE=latin1_german2_ci 
COMMENT='Pages avec lien externe de GWT';

-- 
-- Structure de la table `google_bl`
-- 

CREATE TABLE `google_bl` (
  `url` varchar(150) collate latin1_german2_ci NOT NULL,
  `url_bl` text collate latin1_german2_ci NOT NULL,
  `date` varchar(30) collate latin1_german2_ci NOT NULL,
  KEY `url` (`url`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1 COLLATE=latin1_german2_ci 
COMMENT='Liens externes de GWT';
*/

function get_http_code_description($code) {
  switch($code) {
    case 100 : return "OK pour continuer";
    case 101 : return "le serveur a changé de protocoles";
    case 200 : return "requête effectuée avec succès";
    case 201 : return "document créé (raison : nouvelle URI)";
    case 202 : return "requête achevée de manière asynchrone (TBS)";
    case 203 : return "requête achevée de manière incomplète";
    case 204 : return "aucune information à renvoyer";
    case 205 : return "requête terminée mais formulaire vide";
    case 206 : return "requête GET incomplète";
    case 300 : return "le serveur ne peut pas déterminer le code de retour";
    case 301 : return "document déplacé de façon permanente";
    case 302 : return "document déplacé de façon temporaire";
    case 303 : return "redirection avec nouvelle méthode d'accès";
    case 304 : return "le champ 'if-modified-since' n'était pas modifié";
    case 305 : return "redirection vers un proxy spécifié par l'entête";
    case 307 : return "HTTP/1.1";
    case 400 : return "erreur de syntaxe dans l'adresse du document";
    case 401 : return "pas d'autorisation d'accès au document";
    case 402 : return "accès au document soumis au paiement";
    case 403 : return "pas d'autorisation d'accès au serveur";
    case 404 : return "la page demandée n'existe pas";
    case 405 : return "méthode de requête du formulaire non autorisée";
    case 406 : return "requête non acceptée par le serveur";
    case 407 : return "autorisation du proxy nécessaire";
    case 408 : return "temps d'accès à la page demandée expiré";
    case 409 : return "l'utilisateur doit soumettre à nouveau avec plus d'infos"
;
    case 410 : return "cette ressource n'est plus disponible";
    case 411 : return 
"le server a refusé la requête car elle n'a pas de longueur";
    case 412 : return "la précondition donnée dans la requête a échoué";
    case 413 : return "l'entité de la requête était trop grande";
    case 414 : return "l'URI de la requête était trop longue";
    case 415 : return "type de média non géré";
    case 500 : return "erreur interne du serveur"; 
    case 501 : return "requête faite au serveur non supprimée";
    case 502 : return "mauvaise passerelle d'accès";
    case 503 : return "service non disponible";
    case 504 : return "temps d'accès à la passerelle expiré";
    case 505 : return "version HTTP non gérée";
    default: return "code retour inconnu";
  }
}

function my_curl_init() {
  global $ch;
  
  if (($ch = curl_init()) === false) {
    $num_erreur = curl_errno($ch);
    $text_erreur = curl_error($ch);
    die("Erreur d'initialisation de la session cURL : " . $num_erreur . ' : ' . 
$text_erreur);
  }
}

function my_curl_setopt($param, $value) {
  global $ch;
  global $url;
  
  if (!curl_setopt($ch, $param, $value)) {
    $num_erreur = curl_errno($ch);
    $text_erreur = curl_error($ch);
    die("Erreur d'ajout de l'option cURL " . $param . ' pour ' . $url . ' : ' . 
$num_erreur . ' : ' . $text_erreur);
  }
}

function my_curl_exec() {
  global $ch;
  global $url;

  if (($result = curl_exec($ch)) === false) {
    $num_erreur = curl_errno($ch);
    $text_erreur = curl_error($ch);
    die("Erreur d'exécution cURL pour " . $url . ' : ' . $num_erreur . ' : ' . 
$text_erreur);
  }
  $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
  if (($http_code <> 200) && ($http_code <> 301) && ($http_code <> 302)) {
    $url_reelle = curl_getinfo($ch, CURLINFO_EFFECTIVE_URL);
    $description = get_http_code_description($http_code);
    die("Code retour $http_code pour $url_reelle : $description");
  }
  return $result;
}

function my_curl_close() {
  global $ch;
  
  curl_close($ch);
}

function my_mysql_select_db() {
  global $lk;
  global $db_server, $db_user_login, $db_user_pass, $db_name;
  
  if (!$lk = mysql_connect($db_server, $db_user_login, $db_user_pass)) {
    die(mysql_errno() . " : " . mysql_error());
  }
  if (!mysql_select_db($db_name, $lk)) {
    die(mysql_errno() . " : " . mysql_error());
  }
}

function my_mysql_query($sql) {
  global $lk;
  if (!($res = mysql_query($sql, $lk))) {
    die(mysql_errno() . " : " . mysql_error());
  }
  return $res;
}

if (!function_exists('htmlspecialchars_decode')) {
  function htmlspecialchars_decode($value) {
    $value = str_replace('>','>',$value);
    $value = str_replace('<','<',$value);
    $value = str_replace('"','"',$value);
    $value = str_replace('&','&',$value);
    return $value;
  }
}

function my_write_file($contenu) {
  global $filename;
  
  $fp = fopen($filename, "w");
  fwrite($fp, $contenu);
  fclose($fp); 
}
?>
<html>
<head>
<title>Récupération des liens externes de google webmaster tools</title>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
</head>
<body>
<?php

my_mysql_select_db($db_server, $db_user_login, $db_user_pass, $db_name);

my_curl_init();

// Connection
$cookie = '.';
$destination = "https://www.google.com/accounts/ServiceLoginAuth";
$postdata = "continue=" . urlencode("https://www.google.com/webmasters/tools/") 
. "&followup=" . urlencode("https://www.google.com/webmasters/tools/") . 
"&service=sitemaps&nui=1&hl=fr&Email=" . urlencode($username) . "&Passwd=" . 
urlencode($password) . "&PersistentCookie=yes&rmShown=1";
$url = "$destination?$postdata";
my_curl_setopt(CURLOPT_URL, $destination);
my_curl_setopt(CURLOPT_SSL_VERIFYPEER, FALSE);
my_curl_setopt(CURLOPT_USERAGENT, 
"Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");
my_curl_setopt(CURLOPT_TIMEOUT, 20);
my_curl_setopt(CURLOPT_FOLLOWLOCATION, 1);
my_curl_setopt(CURLOPT_RETURNTRANSFER, 1);
my_curl_setopt(CURLOPT_COOKIEJAR, $cookie);
my_curl_setopt(CURLOPT_COOKIEFILE, $cookie);
my_curl_setopt(CURLOPT_POSTFIELDS, $postdata);
my_curl_setopt(CURLOPT_POST, 1);
$result = my_curl_exec();
if (preg_match( 
"/<meta http-equiv=\"refresh\" content=\"0; url=&#39;(.*)&#39;\">/si", $result, 
$match )) {
  $url = htmlspecialchars_decode($match[1]);
  my_curl_setopt(CURLOPT_URL, $url);
  my_curl_setopt(CURLOPT_SSL_VERIFYPEER, FALSE);
  my_curl_setopt(CURLOPT_USERAGENT, 
"Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");
  my_curl_setopt(CURLOPT_TIMEOUT, 20);
  my_curl_setopt(CURLOPT_FOLLOWLOCATION, 1);
  my_curl_setopt(CURLOPT_RETURNTRANSFER, 1);
  my_curl_setopt(CURLOPT_COOKIEJAR, $cookie);
  my_curl_setopt(CURLOPT_COOKIEFILE, $cookie);
  $result = my_curl_exec();
} else {
  die("Impossible de récupérer l'url de redirection");
}

// Chargement des fichiers de BL
$sql_sites = "SELECT url FROM google_sites";
$res_sites = my_mysql_query($sql_sites);
$sql_delete="TRUNCATE TABLE google_pages";
$res_delete = my_mysql_query($sql_delete);
$sql_delete="TRUNCATE TABLE google_bl";
$res_delete = my_mysql_query($sql_delete);
while ($resultat_sites = mysql_fetch_array($res_sites, MYSQL_ASSOC)) {
  // Récupère les pages ayant des liens externes
  $yoursiteurl = $resultat_sites['url'];
  $url = "https://www.google.com/webmasters/tools/backlinks-dl?hl=fr&siteUrl=" .
 $yoursiteurl . "&sort=otherdomains";
  my_curl_setopt(CURLOPT_URL, $url);
  my_curl_setopt(CURLOPT_SSL_VERIFYPEER, FALSE);
  my_curl_setopt(CURLOPT_USERAGENT, 
"Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");
  my_curl_setopt(CURLOPT_TIMEOUT, 20);
  my_curl_setopt(CURLOPT_FOLLOWLOCATION, 1);
  my_curl_setopt(CURLOPT_RETURNTRANSFER, 1);
  my_curl_setopt(CURLOPT_COOKIEJAR, $cookie);
  my_curl_setopt(CURLOPT_COOKIEFILE, $cookie);
  $result = my_curl_exec();
  my_write_file($result);
  echo "Fichier des pages avec lien externe récupéré pour $yoursiteurl ... ";
  $sql_insert = "LOAD DATA LOCAL INFILE '$filename_esc'
            INTO TABLE google_pages
            FIELDS TERMINATED BY ','
            OPTIONALLY ENCLOSED BY '\"'
            ESCAPED BY '\\\\'
            LINES TERMINATED BY '\\n'
            IGNORE 1 LINES
            (`url` , `nb_liens`)";
  $res_insert = my_mysql_query($sql_insert);
  echo "chargé<br>\n";

  //Récupère les liens externes
  $url = 
"https://www.google.com/webmasters/tools/backlinks-details-dl?hl=fr&siteUrl=" . 
$yoursiteurl . "&sort=otherdomains";
  my_curl_setopt(CURLOPT_URL, $url);
  my_curl_setopt(CURLOPT_SSL_VERIFYPEER, FALSE);
  my_curl_setopt(CURLOPT_USERAGENT, 
"Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");
  my_curl_setopt(CURLOPT_TIMEOUT, 20);
  my_curl_setopt(CURLOPT_FOLLOWLOCATION, 1);
  my_curl_setopt(CURLOPT_RETURNTRANSFER, 1);
  my_curl_setopt(CURLOPT_COOKIEJAR, $cookie);
  my_curl_setopt(CURLOPT_COOKIEFILE, $cookie);
  $result = my_curl_exec();
  my_write_file($result);
  echo "Fichier des liens externes récupéré pour $yoursiteurl ... ";
  $sql_insert = "LOAD DATA LOCAL INFILE '$filename_esc'
            IGNORE INTO TABLE google_bl
            FIELDS TERMINATED BY ','
            OPTIONALLY ENCLOSED BY '\"'
            ESCAPED BY '\\\\'
            LINES TERMINATED BY '\\n'
            IGNORE 1 LINES
            (`url` , `url_bl` , `date`)";
  $res_insert = my_mysql_query($sql_insert);
  echo "chargé<br>\n";
}

my_curl_close();

$sql = "SELECT DISTINCT(url_bl) FROM google_bl";
$res = my_mysql_query($sql);
echo mysql_num_rows($res) . " liens retour différents<br>n";

//fin de la connexion
mysql_close($lk);
?>
<p>fin</p>
</body>
</html>