Vérifie l'existance d'un lien dans une page cible, pouvant servir à un Web Crawler

Vérifie l''existance d''un lien dans une page cible, pouvant servir à un Web Crawler', 'Ce script provient justment d''une source sur ce site, par KOogar. Merci. Elle m''inspire énormément depuis. Ici vous pourriez meme faire un insert dans une base de données, afin de créer un véritable web crawler. Pour chaque page qu''il trouve, il le mettrait dans la table des pages, et fait suivre automatiquement les pages pour les liens, il pourrait inserer les liens dans une autre table, et suivre les liens une fois que toutes les pages seraient parcourues. Ou rechercherait aussi des courriels, pour trouver ou exactement les crawlers attrapent les courriels pour nous faire du spam. Tout cela pour dire que dans le fond, on peut facilement remplir un toile web complète en recherchant sans arret, sans avoir à monter une application logicielle. Elle peut meme etre postée partout, et se dupliquer de facon autonome et démarrer des processus tentaculairement. Je verrais aussi un trés bon outils pour le référencement et d''optimisation pour rechercher si les termes désirés de vos clients sont justement dans leurs pages, et le nombre de fois. Je suis en ce moment sur la conception d''une application puissante qui appelle les pages de google, ou tout autre site web, en lui envoyant un terme et recherche dans la page de résultat si un site web déterminé est dans ces résutats De plus il donne la position exacte, dans la page exacte. Donc, vous pourrier savoir si le site web de comptabilité de votre client sort dans google, selon le terme recherché, et d''obtenir précisément sa position. Le plus merveilleux, automatisé tous les jours, en procurant ainsi un journal de position de vos clients. Les possibilités sont infinies à mon avis. Imaginez, en donnant un user et pass à votre client, et lui dire d''aller voir en temps réel son positionnement , parle biais de Ajax et ce script. Incroyable Faites moi savoir si un tel outil serait à propos pour vous. Je prévois le mettre à disposition, en open source bien sur , aprés les fetes. copiez ce script et nommez le "crawler.php". Voilà

Tous les codes

Sebastienjulien

Code vu 5711 fois

Enregistré le 03 Sept 2007

téléchargement du zip

impression de la fiche

Code Source

01.
02.
03.
04.
05.
06.
07.
08.
09.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.

<?php
/******************************************************************************/
/*                                                                            */
/*                       __        ____                                       */
/*                 ___  / /  ___  / __/__  __ _____________ ___               */
/*                / _ \/ _ \/ _ \_\ \/ _ \/ // / __/ __/ -_|_-<               */
/*               / .__/_//_/ .__/___/\___/\_,_/_/  \__/\__/___/               */
/*              /_/       /_/                                                 */
/*                                                                            */
/*                                                                            */
/******************************************************************************/
/*                                                                            */
/* Titre          : Vérifie l'existance d'un lien dans une page cible, ...    */
/*                                                                            */
/* URL            : http://www.phpsources.org/scripts298-PHP.htm              */
/* Auteur         : Sebastienjulien                                           */
/* Date édition   : 03 Sept 2007                                              */
/*                                                                            */
/******************************************************************************/
    $source = isset($_GET["source"]) ? $_GET["source"] : 
"http://www.sebastienjulien.com/porte-folio.php";  
        $link = isset($_GET["link"]) ? $_GET["link"] : 
"http://www.groupectei.com"; ?>

<form name=form action=crawler.php method=get>
Source : <input type=text name=source size=50 value="<?php echo $source ; ?>">
Link : <input type=text name=link size=50 value="<?php echo $link ; ?>">
<input type=submit value=chercher>
</form>

<?php   $fp=@fopen($source,"r"); 
     if($fp)  
         {  
               while(!feof($fp))  
                {  
                       $chaine .= fgets($fp,1024);  
                   }  
        }  
    
     $masque = '#href="(.*?)"#i'; 
     preg_match_all("$masque",$chaine,$out,PREG_SET_ORDER); 
    
     $i=-1; 
     $compte=; 
     while ($i < count($out)) 
         { 
            $i++; 
              // affiche tous les elements du tableau 
              // vous pouvez decocher la ligne ci dessous 
                        // pour lister tous les elements du tableau 
              if($out[$i][1] == $link) 
                {
                    echo "<b><font color=blue size=4>".$out[$i][1].
"</font></b><br>";
                    $compte++;
                } 
            else 
                {
                    echo $out[$i][1]."<br>";
                }  
         } 
     if ($compte >  )  echo "<b>Le lien existe </b> (".$compte." x )"; 
    
     ?>