Requêtes automatiques google

Hello !

Après de nombreuses recherches, je ne trouve pas la réponse à ma question : "A partir de quand/quoi/combien google considère que l'on effectue des requêtes automatiques ?" Je suis presque sûr que google masque cette information puisque le requêtage automatique est interdit dans leur politique d'utilisation..

En espérant que vous pourrez me répondre (ou m'orienter :p) Bye ! zareed

Salut,

Des requêtes automatiques sur quel service exactement ?

Sur une simple recherche que je veux effectuer X fois du style : "http://www.google.com/search?q=CeQueJeCherche"

Tu t'es renseigné sur l'API idoine ?

Dans quel but ? Ça me paraît quand même étrange de vouloir répéter plusieurs fois une requête identique… Ton x fois, à quelle échelle se situe il ?

Oui je me suis renseigné dessus mais le fait qu'il soit déprécié implique qu'il va disparaître un jour ou l'autre non ? Je souhaite une solution pérenne dans le temps (il est vrai qu'on ne peut jamais savoir si un service sera toujours en place). Après si le service est maintenu, il est clair que voila ma solution Je m'étais également renseigné sur l'api que google propose en remplacement mais il nous limite à 100 recherches par jour..

La variable CeQueJeCherche change à chaque X Le X fois se situe vers les 100/200

Pour améliorer ton référencement ? T'inquiète pas, tu n'es pas le premier à vouloir essayer et Google a compris le truc. Un humain quand il fait une recherche il ne quitte pas instantanément la page pour relancer la même recherche. Si tu fais une boucle tu seras directement identifié comme bot et cela va nuire à ton référencement.

Excuse moi si ce n'est pas pour le référencement que tu voulais, mais c'est ce que j'en ai compris de ton premier message.

Ce n'est pas du référencement, même si la technique est similaire La recherche n'est pas la même, le critère change à chaque fois ! Je ne connais pas les critères de google pour savoir si c'est un bot ou non..

Il est possible qu'il prennent en compte le HTTP_REFERER ? Ou peut-être par l'IP avec une limite de requête, car un humain ne vas pas faire 100 recherches à la seconde

Je pencherais plutôt sur un truc particulièrement complexe qui prends en compte à peu près tous les paramètres disponibles, dont l'IP, l'user agent, pas mal d'autres en-têtes, type de connexion (keep-alive ou one-shot), le trafic associé, la fréquence des recherches, la variété des recherches, la logique des recherches, la régularité des recherches, le fait que ce soit associé à un outil courant (omnibox de chrome, propositions de recherches sur la page de google et autre), mais pas que.

En revanche, cela ne veux pas dire qu'en faisant une requête par minute tu vas te prendre un captcha. Leur but étant surtout (à mon avis) d'éviter du trafic nuisible plutôt qu'un truc qui ne les impacte absolument pas.

Attendez … C'est vrai que j'ai déjà eu à faire a des capchas de Google et je sais que wget sur Google ça marche moyen …

Mais sérieusement, il y a rien pour effectuer une rechercher Google ? Ne serrais-ce par exemple que pour récuperer automatiquement des informations depuis la recherche Google (définition, numéro de téléphone, nom d'entreprise, fichier, …) ?

Le truc, c'est qu'une partie de l'amélioration du moteur de recherche passe par l'analyse du choix de l'utilisateur. Or, avec une API, le problème c'est que tu perds totalement ce côté là.

Après, il y a d'autres moteurs de recherches qui ont des API pour la recherche (Bing et Yahoo de ce que j'ai pu lire). Tu as quelques autres pistes sur stackoverflow : http://stackoverflow.com/questions/4082966/what-are-the-alternatives-now-that-the-google-web-search-api-has-been-deprecated .

Je suis d'accord avec Berdes, j'avais tenté plusieurs choses et ce que j'en ai déduit était le nombre important de critères mis en jeu dans la reconnaissance d'un bot ou non. Du coup, j'ai regardé au niveau des API mais ils ne me permettent pas de faire ce que je veux..

Alors j'ai bidouillé un peu mon code afin de trouver un juste milieu qui passerait bien au niveau de google, et j'ai trouvé ! (ça en a l'air en tout cas :p) Je fais un header bien particulier en changeant : user-agent/Type de Connection/etc.. et je rends aléatoire mes requêtes vers google (entre 10/20 sec) ainsi que le protocole (http/https).

Je dis pas que ma solution est propre ni qu'elle est parfaite mais ça fonctionne en tout cas. Ça me permet de ne pas passer par des API trop restrictives. Et le temps pour faire environ 30 recherches google est de 6/7 minutes