Crawler des données web avec BeautifulSoup

a marqué ce sujet comme résolu.

A propos de (()) tu as écrit :

Cette double parenthèse est dû au fait que cette méthode n’accepte qu’un tuple en paramètre. Pour en savoir plus si cela vous intéresse je ne peux que vous recommander la documentation officielle sur le sujet.

C’est faux. Tu donnes un lien vers la doc, et l’exemple donné par la doc est une liste, pas un tuple.

+0 -0

Du coup à part dire "on ne peux lui passer qu’un paramètre" qui risque d’être confusant je vois pas comment tourner mieux la phrase.

alliocha1805

Ce que tu peux faire, c’est déjà passer une liste au lieu d’un tuple, les débutants qui te liront seront moins déroutés que fasse à ton tuple. Ensuite tu peux ajouter une phrase disant que l’argument passé à csvwriter.writerow doit être un iterable.

+0 -0

Tu ne fais pas ce que tu dis ici :

Il faut ensuite déclarer l’URL de la page à crawler dans une variable, passer cette variable à urlopen qui va en sortir les données brutes pour enfin les fournir à BeautifulSoup :

1
2
3
url = requests.get("https://zestedesavoir.com/tutoriels/?category=autres-informatique")
page = url.content
soup = BeautifulSoup(page)
+0 -0

Je ne sais pas si tu comprends ce que ton code fait :

Il faut ensuite déclarer l’URL de la page à crawler dans une variable(ici url) avec la méthode requests.get, déclarer une autre variable(page) qui contiendra les données de la page brutes pour enfin les fournir à BeautifulSoup :

1
2
3
url = requests.get("https://zestedesavoir.com/tutoriels/?category=autres-informatique")
page = url.content
soup = BeautifulSoup(page)

Tu n’as pas de variable url contenant l’URL de la page que tu scrapes. (Aussi, déclarer une variable a un sens, déclarer X dans une variable n’en a pas vraiment. Tu peux dire assigner X à une variable si tu veux vraiment utiliser ce type d’explication. Ou déclarer une variable et y assigner X.)

+0 -0

Je ne sais pas si tu comprends ce que ton code fait :

Il faut ensuite déclarer l’URL de la page à crawler dans une variable(ici url) avec la méthode requests.get, déclarer une autre variable(page) qui contiendra les données de la page brutes pour enfin les fournir à BeautifulSoup :

1
2
3
url = requests.get("https://zestedesavoir.com/tutoriels/?category=autres-informatique")
page = url.content
soup = BeautifulSoup(page)

Tu n’as pas de variable url contenant l’URL de la page que tu scrapes. (Aussi, déclarer une variable a un sens, déclarer X dans une variable n’en a pas vraiment. Tu peux dire assigner X à une variable si tu veux vraiment utiliser ce type d’explication. Ou déclarer une variable et y assigner X.)

victor

J’ai corrigé et mis à jour la beta :) Merci !

+0 -0

là clairement je comprend plus de mon côté c’est bien modifié :

"Il faut ensuite déclarer l’URL de la page à crawler dans une variable(ici url) avec la méthode requests.get, déclarer une autre variable(page) qui contiendra les données de la page brutes pour enfin les fournir à BeautifulSoup :"

+0 -0

là clairement je comprend plus de mon côté c’est bien modifié :

"Il faut ensuite déclarer l’URL de la page à crawler dans une variable(ici url) avec la méthode requests.get, déclarer une autre variable(page) qui contiendra les données de la page brutes pour enfin les fournir à BeautifulSoup :"

alliocha1805

Oui ça c’est la version actuellement en beta. Ce que tu dis là n’est pas correct. Ce que tu cites ici est ce que je cite là, en expliquant que ce n’est pas correct :

Je ne sais pas si tu comprends ce que ton code fait :

Il faut ensuite déclarer l’URL de la page à crawler dans une variable(ici url) avec la méthode requests.get, déclarer une autre variable(page) qui contiendra les données de la page brutes pour enfin les fournir à BeautifulSoup :

1
2
3
url = requests.get("https://zestedesavoir.com/tutoriels/?category=autres-informatique")
page = url.content
soup = BeautifulSoup(page)

Tu n’as pas de variable url contenant l’URL de la page que tu scrapes. (Aussi, déclarer une variable a un sens, déclarer X dans une variable n’en a pas vraiment. Tu peux dire assigner X à une variable si tu veux vraiment utiliser ce type d’explication. Ou déclarer une variable et y assigner X.)

victor
+0 -0
Ce sujet est verrouillé.