Problème dans le HTML des pages listes de tuto ?

Salut à tous,

Étant en train d’écrire un mini tuto sur BeautifulSoup j’ai voulu faire un mini crawler qui va extraire des données sur une page liste de tuto du site (ça fait un bon exemple). C’est là que j’ai remarqué quelque chose d’assez bizarre :

J’ai remarque le même "souci" sur les H3 qui correspondent aux titres de tutos.

C’est voulu ces espaces inutiles ou c’est un léger bug (qui n’a aucun impact visuel et fait chier les crawler du coup ^^) ?

Parcequ’une fois retirés depuis l’inspecteur le design ne bouge pas d’un pixel (donc ils me semblent inutiles)

EDIT : ça semble se présenter aussi sur les listes de tuto de la Homepage du site

Salut

Voulu, non, mais on ne peut pas appeler ça un bug. C’est simplement qu’il y a du code de template qui est exécuté à cet endroit et qui n’apparaît donc pas dans le HTML généré. Tu peux voir le code source ici.

Comme dit par GCodeur ça vient du système de gabarits de Django. On peut enlever l’espace entre les balises mais pas au sein d’une balise (du moins pas de manière simple et native). En soit je n’ai pas vu de comportement étrange à ça niveau mais si c’est le cas n’hésitez pas à nous le faire remonter.

Ok juste je trouve ça un peu bizarre donc j’ai fait remonter l’info au cas où.

Bon ba du coup je prendrai un autre site pour le crawling en exemple

Salut,

La grande majorité des sites qui utilisent des templating engines auront la même chose et c’est tout à fait normal. Pourquoi est-ce que ça te pose problème ? Un coup de .strip() si la lib ne le fait pas toute seule et c’est réglé (je crois que ce n’est pas nécessaire avec bs4, à tester).

Pour le coup le Strip ne fonctionnais pas mais comme c’était juste pour un exemple je n’ai pas cherché plus loin

Mais encore ? Un strip qui ne fonctionne pas c’est étrange…

Pour les requêtes http tu utilises quoi comme lib dans le tuto ?

BS parse l’HTML, donc tu n’as pas à te soucier de ces espaces. Comme tu l’as dit ils ne modifient en rien le rendu, ils n’ont aux yeux de la spec HTML et donc aux yeux d’un parseur HTML comme BS aucune valeur, aucun impact.

Ils ne peuvent donc pas poser de problème si tu crawl avec BS. Pourquoi prendre un autre site ?

En gros j’ai ce code et ça me conserve des espaces dans le string contenu dans une variable :

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# coding: utf-8
from urllib.request import urlopen
import os
from bs4 import BeautifulSoup
import csv

url = "https://zestedesavoir.com/tutoriels/?category=autres-informatique"
page=urlopen(url)
soup=BeautifulSoup(page)

liste_titre=[]
liste_description=[]

h1= soup.find("h3",{"class":"content-title"})
titre=h1.string
titre.strip()
print(titre)

os.system("pause")

M’enfin si c’est normal pour les espaces pas de souci c’était juste au cas où ça pouvait aider pour corriger un bug

PS: pour les listes useless et la lib CSV c’est parceque je comptais m’en servir après dans le script

Tout de suite ça marche mieux ! Merci j’aurai appris un truc au moins