ZEP-05 : Refonte du traitement markdown pour l'export

OK, merci, je comprends mieux.

Je suis toujours occupé jusqu'à samedi prochain, mais s'il vous faut un coup de main pour du Haskell, harcelez-moi sur IRC.

@firm1: J'ai une question, est ce que tes filtres pré-pandoc actuels sont problématiques où ils peuvent attendre pour être corrigés.

J'en ai pas des masses de filtres pré-pandoc non plus. En fait, en y réfléchissant, ce qui est fait aujourd'hui avant l'export ne pourrait pas être repris par pandoc. Si ma mémoire est bonne il n'y a que les décalages de titre qui sont fait, le reste est envoyé a pandoc sans problème.

Donc en gros, ça peut attendre.

Sinon pour transformer Pandoc, il faut commencer par rajouter dans Pandoc une variante zds au markdown […]

Raisonnement complètement juste, rien a redire.

Par contre les smileys ne devrait pas être gérés dans pandoc je pense, c'est beaucoup trop variable. Et je pense qu'une approche en mode POC serait intéressante, une fois que l'entrée zds sera crée et la chaine mise en place, il suffirait de rajouter les nouvelles fonctionalités.

J'en ai pas des masses de filtres pré-pandoc non plus. En fait, en y réfléchissant, ce qui est fait aujourd'hui avant l'export ne pourrait pas être repris par pandoc. Si ma mémoire est bonne il n'y a que les décalages de titre qui sont fait, le reste est envoyé a pandoc sans problème.

J'y est pensé d'ailleurs. Techniquement Pandoc accepte en entrée plusieurs fichiers. On pourrait peut être jouer là dessus pour intégrer ça proprement.

Je pensais aussi et surtout au téléchargement des images et leur remplacement par les versions locales. Ça, ça peut être fait proprement avec un filtre pandoc.

Par contre les smileys ne devrait pas être gérés dans pandoc je pense, c'est beaucoup trop variable. Et je pense qu'une approche en mode POC serait intéressante, une fois que l'entrée zds sera crée et la chaine mise en place, il suffirait de rajouter les nouvelles fonctionalités.

Les smileys sont un cas un peu a part mais comment veux tu faire ça proprement autrement que directement intégré dans le parseur ? Tu veux le faire sur le traitement final ? Je pensais en faire un filtre pandoc justement, scrutant les paterns dans les zones de texte. L'avantage est que ça peut être fait dans n'importe quel langage, Python compris. Ça permettrait de conserver la liste des smiley dans le code Python.

Je viens de checker le code, et effectivement vaut mieux que le parseur s'en occupe.

De toute façon il va falloir de la communication pandoc/python. Les smileys en sont un exemple mais les demandés @mentions le nécessitent aussi. Mais une chose à la fois…

Bon, ça fait plus d'une semaine et j'ai même pas eu le temps de regarder. Ce constat + d'autres soucis et occupations personnelles me font arriver à la conclusion suivante : je passe officiellement en vacance de dev.

Cela a plusieurs implications (que je fais sur ce sujet car le plus impacté) :

• Personne ne travail plus officiellement sur cette zep (gashe peut être ?)
• Personne ne maintient actuellement le zmarkdown

Je devrait rester dispo pour des questions/réponses mais force est de constater que je ne peut plus faire de gros dev.

Pour zmarkdown, je compte faire une PR bientôt pour le problème des footnotes, je verrais si je peux m'occuper de quelques issues.

Pour cette zep en particulier, j'avoue je ne suis pas très fort en analyse syntaxique / lexicale et regex, mais si c'est plus simple qu'il n'y parait je veux bien essayer de pondre quelque chose.

Bon, j'arrive un poil tard par ici, mais ConTeXt sais manger du XML (et même de l'XHTML !!) et sortir du pdf (c'est quand même un système TeX ^^) et de l'epub. Et il sait aussi aller cherche des images via HTTP tout seul. Ce serait donc une solution intéressante aussi pour gérer ces problèmes. Le processus total serait donc :

1
2
3

Ficher .md ---ZMarkdown---> HTML
                        |__ XML ------ ConTeXt MkIV ---> PDF
                                                    |___ ePub 

En effet. Malheureusement de ce que je viens d'en voir, ça demande du dev aussi pour lui expliquer comment convertir l'arbre xml (dans notre cas html5) vers les commande tex. Donc en effet c'est une solution possible mais on en revient encore au même problème, on manque de ressource de dev.

Certes. Je suis un peu overbooké en terme de projets pour le moment, mais si rien n'a avancé dans quelque temps (1 ou 2 mois), je peut aider à mettre en place cette solution.

Bon comme ça n'a que peu avancé, j'ai dégagé quelques heures pour lancer le mouvement.

Je vais dans la soirée mettre a disposition un premier fork de Pandoc qui aura une branche de travail pour travailler dessus. Cette branche proposera déjà une nouvelle variante dans le markdown d'entrée accepté correspondant à un "zds flavored markdown". Tout comme les variantes "strict", "pandoc", "github" et "mmd" déjà proposé par Pandoc, cet élément ne fait qu'activer/désactiver les extensions disponibles pour la faire coller à nos besoins.

Avec cela le travail suivant consistera a coder les nouvelles extensions nécessaires et les rajouter au fur et a mesure à celles activé par notre variante.

Toute aide est la bienvenue ! Je ne sais pas combien de temps j'aurai donc si d'autres personnes sont motivés pour m'aider, qu'ils n'hésitent pas !

Pour ceux que ça interesse : https://github.com/cgabard/pandoc/commit/3d931512109afd266ea293572b67f7fcca4aad9e

Prochaine étape, implémenter sous forme d'extension pandoc le maximum de nos extensions sans modifier la structure de l'ast.

Ca serait pas mal de le mettre sur l'organisation de ZdS tu trouves pas ?

C'est pas urgent, mais à mon avis le dépôt gagnerait en visibilité.

En tous cas, GG pour ce début

Dès que j'ai un éléments de rajouté, oui.

Un peu de teasing :

Je suis toujours à la recherche d'aide mais je vais commencer la migration. Je vais vérifier un peu que tout soit ok dans ces modifs de Pandoc et commencer à l'intégrer à zds pour que les modifs profitent aux pdf actuels. Quand toutes les extensions seront implémentés, on pourra passer le html à pandoc aussi.

Waho nice ! Chapeau le fantôme !

Voici le code markdown qui l'a généré :

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

[[information]]
| Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor 
| incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis 
| nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. 
| Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore 
| eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, 
| sunt in culpa qui officia deserunt mollit anim id est laborum
| 
| $$e^{ \pm i\theta } = \cos \theta \pm i\sin \theta$$
|


Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

Donc ça semble bon.

Si vous ne vous sentez pas capable de mettre le nez dans le code Haskell, j'ai aussi besoin d'aide coté $\LaTeX$. Là j'ai stylisé en utilisant la méthode de La Rache et le package Latex bclogo mais il y a probablement mieux. Un pro de Latex ne serait donc pas de refus.

Au passage si quelqu'un a une idée comment on peut rendre une balise secret sur papier…

Avec une note de bas de page ou de fin de document non ?

A la place de la balise tu affiches un renvoi, et le contenu du secret en bas de page ou fin de document.

Si vous ne vous sentez pas capable de mettre le nez dans le code Haskell, j'ai aussi besoin d'aide coté LATEX. Là j'ai stylisé en utilisant la méthode de La Rache et le package Latex bclogo mais il y a probablement mieux. Un pro de Latex ne serait donc pas de refus.

Peut etre en demandant gentiment a ce membre auteur de ce blog : http://zestedesavoir.com/forums/sujet/756/la-texographie/

Il y a un article prévu pour les un an du premier commit avec appel à dev ? Car cela pourrait être simplement fait à ce moment là…

Avec une note de bas de page ou de fin de document non ?

A la place de la balise tu affiches un renvoi, et le contenu du secret en bas de page ou fin de document.

Etant donné qu'il y a déjà des notes de bas de pages, effectivement des note de fin pourraient être une solution.