Tiens, ça pourrait être rigolo de trouver une liste ordonnée des prénoms les plus donnés l'année passée et de se servir du classement pour pondérer les transitions entre digrammes…
N'hésitez pas à poster aussi une partie des résultats de vos codes, c'est toujours drôle à lire !
Voici quelques exemples de trucs générés.
À partir des Misérables, mot par mot, ordre 2 :
– C'est la terre finit et où l'on n'a pas le sou; cependant il avait une barbiche romantique, que Jean-Martin avait gardé sous la table un malencontreux exemplaire de la situation en se disant : Oh! la bonne réponse qu'il se pourrait qu'il y a place pour le vieux.
Jean Valjean faisait dans les occasions. Les deux enfants éblouissants, ou consommer lui-même son second Ah! comme explication du premier.
Cette déclaration suffit. D'ailleurs, qu'est-ce qu'un coin obscur dans une campagne. Une grande campagne triste où il s'était incliné devant M. Myriel n'avait point sonné, ce qui lui aura battu comtois. Prête l’oche, Montparnasse, entends-tu ces criblements dans le mois. Enfin la troisième manière, c’est de manquer ça. Deux femmes, un vieux soldat, et on leur faisait l'effet d'une voiture au galop de l’hôtel ducal de la rue Pierre-Lombard, qui rougissait enfoncé dans cette démence, il y a du bon sens, elle lui parut étrange; habituellement aucun bruit devant lui; sa vie se mêle aux promenades des gens de police, contre toute la vie.
L’homme s’approcha, et la stupeur.
On le vit chanceler, la multitude amassée sur le lit conjugal aux bourgeois, ostentation d’alcôve régulière devenue utile après les papillons. Je la retire aux pensées qui viennent nous humilier, et nous ne pouvons penser sans un regard de côté un vieux pantalon de cuir où pendait une chaîne de fer avaient été liés et accouplés pêle-mêle, dans le gigantesque vomissement de nos grand'mères. Mais c'est pour revenir; elle s'efface comme le chien. Ces trois petites filles n’avaient pas l’air moissonnés, mais pelés. Jean Valjean lui échappait, Javert ne reconnut pas Jean Valjean, soutenant dans ses deux garçons, encore en ce genre, la société termine en galériens.
Chose bizarre et composée de deux cornes. Il a été raconté plus haut, si, avec le droit, faite de la fondrière, y auraient retrouvé l'homme assassiné, et ce parapluie a longtemps que je confonds sans cesse, et gaîment. Le vieux qui va bien, je n'ai pas volé, et que je n’admettrais pas que j’aie oublié quelque chose. Elle demeure rue des Postes vers la broussaille jusqu'à Jean Valjean.
Le portier était fermée. Toussaint n'était pas en règle, mes amis. C’est Grantaire qui avait été plus tard Lamennais. Une chose qui fumait et clapotait sur la terre noyant l'homme. La terre, c’est la même chose que l’agent calme et réel, quoique singulier, ce qui a en France que jamais.
Il est à peu près. Marius n’en pouvait supporter, si habituée qu’elle fût en ce qui caractérise cette surprenante guerre des pavés, les fusillades par les règlements. Il se trouvait aucun tort, mais il s’aperçut qu’elle était intelligente et qu’elle y vieillirait et qu’il ne dînerait pas.
– Camarades, cria Courfeyrac, ne perdons pas une bête qui aspire à la malade et qui parfumez cette église où ma pauvre fille en tira lentement les paupières, et son sac, jeta le journal, d’accord avec la majesté d’un juge. Marius ne prenait parti pour ou contre Cugnet de Montarlot. Fabvier était factieux; Bavoux était révolutionnaire. Le libraire Royol était mort. – Ce que j'ai commencé, pour que le cocher de fiacre. On n'y voit pas clair. C'est abominable, ça, de vouloir se désoler, à travers son sommeil, elle songeait à Fantine de ce que le vieux lieutenant de Napoléon et la manufacture hydraulique de toiles d’araignée. Il venait d'apercevoir, au point de n’avoir pas de fenêtres, des meurtrières, pas de mensonge à faire.
Toujours avec les Misérables, mais lettre par lettre, ordre 4 :
Le veuil distres que cet homme.
«Pendait donc des brigadie qualifiées cher de l'avoir à le Lérins l'ateliers la malheures. Tout habitude. Vous riche du commes, le générationnait éperdu, il apport pour Jean avait lui qui je lui tout de l'inconnaissait madame.
Après avoir Jean Valjean! que debout celle. Il leur et franche, ajoutes éclata doit visibles grande dit. Il entrevoyage; toutes d'un lion; il fut cela été commes et intures posa sœur, les nuées, le bruter aurait malades, écrite; je sur l'homme les épouvait désor du banc dans ses fond de conseigne. Les antiques parlait-ce quinte l'homme si bords virement mille, sur quelque j'ai pastoralité du moi cet ellements.
Accable roi Louis une coup sur le fixement de Digneur dors elle. Le mauvais hussaire, fille à l'appedelait commes et s'ouvent heure elle fois artère froid a glacés dans les plat venu n'a passants. D'un qu'il avait tira de plus se terminet devant ce qu'on de ne succursales. Il lui-même autre attendre, de bourg! ô tous fille! Aucune meille. L'enfant les chemin comme un cœur nulle Barber une misère, il auquelque caballe cabarre.
– C'est tres des hésitant agit-il, d'or. Elle nous veux très mange avez votre jardin? où vous avait sur l'impôt super en matérieureusement les âme coins plus vers ranches Il se lettré cheminée, Mon faire.
Ces se présente. Elle bien fluctuations deux, tant qui sa brance et Carmacie gros d'auta ainsi; ce monstrueusement de cette avaient, vivaient M. Ma Grasse milles quoi il était dans la fatuit air dans le la manœuvrés, avait en cabaret Blache efforçat à la vérité que passant d'encontendant le tourna, plissemercie gravert.
Il se table, un triotique, c'étaient l'évêque, un mois essait de saint-Dominine.
Il y a des chose que je l'obéis à motion et avait face est cette mais immédiatement que le grandelles chez sinistères, mêlées. Elle de faut bon mitre en Francs qu'il le le bonté pour un maladant le d'aurait qu'il accorde et la justice fut confusément par là la jourd'huisson draps, croyait un signe les rêve la sangloutilshomme qu'on appaient étaient, penservir à tout, dit profiter. Il étaient n'avons niveau, à la table ains salué. Lafonde femme, c'est monsieur le passage dans instantôt s'en fit de l'air de cette femmes meurt. Cosette parler! quelque cette sœurs qu'un cette marche, cesse mit à la vénéral refrais part colère, c'est là, il prononce qui remplace. Réussit. Dites de jupon seigne enfant M. le gros d'être. Homère, quant les veille servirait labord et eu peu à coudes, ces «espéré. Elle mot à coup le médecin; formaient la portants qui mettait un mation tenant, refusément chambre et là, refermet une bonner son bonnements liberté.
La Tholomyès, avait à sous voté l'évêque, dans l'aigles-moi, c'était-elle ni devenons-le-chauffler aumônes, il est ici, dans hospital. Méduse. – Il les patriomphe, il est condamné, la jours pour vingt-deux quelque faut mendit lui sur la sœur Simples qu'il devoir de se repris l'autre. M. le systère livres cas s'apportain de couchait le me femme je vous dans charres enfin, ce quinze ans un outrempereux grec, œil tenant et lui eût les hongre, quoi Rome). Quand trange avait miliaire, la mère. Son œil origine était-ce que mots. Depuis il s'écriva. M. Myriel aura pas! Du respect si je vous qui, perdit l'évêque dans l'ami :
Les en revinait un probable dans pleine et ne soi, dit, des déjà, en me ruiné une inture de sa certait six semble en une vous, ces dans laque faire? représident. Elle et une lui eût sont je sur le de la crain une indiquèrent sans les pauvre, je me vient, pour leur pas ouvent. La métiez à rire. Le poules main, ni l'autres à lui qui été un air une petit hommes prononcement de bonheureuse dévoueraissaient de seul étant l'argent hideur Bienverse enquête esque petit sur le te chute et celait plus tapage.
Hélas! crimerie que nomme nos journa venait frémissemblance ne d'un en humainsi :
Tout d'un châter, la prison affaire, sans la mère reprit tous avec répondit que, entait personner à un telle de laque levernelle. Cependant sur la convenu était plus sonne qui lui était toute. Il parce parce qui faisa lumière indicte de l'évêque faisant.
Il recevait près de Montbrisée et madame Marie-Antoine avariée, maire, vous avons penseignit le porte, reprits dans le bois.
Un reflet décisément autre de conte foulevait en Prusse en travait dans les avait et en hanger.
Pour le s'écrivirent esprit un est goufflaire?
Les la femme étentiment. Pas marmi la Tholomyès étoile. Tranque; la tombée et se par la voix.
Il a subi une choses pousson, un peu étouffrais ces vêtement monderait. C'est une plus grandeurs, une intenait à un gromme pourra arrêtez! Il avait minisé, ce Chenillées classibles, où il était implaçait ses chose. Il alles rattait raissaient les faut peu scrupule reste obligée dans l'on vieillards le blanc de sorte. Fantinué de la m'exprime comme dont avait : pas fermée que de l'huile. Il peut-être longtempereurs la libremettrait calme, et deux, Jean étrompit.
Cent mots "français" aléatoires, ordre 3 (certains existent, la correction orthographique me les fait voir) :
Cent noms aléatoires à l'ordre 2 :
Et des villes, à l'ordre 3 :
Voici les fichiers que j'ai utilisés : pour les mots, pour les prénoms et pour les villes.
Voici quelques phrases générées à l'aide d'un peu moins de 700 commentaires du Figaro.
Mon programme étant paramétré par deux valeurs, je les explicite ici :
lookup permet de spécifier l'ordre maximal des chaînes de Markov utilisé : si la valeur entrée est 3, des chaînes d'ordre 1, 2 et 3 coexisteront ;
weight pour définir le poids entre les différentes chaînes de Markov : une chaîne d'ordre k aura $weight^k$ chances d'être utilisée.
lookup=3, weight=20
lookup=6, weight=20
lokup=3, weight=1
lookup=6, weight=10
c'est vraiment devenu la pratique universelle aujourd'hui.
et vous n'aurait même pas pensé !
Ton générateur est furieusement efficace. On n'est pas si loin des commentaires que l'on peut lire. Manque plus que quelques critiques sur Hollande, et on est bon ! 
Les nombres d'apparitions moyens des k-grammes sont les mêmes que dans le dictionnaire initial (et donc la longueur moyenne est la moyenne des longueurs des mots imités). Voici une preuve.
On considère notre corpus de mots. Cela donne un processus aléatoire discret dont les états sont les symboles, avec une certaine probabilité de terminer à chaque étape. On modélise cela en disant que l'on s'intéresse aux probabilités d'être sur les différents symboles à une étape donnée. La probabilité de terminer s'en déduit. L'état initial est donné par les fréquences des premiers symboles et la probabilité de transition entre α et β par la probabilité de trouver un β si on avait un α juste avant (on prend un α uniformément et on regarde le symbole suivant). On a donc une matrice $A$ dont chaque entrée est positive et telle que la somme de chaque ligne est inférieure ou égale à 1 (« sous »-stochastique).
Soit $I$ l'état initial (les probabilités de commencer par chaque symbole). Il s'agit des fréquences d'apparitions en considérant le premier symbole de chaque mot. Soit $M_a$ le nombre moyen d'apparitions dans le processus aléatoire et $M_c$ le nombre moyen dans le corpus. On a $M_a = (A^0 + A^1 + A^2 + \cdots) I = (1 - A)^{-1} I$. On voudrait donc montrer que $(1 - A) M_c = I$, et cela dit simplement que lorsque l'on prend tous les symboles, qu'on les remplace par celui qui les suit, et qu'on regarde ce que l'on a perdu en chemin, on se retrouve avec les symboles qui apparaissent au début des mots. Comme de plus $I = (1 - A) M_a$ (ce qui se comprend bien aussi), on a $M_c = M_a$.
Autre question. Considérons que l'on génère des suites infinies de symboles maintenant, avec une chaine de Markov d'ordre k. Considérons que l'on donne un unique mot au générateur, et que celui-ci considère qu'il est circulaire. Quel est le plus petit mot que l'on doit donner pour générer une suite avec chaque symbole tiré uniformément ? En fait, ça ne concerne pas vraiment les chaines de Markov, c'est juste « déguisé » avec.
Pour les prénoms (certains ne donnent franchement pas envie 
) :
Liste des prénoms disponible ici.
Y'a même un "Fion" dans ta liste. Moi j'ai eu un "Gorette". "Cola mon p'tit frère" T'as deux "Zoé".
La longueur moyenne a beau être la même, y'en a des trop longs et des trop courts (comme "Fra" que l'on a eu tous les deux).
Avec une liste de médicaments scrapés depuis le Vidal (source, liste) :
Ordre 2 :
Ordre 3 :
PHARROL QUEUSIEFURFLOVITOMEPTANDOLOROCETAZIDANIPREPRIL SCIAZON MYL SARM HYDUS 40 mg cp p en sol sol inhal
Excellent celui-là, c'est à coucher dehors !
Je me suis dit que si on pouvait scraper les messages du forum, ça serait possible de s'amuser à générer des phrases avec le style de quelqu'un. Par contre je me demande si c'est pas un peu violent pour le serveur de ZdS qu'on attrape tous les messages de quelqu'un, surtout pour ceux qui ont un bon millier de messages.
PHARROL QUEUSIEFURFLOVITOMEPTANDOLOROCETAZIDANIPREPRIL SCIAZON MYL SARM HYDUS 40 mg cp p en sol sol inhal
Excellent celui-là, c'est à coucher dehors !
Je me suis dit que si on pouvait scraper les messages du forum, ça serait possible de s'amuser à générer des phrases avec le style de quelqu'un. Par contre je me demande si c'est pas un peu violent pour le serveur de ZdS qu'on attrape tous les messages de quelqu'un, surtout pour ceux qui ont un bon millier de messages.
Ça peut effectivement être marrant ^^. 1000 messages c'est rien. Au pire fait des batchs de 10 ou 50 avec un delay entre 2 requêtes.
PHARROL QUEUSIEFURFLOVITOMEPTANDOLOROCETAZIDANIPREPRIL SCIAZON MYL SARM HYDUS 40 mg cp p en sol sol inhal
Excellent celui-là, c'est à coucher dehors !
Comme je n'impose pas de limite de taille aux phrases générées (on s’arrête lorsqu'il n'y a plus de transition, ou plus précisément lorsqu'on a pris la transition de "fin de phrase"), il est théoriquement possible de boucler à l'infini, mais c'est statistiquement improbable vu que l'on finit par arriver sur une transition finale.
Du coup, j'ai fait 100000 générations d'ordre 4 en ne retenant que les plus longues (> 150 caractères), voici les résultats :
Et un second essai en gardant les phrases avec les plus longs mots (> 50 caractères), notez le cycle (HYDROCHLOR)* sur la plupart des résultats :
En ordre 3 :
Re-bonjour !
J'avais dit que j'essaierai de faire les autres propositions, et donc me voilà (certes un peu tard). Je suis parti cette fois sur les chaînes de Markov, et toujours en Python :
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 | from sys import argv import random def create_markov_chain(content, order): words = content.split(' ') chain = {} for start in range(len(words) - order): # Create a string of the specific order string = "" for i in range(order): string += words[start + i] if i != order - 1: string += " " # End of a sentence, so no actual relation with the next word if '.' in string: continue # Add it to the chain if string in chain: list = chain[string] list.append(words[start + order]) else: list = [words[start + order]] chain[string] = list return chain def generate_text(chain, limit, order): choices = list(chain.keys()) random_start = random.randint(0, len(choices) - 1) nb_time = 0 output = "" current = choices[random_start] while nb_time < limit: possibilities = chain[current] suffix = random.randint(0, len(chain[current]) - 1) output += possibilities[suffix] + " " prefix = current.split(' ') if order > 1: current = "" for i in range(1, order): current += prefix[i] current += " " + possibilities[suffix] else: current = possibilities[suffix] nb_time += 1 if current not in chain: random_start = random.randint(0, len(choices) - 1) current = choices[random_start] return output input = argv[1] length = int(argv[2]) order = int(argv[3]) with open(input, "r") as f: content = f.read() chain = create_markov_chain(content, order) output = generate_text(chain, length, order) print(output) |
Pour ce qui est de la génération, le programme prend n'importe quel fichier en entrée et l'analyse en fonction de l'ordre voulu (par mot, et non par lettre). En soit, ce qui reste à améliorer surtout c'est la base de données que je fournis dans mes fichiers, après dans le programme je pense que la mise en forme de la sortie peut aussi être meilleure que ça. Mais c'est tellement amusant de générer de tout et n'importe quoi, que j'ai plus envie de rajouter des fichiers d'entrées que de les améliorer :3
Quelques exemples (je n'ai pas fait de choix, ni de best-of mais simplement quelques générations au hasard) :
Mon prof de français avec un ordre 2 (beaucoup d'amélioration à faire dans le fichier d'entrée, mais on peut quand même s'amuser pour l'instant) :
Un peu de Victor Hugo (toujours d'ordre 2) :
Vu qu'on est dans la poésie, pourquoi pas du Vald ? (là aussi le fichier d'entrée nécessite pas mal de changements)
Et en bonus, une petite partie de kamoulox (c'est difficile de différencier le vrai du faux du coup :/)
Voilà, donc je pense améliorer tout ça et rajouter des exemples d'entrée, mais c'est vraiment drôle et addictif de jouer avec les chaînes de Markov !
Créez un compte en une minute pour profiter pleinement de toutes les fonctionnalités de Zeste de Savoir. Ici, tout est gratuit et sans publicité.
Créer un compte
