S'initier au Machine Learning

Bonjour à tous,

Je me présente, je suis étudiant en 1ère année de prépa MPSI. Sur les 2 ans de notre formation, nous devons réaliser un TIPE (travail de recherche, en gros) et j'ai choisi le thème du Machine Learning.

Comme vous le savez sans doute, ce domaine extrêmement vaste propose plein d'algorithmes pour résoudre différents problèmes.

Histoire de me familiariser un peu avec les techniques et les concepts, j'aimerais expérimenter différents algos. En regardant ce qui se fait sur ZDS, j'ai trouvé le tuto sur les arbres de décision dont je viens de terminer la lecture (j'ai bien sûr implémenté les arbres…).

Par où continuer? J'éprouve de grandes difficultés à trouver des tutos, ou du moins des articles abordables pour un débutant, sur Internet. De plus je me heurte à un problème fondamental: la majorité des ressources que j'ai consulté jusqu'à présent requièrent des notions de maths avancées (que je n'ai pas).

Notamment, j'ai trouvé à la bibliothèque universitaire quelques livres très bien faits traitant de Machine Learning (surtout de l'aspect mathématique), mais qui malheureusement s'adressent à des étudiants d'école d'ingé/master, ce qui est donc bien au delà de mes connaissances pour le moment.

De plus, si vous connaissez des livres/ressources permettant de s'initier au sujet, je suis également preneur.

Merci d'avance pour votre aide

On ne le dira jamais assez, la référence introductive c'est A.I. a modern approach de Russel et Norvig.

Après avoir lu ou survolé ce pavé, tu devrais y voir plus clair à propos des principaux domaines de l'IA et tu seras certainement plus en mesure de choisir un domaine à approfondir selon tes affinités et ton sujet.

Bon courage.

L'autre référence introductive c'est Introduction to statistical learning, le chapitre 8 parle par exemple d'arbres de décision. Tu peux le trouver gratuitement en ligne (attention, gros PDF) : http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf

Instinctivement je partirai sur les SVM : C'est un grand classique et mathématiquement c'est abordable si tu as les bases d’algèbre linéaire, ensuite probablement tout ce qui est perceptron et réseaux de neurones car la base est assez simple à appréhender et que ce sont des extensions de ceux-ci que l'on nomme le deep-learning qui est très très a la mode en ce moment.

Hello,

Attention à ces sujets que sont les réseaux de neurones et consorts, c'est justement un peu trop à la mode en TIPE, tous ceux qui font de l'info en spé ont vite envie de s'y mettre… Si tu veux partir sur ces sujets tranquillement, il faut que tu sois capable de justifier d'un apport personnel pertinent et qui change un peu des sujets classiques que les jurys voient 5 fois par jour si tu veux te démarquer Tu noteras aussi qu'au programme d'option info en spé, on étudie les automates et les langages, pense donc à en toucher à un mot à ton prof pour éviter de partir sur un sujet qui colle trop au programme, sur lequel tu te retrouveras vite limité

Par curiosité, tu es en prépa où ?

Après pour trouver des articles intéressant, il n'y a pas de mystère, c'est dur Déjà la recherche d'articles anglophone est une étape obligatoire (mais en MPSI l'anglais c'est pas un souci ! ), mais il faut aussi essayer de trouver des contacts qui peuvent te faire accéder à ces sources, du styles publications de chercheurs, que tu ne peux pas obtenir autrement. Personnellement pour mon TIPE j'ai eu la chance d'avoir un prof de maths qui avait un bon réseau et qui a pu m'obtenir des rapports de recherche de laboratoires d'informatique allemands !

Dans tous les cas, bon courage pour tes recherches et les concours blancs qui approchent

Quelques ouvrages en plus (pour appuyer KFC) que j'avais cité sur un tout autre sujet (il y a plusieurs sujets traitant ML, je ne les cite pas tous) : https://zestedesavoir.com/forums/sujet/983/requetes-de-tutoriels/?page=9#p36192

Tu peux aussi aller regarder les ouvrages qui sont édités par Packt Publishing, attention que la qualité varie pas mal entre eux, mais tu as pas mal de bons exemples pratiques, pas mal d'algos différents.

La somme de toutes ces sources documentaires devraient largement te permettre de faire le choix qui te correspond le mieux.

Bonjour, sur le site fun-mooc.fr il va bientôt y avoir un MOOC de Télécom ParisTech sur le machine learning et le perceptron. Voici le lien du cours sur le Big Data avec de nombreuses notions de machine learning: https://www.fun-mooc.fr/courses/MinesTelecom/04006S04/session04/about Le cours signale qu'il faut en gros un niveau L2 en maths

Merci pour votre réactivité

le deep-learning qui est très très a la mode en ce moment.

Attention à ces sujets que sont les réseaux de neurones et consorts, c'est justement un peu trop à la mode en TIPE

Notre prof m'a justement conseillé de ne pas me focaliser sur le Deep Learning, non seulement parce que tout le monde en parle, mais aussi parce que selon lui, personne ne sait vraiment expliquer pourquoi les réseaux de neurones fonctionnent, ce qui ne colle pas trop avec les objectifs du TIPE

Merci je demanderais des précisions à mon prof d'info! Je suis en MPSI au Lycée du Parc à Lyon

Merci du conseil, ce livre est justement présent à ma BU! (Heureusement car je viens de voir qu'il coûte plus de 100€ à l'achat…)

Je vais regarder un peu les ouvrages/docs proposés, merci à tous N'hésitez pas à compléter si vous avez d'autres idées

mais aussi parce que selon lui, personne ne sait vraiment expliquer pourquoi les réseaux de neurones fonctionnent

C'est pas vraiment uniquement selon lui, c'est un point de vue partagé par beaucoup de monde (même si c'est plus compliqué que de penser que les gens qui font ça n'ont aucune idée de ce qu'ils font)

J'ai justement du mal à comprendre ce point de vue: comment peux-t-on manipuler ces concepts sans les comprendre? N'y-a-t'il pas de théorie mathématique derrière?

Parle en aux physiciens quantiques Ils (la plupart) n'ont aucune idée de comment ça marche mais comme des mathématiciens ont pondu des modèles qui collent aux postulats et résultats expérimentaux (pour l'instant et jusqu'à preuve du contraire), on va dire qu'on sait comment ça marche ! (j'exagère à peine, voire pas du tout ! )

On comprend certaines choses mais pas forcément pourquoi ça marche mathématiquement. On peut très bien constater des phénomènes (tel fonction de transfert fonctionne bien mieux que tel autre) sans savoir mathématiquement pourquoi.

Bonjour à tous!

Après discussion avec mon prof, j'ai décidé de m'orienter dans un premier temps vers des problèmes de classification (sujet classique certes, mais non pas dénué d'intérêt!)

Dans ce domaine, j'ai cru comprendre qu'on rangeait notamment:

• les SVM (Machines à vecteurs de support)

• les méthodes KNN (k-nearest neighbor)

Je vais donc commencer à étudier ces techniques. Si quelqu'un a des conseils à m'apporter n'hésitez pas

Bonjour à tous,

Bien que le thread date un peu, je répond tout de même pour les futurs visiteurs,

Personnellement, j’ai commencé avec la formation d’Andrew NG de Coursera. Elle est bien, et ne requiert pas un niveau de math très poussé.Lien vers la formation  :

j’ai écris un article ou je donne mon avis (plus développé) sur la formation

Bon courage