Re: On joue avec l’IA

par **Leio** Mer 29 Jan 2025 - 17:16

justement je regardais ça (un chouïa plus technique que le figaro What a Face

):

par papillon Mer 29 Jan 2025 - 18:40

@Leio:

Très technique, même! cheers

Au point que j’y pige que dalle… Sifflote

Je l’ai connu par un journaliste hier soir, qui a fait un gros lapsus: il a parlé de « deepshit »! lol!

Disponible sur l’App Store: je l’ai testée: très précise dans un domaine précis que j’aime particulièrement.

Mais texte uniquement, pas de paroles, pour le moment…

P.S.: impossible de retrouver le lapsus, mais cette information sur Ouest-France est intéressante:

https://www.ouest-france.fr/high-tech/intelligence-artificielle/pourquoi-deepseek-le-chatgpt-chinois-fait-trembler-le-marche-americain-de-lia-f5f63844-dcc8-11ef-938b-906ad6a94e5c#

Et celle-ci:

https://www.jeuxvideo.com/news/1963708/le-pdg-d-openai-chatgpt-vient-de-faire-paniquer-tout-le-monde-en-declarant-que-l-ia-pouvait-bouleverser-nos-societes-sans-la-mise-en-place-de-nouvelles-regles.htm

Ne paniquons pas! rules1

par **Leio** Mer 29 Jan 2025 - 21:25

papillon a écrit:@Leio:

Très technique, même!

Au point que j’y pige que dalle…

En gros deux nouveautés :
1. La possibilité d'invoquer uniquement une partie du modèle selon la problématique (et donc tourner par exemple sur "seulement" 8 milliards de paramètres au lieu de 670 et donc une demande de puissance de calcul de deux ordres de grandeur en moins). Rendant la technologie accessible beaucoup plus largement (aux universités par exemple, et non plus juste aux géants comme google, microsoft et deux ou trois autres.)

2. plus intéressant (et plus flippant). Jusque là les LLM bloquaient sur la réalisation de taches logiques complexes en perdant de vue leur objectif en cours de route geek

. La solution était alors de demander au LLM de faire une chaîne de pensée (un plan) des étapes à faire pour atteindre l'objectif puis de la suivre.
Alors OK mais comment le bouzin fait pour créer une chaîne de pensée (CDP) cohérente me direz vous ?

Et bien on l’entraîne, en lui donnant des exemples de CDP d'entraînement du genre : "dans ce type de problème la méthode est celle ci : 1-..., 2-...; 3...etc.".
Là aussi ça demandait un sacré volume de données d'entraînement (avec les CDP correctes). computer2

Donc (on y arrive), la nouveauté c'est d'avoir demandé au modèle créer lui même ses chaîne de pensées d’entraînement alors qu'on ne lui fournit comme données que des problèmes et leurs réponses (sans les CDP).
Important : comme il est gratifié quand il fait une chaîne de pensée préalable (en plus de la gratification en cas de bonne réponse) et bien petit à petit il se construit sa base de référence de CDP cohérentes et intègre cette méthode dans son fonctionnement (il l'intègre puisqu'avec la CDP ses résultats sont meilleurs Wink

).

PS/ vous pouvez d'ailleurs utiliser cette méthode "demande de CDP préalable " dans vos prompts avec les LLM classiques (chatGPT etc.) pour plus de précision dans les réponses.