J’ai fait les mêmes expériences avec text-generation gui et des modèles 70 et 36B gguf. (J’ai une 4090 ou un processeur avec npu sur l’autre machine)
Mon truc c’est plutôt la littérature donc je voulais voir si j’arrivais à générer du low-effort ok-tiers pour faire de la masse (20books to 50k).
Par ok-tiers je veux dire quelque chose généré par llm avec un contexte de 8192 (assez pour un chapitre) puis retravaillé à la main car il est moralement hors de question de produire de la merde, low effort oui, 💩 non.
Bah c’est nul, obtenir un résultat utile demande un gros effort de contexte, resumé et fiches personnages ainsi qu’une attention constante pour bien diriger le bousin.
Sachant que derrière faut relire et réécrire à la main c’est plus rapide de juste écrire pour directement avoir une qualité moyenne à bonne.
TLPL: Ça sert à rien sauf prendre des gigas sur mon disque.
Sachant que derrière faut relire et réécrire à la main c’est plus rapide de juste écrire pour directement avoir une qualité moyenne à bonne.
Ça reste le gros problème, au début de chatGPT, j’avais un peu testé pour des aides de jeux de JDR et en fait, il faut repasser derrière pour éviter une info qui matche pas le scénario ou qui aurait du être “secret” le gain de temps est un peu limité.
C’est aussi le problème au travail, oui je peux rephraser un paragraphe, et avoir un truc en anglais correct, mais il faut l’écrire d’abord et le relire après. Donc le gain est limité.
Pourtant il y a des gens qui prétendent que ça change leur vie/travail
Pourtant il y a des gens qui prétendent que ça change leur vie/travail
Ils utilisent des modèles frontière qui ont des performances bien meilleures. Par exemple pour l’écriture c’est effectivement impossible sans une fenêtre de contexte conséquente. Déjà avec 50K tu peux obtenir des trucs pas mal. C’est pas du Tolstoi mais ça se lit et surtout ça reste cohérent, ça respecte les beats narratifs que tu as définis, ça fait pas dériver les personnages vers des versions génériques d’eux mêmes, etc…
Le côté agentique est utile aussi, pas pour faire de “vrais” agents mais parceque ce sont des modèles fine-tunés à bien tolérer les inférences longues et laborieuses. Ils restent dans leur voie, font des checkpoints réguliers pour se réaligner avec le contexte original, etc… En comparaison, les modèles de la génération précédente genre Llama et compagnie sont complètement arrachés. Le modèle va totalement vriller au bout de 5000 tokens et partir à 90° de sa tâche initiale.
En local si tu peux faire passer une quant de GLM-4.5-Air par exemple, tu vas avoir des résultats bien meilleurs. Bon ça va pas être particulièrement rapide par contre…
Je pense aussi, ils font justement parti de ces gens qui acceptent de publier/présenter/envoyer de la mauvaise qualité.
C’est possiblement une stratégie et je peux le comprendre, mais je refuse de le faire.
J’ai un ami qui utilise et gagne du temps, mais c’est le bon cas:
llm local
entraine sur 30+ années de dossiers
utilisé pour dégrossir des cas en phase amont: au lieu de faire 1 pré-étude /semaine, ils génèrent 3-4 pre-pre-etudes, et affinent celle qui semble la mieux.
Ça leur permet de faire moins d’itérations / converger plus vite sur les cas complexes.
![[Jeudi Techno] Tu as une question sur du matos, du programme ? T'es au bon endroit. (2026-02-19)](https://media.piefed.social/posts/ey/O8/eyO80P1kdJLyHc4.jpg?uid=12bc134d00cd464c9ff69e71224c1bd3){kind=link}
J’ai fait les mêmes expériences avec text-generation gui et des modèles 70 et 36B gguf. (J’ai une 4090 ou un processeur avec npu sur l’autre machine)
Mon truc c’est plutôt la littérature donc je voulais voir si j’arrivais à générer du low-effort ok-tiers pour faire de la masse (20books to 50k).
Par ok-tiers je veux dire quelque chose généré par llm avec un contexte de 8192 (assez pour un chapitre) puis retravaillé à la main car il est moralement hors de question de produire de la merde, low effort oui, 💩 non.
Bah c’est nul, obtenir un résultat utile demande un gros effort de contexte, resumé et fiches personnages ainsi qu’une attention constante pour bien diriger le bousin.
Sachant que derrière faut relire et réécrire à la main c’est plus rapide de juste écrire pour directement avoir une qualité moyenne à bonne.
TLPL: Ça sert à rien sauf prendre des gigas sur mon disque.
Ça reste le gros problème, au début de chatGPT, j’avais un peu testé pour des aides de jeux de JDR et en fait, il faut repasser derrière pour éviter une info qui matche pas le scénario ou qui aurait du être “secret” le gain de temps est un peu limité.
C’est aussi le problème au travail, oui je peux rephraser un paragraphe, et avoir un truc en anglais correct, mais il faut l’écrire d’abord et le relire après. Donc le gain est limité.
Pourtant il y a des gens qui prétendent que ça change leur vie/travail
Ils utilisent des modèles frontière qui ont des performances bien meilleures. Par exemple pour l’écriture c’est effectivement impossible sans une fenêtre de contexte conséquente. Déjà avec 50K tu peux obtenir des trucs pas mal. C’est pas du Tolstoi mais ça se lit et surtout ça reste cohérent, ça respecte les beats narratifs que tu as définis, ça fait pas dériver les personnages vers des versions génériques d’eux mêmes, etc…
Le côté agentique est utile aussi, pas pour faire de “vrais” agents mais parceque ce sont des modèles fine-tunés à bien tolérer les inférences longues et laborieuses. Ils restent dans leur voie, font des checkpoints réguliers pour se réaligner avec le contexte original, etc… En comparaison, les modèles de la génération précédente genre Llama et compagnie sont complètement arrachés. Le modèle va totalement vriller au bout de 5000 tokens et partir à 90° de sa tâche initiale.
En local si tu peux faire passer une quant de GLM-4.5-Air par exemple, tu vas avoir des résultats bien meilleurs. Bon ça va pas être particulièrement rapide par contre…
Les gens qui prétendent que ça change leur vie ne relisent pas je pense
Je pense aussi, ils font justement parti de ces gens qui acceptent de publier/présenter/envoyer de la mauvaise qualité. C’est possiblement une stratégie et je peux le comprendre, mais je refuse de le faire.
J’ai un ami qui utilise et gagne du temps, mais c’est le bon cas:
Ça leur permet de faire moins d’itérations / converger plus vite sur les cas complexes.