Envie de poster une question technique sur du matériel ou du logiciel ?
Allez, viens !

  • Zos_Kia@jlai.lu
    link
    fedilink
    Français
    arrow-up
    1
    ·
    4 days ago

    Pourtant il y a des gens qui prétendent que ça change leur vie/travail

    Ils utilisent des modèles frontière qui ont des performances bien meilleures. Par exemple pour l’écriture c’est effectivement impossible sans une fenêtre de contexte conséquente. Déjà avec 50K tu peux obtenir des trucs pas mal. C’est pas du Tolstoi mais ça se lit et surtout ça reste cohérent, ça respecte les beats narratifs que tu as définis, ça fait pas dériver les personnages vers des versions génériques d’eux mêmes, etc…

    Le côté agentique est utile aussi, pas pour faire de “vrais” agents mais parceque ce sont des modèles fine-tunés à bien tolérer les inférences longues et laborieuses. Ils restent dans leur voie, font des checkpoints réguliers pour se réaligner avec le contexte original, etc… En comparaison, les modèles de la génération précédente genre Llama et compagnie sont complètement arrachés. Le modèle va totalement vriller au bout de 5000 tokens et partir à 90° de sa tâche initiale.

    En local si tu peux faire passer une quant de GLM-4.5-Air par exemple, tu vas avoir des résultats bien meilleurs. Bon ça va pas être particulièrement rapide par contre…