16 Sept 2023
Usages : LLamasté, ChatGPT sur ton PC
Composants et matériels électroniques, semi-conducteurs : découvrez toutes les offres de notre partenaire Farnell France sur fr.farnell.com
On vous explique comment faire tourner votre propre ChatGPT sur votre propre ordinateur, de la méthode la plus accessible à la méthode la plus avancée.
❤️ Patreon
💬 Discord
💻 techcafe.fr Niveau bébé
* Un chatbot sur son PC Pourquoi faire ? La science ! L’innovation ! Mais surtout le fun.
* LLM ça : C’est quoi un modèle de langage ?
* Section _kézako_ : tokens, contexte, vecteurs et samplers.
* Niveau facile : les logiciels qui font tout (ou presque) _Faraday_.dev et LM _Studio_.
* Matériel : ai-je tout l’équipement pour prendre soin de mon LLama ? Niveau bambin
* _GGML_ et _GPTQ_ : du JPEG pour les IA ? C’est flou…
* Que choisir ? Un 34b en Q3_K_S ou un 13b en Q4_K_M ? Bonne _question_ !
* Niveau moyen : _KoboldCpp_ et _l’embarras_ du choix des IA…
* Les samplers en détails : _top_k_, top_p, tfs, _mirostat_ et on en passe (rassurez-vous). Niveau barbu
* Niveau difficile : _Oobabooga_, lora et plugins, _llamacpp_ et ses grammaires.
* Sampling _spéculatif_ : de l’art de gagner du temps en travaillant pour rien.
* _PrivateGPT_, et pourquoi je ne discuterais pas avec mes PDF ?
* Odyssée de la barre d’espace : avec Open-_interpreter_, met Hal 9000 dans ton PC.
* Llama, des _licences_ peu poétiques, il y a aussi les MPT, Openllama, Falcon, etc. Liens bonus
* Quelques liens pour se tenir au courant:
* _Tech Café_ 😝
* _r/localllama_
* _r/oobabooga_
* r/_deeplearning_
* Et deux _chaînes_ _YouTube_.
* Les modèles “chatGPT” valeurs sûres : llama2chat, Vicuna1.5, NousHermes-llama2.
* Le modèle “fine-tuné” en français : Vigogne-2.
* Les modèles 18+ et waifu friendly : Mythomax-L2, Pygmalion2.
* Les modèles qui codent : codellama-instruct, wizardlm-codellama.
* À retrouver dans la taille et la saveur de votre choix grâce à _TheBloke_ (Tim Jobbins).
* Et pour tester le GROS _Llama_ et le TRES GROS _Falcon_ gratuit… Participants
* Une émission préparée par Guillaume Poggiaspalla
* Présenté par _Guillaume Vendé_