Tous les yeux de l’IA pourraient être sur GPT-5 cette semaine, le dernier modèle de langue grand d’Openai. Mais en regardant au-delà du battage médiatique (et de la déception), il y a eu une autre grande annonce Openai cette semaine: GPT-OSS, un nouveau modèle d’IA que vous pouvez exécuter localement sur votre propre appareil. Je l’ai fait fonctionner sur mon ordinateur portable et mon iMac, bien que je ne sois pas sûr de vous recommander de faire de même.
Quel est le problème avec GPT-ASS?
GPT-ASS est, comme GPT-5, un modèle d’IA. Cependant, contrairement à la dernière et la plus grande LLM d’Openai, GPT-ASS est « Open-Weight ». Cela permet aux développeurs de personnaliser et d’affiner le modèle à leurs cas d’utilisation spécifiques. C’est différent de l’open source, cependant: OpenAI aurait dû inclure à la fois le code sous-jacent pour le modèle ainsi que les données sur lesquelles le modèle est formé. Au lieu de cela, l’entreprise donne simplement aux développeurs accès aux «poids» ou, en d’autres termes, aux contrôles de la façon dont le modèle comprend les relations entre les données.
Je ne suis pas un développeur, donc je ne peux pas profiter de cet avantage. Ce que moi peut Faire avec GPT-ASS que je ne peux pas faire avec GPT-5, cependant, est exécuté le modèle localement sur mon Mac. Le grand avantage là-bas, du moins pour un utilisateur général comme moi, est que je peux exécuter un LLM sans connexion Internet. Cela en fait peut-être la façon la plus privée d’utiliser un modèle OpenAI, compte tenu de la société hoovers toutes les données que je génère lorsque j’utilise Chatgpt.
Le modèle se présente sous deux formes: GPT-ASS-20B et GPT-OSS-120B. Ce dernier est de loin le LLM le plus puissant et, en tant que tel, est conçu pour fonctionner sur des machines avec au moins 80 Go de mémoire système. Je n’ai pas d’ordinateurs avec presque cette quantité de RAM, donc pas de 120b pour moi. Heureusement, le minimum de la mémoire de GPT-OSS-20B est de 16 Go: c’est exactement à quel point mon iMac M1 a de la mémoire, et deux gigaoctets de moins que mon M3 Pro MacBook Pro.
Installation de GPT-ASS sur un Mac
L’installation de GPT-ASS est étonnamment simple sur un Mac: vous avez juste besoin d’un programme appelé Olllama, ce qui vous permet d’exécuter des LLM localement sur votre machine. Une fois que vous avez téléchargé Olllama sur votre Mac, ouvrez-le. L’application ressemble essentiellement à tout autre chatbot que vous avez peut-être utilisé auparavant, seul vous pouvez choisir parmi un certain nombre de LLM différents à télécharger sur votre machine d’abord. Cliquez sur le sélecteur de modèle à côté du bouton Envoyer, puis recherchez « GPT-ASS: 20B ». Choisissez-le, puis envoyez n’importe quel message que vous aimez pour déclencher un téléchargement. Vous aurez besoin d’un peu plus de 12 Go pour le téléchargement, d’après mon expérience.
Alternativement, vous pouvez utiliser l’application Terminal de votre Mac pour télécharger le LLM en exécutant la commande suivante: Olllama Run GPT-ASS: 20B. Une fois le téléchargement terminé, vous êtes prêt à partir.
Exécuter GPT-ASS sur mes macs
Avec GPT-OSS-20B sur mes deux Mac, j’étais prêt à les mettre à l’épreuve. J’ai quitté presque tous mes programmes actifs pour mettre autant de ressources que possible pour gérer le modèle. Les seules applications actives étaient Olllama, bien sûr, mais aussi un moniteur d’activité, afin que je puisse garder un œil sur la difficulté de mes Mac.
J’ai commencé avec un simple: « Qu’est-ce que 2 + 2? » Après avoir atteint le retour sur les deux mots clés, j’ai vu des bulles de chat traiter la demande, comme si Olllama tapait. Je pouvais également voir que le souvenir de mes deux machines était poussé au maximum.
Olllama sur mon MacBook a pensé à la demande de 5,9 secondes, écrivant «L’utilisateur demande:« Ce qui est 2 + 2 ». C’est une simple question arithmétique. La réponse est 4. devrait répondre simplement. Aucune élaboration supplémentaire nécessaire, mais pourrait répondre poliment. Pas besoin de contexte supplémentaire.» Il a ensuite répondu à la question. L’ensemble du processus a pris environ 12 secondes. Mon iMac, en revanche, a pensé pendant près de 60 secondes, écrivant: «L’utilisateur demande:« Ce qui est 2 + 2 ». C’est une simple question arithmétique. La réponse est 4. devrait répondre simplement. Aucune élaboration supplémentaire nécessaire, mais pourrait répondre poliment. Pas besoin de contexte supplémentaire.» Il a fallu 90 secondes au total après avoir répondu à la question. C’est long pour découvrir la réponse à 2 + 2.
Ensuite, j’ai essayé quelque chose que j’avais vu avec GPT-5 aux prises avec: « Combien de BS en myrtille? » Encore une fois, mon MacBook a commencé à générer une réponse beaucoup plus rapidement que mon iMac, ce qui n’est pas inattendu. Bien que toujours lent, il provenait du texte à un rythme raisonnable, alors que mon iMac avait du mal à faire passer chaque mot. Cela a pris mon MacBook environ 90 secondes au total, tandis que mon iMac a pris à peu près 4 minutes et 10 secondes. Les deux programmes ont pu répondre correctement à ce qu’il y ait, en effet, deux BS en bleuets.
Enfin, j’ai demandé à la fois qui était le premier roi d’Angleterre. Je ne suis certes pas familier avec cette partie de l’histoire anglaise, donc j’ai supposé que ce serait une réponse simple. Mais apparemment, c’est compliqué, donc ça a vraiment réfléchi au modèle. Mon MacBook Pro a pris deux minutes pour répondre pleinement à la question – c’est soit æthelstan ou Alfred le Grand, selon qui vous demandez – tandis que mon iMac a pris 10 minutes. Pour être juste, il a fallu plus de temps pour nommer des rois d’autres royaumes avant que l’Angleterre ne se soit unifié sous un seul drapeau. Points pour un effort supplémentaire.
GPT-ASS par rapport à Chatgpt
Il est évident à partir de ces trois tests simples que la puce M3 Pro de mon MacBook et 2 Go supplémentaires de RAM ont écrasé la puce M1 de mon iMac avec 16 Go de RAM. Mais cela ne devrait pas donner trop de crédit au MacBook Pro. Certaines de ces réponses sont encore douloureusement lentes, surtout par rapport à l’expérience complète de Chatgpt. Voici ce qui s’est passé lorsque j’ai branché ces trois mêmes requêtes sur mon application ChatGpt, qui exécute maintenant GPT-5.
-
Lorsqu’on lui a demandé « ce qu’est 2 + 2 », Chatgpt a répondu presque instantanément.
-
Lorsqu’on lui a demandé « combien de BS en bleuets », Chatgpt a répondu en environ 10 secondes. (Il semble qu’Openai ait résolu le problème de GPT-5 ici.)
-
Lorsqu’on lui a demandé « qui a été le premier roi d’Angleterre », a répondu Chatgpt en environ 6 secondes.
Il a fallu plus de temps le bot pour réfléchir à la question des myrtilles que pour considérer l’histoire complexe de la famille royale d’Angleterre.
Je ne vais probablement pas utiliser beaucoup GPT-ASS
Je ne suis pas quelqu’un qui utilise autant Chatgpt dans ma vie quotidienne, donc peut-être que je ne suis pas le meilleur sujet de test pour cette expérience. Mais même si j’étais un utilisateur de LLM passionné, GPT-ASS fonctionne trop lentement sur mon matériel personnel pour que je puisse envisager de l’utiliser à temps plein.
Par rapport à mon iMac, GPT-ASS sur mon MacBook Pro se sent vite. Mais par rapport à l’application Chatgpt, GPT-ASS rampe. Il n’y a vraiment qu’un seul domaine où GPT-ASS brille au-dessus de l’expérience complète de Chatgpt: la confidentialité. Je ne peux pas m’empêcher de l’apprécier, même si c’est lent, aucune de mes requêtes n’est envoyée à Openai, ou à quiconque d’ailleurs. Tout le traitement se produit localement sur mon Mac, afin que je puisse être assuré que tout ce pour quoi je utilise le bot reste privé.
Cela en soi pourrait être une bonne raison de se tourner vers Olllama sur mon MacBook Pro chaque fois que je ressens la conduite pour utiliser l’IA. Je ne pense vraiment pas que je puisse m’en soucier de mon iMac, sauf pour peut-être revivre l’expérience de l’utilisation d’Internet dans les années 90. Mais si votre machine personnelle est assez puissante – disons, un Mac avec une puce pro ou max et 32 Go de RAM ou plus – cela pourrait être le meilleur des deux mondes. J’adorerais voir comment GPT-OSS-20B éclate sur ce type de matériel. Pour l’instant, je vais devoir faire face à la lente et privée.
Divulgation: Ziff Davis, la société mère de Vie Associative, en avril, a déposé une plainte contre Openai, alléguant qu’elle a enfreint Ziff Davis Copyrights dans la formation et l’exploitation de ses systèmes d’IA.
