Qui ?
Mario Lopez-Ramos, Solutions Architect, AWS (en photo) et Julien Simon, Chief Evangelist, Hugging Face.
Quoi ?
Leur intervention à l'AWS Summit, en amont de l'annonce Amazon Bedrock.
Comment ?
Amazon vient de publier sa boite à outils d’IA génératives à destination des développeurs d’app, Amazon Bedrock. Ce qui était fait hier avec différentes solutions venant de services multiples (openAI, Stable Diffusion, HuggingFace, AWS, Microsoft Azure, Google Cloud…) se retrouve sur une seule plateforme AWS. Amazon rejoint Microsoft dans la course au leadership sur le Cloud IA. Laissant Google un peu sur le côté. La semaine précédent cette annonce, nous avons assisté à la conférence AWS avec Hugging Face, à l'AWS Summit.
1. Bedrock via AWS
- Bedrock lets enterprises use and fine-tune base models with their own data.
- Base models from Anthropic, AI21 (European languages), Amazon Titan (new language models) and Stability AI (images). pic.twitter.com/Mpjn9eb85e
— Pete (@nonmayorpete) April 13, 2023
Il y a trois façons de bénéficier des modes de fondation de l'intelligence artificielle :
1 Utiliser les API publiques disponibles. Mais attention, dans beaucoup d'industrie, ce n'est pas une bonne idée de donnée à ChatGPT son identifiant privé. Ainsi, cette semaine, on apprend que des salariés de Samsung dévoilent de l'info confidentielle en utilisant chat GPT.
2 Prendre des modèles existants et les déployer à son propre usage.
3 Les adapter à des cas d'application.
https://twitter.com/mikiane/status/1646730462872608769
Julien Simon, Chief Evangelist de Hugging Face, donnait une sorte de mode d'emploi à une salle remplie de développeurs. Autant vous dire que nous n'avons pas tout compris. Voici ce que nous en avons ratenu :
Il s'agit de déployer le bon outil dans la boite à outils. SageMaker JumpStart propose des centaines d'algorithmes intégrés avec des modèles pré-entraînés provenant de hubs de modèles, notamment TensorFlow Hub, PyTorch Hub, HuggingFace et MxNet GluonCV. VON accède aux algorithmes intégrés à l'aide du SDK Python de SageMaker. Les algorithmes intégrés couvrent les tâches courantes de ML, telles que la classification des données (image, texte, tableau) et l'analyse du ressenti client. On peut y accéder depuis Sagemaker Studio et depuis la semaine dernière, donc, depuis la console Amazon Bedrock.
AWS, moitié moins cher que Nvidia.
Hugging Face est présentée souvent comme "le Github du machine learning" (acquis par Microsoft en 2018, Github est le plus important dépôt de code au monde, utilisé comme dépôt public de projets libres ou dépôt privé d'entreprises). " 160 000 modèles de machine learning sont disponibles". Comment choisir dans ce caravansérail ? "Il faut commencer par cerner la modalité Texte / Image. Déterminer quelles données ont été entrainées. Y-avait-il du Français, du Java ? ". La taille du modèle détermine le poids de chaque neurone de ce réseau. Plus le modèle est grand, plus généraliste il est. Mais plus, aussi, il prend de place. Côté hébergement, Amazon est assez performant : "Nous avons un débit une fois et demi plus élevé et un coût moitié moindre avec AWS qu'avec Nvidia" explique Julien Simon.
Helm de Stanford est une sorte de carte qui permet de comparer les nouveaux modèles de langage. Une fois le modèle choisi, on le déploie pour envoyer des requêtes.
La configuration prend en compte la capacité de calcul présente et à venir. On choisit les CPU et le GPU en quelques minutes. Une fois le modèle choisi, on le rend utile et on contrôle la qualité des résultats en donnant un texte d'entrée spécifique, qui donne des instructions sur ce qu'on attend en sortie; en donnant quelques exemples du résultat attendu. Pour adapter le modèle à un domaine, on ajoute des données d'entrainements et on change les poids. Mais attention, il s'agit de ne pas modifier la qualité initiale, en ajoutant des couches spécifiques légères.
Le finetuning
On dépose les données d’entrée dans un bucket amazon s3 et on fournit un pointeur vers le script qui décrit l’entrainement Mais parfois, le prompt ingeenering et le fine tuning ne suffisent pas. "Si vous travaillez dans la chimie ou dans la finance, venez parler aux équipes AWS. Nous avons des clients qui entrainent Stability AI et Hugging Face" annonce Mario Lopez-Ramos.
