LightOn dévoile BioClinical ModernBERT pour une PNL médicale améliorée

Le 13 juin 2025, LightOn a annoncé BioClinical ModernBERT, un nouveau modèle d'encodeur de pointe conçu pour le traitement du langage naturel (TALN) médical. Développé en partenariat avec des institutions telles que Harvard et l'Université McGill, ce modèle s'appuie sur les bases de ModernBERT pour améliorer les applications spécifiques à chaque domaine.

BioClinical ModernBERT répond aux défis posés par les textes médicaux volumineux en utilisant des mécanismes hybrides d'attention et de décompression pour traiter les documents à contexte long. Ce modèle excelle dans les tâches de classification médicale et de reconnaissance d'entités nommées (NER), établissant une nouvelle référence pour le traitement du langage naturel (TALN) dans le secteur de la santé.

Cette avancée représente une avancée majeure dans le domaine du traitement du langage naturel (PNL) médical, offrant une méthodologie simplifiée de pré-formation continue. Elle fournit aux utilisateurs les outils nécessaires pour adapter ModernBERT à divers domaines spécialisés, et présente de solides capacités de transfert.