• Scaling Laws for Precision

  • Nov 18 2024
  • Durée : 19 min
  • Podcast

Scaling Laws for Precision

Écouter gratuitement

Voir les détails

  • Résumé

  • ⚖️ Scaling Laws for Precision

    This research paper investigates the impact of precision in training and inference on the performance of large language models. The authors explore how precision affects the effective parameter count and propose scaling laws that predict performance degradation due to low-precision training and post-training quantization. They find that overtrained models are more sensitive to post-training quantization, and that training larger models in lower precision might be computationally optimal. Their unified scaling law accounts for both training and post-training effects and predicts loss in varied precision settings, ultimately suggesting that the standard practice of training models in 16-bit might be suboptimal.

    📎 Link to paper
    🌐 Read their Tweet
    Afficher plus Afficher moins
Afficher plus Afficher moins
Les membres Amazon Prime bénéficient automatiquement de 2 livres audio offerts chez Audible.

Vous êtes membre Amazon Prime ?

Bénéficiez automatiquement de 2 livres audio offerts.
Bonne écoute !

    Ce que les auditeurs disent de Scaling Laws for Precision

    Moyenne des évaluations utilisateurs. Seuls les utilisateurs ayant écouté le titre peuvent laisser une évaluation.

    Commentaires - Veuillez sélectionner les onglets ci-dessous pour changer la provenance des commentaires.

    Commentaires Audible.fr

    Commentaires Amazon
    Il n'y a pas encore de critique disponible pour ce titre.