Die Kosten für das Trainieren von Large Language Models (LLMs), auf denen KI-Anwendungen wie ChatGPT oder Gemini von Google basieren, sind mit dem technischen Fortschritt besagter Modelle explodiert. Berechnungen aus einem im Juni 2024 veröffentlichten Paper des KI-Forschungsinstitutes Epoch AI zeigen beispielsweise, dass die Entwicklungskosten für Gemini zwischen 30 und 191 Millionen US-Dollar und für GPT-4 zwischen 41 und 78 Millionen US-Dollar lagen. Die tatsächlichen Ausgaben dürften allerdings weitaus höher sein.
So geben die Autor:innen des Papers an, dass Gehälter und potenzielle Unternehmensanteile der Angestellten der jeweiligen Firmen nicht berücksichtigt wurden. Diese könnten für Zusatzkosten von 29 bis 49 Prozent der Trainingskosten sorgen. Sam Altman, CEO von OpenAI, hatte in der Vergangenheit bestätigt, dass GPT-4 mehr als 100 Millionen US-Dollar gekostet habe, was Berechnungen der Uni Stanford unterstützt.
Rückblickend waren die Kosten für frühere KI-Modelle viel niedriger. GPT-3 kostete 2020 nur etwa 2 bis 4 Millionen Dollar, während Geminis Vorgänger PaLM im Jahr 2022 zwischen 3 und 12 Millionen Dollar kostete. Selbst bei diesen Preisen könnte es für Institutionen, die in der KI-Forschung aktiv sind, schwierig gewesen sein, mit großen Tech-Firmen Schritt zu halten. Die Preisspanne lässt sich dadurch erklären, dass die Autor:innen der Studie verschiedene Berechnungsgrundlagen nutzen: Zum einen das Trainieren über externe Cloud-Dienste, was höhere Kosten verursacht, zum anderen das Training mit eigener Hardware, was sich über einen längeren Zeitraum schneller amortisiert.
Während ChatGPT im Herbst 2023 um Audio- und Bildfunktionalität ergänzt wurde, basierte es ursprünglich auf Texteingaben. Gemini und seine App waren hingegen von Anfang an als multimodales LLM konzipiert. Dies könnte die niedrigeren anfänglichen Trainingskosten für ChatGPT erklären. Andererseits könnte Geminis allgemeiner Fokus auf die Integration in bestehende Apps – zum Beispiel die KI-gestützte Bildbearbeitung in nativen Smartphone-Apps – höhere Kosten gerechtfertigt haben. (Quelle: Statista/cw)
