Nachdem wirklich jede Bude irgendein LLM in seine Workflows einbaut, bin ich trotzdem erstaunt, wie wenig darüber nachgedacht wird. Modelle sind keine Fundamente für eine dauerhafte Ausführung, sondern prinzipbedingt Services mit beschränkter Lebensdauer.
Daten werden gescraped/zusammengetragen, gibt es einen cut-off und dann beginnt das Learning. Monate später wird das Modell dann als Inferenz-Service angeboten, aber ohne eine genaue Angabe, wie lange das Modell verfügbar sein wird. Auch das cut-off-Datum ist oft nicht transparent.
Wer also einen Dienst baut und dafür ein Modell einsetzt, muss sich Gedanken darüber machen, wie zukünftig ein Nachfolgemodell oder eine Alternative eines anderen Anbieters verwenden werden kann. Zwar hat sich mehr oder weniger überall der Protokollstandard von OpenAI etabliert, trotzdem kann man nicht einfach „binär“ den Hebel umlegen.
Der von mir vorgeschlagene Weg ist es, in der Übergangsphase die Anfragen mindestens an ein zweites LLM zu schicken und dann die beiden Ergebnisse abseits der Anwendung auszuwerten.
Besonders kritisch wird es, wenn man die LLM-Anfrage dahingehend formuliert, dass strukturierte Ergebnisse ausgegeben werden sollen. Da gibt es weiterhin große Unterschiede und Inkonsistenzen.