Anthropic hat mit BioMysteryBench einen neuen Evaluierungsrahmen vorgestellt, der die Leistung seines Modells Claude bei realen Aufgaben aus der Bioinformatik messen soll. Der Benchmark behauptet, dass Claude in bestimmten Szenarien das Niveau menschlicher Experten erreicht. Solche vom Modellentwickler selbst erstellten Benchmarks werden in der KI-Community kritisch beäugt, da sie auf die Stärken der eigenen Modelle zugeschnitten sein können. Der Artikel bei The Decoder weist explizit auf wichtige Einschränkungen der Ergebnisse hin, ohne die die Aussagekraft schwer einzuordnen ist. Bioinformatik gilt als besonders anspruchsvolles Testfeld, da es tiefes Fachwissen aus Biologie, Statistik und Informatik vereint.