@aiappsapi@mastodon.social I agree that per-query values have limited meaning given all the variability in the context of how they're used.
That said, although I don't know an empirical study of this, I think there are many contexts in which a cheaper model has a much lower footprint. In fact, a recent study out of Stanford et al. found re-reading context was one of the reasons agentic tasks blew up compute
Et toujours ce mardi, le Bund affirmait que le groupe de hackers Akira, semble-t-il Š l’origine de ce vol, avait aussi volé des informations de plus de 100 000 employés fédéraux, y compris des agents secrets, des soldats d’élite et d’anciens membres du Conseil fédéral. Les pirates auraient dérobé 100 gigaoctets de données, puis effacé toutes les données stockées sur le serveur des entreprises. https://www.letemps.ch/cyber/la-suisse-fait-face-a-une-cyberattaque-majeure-des-donnees-sensibles-de-centaines-de-milliers-de-personnes-ont-ete-volees
Es herbstelt gewaltig, die Vögel machen sich vom Acker. Aber die hier fliegen Dir nicht weg!
(die handgemalten Schwälbchen-Originale sind im #wandklex Shop auf #birds #art #ArtShop #fediArt #mastoArt #creativeToots #artForSale #watercolor