#ndwgoecountdown Space Electronics: Elektronikentwicklung und Vakuumtechnik
Elektronik für Weltraumexperimente muss den besonderen Bedingungen im All standhalten. Sie wird nach speziellen Vorgaben entwickelt, gebaut und unter Weltraumbedingungen getestet. Mitarbeitende des Elektroniklabors zeigen einen Arbeitsplatz mit Lötstationen und Mikroskop und demonstrieren, wie man im L…
#ndwgoecountdown Jupiter: Gasriese im Sonnensystem
Jupiter ist der größte Planet im Sonnensystem; seine Wolkenwirbel und -bänder geben uns Rätsel auf. Unter Eisschichten verbergen seine Monde Europa und Ganymed Ozeane, in denen sich Leben entwickelt haben könnte. Das MPS stellt Weltrauminstrumente vor, die an Bord der Raumsonde JUICE auf dem Weg zum Jupiter sind. Mit Wolkenwir…
Low-rank Momentum Factorization for Memory Efficient Training
Pouria Mahdavinia, Mehrdad Mahdavi
https://arxiv.org/abs/2507.08091 https://arxiv.org/pdf/2507.08091 https://arxiv.org/html/2507.08091
arXiv:2507.08091v1 Announce Type: new
Abstract: Fine-tuning large foundation models presents significant memory challenges due to stateful optimizers like AdamW, often requiring several times more GPU memory than inference. While memory-efficient methods like parameter-efficient fine-tuning (e.g., LoRA) and optimizer state compression exist, recent approaches like GaLore bridge these by using low-rank gradient projections and subspace moment accumulation. However, such methods may struggle with fixed subspaces or computationally costly offline resampling (e.g., requiring full-matrix SVDs). We propose Momentum Factorized SGD (MoFaSGD), which maintains a dynamically updated low-rank SVD representation of the first-order momentum, closely approximating its full-rank counterpart throughout training. This factorization enables a memory-efficient fine-tuning method that adaptively updates the optimization subspace at each iteration. Crucially, MoFaSGD leverages the computed low-rank momentum factors to perform efficient spectrally normalized updates, offering an alternative to subspace moment accumulation. We establish theoretical convergence guarantees for MoFaSGD, proving it achieves an optimal rate for non-convex stochastic optimization under standard assumptions. Empirically, we demonstrate MoFaSGD's effectiveness on large language model alignment benchmarks, achieving a competitive trade-off between memory reduction (comparable to LoRA) and performance compared to state-of-the-art low-rank optimization methods. Our implementation is available at https://github.com/pmahdavi/MoFaSGD.
toXiv_bot_toot
Multilayer Artificial Benchmark for Community Detection (mABCD)
{\L}ukasz Krai\'nski, Micha{\l} Czuba, Piotr Br\'odka, Pawe{\l} Pra{\l}at, Bogumi{\l} Kami\'nski, Fran\c{c}ois Th\'eberge
https://arxiv.org/abs/2507.10795
What's the opposite of a snowbird? I'm going to start summering in Montreal. Or even further north..
https://flipboard.com/@gothamist/gothamist-igeoft02z/-/a-8mMvqdG0TBu8rLQV9dpBmg:a:3807498986-/0
On the relaxation of polyconvex functionals with linear growth under strict convergence in $BV$
Riccardo Scala
https://arxiv.org/abs/2508.11041 https://arx…
#PhDCongratulations! 🥳🥳🥳Jonathan Nölke of the #IMPRS “Solar System School” has successfully defended his PhD thesis “Dark features in the solar corona and the underlying magnetic field studied with Solar Orbiter” ☀️🛰️🔭 at
@…
#ndwgoecountdown Feinmechanik für die Weltraumforschung
In den Werkstätten des MPS werden hochpräzise Werkstücke für die Weltraumforschung gefertigt. Einige dieser Stücke stehen heute auf dem Mars, einem Kometen und dem Saturnmond Titan oder fliegen an Bord von Raumsonden durchs Weltall. Die Feinmechaniker*innen bieten Einblicke in ihre Arbeitsweise und -geräte. Mit vielen Ans…
The German radio station "Bayern 2" has devoted the latest episode of its show “IQ” to the #Sun - and to Solar Orbiter’s first views of the solar poles. Interview partner is Sami Solanki of #mpsgoettingen :
#ndwgoecountdown Vortrag – Wie alt ist eigentlich der Mond?
Wer verrät schon gerne seine Alter? Der Mond jedenfalls nicht! Seit Langem bemühen sich Forschende, die Geburtsstunde unseres kosmischen Begleiters zu bestimmen. Wichtigster Anhaltspunkt: Mondgestein, von Apollo-Astronauten zurück zur Erde gebracht. Der Vortrag von Prof. Kleine gibt einen Überblick über den aktuellen …