Die gelbe Mühle gehört im ausgehendes 18. Jahrhundert zur Bühlertäler Eisenschmelze und wird als Hammerschmiede betrieben.
1803 heißt sie Back´sche Mahlmühle nach ihrem Eigentümer Berginspektor Back.
Ein umfangreicher Umbau 1836 macht sie zum wertvollsten Privatgebäude im Ort.
Holzmüller Balthasar Hüpp erwirbt sie 1877, seither trägt sie den Namen „Gelbe Mühle“. 1925 wird der Betrieb als Mahl- und Kundenmühle aufgegeben.
Die gelbe Mühle wird viele Jahre als als Wohnhaus genutzt, bevor sie 1990 der ortsansässige Rechtsanwalt und Stadtrat Willi Hörth erwirbt. Nach grundlegender Sanierung beherbergt das Gebäude seither eine angesehene Anwaltskanzlei:
Altschwierer Heimatfreunde e.V. 