Das Unternehmen wurde 1869 von Mr. Marcus Goldman gegründet und 1885 von Henry Goldman und Samuel Sachs übernommen, die es zunächst erfolgreich im Commercial Paper Business, später auch im Underwriting Business wachsen ließen. Um 1900 hatte Goldman einen hervorragenden Ruf und erst 1918 erste Schwierigkeiten als Henry Goldman aufgrund seiner deutschen Wurzeln während der Anti-Deutschen Stimmung in den USA aus dem Unternehmen austrat. Die Familie Sachs führte das Unternehmen anschließend weiter, auch durch die Weltwirtschaftskrise 1929, die dem Unternehmen schweren Schaden zufügte. Dennoch gelang es der Familie Sachs in den Folgejahren Goldman Sachs erfolgreich wieder aufzubauen.