Pierwowzoru usług Family Office można doszukiwać się w funkcji majordomusa, czyli zarządcy dworu i dóbr królewskich. W krajach frankońskich o takim stanowisku wspominano już w VI wieku. Z czasem zapotrzebowanie na taką osobę pojawiło się w rodzinach z wyższej klasy społecznej, choć niezwiązanych z dworem. Majordomus ewoluował w zarządcę majątku i administratora dóbr.

To, co dziś nazywamy Family Office, powstało w połowie XIX wieku w USA wraz z rozwojem wielkich fortun. Na własny użytek Family Office stworzyła jedna z najbogatszych wówczas rodzin w Ameryce J.P. Morgan (John Pierpont Morgan był twórcą istniejącej do dziś fortuny i słynnego banku JP Morgan). Do stworzonego House of Morgan dołączyły rodziny Carnegies i Rockefellerów. Ich Family Office funkcjonuje do dziś.

Wraz z rosnącą liczbą zamożnych rodzin powstawało coraz więcej Family Office. Zapotrzebowanie potęgowało się, wraz z dynamicznym rozwojem rynków finansowych. W latach 80 i 90. ubiegłego wieku coraz większa liczba rodzin należących do klasy wyższej spowodowała znaczący wzrost popytu na usługi związane z profesjonalnym doradztwem w zarządzaniu inwestycjami i majątkiem.

Szacunkowe dane pokazują pokazują, że na świecie może działać nawet cztery tysiące instytucji Family Office, z czego zdecydowana większość w USA.