Други општински суд у Београду основан је 5. фебруара 1945. године под називом Други народни срески суд за I, IX и X рејон града Београда. Законом од 17. маја 1945. године постаје надлежан за III рејон града Београда, а маја 1947. године мења назив у Други срески суд за град Београд.

Територијална надлежност Другог среског суда била је утврђена одлуком из јуна 1955. године и то за подручја београдских општина Железник, Западни Врачар, Раковица, Савски венац, Топчидерско брдо, Теразије и Чукарица. Као последица нове територијалне организације, тј. формирања градских општина 1952. године, суд је јуна 1966. године променио назив у Други општински суд у Београду. Тада је његова надлежност обухватала подручја општина Савски венац и Чукарица, а општина Раковица поново је прешла у надлежност овог суда децембра 1974. године.

Од завршетка изградње зграде Палате правде 1974. године, седиште Другог општинског суда у Београду налази се у ул. Савска бр. 17а, некадашња ул. Слободана Пенезића – Крцуна.