Nach der Eroberung des babylonischen Reiches durch die Perser 539 v.d.Z. kehrten viele Juden nach Juda zurück, der Tempel in Jerusalem wurde neu erbaut und das jüdische Leben im Lande wiederhergestellt. In den folgenden vier Jahrhunderten erfreuten sich die Juden eines hohen Maßes an Autonomie unter persischer und hellenistischer Vorherrschaft. Spätere Maßnahmen der herrschenden Seleukiden zur Unterdrückung jüdischer Religion und jüdischer Bräuche führten schließlich zum Makkabäer (Hasmonäer) Aufstand (168 v.d.Z.). Ihm folgte die Errichtung eines unabhängigen jüdischen Königreichs unter jüdischen Königen der Hasmonäer Dynastie, die ungefähr 80 Jahre Bestand hatte.

Nach 60 v.d.Z. geriet das von politischen Streitigkeiten geschwächte Land zunehmend unter römische Herrschaft. Ein Versuch, sich vom römischen Joch zu befreien, führte zu einer Reihe jüdischer Aufstände, die ihren Höhepunkt in der Revolte von 66 d.Z. erreichten. Nach vier Jahren immer wieder auflebender Kampfhandlungen fiel Judäa (Juda), der Zweite Tempel wurde bis auf die Grundmauern niedergebrannt und viele Juden wurden des Landes verwiesen (70 d.Z.). Ein letzter Widerstand gegen die Römer von etwa 1 000 Juden, der 73 d.Z. in der Bergfestung Massada mit dem Massenselbstmord der Verteidiger endete, wurde zum Symbol der Freiheit des jüdischen Volkes im eigenen Land.

Unter römischer (70-313) und byzantinischer (313-636) Hegemonie erhielt die jüdische Bevölkerung des Landes ihre Institutionen auf den Gebieten des Rechts, der Erziehung und der Kultur aufrecht und setzte deren Entwicklung weiter fort. Die sich mit allen Aspekten des Lebens befassende jüdische Gesetzgebung wurde in der Mischna (2. Jahrhundert) kodifiziert und im Talmud (3.-5. Jahrhundert) ausführlich erläutert. Diese Gesetze, von denen einige in späteren Zeiten den veränderten Voraussetzungen angepaßt wurden, sind noch heute für gläubige Juden verbindlich.

Ein weiterer Versuch der Juden, ihre nationale Souveränität zurückzugewinnen (Bar-Kochba-Aufstand, 132 d.Z.), führte zur Errichtung einer unabhängigen jüdischen Enklave in Judäa mit Jerusalem als Hauptstadt. Drei Jahre später schlugen die Römer Bar-Kochba nieder und änderten den Namen Jerusalems in Aelia Capitolina und den des Landes in Palaestina, um dadurch die jüdische Verbindung zu dem Land zu beseitigen.

Seit dem 7. Jahrhundert wurde das Land nacheinander von Arabem (636-1091), Seldschuken (1091-1099), Kreuzrittem (1099-1291), Mamelucken (1291-1516), osmanischen Türken (1517-1917) und den Briten (19181948) beherrscht. Die Grenzen wurden Veränderungen unterzogen und der Name des Landes nach der Laune des jeweiligen Herrschers geändert. Viele Bauten, die von den verschiedenen Eroberem des Landes errichtet wurden, geben Zeugnis von ihrer Anwesenheit im Lande.

Die jüdische Bevölkerung verringerte sich zwar während der Jahrhunderte fremder Besatzung, doch die Juden blieben die ganze Zeit über im Lande, und ihre Zahl wurde von Zeit zu Zeit verstärkt durch Juden, die in ihre nationale Heimstätte aus Ländern zurückkehrten, in die sie zerstreut worden waren ein Rinnsal zuerst, das Mitte des 19. Jahrhunderts zu einem Strom wurde.