A primeira colônia gaúcha foi em Philippson, região de Santa Maria, em 1904, com 37 famílias originárias da Bessarábia. Em 1906, foi criada ali a primeira escola judaica no Brasil na qual se ensinou o currículo oficial brasileiro. Em 1908, a colônia tinha 299 habitantes. Em 1912, foi estabelecida a colônia Quatro Irmãos, que chegou a contar com mais de 350 famílias divididas em quatro núcleos: Quatro Irmãos, Baroneza Clara, Barão Hirsch e Rio Padre. Em cada um dos núcleos, funcionou uma escola que ensinava o currículo oficial e o judaico. Em 1915, a população em Quatro Irmãos atingiu 1.600 pessoas.
Na década de 1920, a maioria dos colonos da JCA já havia se mudado para Porto Alegre e também criado pequenas comunidades no interior do Estado: Santa Maria (1915), Pelotas (União Israelita Pelotense, 1920), Rio Grande (Sociedade Israelita Brasileira, 1920), Passo Fundo (União Israelita Passo-Fundense, 1922), Erechim (Sociedade Cultural e Beneficente Israelita, 1934) e também Erebango, Cruz Alta e Uruguaiana.
Entre os fatores que levaram os imigrantes a deixar as colônias, podem-se citar a falta de experiência agrícola e o isolamento dos colonos, a má qualidade das terras, a falta de crédito, a pressão do interesses da própria JCA, a falta de apoio governamental e um levante militar ocorrido no Rio Grande do Sul, que devastou a região em 1923, pois as colônias ficavam ao longo de estratégicas estradas de ferro.
Nesse sentido, cabe destacar que não foi apenas a falta de preparo para a agricultura que definiu o abandono de Phillipson e Quatro Irmãos(as outras colônias - Barão Hirsh, Baronesa Clara e Rio Padre - em poucos anos, também foram abandonadas), mas a incompatibilidade com todo o modo de viver desses indivíduos. A falta de espaços de sociabilidade, como instituições culturais e/ou religiosas, ausência de atividades comerciais, vão reforçar o clima hostil apresentado pela colônia e não permitir a adaptação dos indivíduos nas mesmas. A cultura das comunidades judaicas prioriza esses locais de encontro da comunidade.Da incompatibilidade com esses espaços iniciou o processo migratório dos judeus no Rio Grande do Sul.Por necessidade de sobrevivência, o que pode ser compreendido em um sentido amplo como questões de caráter econômico e cultural, a comunidade judaica que saia das colônias agrícolas priorizou centros urbanos, em especial, a cidade de Porto Alegre.
A mobilidade das comunidades judaicas no Brasil revela o quanto o espaço urbano é fundamental para que essa comunidade realmente se estabeleça e concretize sua identidade em uma nova localidade.A necessidade da vida urbana era condição indispensável para a consolidação da vida comunitária judaica.
Em Porto Alegre, a comunidade se estabeleceu a partir dos anos 1910, quando imigrantes da Europa Oriental fundaram a União Israelita. Em 1915, o primeiro jornal judaico do Brasil, Di Menshhayt, em iídiche, foi publicado. O Centro Israelita Porto-Alegrense foi fundado em 1917. Em 1922, imigrantes sefaradim criaram o Centro Hebraico Rio-Grandense.