Pada zaman pemerintahan Jepun dalam tahun (1942 - 1945) sebuah sekolah telah didirikan secara gotong-royong oleh penduduk di sekitar Kampung Sungai Baru di atas tapak kepunyaan Tok Haji Jaafar. Jumlah murid-murid berdaftar belajar seramai 30 orang dan seorang guru yang mengajar secara sukarela tanpa dibayar gaji sesen pun. Riwayat hayat sekolah tersebut tidaklah kekal lama dan akhirnya diturup begitu sahaja.

      Dalam tahun 1952, sebuah sekolah baru telah didirikan di atas tapak tanah kepunyaan Encik Abdul Razak bin Man. Bahan-bahan binaannya adalah bekas bangunan lama iaitu bangunan Sekolah Melayu Kangar yang dihadiahkan oleh Jabatan Kerja Raya (JKR) Perlis. Tokoh penting dalam usaha mendirikan sekolah ini ialah Allahyarham Tuan Haji Abdul Karim bin Md Noor, bekas guru Quran di sekolah Melayu yang sangat disegani oleh semua masyarakat tempatan kerana sifat mulianya dan daya gigih yang tidak ada tolok bandingnya. Beliau dibantu oleh Encik Choh bin Abdul Samad. Sekolah ini dikenali sebagai Sekolah Rakyat Sungai Baru, Perlis dan ditadbir oleh sebuah Lembaga Didik. Ketika itu murid yang berdaftar seramai lapan puluh lima orang dan guru yang mengajar seramai empat orang iaitu Cikgu Abdul Ghani bin Yom sebagai Guru Besar, dibantu oleh tiga orang guru biasa iaitu Cikgu Salim bin Shaari, Cikgu Ismail dan Cikgu Salim.

      Bangunan sekolah ini dibuka dengan rasminya oleh DYMM Tuanku Syed Putra ibni Almarhum Syed Hassan Jamalulail, Raja Perlis pada 6 September 1952. Pada 3 Julai 1955, kerajaan negeri telah mengambil alih pentadbiran sekolah ini dan seterusnya melantik YM Ku Sulung Ku Akob sebagai guru besar yang pertama mentadbir sekolah ini.

 Pada tahun 1980 sekolah ini telah mendapat perhatian Kementerian Pendidikan Malaysia dimana sebuah bangunan baru dua tingkat telah dibina. Bangunan ini terdiri daripada tujuh buah bilik darjah, sebuah bilik perpustakaan, sebuah bilik TV pendidikan dan sebuah pejabat. Disamping itu sebuah kantin dan sebuah padang permainan telah juga disediakan demi untuk kegunaan dan kebaikan murid-murid disekolah ini.

     Pada tahun 1987 sebuah bangunan gotong royong yang mengandungi dua buah bilik darjah telah dibina dibawah Projek Gotong Royong Kementerian Pendidikan Malaysia dengan peruntukan sebanyak RM 20000 (Ringgit Malaysia Dua Puluh Ribu Sahaja). Pada tahun 1989 pula bangunan dua tingkat pula telah dibina dengan empat buah bilik darjah, sebuah perpustakaan yang telah diubahsuai dan sebuah bilik tayang.

      Pada Akhir tahun 1993 sekolah yang telah beroperasi membina sebuah bangunan Asrama Desa untuk dihuni oleh anak-anak didik sekolah ini. Tiang - tiang kayu adalah kayu-kayu pemberian dari Lembaga Letrik Negara (sekarang dikenali sebagai Tenaga Nasional Berhad) sebanyak 50 batang dengan harga cuma RM 1.00 sebatang. Lain-lain alatan pembinaan adalah hasil wang juga dari pihak perseorangan. Akhirnya pada awal tahun 1994 maka terbinalah sebuah asrama yang telah diberi nama Asrama Desa Sekolah Kebangsaan Sungai Baru, Perlis. Hasil projek gotong-royong penduduk tempatan, guru-guru serta kakitangan sekolah dan terutamanya ahli Persatuan Ibu Bapa dan Guru (PIBG) yang berkerja keras banyak memainkan peranan penting dalam usaha pembinaan ini. Asrama ini mempunyai penyelia asrama berjawatan tetap dibantu oleh seorang pengasuh dan seorang pelayan asrama. Penghuni asrama ini dibawah kawalan seorang warden asrama iaitu guru sekolah ini. Penghuni asrama seramai 50 orang dimana setiap perbelanjaan makan dan minum serta perbelanjaan bersangkutan dengan pembelajaran murid-murid penghuni asrama ini dibantu sepenuhnya oleh Kementerian Pendidikan Malaysia. Pada tahun 1994 juga, pihak Kementerian Pendidikan Malaysia telah membina dua buah rumah guru berhampiran dengan bangunan Asrama Desa.