Sejarah Desa Seda tidak ada dalam catatan administrasi pemerintah Seda, namun salah satu perngkat dsa yaitu Pak Ucu mengetehui awal mula terbentuknya Desa Seda. Cerita ini di ceritakan oleh orang tuanya bahwa Desa Seda merupaka pemukiman yang berpindah-pindah. Masyarakat biasa menyebutnya dengan kata dukuh yang artinya pemukiman. Awal pembukaan lahan untuk pemukiman terletak di bawah desa yaitu dekat dengan sungai, lalu berpindah ke sebelah timur dan terakhir berpindah ke pemukiman saat ini.
Nama Seda bersal dari bahasa Jawa yaitu Sedo yang artinya mati atau meninggal.
Namun mati disini bukan bermakna mati kehidupan masyarakatnya tetapi bermakna mati-mati yang lainnya. Seperti saat ini mati suasananya karena sudah banyak masyarakat Desa Seda yang merantau ke luar kota sehingga Desa Seda banyak dihuni oleh orang tua, anak-anak hingga anak remaja saja. Semasa dulu masayrakat mempercayai bahwa Desa Seda dikelilingi oleh pintu-pintu gaib salah satu benda keramatnya yaitu tugu tapal yang berlokasi di pintu masuk Desa Seda. Jika datang ke Desa Seda lewat Mandirancan maka akan melewati tugu tapal, biasanya pedagang- pedagang yang datang ke Desa Seda msering melakukan sawer (melempar uang koin) hal ini dipercayai untuk memudahkan usaha dagangnya. Rata-rata pedagang yang dayang berasal dari daerah kedawung dan sumber.