Kaliasem adalah asal kata dari Kali dan Asem, maksudnya adalah Kali merupakan terjemahan dari Tukad (yang tadinya Tukad Cebol) sedangkan Asem adalah asal kata sebutan dari Karangasem, sebab bagaimanapun juga warga Desa tersebut sebagian besar datang dari beberapa Desa yang ada di Karangasem, termasuk orang yang mengajukan nama Kaliasem itu sendiri. Dipandang dari kenyataan bahwa telah dibentuk Desa Adat Seraya yang khusus dari warga orang-orang Karangasem, yang terdiri dari berbagai Desa sebelum itu. Sehingga pada kesimpulannya dikemukakan bahwa KALIASEM adalah merupakan merupakan manifestasi dari dua bagian wilayah Penduduk Desa itu, yaitu dari Tukad Cebol (yang kebanyakan dari daerah Buleleng) dan Warga Penduduk yang berasal dari Karangasem. Dengan demikian perpaduan dari kedua asal daerah itu perlu ditingkatkan melalui satu nama yang telah disetujui yang nantinya merupakan tombak ukur dalam Pembangunan Desa pada umumnya.

Desa Kaliasem kemudian mejadi lebih dikenal masyarakat pariwisata dan masyarakat bisnis buah-buahan. Jeruk Kaliasem yang disebut Jeruk Seraya kala itu menjadi rebutan para pedagang-pedagang buah dari Jakarta.