Menurut cerita nenek moyang, pertama kali yang membuka Desa Argosari adalah Mbah Ki Tanjung Sari yang makamnya diperkirakan di sekitar RT 01 dan RT 02 RW 01 (di depan Masjid Darul Jalal). Kemudian, sesepuh yang kedua yaitu Ki Bodong dan makamnya terletak di Rt 04 Rw 01. Makamnya masih ada hingga kini namun kurang begitu terawat. Konon, di sekitar makam Mbah Ki Bodong sering di temukan benda-benda pusaka, di tahun 1990-an ke bawah, dan itupun sudah hilang sekitar tahun 1990-an. bahkan, banyak orang yang bermalam di makam. Keturunan-keturunan dari kedua sesepuh inilah yang mendiami Desa Argosari, dan ditambah juga pendatang-pendatang yang bermunculan.