ประวัติศาสตร์อำเภอขลุง เริ่มจากการค้นพบศิลา จารึกขลุง ซึ่งเป็นหินทรายสีแดงใช้อักษร ปัลลวะ พุทธศตวรรษ 12 (อยู่ระหว่างปี พ.ศ. 1101 ถึง พ.ศ. 1200 การกำหนดอายุ ศ. ยอร์ช เซเดส์ ได้สรุปรูปแบบอักษรไว้พอสังเขปว่า    เป็นอักษรที่ใช้กันโดยทั่วไปใน คริสต์ศตวรรษที่ 7 หรือ ราวพุทธศตวรรษที่ 12 - 13 ซึ่งก็ร่วมสมัยกันกับจารึกวัดสระบาปและจารึกวัดทองทั่ว ซึ่งทางหอสมุดแห่งชาติได้กำหนดอายุตามตัวอักษรเป็นอักษรปัลลวะ อายุราวพุทธศตวรรษที่ 12 ดังนั้น ในเบื้องต้นนี้ จึงขอกำหนดอายุไว้ที่พุทธศตวรรษที่ 12)

เป็นภาษาสันสกฤต จำนวนด้าน 1 ด้าน มี 4 บรรทัด ลักษณะวัตถุเป็นชิ้นส่วนจารึกแตกหักมาจากแท่งหินทรงสามเหลี่ยมด้านเท่า ขนาดกว้างด้านละ 18 ซม. รายละเอียดบัญชี/ทะเบียนวัตถุ พบใน 1) วารสาร Bulletin de l’École Française d’Éxtrême - Orient ฉบับที่ 24 กำหนดเป็น “Nouvelles Inscriptions de Chantaboun : Inscription de Khălŭng” 2) ในหนังสือ Inscriptions du Cambodge เล่ม 8 กำหนดเป็น “K. 5103” ค้นพบเมื่อ พุทธศักราช 2461 ใกล้ที่ว่าการอำเภอขลุง อำเภอขลุง จังหวัดจันทบุรี ปัจจุบันไม่ปรากฏหลักฐานว่าเก็บรักษาอยู่ที่ใด แต่มีการพิมพ์เผยแพร่ใน 1) Bulletin de l’École Française d’Éxtrême - Orient XXIV (Paris : École Française d’Extrême – Orient, 1๙24) : 352 - 353. 2) Inscriptions du Cambodge vol. VIII (Hanoi : Imprimerie d'Extrême - Orient, 1966), 158 – 159.

      จารึกหลักนี้ ถูกกล่าวถึงเป็นครั้งแรกในวารสารสำนักฝรั่งเศสปลายบูรพาทิศ (Bulletin de l’École Française d’Éxtrême - Orient) ฉบับที่ 24 ปี พ.ศ. 2467 โดย ศ. ยอร์ช เซเดส์ ได้รายงานเกี่ยวกับจารึกพบใหม่ที่มณฑลจันทบูร (ปัจจุบันคือ จังหวัดจันทบุรี) จำนวน 3 ชิ้น ในบทความชื่อ กัมพูชาศึกษา (Etudes Cambodgiennes) หัวข้อที่ 18 เรื่อง “การขยายตัวของอาณาจักรกัมพูชา ไปทางตะวันตกเฉียงใต้ ในคริสต์ศตวรรษที่ 7 (ราวพุทธศตวรรษที่ 13) (จารึกหลักใหม่พบที่จันทบูร)”   จารึกดังกล่าวพบที่อำเภอขลุง จังหวัดจันทบูร

มีประวัติว่ามีผู้ใหญ่บ้านผู้หนึ่งขุดพบโดยบังเอิญในขณะที่กำลังทำสวนพริกไทย ซึ่งตั้งอยู่ข้างๆ ศาลเจ้า (โรงเจ) ใกล้กันกับที่ว่าการอำเภอขลุงที่อยู่สุดปลายคลอง ต่อมา หลวงธรรมาภิมณฑ์ (ถึก จิตรกถึก) ซึ่งมีถิ่นกำเนิด ณ ตำบลตะปอนน้อย เจ้าหน้าที่หอพระสมุดวชิรญาณทราบเรื่องจึงได้แจ้งให้ ศ. ยอร์ช เซเดส์ ทราบเมื่อปี พ.ศ. 2461 เรื่องราวเกี่ยวกับจารึกขลุงนี้ ดูเหมือนว่าจะมีกล่าวถึงอยู่แต่ในวารสารฝรั่งเศสปลายบูรพาทิศ เท่านั้น เนื่องจากตรวจสอบแล้วไม่ปรากฏว่าทางหอสมุดแห่งชาติได้มีการอ่านและแปลจารึกหลักดังกล่าวแต่อย่างใด เนื่องจากศิลานี้จารึกชำรุดมาก จึงทราบแต่เพียงว่าเป็นจารึกที่กล่าวถึงการทำบุญ โดยพระราชาพระองค์หนึ่งไม่ทราบพระนาม เนื่องจากตรงที่เป็นพระนามชำรุดหายไป ซึ่งอาจมีนามว่า ศรีจานทรายณนาถะ อันเป็นนามที่ปรากฏในอีกบรรทัดต่อมา ไม่ปรากฏหลักฐานผู้สร้าง

                    คำแปลเป็นภาษาไทย: ตรงใจ หุตางกูร (พ.ศ. 2467)

                    1. อาษาธะ . . . . . . . . . . . . . . . . . . . . . . . . . . .
                    2. การบริจาคของพระราชาศรี . . . . . . . . . . . . .
                    3. ทั้งปวงนี ้โดยศรีจานทรายณนาถะ . . . . . . . .
                    4. ผู้ใดก็ตาม แสดงกิริยาแปลก โดยความคลุ้มคลั่ง

ในส่วนของชื่อนั้น มีผู้กล่าวว่า ขลุง เป็นภาษาชอง ซึ่งเป็นชนเผ่าโบราณเผ่าหนึ่ง มีภูมิลำเนาอยู่ในท้องที่อำเภอต่างๆ ของจังหวัดจันทบุรี (ปัจจุบันส่วนใหญ่อยู่ที่อำเภอมะขาม) ซึ่งมีความหมายว่า ที่ลุ่ม ๆ ดอน ๆ น้ำท่วมถึง เนื่องจากภูมิประเทศของขลุงเป็นที่ ที่มีภูเขา แม่น้ำ และทะเลติดต่อกัน จึงสอดคล้องกับความหมายที่ได้เรียกขานกันมา

คุณวิกิจ สุขสำราญ (ไต้ฝุ่นเว้) ลูกวัดขลุง โดยกำเนิด ให้แนวคิดความหมายของอำเภอขลุงว่า มาจากคำว่า “โขลง” หรือ “โขลงช้าง” เนื่องจากในสมัยก่อนนั้นพื้นที่อำเภอขลุง น่าจะมีช้างอาศัยอยู่เป็นจำนวนมาก และเมืองขลุงนี้น่าจะเป็นเมืองขึ้นของของอาณาจักรขอม (เขมร) ซึ่งจะต้อนช้างไปที่เมืองเพนียด จันทบูร แล้วคัดช้างส่งไปใช้แรงงาน ในอาณาจักร มูลเหตุสำคัญอันที่จะทำให้เชื่อได้ว่า เมืองขลุง มาจากคำว่า โขลง (โขลงช้าง) ก็คือ ตำบล-หมู่บ้าน ต่างๆ พื้นที่ของอำเภอขลุงหลายแห่งมีชื่อที่สอดคล้องกับกับถิ่นที่อยู่ของช้าง ซึ่งกินไผ่เป็นอาหาร เช่น บ้านเวฬุวัน (เวฬุ แปลว่า ป่าไผ่), บ้านช้างข้าม, บ่อเวฬุ เป็นต้น และในปัจจุบันก็ยังคงมีช้างอยู่ในบริเวณตำบลบ่อเวฬุ (จากข่าวเมื่อวันที่ 25 ตุลาคม ค.ศ.2007 (พ.ศ.2550)

เดิมที่เดียวอำเภอขลุงเป็น “เมือง” มีเจ้าเมืองปกครองเรียกกันว่า “เมืองขลุง” (หรือเมืองขลุงบุรีย์ ตามหลักฐานเมื่อปี จ.ศ.1233/ค.ศ.1871/พ.ศ.2414) โดยมีบันทึกในพงศาวดารเขมร เขียนถึงเมืองขลุงไว้ว่า “ในสมัย จ.ศ.1143 (ค.ศ.1781/พ.ศ.2324) เมื่อเดือนอ้าย พระเจ้าตากทรงทราบข่าวว่า บรรดาขุนนางเขมรคืนเข้ามากับญวน ตรัสใช้พระราชบุตรชื่อ พระเจ้าน้อย กับเจ้าพระยาจักรี เจ้าพระยาสุรสิงห์ นำไพร่พลสองหมื่นแยกไปสามทาง ฯลฯ

  

กองทัพพระเจ้าน้อย มาทางเมืองปัตบอง เมืองตะคร้อ เมืองขลุง เมืองตรอง เมืองบริบูรณ์ มาถึงบ้านตรึงบรรไลย บรรดาราษฎรตกใจพากันลงเรือมาถึงพนมเพ็ญไปจอดอยู่ฟาก เกาะลว้าเอม พระบาทบรมบพิตรไปอยู่ ณ เกาะเกิด    พระยากลาโหมชู  ตั้งตัวขึ้นเป็นสมเด็จเจ้าพระยา    ตั้งค่ายรายทัพอยู่จะโรยจังวา ฯลฯ

พระยาวังว่าราชการกรมวัง พระยาศรีทิพเนตร เป็นปลัดขวา พระยาเนตรอุไทยเป็นปลัดซ้าย พระเทพเสนาเสมียนตรา มีเมืองขึ้นคือ พระยาสวรรคโลกเจ้าเมืองโปริสาท พระยาแสนสงครามเจ้าเมืองศรีสุนทร พระยาแสนเสนาเจ้าเมืองลแวก พระยายศไชยเจ้าเมืองขลุง” ฯลฯ

และมีบันทึกที่เกี่ยวกับการกล่าวถึงเมืองขลุงในเอกสารประชุมพงศาวดารภาคที่ 67 และ 68 (ประมาณปี พ.ศ.2376, 2383)   จดหมายเหตุเกี่ยวกับเขมรและญวนในรัชกาลที่ 3 ฉบับที่ 12 ใบบอกเจ้าพระยาบดินทรเดชา (สิงห์ สิงหเสนี)

ปัจจุบันยังพบซากบ้านเมืองเก่าบริเวณโรงเจขลุง ซึ่งพบก้อนอิฐโบราณมากมาย จากคำบอกเล่าของผู้ดูแลว่าภายใต้พื้นดินซึ่งทางโรงเจ ก่อผนังปูนล้อมไว้นั้น เป็นสิ่งก่อสร้างจากอิฐ และมีของเก่าโบราณมากมาย แต่ยังไม่อนุญาตให้ใครขุดขึ้นมา ด้วยเหตุผลหลายประการ