ตัวแปลงเอกสารเป็น Markdown พร้อมเซิร์ฟเวอร์ MCP และการส่งออกแบบสองทาง
all2md ซึ่งพัฒนาโดย Thomas Villani แปลงรูปแบบเอกสารที่ซับซ้อนเป็น Markdown ที่มีโครงสร้างสำหรับการนำเข้า LLM และการทำงานอัตโนมัติของเอกสาร เครื่องมือนี้ทำการแปลงแบบสองทางข้ามรูปแบบกว่า 40 รูปแบบ รันเซิร์ฟเวอร์ Model Context Protocol ที่มีอยู่ในตัว และเสนอการแบ่งส่วนที่เป็น RAG-native พร้อมการแปลงที่ใช้ AST สำหรับการวิเคราะห์ที่มีความแม่นยำสูง รวมถึงการกู้คืนตาราง PDF ขั้นสูง การสนับสนุน OCR ที่เลือกได้ และยูทิลิตี้ CLI แบบแบตช์ ผู้ใช้เป้าหมายคือผู้สร้าง LLM และ RAG นักพัฒนา Python และผู้ใช้ที่มีความสามารถในการจัดเตรียมเอกสารเชิงโปรแกรม
แปลงไฟล์ที่ซับซ้อนให้เป็น Markdown ที่พร้อมสำหรับ LLM สำหรับการนำเข้า RAG
เครื่องมือนี้แปลงไฟล์มากกว่า 40 ประเภท รวมถึง PDFs, DOCX, PPTX, HTML, อีเมล และสเปรดชีต ให้เป็น Markdown ที่สะอาดและมีลักษณะเฉพาะของ GitHub ซึ่งออกแบบมาสำหรับการนำเข้าบริบทของโมเดล ท่อส่งข้อมูลใช้ต้นไม้ไวยากรณ์นามธรรมเพื่อรักษาโครงสร้างเอกสารและอนุญาตให้มีการแปลงแบบโปรแกรม และสามารถเขียน Markdown กลับไปยังรูปแบบที่มีความซับซ้อน เช่น DOCX และ PDF ทำให้สามารถแก้ไขเนื้อหาที่สร้างโดยโมเดลได้อย่างรอบด้าน
ผลิตผลลัพธ์ที่มีโครงสร้างพร้อมความถูกต้องที่วัดได้สำหรับเลย์เอาต์ที่ซับซ้อน
การจัดการ PDF มุ่งเน้นไปที่การกู้คืนตาราง การวิเคราะห์เลย์เอาต์หลายคอลัมน์ และการลบหัว/ท้าย ซึ่งช่วยลดจำนวนข้อความที่ไม่เกี่ยวข้องหรือ 'สร้างขึ้น' เมื่อเปรียบเทียบกับตัวแปลงที่ง่ายกว่า โครงการนี้รายงานการเปรียบเทียบกับ Docling และ pymupdf4llm และเน้นอัตราข้อความที่สร้างขึ้นต่ำ การแบ่งส่วนที่เป็นพื้นฐานของ RAG มี 11 กลยุทธ์ รวมถึงการแบ่งตามความหมาย หัวเรื่อง และโทเค็น ในขณะที่รักษาแหล่งที่มาของส่วนและหน้าเพื่อการทำงานในการดึงข้อมูล
ต้องการความคุ้นเคยของนักพัฒนา แต่ให้การติดตั้งที่ขยายได้เฉพาะรูปแบบ
เครื่องมือนี้มีให้ในรูปแบบของไลบรารี Python และ CLI สำหรับ PC, macOS และ Linux และมุ่งเป้าไปที่สภาพแวดล้อม Python 3.x ตัวติดตั้งใช้ระบบการพึ่งพาแบบโมดูลาร์ ดังนั้นเฉพาะโค้ดที่จำเป็นสำหรับรูปแบบเฉพาะเท่านั้นที่ติดตั้ง และ OCR เสริม เช่น Tesseract หรือ EasyOCR เป็นตัวเลือกสำหรับ PDF ที่สแกนแล้ว API ปลั๊กอินและการแปลง AST ช่วยให้นักพัฒนาสามารถเพิ่มรูปแบบที่กำหนดเองหรือปรับพฤติกรรมการแปลงได้แบบโปรแกรม
เหมาะสำหรับท่อส่งผู้ช่วย AI ผ่าน MCP และเครื่องมือแบบกลุ่ม
เซิร์ฟเวอร์ Model Context Protocol ที่สร้างขึ้นในตัวเชื่อมต่อท่อส่งการแปลงโดยตรงกับผู้ช่วย AI และโครงการนี้มีชุด MCPB แบบคลิกเดียวสำหรับลูกค้า เช่น Claude Desktop เครื่องมือบรรทัดคำสั่งสนับสนุนการดูแลไดเรกทอรี การแปลงแบบกลุ่ม การค้นหาความหมาย และการเปรียบเทียบเอกสารเพื่อทำให้การนำเข้าเป็นอัตโนมัติ การรวมระบบเหล่านี้ช่วยในการป้อน Markdown ที่มีโครงสร้างเข้าสู่ระบบการดึงข้อมูลและช่วยให้นักพัฒนาสามารถรวมเนื้อหาที่แปลงแล้วเข้ากับคำสั่งโมเดลในระดับล่างหรือที่เก็บ RAG ได้
ทางเลือกที่ใช้งานได้จริงสำหรับนักพัฒนาที่สร้างโมเดลการนำเข้าข้อมูล
สำหรับทีมที่สร้างชั้นการดึงข้อมูลและบริบท เครื่องมือนี้มอบการควบคุมที่วัดได้เกี่ยวกับความถูกต้องของแหล่งที่มาและต้นกำเนิด; การออกแบบที่เป็นโมดูลและเน้นโค้ดเหมาะสำหรับการทำงานแบบสคริปต์และการดำเนินการแบบกลุ่ม ผู้ใช้ที่ไม่ใช่ทางเทคนิคอาจพบกับความยากลำบากในการตั้งค่า คำแนะนำที่เป็นประโยชน์: ผลลัพธ์เป็น GitHub Flavored Markdown และควรเลือกการแบ่งส่วนที่มีความหมายหรืออิงจากหัวเรื่องเพื่อรักษาต้นกำเนิดให้สมบูรณ์เมื่อทำการนำเอกสารเข้าสู่คลังบริบทของโมเดล เปิดใช้งาน OCR extras สำหรับ PDF ที่มีภาพก่อนการทำงานแบบกลุ่ม.
