initial commit

.gitattributes

@@ -33,3 +33,8 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+faiss_word_doc_index/index.pkl filter=lfs diff=lfs merge=lfs -text
+faiss_word_doc_index/index.faiss filter=lfs diff=lfs merge=lfs -text
+faiss_excel_doc_index/index.pkl filter=lfs diff=lfs merge=lfs -text
+faiss_excel_doc_index/index.faiss filter=lfs diff=lfs merge=lfs -text
+combined_keyword_retriever.pkl filter=lfs diff=lfs merge=lfs -text

app.py

@@ -83,4 +83,5 @@ with gr.Blocks() as demo:
     chatbot = gr.Chatbot(placeholder="<strong>ADAFSA-RAG Chatbot</strong>")
     gr.ChatInterface(fn=get_response, chatbot=chatbot)
     
-demo.launch()
+demo.launch()
+

combined_keyword_retriever.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7140d76a4ccec7a7174e176a88252284e42fb67da36c3eefab4dc206023f106f
+size 6353686

data_loader.ipynb

@@ -0,0 +1,406 @@
+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Excel Data Loading"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import os\n",
+    "import pandas as pd\n",
+    "\n",
+    "def convert_xlsx_to_json(folder_path):\n",
+    "    counter = 0\n",
+    "    for root, dirs, files in os.walk(folder_path):\n",
+    "        for file in files:\n",
+    "            if file.endswith(\".xlsx\"):\n",
+    "                df = pd.read_excel(os.path.join(root, file))\n",
+    "                file_name = file.replace(\".xlsx\", \".json\")\n",
+    "                df.to_json(\"data/json_files/\"+file_name, orient='records', date_format='iso', force_ascii=False, indent=4)\n",
+    "                counter += 1\n",
+    "    print(f\"{counter} .xlsx files converted to .json\")\n",
+    "\n",
+    "# Usage\n",
+    "folder_path = '/home/fahadkhan/Desktop/ADAFSA_Project/data'  # Replace with your folder path\n",
+    "convert_xlsx_to_json(folder_path)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 15,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# from langchain_community.document_loaders import JSONLoader\n",
+    "from langchain_core.documents import Document\n",
+    "import os\n",
+    "import json\n",
+    "\n",
+    "DATA_DIR = \"./data/json_files\"\n",
+    "\n",
+    "json_files = os.listdir(DATA_DIR)\n",
+    "documents = []\n",
+    "\n",
+    "for fle in json_files:\n",
+    "    file_path = os.path.join(DATA_DIR, fle)\n",
+    "\n",
+    "    with open(file_path, 'r') as json_file:\n",
+    "        json_data = json.load(json_file)\n",
+    "\n",
+    "        file_name = fle.replace(\".json\", \"\")\n",
+    "\n",
+    "        metadata = {\n",
+    "            \"source\": file_path,\n",
+    "            \"table_heading\": file_name,\n",
+    "        }\n",
+    "\n",
+    "        for i in range(0, len(json_data)): \n",
+    "            doc = Document(\n",
+    "                page_content=json.dumps(json_data[i], ensure_ascii=False),\n",
+    "                metadata=metadata\n",
+    "            )\n",
+    "            documents.append(doc)\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 17,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "143730\n",
+      "page_content='{\"Year\": 2022, \"Region\": \"منطقة أبوظبي\", \"Section\": \"العينات\", \"Table name\": \"عدد العينات المطابقة والغير مطابقة بحسب المنطقة\", \"Category\": \"عدد العينات المطابقة\", \"Number\": 5604}' metadata={'source': './data/json_files/583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022.json', 'table_heading': '583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022'}\n"
+     ]
+    }
+   ],
+   "source": [
+    "print(len(documents))\n",
+    "print(documents[0])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 16,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from langchain_huggingface.embeddings import HuggingFaceEmbeddings\n",
+    "from langchain_community.vectorstores import FAISS\n",
+    "from langchain.retrievers import BM25Retriever"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 20,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "Some weights of the model checkpoint at Alibaba-NLP/gte-multilingual-base were not used when initializing NewModel: ['classifier.bias', 'classifier.weight']\n",
+      "- This IS expected if you are initializing NewModel from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).\n",
+      "- This IS NOT expected if you are initializing NewModel from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).\n"
+     ]
+    }
+   ],
+   "source": [
+    "embed_model = HuggingFaceEmbeddings(model_name=\"Alibaba-NLP/gte-multilingual-base\", model_kwargs={\"trust_remote_code\":True})"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "excel_vectorstore = FAISS.from_documents(documents, embed_model)\n",
+    "excel_vectorstore.save_local(\"faiss_excel_doc_index\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 6,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "keyword_retriever = BM25Retriever.from_documents(documents)\n",
+    "keyword_retriever.k =  10\n",
+    "\n",
+    "import pickle\n",
+    "with open('excel_keyword_retriever.pkl', \"wb\") as f:\n",
+    "    pickle.dump(keyword_retriever, f)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Word Data Loading"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 18,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from langchain_community.document_loaders import Docx2txtLoader\n",
+    "from langchain_community.document_loaders import DirectoryLoader\n",
+    "\n",
+    "loader = DirectoryLoader('./data', glob=\"**/*.docx\", loader_cls=Docx2txtLoader)\n",
+    "docx_documents = loader.load()"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "print(len(docx_documents))\n",
+    "docx_documents[0]"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 21,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from langchain_experimental.text_splitter import SemanticChunker\n",
+    "\n",
+    "text_splitter = SemanticChunker(embeddings=embed_model, breakpoint_threshold_type=\"gradient\")\n",
+    "split_documents = text_splitter.split_documents(docx_documents)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "vectorstore = FAISS.from_documents(split_documents, embed_model)\n",
+    "vectorstore.save_local(\"faiss_word_doc_index\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 22,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "keyword_retriever = BM25Retriever.from_documents(split_documents)\n",
+    "keyword_retriever.k =  10\n",
+    "\n",
+    "import pickle\n",
+    "with open('word_keyword_retriever.pkl', \"wb\") as f:\n",
+    "    pickle.dump(keyword_retriever, f)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Combined Keyword Retriever"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 23,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "[Document(metadata={'source': './data/json_files/583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022.json', 'table_heading': '583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022'}, page_content='{\"Year\": 2022, \"Region\": \"منطقة أبوظبي\", \"Section\": \"العينات\", \"Table name\": \"عدد العينات المطابقة والغير مطابقة بحسب المنطقة\", \"Category\": \"عدد العينات المطابقة\", \"Number\": 5604}'),\n",
+       " Document(metadata={'source': './data/json_files/583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022.json', 'table_heading': '583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022'}, page_content='{\"Year\": 2022, \"Region\": \"منطقة أبوظبي\", \"Section\": \"العينات\", \"Table name\": \"عدد العينات المطابقة والغير مطابقة بحسب المنطقة\", \"Category\": \"عدد العينات الغير مطابقة\", \"Number\": 1178}'),\n",
+       " Document(metadata={'source': './data/json_files/583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022.json', 'table_heading': '583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022'}, page_content='{\"Year\": 2022, \"Region\": \"منطقة العين\", \"Section\": \"العينات\", \"Table name\": \"عدد العينات المطابقة والغير مطابقة بحسب المنطقة\", \"Category\": \"عدد العينات المطابقة\", \"Number\": 2289}'),\n",
+       " Document(metadata={'source': './data/json_files/583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022.json', 'table_heading': '583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022'}, page_content='{\"Year\": 2022, \"Region\": \"منطقة العين\", \"Section\": \"العينات\", \"Table name\": \"عدد العينات المط��بقة والغير مطابقة بحسب المنطقة\", \"Category\": \"عدد العينات الغير مطابقة\", \"Number\": 543}'),\n",
+       " Document(metadata={'source': './data/json_files/583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022.json', 'table_heading': '583-عدد العينات المطابقة والغير مطابقة بحسب المنطقة 2022'}, page_content='{\"Year\": 2021, \"Region\": \"منطقة أبوظبي\", \"Section\": \"العينات\", \"Table name\": \"عدد العينات المطابقة والغير مطابقة بحسب المنطقة\", \"Category\": \"عدد العينات المطابقة\", \"Number\": 5390}')]"
+      ]
+     },
+     "execution_count": 23,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "documents[:5]"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 24,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "[Document(metadata={'source': 'data/الموسوعة الزراعية - مشاركة/الموسوعة - النخيل.docx'}, page_content='الموسوعة الزراعية\\n\\n\\t\\n\\n\\n\\n\\n\\n\\n\\n\\t\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\nالزراعة\\n\\n\\n\\n\\n\\n\\n\\nأشجار النخيل\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\nالزراعة\\n\\nالمواسم المناسبة لزراعة الفسائل في دولة الإمارات: \\n\\nربيعي (منتصف فبراير - نهاية أبريل): يتميز بالدفء والحرارة المعتدلة مما يساعد على سرعة النمو.'),\n",
+       " Document(metadata={'source': 'data/الموسوعة الزراعية - مشاركة/الموسوعة - النخيل.docx'}, page_content='خريفي (أواخر أغسطس - نهاية أكتوبر): يتميز بتوفر فترة أطول للنبات لتثبيت نفسه قبل حلول فصل الصيف الحار كما أن التربة تكون أكثر احتفاظاً بالرطوبة. يفضل تجنب موسم الصيف الذي يكون فيها الجو شديد الحرارة والجفاف. اختيار الفسائل:\\n\\nيفضل مراعاة النصائح التالية عند زراعة الفسائل:\\n\\nاختيار الصنف الذي يتميز بإنتاجيته وجودته العالية، وذو قيمة تسويقية مرتفعة. شراء الفسائل من مصدر موثوق لضمان مطابقة الفسيلة للصنف المطلوب. يفضل أن تكون بعمر لا يقل عن أربع سنوات، وبوزن لا يقل عن 20-30 كجم عند فصلها عن الأم\\n\\nيجب خلو الفسيلة من الآفات وخصوصاً سوسة النخيل الحمراء وحفار العذوق ومرض اللفحة السوداء. مواصفات الفسيلة المعدة للزراعة \\n\\nالوصف\\n\\nالشروط\\n\\nالحالة الفسائل\\n\\nخالية من الأمراض والآفات\\n\\nخالية من الثقوب\\n\\nذات مجموع خضري جيد\\n\\nعمر الفسيلة\\n\\n3-4 سنوات بجانب الأم\\n\\nوزن الفسيلة\\n\\nلا يقل عن 20 كغم\\n\\nقطر الفسيلة\\n\\nلا يقل عن 30 سم (تختلف حسب الصنف)\\n\\nالمجموع الجذري\\n\\nجيد وقوي وسليم وخال من الأمراض الفطرية والنيماتودا\\n\\n\\n\\n\\n\\nقلع الفسائل: \\n\\nيقطع السعف اليابس إن وجد ويضم سعف الفسيلة إلى بعضه ويربط بحبل لتسهيل عملية القلع. ويقطع بارتفاع مناسب بحيث لا يلحق الضرر بقلب الفسيلة، وغالباً بمسافة (1- 1.5) متر من قلب الفسيلة \\n\\nينبغي قلع الفسائل بعناية بالغة من قبل عامل متمرس بواسطة العتلة المخصصة؛ على أن يكون (الهيب) حاد النهاية ويكون القطع في منطقة (الفطيم) وهي منطقة اتصال الفسيلة بالأم وبأقل مساحة ممكنة. بحيث تتم المحافظة على سلامة الأم والفسيلة. ويجب معاملة موقع القطع بأحد المبيدات الحشرية تفادياً للإصابة بالسوسة. قبل الزراعة يجب تغطيس المجموع الجذري للفسيلة بمحلول أحد المبيدات الحشرية، ويفضل أن يكون معه مبيد فطري وبتركيز مضاعف ولمدة ساعة إلى ساعتين، ضماناً لسلامتها من المسببات المرضية والحشرية. يفضل زراعة الفسائل بعد فصلها مباشرة، وإذا أراد تأخير زراعتها بمدة لا تزيد عن ثلاثة أيام فينبغي وضعها في الظل وتغطيتها بالخيش المبلل؛ لمنع تبخ�� وجفاف أوراقها وترطيبها. زراعة الفسائل:\\n\\nعند إنشاء المزارع الحديثة يفضل غرس الفسائل بصفوف مستقيمة بمسافة 7 إلى 10 متر بين النخلة والأخرى. يجب أن تتناسب أبعاد الحفرة مع حجم الفسيلة، ويفضل أن تكون الأبعاد 1x1x1 متر عمقا (أو حسب حجم الفسيلة). وفي الترب التي تغلب عليها الطبيعة الصخرية أو الحصوية تستبدل تربة الحفرة بتربة جيدة وتخلط مع السماد العضوي المتحلل والمعامل حرارياً بنسبة 1:2 (2 تربة + 1 سماد عضوي). وينبغي الالتزام بعدم إضافة السماد إلى الفسائل عند الزراعة إلا إذا كان متحللاً ومعامل حرارياً. توضع الفسيلة داخل الحفرة  \\xa0على ان يكون قلب الفسيلة مرتفع عن سطح الأرض قليلا لمنع وصول الماء إلى قلب الفسيلة. ويجب إحاطة جذع الفسيلة بالتربة على شكل حلقة لمنع ملامسة مياه الري لجذع الفسيلة لحمايتها من الإصابة بالآفات. وبعد الزراعة لابد من كبس التربة جيداً حول الفسيلة لملء الفراغات بالتراب والتي قد تمتلئ بالماء فتسبب التعفن. بعد\\xa0غرس الفسيلة في الموقع\\xa0الدائم يتم تغطيتها بالخيش لحمايتها من أشعة الشمس في الصيف، ومن البرد شتاءً. على أن يرفع من أسفل حتى لا يتبلل ويزيد الرطوبة على الفسيلة، ويترك الجزء العلوي منه مفتوح للتهوية. ثم تروى دون إبطاء ويوالي الري صيفاً في التربة الرملية أو الخفيفة يومياً. ري الفسائل:\\n\\nيجب إعطاء الفسيلة رية غزيرة بعد زراعتها مباشرة، على أن ينظم الري بعد ذلك حسب طبيعة التربة والظروف الجوية بحيث تكون التربة رطبة حول منطقة الجذور لمدة 40 يوم بعد الزراعة. إن السبب الرئيسي لانخفاض نسب النجاح في زراعة الفسائل هو كثرة الري، ولذا فإن الاعتناء بري الفسائل يرفع نسب نجاحها بشكل كبير. حماية الفسائل:\\n\\nتُلف الفسائل بالخيش أو تُحاط بالسعف؛ لحمايتها من الظروف البيئية القاسية، على أن يُرفع بعد نجاح زراعتها، وظهور نمو جديد وعادة بعد 6-12 شهر. أهم العمليات المتعلقة بالنخيل خلال السنة\\n\\n12\\n\\n11\\n\\n10\\n\\n9\\n\\n8\\n\\n7\\n\\n6\\n\\n5\\n\\n4\\n\\n3\\n\\n2\\n\\n1\\n\\nالعملية/الشهر\\n\\n\\n\\n●\\n\\n●\\n\\n●\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n●\\n\\n●\\n\\n●\\n\\nزراعة الفسائل\\n\\n●\\n\\n●\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nالتسميد العضوي\\n\\n●\\n\\n●\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n●\\n\\n●\\n\\n●\\n\\n●\\n\\nالتسميد الكيميائي\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n●\\n\\n●\\n\\n●\\n\\nالتنبيت\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n●\\n\\n●\\n\\n●\\n\\n\\n\\nالخف\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n●\\n\\n●\\n\\n\\n\\n\\n\\n●\\n\\n●\\n\\n\\n\\nالتكميم\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n●\\n\\n●\\n\\n\\n\\n\\n\\nالتفريد\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n●\\n\\n●\\n\\n●\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nالتحدير\\n\\n●\\n\\n●\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nالتقليم\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nإزالة الرواكيب\\n\\n\\n\\n●\\n\\n●\\n\\n●\\n\\n●\\n\\n●\\n\\n●\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nجني وحصاد الثمار\\n\\nملاحظة: الجدول الزمني يختلف بناء على الصنف والمناطق الجغرافية. الري \\n\\nأمور يجب مراعاتها في عمليات ري النخيل\\n\\nالتوازن في عملية الري وإضافة كميات المياه المناسبة لأشجار النخيل وفي الأوقات المناسبة. تتوزع جذور أشجار النخيل في طبقات التربة بتدرج معين بحيث يقل توزيعها بزيادة عمق التربة بحيث تقع أغلب الجذور الفعالة في المنطقة العلوية من التربة. تمتد جذور أشجار النخيل وتنتشر إلى أسفل وفي جوانبها بنصف قطر قدره\\xa0مترين أو أكثر. أن النخلة تمتص من نسب مختلفة من الماء حسب اختلاف الأعماق التي توجد بها جذ��رها، كما هو موضح في الجدول أدناه\\n\\nتمتص أشجار النخيل البالغة ما نسبته 70% من المياه المضافة إليها عن طريق الجذور المنتشرة في المنطقة العلوية من التربة وحتى عمق 100 سم. عمق التربة (سم)\\n\\nنسبة ما يمتص من الماء\\n\\n0-60\\xa0\\n\\n50%\\n\\n60-120\\xa0\\n\\n30%\\n\\n120-180\\n\\n15%\\n\\n180-240 \\xa0\\n\\n5%\\n\\n\\n\\n\\n\\nنظام الري \\n\\nيجب أن يستخدم نظام ري ذو كفاءة عالية، وينصح باستخدام نظام الأنابيب ذات قطارات خارجية وذات نوعية جيدة، ومنظمة للضغط ويفضل استخدام قطارات قليلة التدفق وتوزيع القطارات حول الشجرة لترطيب أكبر للمساحة المزروعة ولمدة أطول. وفي الجدول التالي مثال لنظام ري مقترح:\\n\\nخيارات نظام الري\\n\\nعدد القطارات للشجرة\\n\\nتدفق القطارة\\n\\n(لتر في الساعة)\\n\\n\\tمسافات الزراعة (متر)\\n\\n\\n\\n\\n\\n\\n\\nالطول\\n\\nالعرض\\n\\nالخيار الأول\\n\\n12 قطارة\\n\\n25\\n\\n7\\n\\n7\\n\\nالخيار الثاني\\n\\n2 ببلر\\n\\n220\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nالاحتياجات المائية وجدولة الري\\n\\nيؤثر برنامج الري على مواصفات الثمار وحجمها. ولكل مرحلة من مراحل نمو الثمار احتياجات مائية مختلفة عن الأخرى. حيث تتميز مرحلة الكمري بالنمو السريع للثمار (وبالتالي الاحتياجات المائية تكون أكبر). بينما تبدأ الثمار بفقد الماء في مرحلة الرطب نتيجة لتبخره (تكون الاحتياجات المائية أقل)، وعليه لابد من تقليل مياه الري حتى موعد الحصاد. والجدول التالي يوضح متوسط الاحتياج اليومي التقديري للنخيل في أشهر السنة المختلفة لدولة الإمارات:\\n\\nمدة الري (دقيقة)\\n\\nمتوسط الاستهلاك اليومي (لتر للشجرة)\\n\\nالشهر\\n\\nلنظام بعدد 2 ببلر للشجرة، وبتدفق 220 لتر/الساعة، ومسافات زراعة 7x7 متر\\n\\nلنظام بعدد 12 قطارة للشجرة، وبتدفق 25 لتر/الساعة، ومسافات زراعة 7x7 متر\\n\\nبافتراض أن كفاءة نظام الري 85%، ونسبة غسيل أملاح التربة 15%\\n\\nالصافي\\n\\n\\n\\n20\\n\\n29\\n\\n145\\n\\n105\\n\\nيناير\\n\\n26\\n\\n39\\n\\n193\\n\\n139\\n\\nفبراير\\n\\n34\\n\\n50\\n\\n249\\n\\n180\\n\\nمارس\\n\\n41\\n\\n60\\n\\n298\\n\\n216\\n\\nإبريل\\n\\n50\\n\\n73\\n\\n365\\n\\n264\\n\\nمايو\\n\\n56\\n\\n82\\n\\n409\\n\\n295\\n\\nيونيو\\n\\n50\\n\\n73\\n\\n366\\n\\n265\\n\\nيوليو\\n\\n43\\n\\n63\\n\\n316\\n\\n228\\n\\nأغسطس\\n\\n39\\n\\n58\\n\\n290\\n\\n209\\n\\nسبتمبر\\n\\n30\\n\\n44\\n\\n218\\n\\n157\\n\\nأكتوبر\\n\\n24\\n\\n36\\n\\n178\\n\\n129\\n\\nنوفمبر\\n\\n19\\n\\n28\\n\\n141\\n\\n102\\n\\nديسمبر\\n\\n\\n\\n275\\n\\n199\\n\\nالمتوسط\\n\\n\\n\\n100,430\\n\\n72,561\\n\\nالمجموع\\n\\nملاحظات: \\n\\nالاحتياج المائي السنوي 2,050 متر مكعب للدونم\\n\\nقطر المحبس والأنبوب الرئيسي لري مساحة واحد دونم هي 1.5 إنش\\n\\n\\n\\nملاحظات على المعلومات أعلاه:\\n\\nالاحتياجات أعلاه للأشجار مكتملة النمو وتروى بالتنقيط وبنسبة تظليل 70%. وإن اختلفت نسبة التظليل للشجرة وذلك بحسب عمر الشجرة والصنف والنمو، يجب تقدير كميات الاحتياج المائي بالضرب بمعامل 0.1 إذا كان التظليل أقل من 10%، وبمعامل 1.3 إذا وصلت نسب ة التضليل إلى 100%. الاحتياجات المائية أعلاه تقديرية واسترشادية وقد تختلف بحسب الظروف الجوية وظروف الزراعة. يجب إضافة كمية من المياه لتعويض كفاءة توزيع شبكة الري وذلك بحسب وضع شبكة الري الفعلي في المزرعة. وقد تم استخدام قيمة 85% كرقم تقديري لكفاءة الري في الجدول أعلاه. ويمكن معرفة المزيد عن كيفية تقدير كفاءة الري في الإرشادات العامة للري ملحق\\n\\nيجب إضافة كمية من المياه لغسيل الأملاح المتراكمة في التربة في حال وجود ملوحة في مياه الري. وقد تم استخدام قيمة 15% كرقم تقديري لنسبة غسيل الملوحة في التربة في الجدول أعلاه. ويمكن معرفة المزيد عن كيفية تقدي�� الكمية اللازمة لغسيل أملاح التربة في الإرشادات العامة للري. ملحق\\n\\nالفترات بين الري تختلف بحسب طبيعة وقوام التربة، في حال الترب الرملية، يفضل الري بشكل يومي بسبب ضعف قدرة التربة على الاحتفاظ بالمياه. وفي حال وجود نسب من الطين والسلت أو الكتش وبحسب النسب الموجودة يمكن الري كل عدة أيام بحسب الحالة والوقت من السنة. يتم حساب مدة الري بحسب عدد القطارات أو الببلر وبحسب تدفق نظام الري المستخدم في المزرعة. وفي الجدول أعلاه مثال لدقائق الري اللازمة بحسب نظام الري المقترح. التسميد: \\n\\nأشجار النخيل التي تسمد بالأسمدة الكيمياوية والعضوية بشكل سنوي تتميز بسماكة الجذع، وطول وكثافة الخوص، وإنتاج عالي وذو جودة ممتازة. عكس أشجار النخيل التي لا تسمد حيث تكون ضعيفة النمو، شاحبة الخوص، وذات إنتاج قليل ومتردي النوعية. كما تكون أكثر عرضة للإصابة بالآفات والأمراض ويعتمد التسميد على درجة الملوحة والرقم الهيدروجيني لكل من مياه الري والتربة لذا يجب دائما فحص التربة والمياه قبل وضع برنامج التسميد في المزرعة. أولا: التسميد العضــوي (نوفمبر & ديسمبر) \\n\\nمواصفات السماد العضوي:\\n\\nيعتبر السماد العضوي غير المختمر من أهم مصادر الإصابة بالآفات مثل حفار العذوق (العاقور) والأمراض الفطرية والنيماتودا والأعشاب الضارة مما يؤدي الى إصابة أشجار النخيل بالعديد من الآفات الزراعية التي تؤدي في الغالب لخسارة النخلة او ضعف الإنتاج لذا يجب دائما إضافة شراء الأسمدة العضوية المختمرة او المعاملة حراريا ضمن المواصفات التالية:  \\n\\nأن يكون معاملاً حرارياً؛ لضمان سلامته من المسببات المرضية والحشرية والنيماتودا وبذور الأعشاب الضارة. أن يكون متحللاً بشكل كامل ليتم الاستفادة منه بحد أقصى. أن يتم تخزينه وحفظه في أكياس محكمة الاغلاق وفي أماكن مظلله ولا يترك مكشوفاً لمنع تلوثه بالآفات وحتى لا تقل فعاليته بسبب العوامل الجوية شراء السماد من مصادر موثوقة ومرخصه وان يحتوي على بطاقة بيان وان لا تقل نسبة المادة العضوية فيه عن 50%\\n\\nطريقة التسميد: \\n\\nيضاف السماد العضوي المعقم والمعامل حراريا بمعدل 5-10 كيلوجرام لكل سنة من عمر النخلة وذلك بعمل خندق دائري حول جذع النخلة بقطر 30 سم وعمق 30 سم وبعيد عن الجذع بمسافة 40سم وينثر داخل الحفرة وتردم مباشرة بعد إضافة السماد. وتثبيت الكمية بعد مرور 10 سنوات من عمر النخلة \\n\\n\\n\\n\\n\\nثانياً: التسميد الكيميائي (نوفمبر - إبريل)\\n\\n\\n\\nطريقة التسميد:\\n\\n\\n\\n\\n\\nنخيل عمر 1- 10 سنوات\\n\\nنخيل أكبر من 10 سنوات\\n\\nموعد الإضافة\\n\\nسماد عضوي\\n\\nكجم/نخلة\\n\\nعن كل سنة \\n\\nNPK 15-15-15\\n\\nجم/نخلة\\n\\nعن كل سنة \\n\\nسماد عضوي\\n\\nكجم/نخلة\\n\\nNPK 15-15-15\\n\\nجم/نخلة\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nيناير\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nفبراير\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nمارس\\n\\n5-50\\n\\n150-1500\\n\\n50 وأكثر\\n\\n1500\\n\\nابريل\\n\\n\\n\\n150-1500\\n\\n\\n\\n1500\\n\\nمايو\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nاكتوبر\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nنوفمبر\\n\\n5-50\\n\\n150-1500\\n\\n50 وأكثر\\n\\n1500\\n\\nديسمبر\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\tملاحظات: \\n\\n\\tيتم اضافة 5 كجم عضوي عن كل سنة من عمر النخلة، كما يضاف كذلك 150 جم مركب عن كل سنة من عمر النخلة. عمل خندق حول جذع النخلة على بعد 1.5 متر وتخلط الاسمدة مع التربة بعد كل اضافة. يجب الري بعد إضافة الأسمدة مباشرة لأن الماء هو الوسط المذيب للأسمدة والناقل للعناصر من التربة إلى الأشجار. هناك مجموعة عوامل منها عمر الأشجار، ومسافات الزراعة، ونوعية ا��تربة، وطريقة الري لأبد أن توضع في الاعتبار. خدمة أشجار النخيل\\n\\nالتنبيت الآلي أو اليدوي (يناير-مارس)\\n\\n\\n\\nطريقة التنبيت الآلي:\\n\\nتعفير او رش راس النخلة الانثوية بخليط من حبوب اللقاح العالية الحيوية مع مادة حاملة وغالبا ما تكون بودرة التلك أو طحين القمح رقم واحد وبنسبة 1 الى 7 او 9 وباستخدام الملقحات الآلية (العفارات)\\n\\nتجهز الخلطة بنسبة (6:1)، بخلط 1 غرام حبوب لقاح مع 6 غرام طحين رقم 1. يوضع الخليط داخل ماكينة التلقيح الآلية أو اليدوية (العفارات). يعفر الطلع الأنثوي للنخلة بالخليط ثلاث مرات على مدى 3-4 أيام. طريقة التنبيت اليدوي: \\n\\nإن عقد الثمار في غالبية الأصناف يحصل نتيجة للتلقيح الذي يجري بعد انشقاق غلاف الطلعة بثلاثة او أربعة أيام لذا لضمان العقد بشكل جيد يجب اتباع ما يلي: \\n\\nيوضع 6-4 من الشماريخ الذكرية مقلوبة في وسط كل اغريض منفتح او الذي على وشك التفتح بعد ان يفتحه العامل بيده. بشكل معكوس داخل الشماريخ الأنثوية بحيث يتراوح عددها بين 6-30 شمروخ حسب الصنف. ويمكن أن يزيد العدد لأصناف الخلاص والبرحى والنسيجي. ينصح بقطع أطراف الشماريخ الانثوية عند اجراء التنبيت\\n\\nيتفقد المزارع أشجار النخيل كل ثلاثة او أربعة أيام مرة ليلقح الاغاريض الانثوية المتفتحة وقد تكييس الاغاريض الانثوية بعد التلقيح مباشرة بأكياس ورقية مثقبة لحمايتها من الامطار والرياح وكذلك لرفع درجة الحرارة داخل الكيس مما يزيد من نسبة الاخصاب وبالتالي عقد الثمار والإنتاجية. ينصح بإزالة الاكياس بعد 10-13 يوما من التلقيح لتجنب الإصابة بالعناكب او الفطريات نتيجة للرطوبة داخل الكيس. يفضل تلقيح 10-12 طلعة من الأدوار الوسطى للنخلة وإزالة باقي العذوق. 1\\n\\n1\\n\\nحفظ حبوب اللقاح:\\n\\nيفضل دائماً استخدام حبوب اللقاح الحديثة حيث تعطي نتائج جيدة، لكن في بعض الأحيان يتم حفظ حبوب اللقاح للعام التالي للأسباب التالية:\\n\\nندرة حبوب اللقاح في الموعد المناسب للتلقيح نظرا لتبكير النخيل المؤنث \\n\\nتخزين حبوب اللقاح من الأفحل ذات الحيوية العالية في درجة حرارة -18 م o ونظرا لعدم توفر أفحل جيدة في بعض المناطق \\n\\nحفظ حبوب اللقاح لأن بعض الإناث تتأخر في الإزهار بفره طويلة عن الإزهار في الأغاريض المذكرة. وتوصي الدراسات بتعريض حبوب اللقاح المجففة إلى أشعة الميكروويف لمدة 10-20 ثانية قبل التخزين، حيث يؤدي ذلك إلى المحافظة على حيويتها لتصل إلى 81% بعد سنة من التخزين. حيث تؤدي أشعة الميكروويف إلى تعقيم الحبوب وقتل الفطريات والميكروبات. كيفية حفظ حبوب اللقاح:\\n\\nيتم قطع الأغاريض المذكرة (الفحول) بعد اكتمال النمو وقبل انشقاقها وتفتحها. يفضل تجفيف الطلع ولا ينصح باستخدامه مباشرة بعد قطعه من الشجرة\\n\\nتفتح الأغلفة الجلدية الخارجية وتستخرج منه الشماريخ الذكرية كل على حدة. فصل كل مجموعة من الشماريخ من النورة في حدود (2-3) شمراخ ويتم تفريدها ونشرها على ورق جاف وفي مكان مظلل وبعيد عن التيارات الهوائية حتى تجف. ويجب المحافظة على تقليب الشماريخ لأنها تكون مليئة بالرطوبة مما قد يؤدي إلى تعفن الشماريخ الداخلية. بعد الجفاف تتساقط حبوب اللقاح على الورق، وتجمع حبوب اللقاح المتساقطة على الاوراق او تستخلص آليا ويمكن تسريع تساقطها عن طريق الهز. يتم بعد ذلك جمع حبوب اللقاح في أكياس من الورق الجاف وتوضع في زجاجات جافة تماماً حتى موعد استخدامها لتجنب إصابتها بالفطريات أو الحشرات. يجب ��لحذر عند عملية التجفيف من تعرض الشماريخ الزهرية المذكرة لأشعة الشمس أو الحرارة العالية حتى لا تضعف من حيوية حبوب اللقاح. يمكن حفظ حبوب اللقاح بعد وضعها في زجاجات في الثلاجة مع الحذر من تعرضها للرطوبة حتى لا تتعفن. نصائح وإرشادات عامة للتنبيت:\\n\\nلمعرفة الطلع الناضج، يمكن سماع صوت فرقعة خفيفة عند الضغط على الجزء السفلي من الأغريض. يجب قطع الأغاريض المذكرة عند ملاحظة بدء انشقاقها وقبل انشقاقها كاملة وذلك للمحافظة على حبوب اللقاح. ينصح بأن تتم عملية التنبيت في الفترة الصباحية (بين الساعة 9:00-12:00 ظهراَ). وذلك لتفادي الرطوبة في الصباح الباكر، والحرارة وأشعة الشمس بعد الظهر. يفضل بعد التنبيت بوضع أكياس ورقية حول الأغاريض المؤنثة وخصوصا في بعض الأصناف التي تقل فيها نسبة عقد الثمار. يجب إعادة التنبيت عند سقوط الأمطار على النخيل الملقح. الخف (فبراير & مارس & إبريل): \\n\\nتتم عملية خف العذوق بإزالة عدد محدد من الازهار او الثمار من كل شمراخ او بقطع أطراف الشماريخ او قطع عدد من الشماريخ الوسطية من كل عذق. ينصح ان لا تقل نسبة الخف عن نصف المجموع الكلي من حمل الشجرة اعتمادا على حجم العذوق وطبيعة نمو الشجرة والمجموع الخضري من عدد السعف في قمة النخلة. تعتبر النخيل من الأشجار المعاومة (حمل غزير في موسم يتبعه حمل خفيف في الموسم التالي). وعليه فإن عملية خف الثمار تهدف إلى الموازنة بين حمل النخلة وتحسين جودة وكمية الإنتاج. يفضل بأن يكون الخف مبكراً حيث إن تأخيره يؤدي إلى استنزاف طاقة أشجار النخيل في ثمار لا يتم الاستفادة منها. أوقات الخف: \\n\\nالخف الأول (فبراير): تجرى عملية الخف الأول قبل التنبيت مباشرة؛ وذلك بقطع 25% من نهاية الشماريخ. الخف الثاني (مـارس): تجرى عملية الخف الثاني بعد ضمان العقد؛ وذلك بتقليل عدد ثمار الشماريخ بنسبة 25%-50% حسب الصنف. الخف الثالث (أبريل): تجري أثناء عملية التفريد وذلك بقطع ربع أو ثلث الشماريخ الوسطية من العذق مع تخفيف عدد العذوق من 6-8 حسب عمر وحجم النخلة. فوائد الخف:\\n\\nانتظام عملية تلون وتناسق قوام الثمار وتماثل أحجامها\\n\\nزيادة نسبة السكريات\\n\\nانتظام حجم العذوق واكتمال نموها في وقت واحد\\n\\nزيادة حجم الثمار وسرعة نموها والتبكير في نضجها\\n\\nالحد من ظاهرة تساقط الثمار\\n\\nزيادة التهوية وقليل الإصابة بالأمراض\\n\\n\\n\\nالتكميم أو التكييس (فبراير-مارس & يونيو-يوليو)\\n\\nالتكميم أو التكييس الورقي (فبراير): \\n\\nيتم تغطية الطلعة الأنثوية بالكيس الورقي المثقب مباشرة بعد التنبيت وتترك لمدة 30 إلى 45 يوم تقريبا. ينصح بعد اجراء عملية التلقيح مباشرة بلف الطلعة الملقحة بالأكياس الورقية المثقبة ولمدة تتراوح بين 30 الى 35) يوما والغرض من ذلك ضمان العقد وتقليل تساقط الازهار ويجب ازالتها بعد هذه الفترة لتجنب الإصابة بالعناكب او الفطريات نتيجة للرطوبة داخل الكيس وذلك لضمان زيادة نسبة العقد وتساهم في التبكير في النضج، وتحسين جودة الثمار وتنظيم التلوين. تشير نتائج الدراسات بأن تكييس النورات الزهرية الانثوية بعد التلقيح مباشرة بأكياس ورقية مثقبة يؤدي إلى زيادة حجم الثمار والتبكير في النضج، وذلك لأنه يؤدي إلى حماية الطلع من   التيارات الهوائية التي تتسبب في جفافها وفشل عملية التلقيح. كما أن التكييس يؤدي إلى المحافظة على درجة الحرارة بشكل عام وحمايتها من التقلبات الجوية. التكميم أو التكييس البلاستيكي المشبك (يوليو): \\n\\nيجري التكميم بعد بدء دور البسر (الخلال) فاذا كممت العذوق قبل ذلك ازداد الضرر من ظاهرتي: الوشم والذنب الأسود لان الاغطية لا تحفظ الثمار من رطوبة الجو العالية، بل تزيدها لأنها لا تمنع تخلخل الرياح بداخلها. يتم تغطية العذوق بالكيس البلاستيكي المشبك قبل بداية التلوين؛ لضمان عدم تساقط الثمار وحمايتها من الطيور والدبابير. كما أنه يسهل عملية جني الثمار عن طريق هز العذق داخل الأكياس لتجميع الثمار. التفريد (مارس & إبريل)\\n\\nسحب العذوق من بين السعف والخوص والأشواك وإعادة توزيعها بشكل دائري منتظم حول رأس النخلة. وتتم هذه العملية عندما تكون العذوق غير متصلبة (6-8 أسابيع بعد العقد). التحدير (مايو-يوليو)\\n\\nتدلية العذوق إلى أسفل مع ربط حامل العذق عند بداية تفرع الشماريخ بسعفة أو بحبل. وتتم هذه العملية في نهاية مرحلة الكمري وحتى بداية مرحلة الرطب. وتهدف إلى:\\n\\nتفادي تعرض العذق للكسر\\n\\nتسهيل عملية جني الثمار\\n\\nتعريض العذق للتيارات الهوائية للإسراع في نضج الثمار وتجفيفها. الحد من تشوه الثمار وتساقطها بسبب كثرة حركة العذق واحتكاكه بالسعف\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\nالتقليم (التسعيف والتكريب (\\n\\nتنـظـيف رأس النخلة:\\n\\nتزال أغلفة الطلع وبقايا العراجين للموسم السابق من رأس النخلة نظراً لكونها تشكل مصدراً للإصابة بالآفات وخاصة الأمراض الفطرية، وكذلك للحفاظ على المظهر العام لرأس النخلة. تزال الأشواك لتسهيل الصعود إلى رأس النخلة أثناء عمليات الخدمة (التنبيت والتفريد والتنظيف). تنظيف بقايا الثمار العالقة بين الكرب وفي قمة النخلة حيث ان معظمها يحتوي على افات حشرية أو عناكبية . عـملــية التـسعــيف: هي قطع السعف (الزور) اليابس والمصفر في منطقة الأشواك. يتفاوت عدد السعف الجديد الذي تكونه النخلة حسب الصنف ومستوى الرعاية التي تتلقاها. وفي الغالب تجرى هذه العملية سنوياً بعد الجني أو عند عملية التحدير. عملــية التكريب:\\n\\nعملية إزالة الكرب او الكرانيف او قواعد السعف مع الليف الذي يتخللها. يجب أن يكون قطع الكربة مائلا وفي المنطقة أو الخط الذي يمثل أقصى تحدبها وبحيث يشكل سطحها مع الجذع زاوية تقرب من 120 درجة من الجذع باتجاه الخارج. ويمكن معرفة هذا الخط بالطرق باستخدام الداس على هذه المنطقة حيث يعطي الجزء السفلي صوتاً يختلف عن الصوت الناجم عن الطرق على الجزء الأعلى منه وهو الأكثر جفافا وعندئذ يتم تحديد موقع القطع \\n\\nلابد من تفادي ترك أي جرح عند القطع حتى لا تكون مصدراً للإصابة بالآفات. موعد التكريب:\\n\\nيجرى التكريب عادة عند الانتهاء من جني المحصول وبفترات تتراوح بين 2-4 سنة حسب نشاط النخلة وسرعة نموها. يترك خطين أو ثلاثة خطوط من الكرب دون تكريب حفاظاً على قلب النخلة من الظروف البيئية القاسية ولتوفير حماية ودعم للسعف الأخضر من الخلع\\xa0(نتيجة وزن العذوق) وإجراء عمليات الخدمة. يفضل عدم تكريب النخيل حديث النمو إلا بعد اكتمال نموها ويكون الجذع قد أخذ حجمه الطبيعي وغالباً عندما يصل ارتفاعها نصف متر من القاعدة. يجب عند إجراء عملية التكريب مراعاة النقاط التالية:\\n\\nيتم قطع قواعد السعف أفقياً وبشكل مائل إلى الخارج ومتدرج بحيث تنتهي كل درجة عند بداية قاعدة الكربة التي تليها من الأعلى، حتى لا تتجمع المياه والتمر المتساقط بين قاعدة السعف والجذع. يجب عدم جرح الجذع عند قطع الكربة لأن ذلك يؤدي إلى التعفن والإصابة بسوسة النخ��ل الحمراء. حصر التكريب في الكرب الجاف فقط وابقاء ما لا يقل عن (4-6) أدوار من الكرب بعيدا عن السعف الأخضر لان تكريب السعف الأخضر يعرض قواعد الكرب التي لا زالت رطبة للتشقق والتعفن. طــرق التـكـريب:\\n\\nالتكريب اليدوي: وتتم إما باستخدام المنشار اليدوي أو المخلب (الداس) (عبارة عن سكين معقوفة وحادة جدا) أو الشكنة والمطرقة. التكريب الميكانيكي: وتتم باستخدام المنشار الكهربائي الذي يعمل بالبطارية القابلة للشحن وقد أثبتت هذه الطريقة كفاءتها. وهناك مناشير تعمل بالكهرباء مع أهمية اتخاذ إجراءات السلامة والأمان، ولكن يفضل المنشار الذي يعمل بالبطارية لسهولة العمل وتوفر نواحي الأمان فيه أيضاً. وتمتاز هذه الطريقة عن الطريقة اليدوية بأنها تقلل من عدد العمال المطلوبين للتكريب بجانب سرعة الإنجاز، وتوفير الوقت، والجهد والمال. ما بعد التكريب: \\n\\nبعد انتهاء عملية التكريب يصبح من الواجب معاملة الجذع بمادة تعمل على منع انبعاث روائح الكرمونات من الجذع (نتيجة القطع) لأنها مواد جاذبة للسوسة ويتم ذلك بما يلي:\\n\\nيفضل رش الجذع بأحد المبيدات الحشرية للحماية من الحشرات خاصة سوسة النخيل. تعفير الجذع بالكبريت الزراعي 95%\\n\\nإذا وجدت إصابة بسوسة النخيل الحمراء أو الحفارات فلابد من العمل على معالجتها باستخدام المبيدات المناسبة. إزالة الرواكيب (الكواريب)\\n\\nينبغي إزالة الرواكيب وعدم تركها تستنزف المواد الغذائية من الأم. كما لابد من تحديد عدد الفسائل بما لا يتجاوز 4-5 فسائل صغيرة على شجرة النخيل حيث أنها تؤثر سلباً على كمية ونوع التمر وتكون أكثر عرضة للإصابة بالآفات. فوائد عمليتي التسعيف والتكريب:\\n\\nإن موقع القطع مهم جداً؛ لأنه يحدد الحجم المقطوع من الكربة وإزالة هذا الحجم يؤدي إلى التقليل من فرص إصابتها بالآفات. حيث أن هذه المنطقة تشكل بيئة مفضلة للحشرات للاختباء فيها أو قضاء أحد أطوار نموها كما هو الحال في حشرة حفار العذوق وحشرة حفار الساق وسوسة النخيل الحمراء. وهذه العملية تعتبر من أهم الإجراءات التي تضمن نجاح برنامج المكافحة المتكاملة لهذه الآفات والقضاء عليها حيث تقلل طريقة القطع في هذه المنطقة بشكل كبير المسافة بين الكربة والجذع مما يحد من فرص الإصابة بالآفات. يساعد في تسهيل تسلق النخلة لإجراء عمليات خدمتها الأخرى كالتنبيت والتفريد والتحدير والجني. يمكن الاستفادة من مخلفات التقليم في بعض الصناعات اليدوية مثل الحصير والسلال وإنتاج الخشب المضغوط أو لإنتاج العلف الحيواني بعد إمرارها بعمليات الطحن والتخمير. الحصاد وعمليات ما بعد الحصاد\\n\\nطرق التعرف على الموعد المناسب للحصاد:\\n\\nسهولة انفصال الثمار من الشماريخ. تغير لون الثمار حسب الصنف هي دلائل يمكن الاعتماد عليها في تحديد اكتمال النمو والنضج، ولكن سيكون فيها طعم قابض في هذه المرحلة. بالنسبة للأصناف التي تقطف في مرحلة الرطب، تقطف الثمار في مرحلة النضج الجزئي أو عندما تكون قريبة من نضجها الكامل، \\n\\nيتم قطف الجزء الأكبر من الثمار في مرحلة الرطب ومرحلة التمر عندما يكون بها قدر أكبر من السكريات ومستوى أقل من الرطوبة والتانينات. في بعض الأصناف ليونة أنسجة الثمار بحيث تكون طرية عند وصولها لمرحلة النضج. ويمكن معرفة ذلك بالضغط الخفيف باليد على الثمرة لمعرفة تماسك لحم الثمرة (ثمرة متماسكة). علامات جودة الثمار: \\n\\nالعلامات تؤثر على جودة الثمار تشمل حجم الثمرة، ا��لون، القوام، النظافة.'),\n",
+       " Document(metadata={'source': 'data/الموسوعة الزراعية - مشاركة/الموسوعة - النخيل.docx'}, page_content='خلو الثمار من العيوب مثل (أكل الطيور، لسعة الشمس، أضرار ناتجة عن الحشرات، هجرة السكر من سطح الثمرة والتخمر). وكذلك خلوها من العفن الناتج عن المسببات المرضية. ينصح بأن يكون الحصاد بعد شروق الشمس مع الابتعاد عن وقت تجمع قطرات الندى حتى لا تتعرض الثمار للتخمر بعد التعبئة. عدم تعريض الثمار التي تم حصادها لأشعة الشمس المباشرة بقدر الإمكان. نقل وتخزين الثمار بعد حصادها وفرزها ونظافتها بأسرع ما يمكن في غرف التبريد. جني الثمار (يوليو-نوفمبر)\\n\\nجني الرطب:\\n\\nبالحبة: يتم جني الثمار بالحبة؛ وذلك في مرحلة الرطب (الجارين) وتوضع داخل العبوات الكرتونية أو البلاستيكية. قطع الشماريخ: يتم قطع الشماريخ وذلك في مرحلة الرطب (الجارين) وتوضع داخل العبوات الكرتونية أو البلاستيكية. جني التمر:\\n\\nالجني المتعدد: ننفض العذوق من على النخلة بنسبة 80-85% في مرحلة الرطب الهامد. قطع العذوق في مرحلة الرطب الهامد: تقطع العذوق وتترك على النخلة من 3-5 أيام حسب الصنف ويتم تنزيلها من النخلة. قطع العذوق عند جفاف التمور: تقطع العذوق ويتم تنزيلها بشكل مباشر. التجفيف\\n\\nيمكن استخدام أحد الطرق التالية في التجفيف:\\n\\nغرف التجفيف الشمسي المصنوعة من مادة البولي كربونيت. الغرف الزجاجية. الغرف البلاستيكية. خطوات التجفيف:\\n\\nفرز التمور حسب المواصفات. نثر التمور في مرحلة الجارين أو الرطب الهامد على الإطارات (الصواني المشبكة)\\n\\nنقل الإطارات داخل غرف التجفيف. ترك الإطارات داخل غرف التجفيف ما بين يومين إلى ثلاثة أيام وبنسبة رطوبة من 18-22%. ويتوقف ذلك حسب نوع الصنف. تعبئة التمور داخل الصناديق البلاستيكية. تخزين التمور داخل غرف مبردة. -18-0 oC\\n\\n-18-0 oC\\n\\nالتبريد المبدئي السريع:\\n\\nيجب الإسراع بإجراء التبريد السريع وخفض درجة حرارة الثمار مباشرة بعد الحصاد وخلال مدة 1-3 ساعات من وقت الحصاد. يهدف التبريد المبدئي لسرعة التخلص من حرارة الحقل وبالتالي الحفاظ على جودة الثمار والحد من التدهور وتقليل الفاقد منها، وإطالة مدة حفظ وتخزين الثمار. درجة الحرارة المثلى لحفظ ثمار الرطب هي من صفر درجة مئوية. يمكن إنشاء غرف تبريد رخيصة التكاليف CoolBot (مزيد من المعلومات وتفاصيل التركيب في الملحق). الشروط الموصى بها لإطالة فترات التخزين:\\n\\n\\n\\nالمحصول\\n\\nدرجة حرارة التخزين\\n\\n(درجة مئوية)\\n\\nالرطوبة النسبية المثلى\\n\\nأقصى درجة تبريد ممكنة (درجة مئوية)\\n\\nمدة التخزين المتوقعة*\\n\\nالرطب\\n\\n-18صفر -\\n\\n70 - 75%\\n\\n-15.7\\n\\n6 - 12 شهر\\n\\nالتمور الطرية\\n\\nصفر - 5\\n\\n85%\\n\\n\\n\\n6 - 12 شهر\\n\\nالتمور النصف جافة\\n\\nصفر - 5\\n\\n75 - 80%\\n\\n\\n\\n6 - 12 شهر\\n\\nالتمور الجافة\\n\\nصفر - 5\\n\\n60%\\n\\n\\n\\n6 - 12 شهر\\n\\n*المدة المتوقعة تختلف حسب الصنف. التصنيع\\n\\nبالحبة:\\n\\nتفرز التمور بالحبة كدرجة أولى وثانية ومن ثم تعبأ بعبوات بلاستيكية أو كرتونية أو تغلف بالحبة. بالكبس:\\n\\nتعبأ التمور في الأكياس البلاستيكية. تنقل التمور إلى المكبس لإجراء عملية الكبس. توضع أكياس التمور المكبوسة داخل جهاز شفط الهواء (Vacuum) لسحب الهواء من داخلها. معدلات التنفس:\\n\\nالمرحلة\\n\\nمعدل التنفس (مل CO2/كجم x ساعة) عند 20 م°\\n\\nالخلال\\n\\nأقل من 25\\n\\nالرطب والتمر\\n\\nأقل من 5\\n\\n\\n\\nولحساب الحرارة الناتجة يتم ضرب معدل التنفس:\\n\\nمل CO2 كجم x ساعة x 440 للحصول على الوحدات الحرارية البريطانيةBTU /طن/يوم.'),\n",
+       " Document(metadata={'source': 'data/الموسوعة الزراعية - مشاركة/الموسوعة - النخيل.docx'}, page_content='أو يضرب في 122 للحصول على الحرارة بالكيلو كالوري/طن متري/يوم. الاستجابة للإيثلين:\\n\\nالثمار الناضجة لا تستجيب للإيثلين، ولكن تمتص رائحة المنتجات الأخرى. وعليه لا ينصح بتخزينها مع ثمار الثوم، البصل، البطاطا أو أي محصول أو سلعة تنتج روائح قوية. معدلات إنتاج الإيثلين:\\n\\n\\n\\nالمرحلة\\n\\nمعدل إنتاج الإيثلين (ميكروليتر إيثلين/كجم x ساعة)\\n\\nدرجة الحرارة (درجة مئوية)\\n\\nالخلال\\n\\nأقل من 0.5\\n\\n20\\n\\nالرطب والتمر\\n\\nأقل من 0.1\\n\\n20\\n\\n\\n\\nالاستجابة للجو المتحكم فيه:\\n\\nالتعبئة تحت النيتروجين (استبعاد الأوكسجين) يقلل من حدوث اللون الداكن في الثمار ويحد من الإصابة بالحشرات. الأضرار الطبيعية والفسيولوجية:\\n\\nاللون الداكن: تحدث عمليات تلون بني في الرطب (أنزيمية أو غير أنزيمية) وتزداد مع ارتفاع نسبة الرطوبة والحرارة. ويمكن تثبيط التلون البني الأنزيمي عن طريق خفض تركيز الأوكسجين. الطعم الحامضي المتخمر: يحدث التخمر بفعل الخميرة ويؤدي إلى الطعم المتخمر اللاذع في الثمار وخاصة عندما تزداد الرطوبة بها عن 15%. البقع السكرية: في الأصناف الطرية يتبلور السكر تحت جلد الثمار وفي اللحم، وعلى الرغم من أن هذه الظاهرة لا تؤثر على الطعم ولكنها تعمل على تغيير القوام والمظهر. ويمكن تخزين الثمار على درجات الحرارة الموصى بها لتقليل من هذه الظاهرة والتي تحدث أساسا في الأصناف التي يسود بها الجلكوز والفركتوز. الأضرار المرضية:\\n\\nإن الأضرار والتلف الميكروبي يمكن الحدوث عن طريق الخميرة والتي تعد أهم مشكلة. وكذلك عن طريق الفطريات والبكتيريا. وتعتبر خميرة Zygosaccharomyces أكثر الخمائر مقاومة لتراكيز السكر العالية. وتكتسب الثمار المصابة بالخميرة برائحة كحولية. وأما باقي الفطريات كفطر Alternaria،Aspergillus ، Penicillium فيمكن أن تنمو على الثمار ذات الرطوبة المرتفعة خاصة التي تجمع بعد هطول الأمطار. مقاومة أمراض ما بعد الحصاد:\\n\\nلابد من المقاومة الجيدة لأمراض ما قبل الحصاد \\n\\nيفضل إجراء عمليات التبخير بمواد مصرح بها لقتل حشرات المخازن ومن ثم تعبئة الثمار في عبوات غير منفذة للحشرات. وبالنسبة للثمار العضوية، فيمكن معاملتها بثاني أكسيد الكربون بتركيز 100% ولمدة 1-2 يوم. تجفيف الثمار إلى 20% رطوبة أو أقل لتقليل الإصابة بالفطريات والخمائر. يجب المحافظة على النظافة الشديدة لعبوات الجمع والنقل وغرف التخزين. من المهم تداول الثمار بعناية شديدة لتلافي الكدمات والتشققات والأضرار الطبيعية الأخرى. تخزين الثمار على درجة حرارة أقل من 13 درجة مئوية سيحد من الأضرار الناتجة عن أكل الحشرات أو تكاثرها. كما يمكن مقاومة الإصابة بالحشرات بالتخزين على درجة حرارة أقل من 5 درجات مئوية. تلافي تذبذب درجات الحرارة والرطوبة الموصى بها طوال فترة التداول. لابد من إجراء التبريد السريع إلى صفر درجة مئوية مع المحافظة على سلسلة التبريد Cold Chain خلال فترة التداول حتى تصل إلى المستهلك. أصناف النخيل\\n\\nتتباين أصناف النخيل حسب اختلاف توزيع المناطق الجغرافية، حيث يتميز الصنف بصفات تختلف عن نفس الصنف في منطقة أخرى. ويعود ذلك التباين إلى مدى تكييف كل صنف للظروف البيئية السائدة في كل منطقة. فنجد أصناف تجود في المناطق الجافة وأصناف أخرى تكون أكثر نجاحاً في المناطق الساحلية ذات الر��وبة النسبية المرتفعة. تم تقسيم الأصناف التجارية بناء على ما هو معتمد بشركة الفوعة. تم تقسيم الأصناف الأكثر تداولاً بناء على كميات وجودة الإنتاج. أصناف النخيل التجارية بناء على ما هو معتمد بشركة الفوعة:\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\t\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\nالأصناف الأكثر تداولاً بناء على الكميات وجودة الإنتاج:\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\n\\t\\n\\nالوقاية ومكافحة الآفات\\n\\n\\t\\n\\nالآفات وطرق مكافحتها\\n\\n\\n\\nالأعشاب الضارة\\n\\nتمثل الأعشاب عائلاً للحشرات ومسببات للأمراض. كما تعمل على منافسة الأشجار على الاحتياجات الغذائية والماء. لذلك من المهم جداً مكافحة الأعشاب الضارة في حوض الشجرة وقبل الوصول إلى مرحلة المنافسة الحرجة، ويفضل مكافحتها في المراحل الأولى من نموها يدويا أو ميكانيكيا بالحراثة، على أن تكون المكافحة الكيميائية خيار أخير. المكافحة الكيميائية:\\n\\nيمكن أن تكون مبيدات الأعشاب انتقائية أو متخصصة (تقتل الأعشاب الضارة دون أن تؤذي المحاصيل) أو غير انتقائية للأعشاب الضارة ذات الأوراق العريضة والأعشاب رفيعة الأوراق. يمكن أن تتلف مبيدات الأعشاب الأشجار إذا لم يتم استخدامها بالطرق الصحيحة. يرجى التواصل مع ضابط الإرشاد إذا كان لديك أي استفسار بشأن استخدام مبيدات الأعشاب. امثله لبعض مبيدات الأعشاب:\\n\\n\\n\\nالاسم التجاري\\n\\nالمادة الفعالة\\n\\nالإجراء\\n\\nالانتقائية\\n\\nMONUMENT 75 WG \\n\\nTrifloxysulfuron Sodium 75% W/W\\n\\nرشا على الأعشاب\\n\\nالحشائش عريضة الأوراق\\n\\nTenacity\\n\\nMesotrione 40% W/W (480 g/l)\\n\\nرشا على الأعشاب\\n\\nالحشائش النجيلية\\n\\nBarricade 65 WG\\n\\nProdiamine 65%\\n\\nرشا على الأعشاب\\n\\nحشائش عريضة الأوراق\\n\\nSENCOR SC 600\\n\\nMetribuzin 600 g/l\\n\\nرشا على الأعشاب\\n\\nالحشائش عريضة الأوراق\\n\\n\\n\\n\\n\\nحشرة البق الدقيقي في النخيل\\n\\nللحشرة 8 أجيال في السنة ومدة الجيل من 30-95 يوم. تهاجر حشرة البق الدقيقي خلال فصل الشتاء إلى منطقة الجذور بالنخيل حيث تعيش وتتغذي على الجذور بامتصاص العصارة. وعند ارتفاع درجة الحرارة وملائمة الظروف الجوية فإن أفراد البق الدقيقي تعود مرة أخرى إلى قواعد الجريد لتتغذي عليها. تضع أنثى حشرة البق الدقيقي أعداداً كبيرة من البيض قد يصل عددها إلى عدة آلاف. وتقوم بتغطية البيض بإفرازاتها الشمعية البيضاء اللون. يتغذى البق الدقيقي على قواعد الجريد ومن النادر وجودها على الخوص، حيث تمتص عصـارة السعف والثمار وتتسبب بتجعدها وجفافها. ويصاحب الإصابة إفرازات قطنية بيضاء اللون يسيل منها الندوة العسلية حيث تنمو عليه فطريات العفن الأسود.'),\n",
+       " Document(metadata={'source': 'data/الموسوعة الزراعية - مشاركة/الموسوعة - النخيل.docx'}, page_content='وتكثر الإصابة في الأماكن المظللة والرطبـة. إدارة الآفة:\\n\\nالاهتمام بنظافة المزرعة. تكريب النخيل. الإدارة الجيدة للري والتسميد. إزالة الفسائل من حول الأمهات.')]"
+      ]
+     },
+     "execution_count": 24,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "split_documents[:5]"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 25,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "143730\n",
+      "832\n"
+     ]
+    }
+   ],
+   "source": [
+    "print(len(documents))\n",
+    "print(len(split_documents))"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 26,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "combined_documents = documents + split_documents"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 27,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "144562"
+      ]
+     },
+     "execution_count": 27,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "len(combined_documents)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 28,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "combined_keyword_retriever = BM25Retriever.from_documents(split_documents)\n",
+    "combined_keyword_retriever.k =  20\n",
+    "\n",
+    "import pickle\n",
+    "with open('combined_keyword_retriever.pkl', \"wb\") as f:\n",
+    "    pickle.dump(combined_keyword_retriever, f)"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "adafsa_env",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.8.10"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}

faiss_excel_doc_index/index.faiss

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:93af2db742f688ef046e298394b29bb6124c97bc01c841aa9e7d11d95ace38d3
+size 441538605

faiss_excel_doc_index/index.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:79bf3786db209a1e32e72906d3ab7edce408ff000728b7af28b55bc729c02285
+size 58044220

faiss_word_doc_index/index.faiss

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:11f8421c1c0bef4e50cd8eb13ae3f9c22102fb9132e3cba75815c8959594dca3
+size 2555949

faiss_word_doc_index/index.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:00e66a13dd78e6fe5d3246865431124fa7e3c450d8a59d13da3306b1c33cc1bd
+size 3226204

rag_pipeline.ipynb

@@ -0,0 +1,259 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "[nltk_data] Downloading package averaged_perceptron_tagger_eng to\n",
+      "[nltk_data]     /home/fahadkhan/nltk_data...\n",
+      "[nltk_data]   Package averaged_perceptron_tagger_eng is already up-to-\n",
+      "[nltk_data]       date!\n"
+     ]
+    },
+    {
+     "data": {
+      "text/plain": [
+       "True"
+      ]
+     },
+     "execution_count": 1,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "import nltk\n",
+    "nltk.download('averaged_perceptron_tagger_eng')"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from langchain_core.prompts import ChatPromptTemplate\n",
+    "from langchain_core.output_parsers import StrOutputParser\n",
+    "from langchain_core.runnables import RunnablePassthrough\n",
+    "from langchain_huggingface.embeddings import HuggingFaceEmbeddings\n",
+    "from langchain_community.vectorstores import FAISS\n",
+    "from langchain_groq import ChatGroq\n",
+    "import pickle\n",
+    "import os\n",
+    "\n",
+    "GROQ_API_KEY=\"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\"\n",
+    "os.environ['GROQ_API_KEY'] = GROQ_API_KEY"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "/home/fahadkhan/Desktop/ADAFSA_Project/adafsa_env/lib/python3.8/site-packages/tqdm/auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html\n",
+      "  from .autonotebook import tqdm as notebook_tqdm\n",
+      "Some weights of the model checkpoint at Alibaba-NLP/gte-multilingual-base were not used when initializing NewModel: ['classifier.bias', 'classifier.weight']\n",
+      "- This IS expected if you are initializing NewModel from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).\n",
+      "- This IS NOT expected if you are initializing NewModel from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).\n"
+     ]
+    }
+   ],
+   "source": [
+    "embed_model = HuggingFaceEmbeddings(model_name=\"Alibaba-NLP/gte-multilingual-base\", model_kwargs={\"trust_remote_code\":True})"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "excel_vectorstore = FAISS.load_local(folder_path=\"./faiss_excel_doc_index\", embeddings=embed_model, allow_dangerous_deserialization=True)\n",
+    "word_vectorstore = FAISS.load_local(folder_path=\"./faiss_word_doc_index\", embeddings=embed_model, allow_dangerous_deserialization=True)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 4,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "excel_vectorstore.merge_from(word_vectorstore)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "combined_vectorstore = excel_vectorstore"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 48,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "with open('combined_keyword_retriever.pkl', 'rb') as f:\n",
+    "    combined_keyword_retriever = pickle.load(f)\n",
+    "    combined_keyword_retriever.k = 10"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 49,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "semantic_retriever = combined_vectorstore.as_retriever(search_type=\"mmr\", search_kwargs={'k': 10, 'lambda_mult': 0.25})"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 50,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from langchain.retrievers import EnsembleRetriever\n",
+    "\n",
+    "# initialize the ensemble retriever\n",
+    "ensemble_retriever = EnsembleRetriever(\n",
+    "    retrievers=[combined_keyword_retriever, semantic_retriever], weights=[0.5, 0.5]\n",
+    ")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 51,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from langchain.retrievers.document_compressors import EmbeddingsFilter\n",
+    "from langchain.retrievers import ContextualCompressionRetriever\n",
+    "\n",
+    "embeddings_filter = EmbeddingsFilter(embeddings=embed_model, similarity_threshold=0.6)\n",
+    "compression_retriever = ContextualCompressionRetriever(\n",
+    "    base_compressor=embeddings_filter, base_retriever=ensemble_retriever\n",
+    ")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 55,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "llm = ChatGroq(\n",
+    "    model=\"llama-3.1-8b-instant\",  \n",
+    "    temperature=0.0,\n",
+    "    max_tokens=1024, \n",
+    "    max_retries=2\n",
+    ")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 53,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "/home/fahadkhan/Desktop/ADAFSA_Project/adafsa_env/lib/python3.8/site-packages/langsmith/client.py:312: LangSmithMissingAPIKeyWarning: API key must be provided when using hosted LangSmith API\n",
+      "  warnings.warn(\n"
+     ]
+    }
+   ],
+   "source": [
+    "from langchain import hub\n",
+    "\n",
+    "prompt = hub.pull(\"rlm/rag-prompt\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 56,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from langchain_core.output_parsers import StrOutputParser\n",
+    "from langchain_core.runnables import RunnablePassthrough\n",
+    "\n",
+    "\n",
+    "def format_docs(docs):\n",
+    "    return \"\\n\\n\".join(doc.page_content for doc in docs)\n",
+    "\n",
+    "\n",
+    "rag_chain = (\n",
+    "    {\"context\": compression_retriever | format_docs, \"question\": RunnablePassthrough()}\n",
+    "    | prompt\n",
+    "    | llm\n",
+    "    | StrOutputParser()\n",
+    ")\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 47,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "'شروط اختيار مكان منحل العسل: \\n\\n1. أن يكون موقع المنحل في منطقة زراعية تتنوع فيها النباتات أو الأشجار النحلية المزهرة كمصدر متعدد للرحيق وحبوب اللقاح.\\n2. يفضل وضع المنحل بعيداً عن أماكن السكن وأماكن لعب الأطفال والأماكن المضيئة ليلاً.\\n3. يجب أن يكون المنحل بعيداً عن حظائر الأبقار والأغنام والدواجن لأن الروائح الكريهة تؤذي نحل العسل.'"
+      ]
+     },
+     "execution_count": 47,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "rag_chain.invoke(\"شروط اختيار مكان منحل العسل؟\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 44,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# for chunk in rag_chain.stream(\"ما هي الاحتياجات المائية وجدولة الري ؟\"):\n",
+    "#     print(chunk, end=\"\", flush=True)"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "rag",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.8.10"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}

requirements.txt

@@ -0,0 +1,253 @@
+aiofiles==23.2.1
+aiohappyeyeballs==2.4.0
+aiohttp==3.9.1
+aiosignal==1.3.1
+annotated-types==0.7.0
+antiorm==1.2.1
+anyio==4.4.0
+asgiref==3.8.1
+asttokens==2.4.1
+async-timeout==4.0.3
+attrs==24.2.0
+backcall==0.2.0
+backoff==2.2.1
+bcrypt==4.2.0
+beautifulsoup4==4.12.3
+bitarray==2.9.2
+blinker==1.8.2
+bm25s==0.1.10
+build==1.2.1
+cachetools==5.5.0
+catalogue==2.0.10
+certifi==2024.8.30
+chardet==5.2.0
+charset-normalizer==3.3.2
+chroma-hnswlib==0.7.3
+chromadb==0.5.3
+click==8.1.7
+colbert-ai==0.2.19
+coloredlogs==15.0.1
+comm==0.2.2
+contourpy==1.1.1
+cycler==0.12.1
+dataclasses-json==0.6.7
+datasets==2.21.0
+db==0.1.1
+db-sqlite3==0.0.1
+debugpy==1.8.5
+decorator==5.1.1
+deepdiff==8.0.1
+Deprecated==1.2.14
+dill==0.3.8
+dirtyjson==1.0.8
+distro==1.9.0
+docx2txt==0.8
+emoji==2.12.1
+et-xmlfile==1.1.0
+exceptiongroup==1.2.2
+executing==2.1.0
+faiss-cpu==1.8.0.post1
+fastapi==0.112.2
+ffmpy==0.4.0
+filelock==3.15.4
+filetype==1.2.0
+flask==3.0.3
+flatbuffers==24.3.25
+fonttools==4.53.1
+frozenlist==1.4.1
+fsspec==2024.9.0
+git-python==1.0.3
+gitdb==4.0.11
+GitPython==3.1.43
+google-auth==2.34.0
+googleapis-common-protos==1.65.0
+gradio==4.44.0
+gradio-client==1.3.0
+graphlib-backport==1.1.0
+greenlet==3.0.3
+groq==0.11.0
+grpcio==1.66.1
+h11==0.14.0
+httpcore==1.0.5
+httptools==0.6.1
+httpx==0.27.2
+huggingface-hub==0.24.6
+humanfriendly==10.0
+idna==3.8
+importlib-metadata==8.4.0
+importlib-resources==6.4.4
+ipykernel==6.29.5
+ipython==8.12.3
+itsdangerous==2.2.0
+jedi==0.19.1
+jinja2==3.1.4
+jiter==0.5.0
+joblib==1.4.2
+jq==1.8.0
+jsonpatch==1.33
+jsonpath-python==1.0.6
+jsonpointer==3.0.0
+jupyter-client==8.6.2
+jupyter-core==5.7.2
+kiwisolver==1.4.7
+kubernetes==30.1.0
+langchain==0.2.16
+langchain-community==0.2.16
+langchain-core==0.2.39
+langchain-experimental==0.0.65
+langchain-groq==0.1.9
+langchain-huggingface==0.0.3
+langchain-text-splitters==0.2.4
+langdetect==1.0.9
+langsmith==0.1.117
+llama-index==0.10.6
+llama-index-agent-openai==0.1.7
+llama-index-core==0.10.68.post1
+llama-index-embeddings-openai==0.1.11
+llama-index-legacy==0.9.48.post3
+llama-index-llms-openai==0.1.31
+llama-index-multi-modal-llms-openai==0.1.9
+llama-index-program-openai==0.1.7
+llama-index-question-gen-openai==0.1.3
+llama-index-readers-file==0.1.33
+lxml==5.3.0
+markdown-it-py==3.0.0
+MarkupSafe==2.1.5
+marshmallow==3.22.0
+matplotlib==3.7.5
+matplotlib-inline==0.1.7
+mdurl==0.1.2
+mmh3==4.1.0
+monotonic==1.6
+mpmath==1.3.0
+multidict==6.0.5
+multiprocess==0.70.16
+mypy-extensions==1.0.0
+nest-asyncio==1.6.0
+networkx==3.1
+ninja==1.11.1.1
+nltk==3.9.1
+numpy==1.24.4
+nvidia-cublas-cu12==12.1.3.1
+nvidia-cuda-cupti-cu12==12.1.105
+nvidia-cuda-nvrtc-cu12==12.1.105
+nvidia-cuda-runtime-cu12==12.1.105
+nvidia-cudnn-cu12==9.1.0.70
+nvidia-cufft-cu12==11.0.2.54
+nvidia-curand-cu12==10.3.2.106
+nvidia-cusolver-cu12==11.4.5.107
+nvidia-cusparse-cu12==12.1.0.106
+nvidia-nccl-cu12==2.20.5
+nvidia-nvjitlink-cu12==12.6.68
+nvidia-nvtx-cu12==12.1.105
+oauthlib==3.2.2
+onnx==1.16.2
+onnxruntime==1.16.3
+openai==1.44.1
+openpyxl==3.1.5
+opentelemetry-api==1.27.0
+opentelemetry-exporter-otlp-proto-common==1.27.0
+opentelemetry-exporter-otlp-proto-grpc==1.27.0
+opentelemetry-instrumentation==0.48b0
+opentelemetry-instrumentation-asgi==0.48b0
+opentelemetry-instrumentation-fastapi==0.48b0
+opentelemetry-proto==1.27.0
+opentelemetry-sdk==1.27.0
+opentelemetry-semantic-conventions==0.48b0
+opentelemetry-util-http==0.48b0
+orderly-set==5.2.2
+orjson==3.10.7
+overrides==7.7.0
+packaging==23.2
+pandas==2.0.3
+parso==0.8.4
+pexpect==4.9.0
+pickleshare==0.7.5
+pillow==10.4.0
+platformdirs==4.2.2
+posthog==3.6.3
+prompt-toolkit==3.0.47
+protobuf==5.28.0
+psutil==5.9.8
+ptyprocess==0.7.0
+pure-eval==0.2.3
+pyarrow==17.0.0
+pyasn1==0.6.0
+pyasn1-modules==0.4.0
+pydantic==2.8.2
+pydantic-core==2.20.1
+pydub==0.25.1
+pygments==2.18.0
+pyparsing==3.1.4
+pypdf==4.3.1
+PyPika==0.48.9
+pyproject-hooks==1.1.0
+PyStemmer==2.2.0.1
+python-dateutil==2.9.0.post0
+python-docx==1.1.2
+python-dotenv==1.0.1
+python-iso639==2024.4.27
+python-magic==0.4.27
+python-multipart==0.0.9
+pytz==2024.1
+PyYAML==6.0.2
+pyzmq==26.2.0
+rank-bm25==0.2.2
+rapidfuzz==3.9.7
+regex==2024.7.24
+requests==2.32.3
+requests-oauthlib==2.0.0
+requests-toolbelt==1.0.0
+rich==13.8.0
+rsa==4.9
+ruff==0.6.4
+safetensors==0.4.4
+scikit-learn==1.3.2
+scipy==1.10.1
+semantic-version==2.10.0
+sentence-transformers==2.7.0
+shellingham==1.5.4
+six==1.16.0
+smmap==5.0.1
+sniffio==1.3.1
+soupsieve==2.6
+spaces==0.30.2
+SQLAlchemy==2.0.33
+srsly==2.4.8
+stack-data==0.6.3
+starlette==0.38.4
+striprtf==0.0.26
+sympy==1.13.2
+tabulate==0.9.0
+tenacity==8.5.0
+threadpoolctl==3.5.0
+tiktoken==0.7.0
+tokenizers==0.19.1
+tomli==2.0.1
+tomlkit==0.12.0
+torch==2.4.1
+tornado==6.4.1
+tqdm==4.66.5
+traitlets==5.14.3
+transformers==4.44.2
+triton==3.0.0
+typer==0.12.5
+typing-extensions==4.12.2
+typing-inspect==0.9.0
+tzdata==2024.1
+ujson==5.10.0
+unstructured==0.11.8
+unstructured-client==0.25.7
+urllib3==2.2.2
+uvicorn==0.30.6
+uvloop==0.20.0
+voyager==2.0.9
+watchfiles==0.24.0
+wcwidth==0.2.13
+websocket-client==1.8.0
+websockets==12.0
+werkzeug==3.0.4
+wrapt==1.16.0
+xxhash==3.5.0
+yarl==1.9.7
+zipp==3.20.1