Node , Cluster , Shards

১️) Node কি?

Node হলো একটা সার্ভার বা মেশিন যেখানে OpenSearch চলছে।

1. এটি ডেটা সংরক্ষণ করে।

2. এটি সার্চ রিকোয়েস্ট প্রসেস করে।

3. এটি প্রয়োজনে ডেটা প্রিপ্রসেসিং ও ইনডেক্সিংও করতে পারে।

উদাহরণ:

1. তুমি যদি তোমার ল্যাপটপে OpenSearch চালাও, ল্যাপটপটা একটি নোড।

2. ভবিষ্যতে তুমি যদি ৫টা সার্ভার যুক্ত করো, তাহলে সেখানে ৫টি নোড থাকবে।

---

২️) Cluster কি?

Cluster হলো একাধিক Node এর একটি গ্রুপ, যা একসাথে কাজ করে।

1. Cluster একটি বড় OpenSearch সিস্টেমের “মস্তিষ্ক”।

2. Cluster-এর মধ্যে এক Node হয় Cluster Manager, যা সব কিছু ঠিকঠাক পরিচালনা করে।

উদাহরণ:

1. তোমার কাছে ১টা ল্যাপটপ আছে → এটা সিঙ্গেল-নোড ক্লাস্টার।

2. তোমার কাছে ১০টা সার্ভার আছে → সবগুলো মিলিয়ে একটি মাল্টি-নোড ক্লাস্টার।

---

৩️) Single-node vs Multi-node Cluster

Feature	Single-node Cluster	Multi-node Cluster
Nodes	1	অনেক (5, 10, 100+)
কাজ	সবকিছু একটাই মেশিন করে	কাজ ভাগ করা হয় (Indexing, Searching, Cluster State Management)
পারফরম্যান্স	সীমিত	অনেক দ্রুত এবং স্কেলেবল
উদাহরণ	ল্যাপটপে OpenSearch	ডেটা সেন্টারে OpenSearch

উদাহরণ:

1. ল্যাপটপে সব কাজ করে → Index করা, সার্চ করা, Cluster State দেখানো।

2. ডেটা সেন্টারে →

   1. ১টা Node শুধু Cluster State দেখবে

   2. ২-৩টা Node Index এবং Search করবে

   3. ১টা Node Logging বা Monitoring করবে

---

Node-গুলোর মধ্যে যোগাযোগ

1. Cluster-এর সব Node এক অন্যের সঙ্গে কথা বলে।

2. তুমি যদি সার্চ রিকোয়েস্ট পাঠাও কোনো Node-এ,

   1. সেই Node অন্য Node-গুলোর কাছে রিকোয়েস্ট পাঠায়

   2. সব Responses সংগ্রহ করে

   3. ফাইনাল Response তোমাকে দেয়

উদাহরণ:

1. তুমি Student Index-এ “Ali” খুঁজছ →

   1. Node A তোমার রিকোয়েস্ট পায়

   2. Node A Node B এবং Node C কে বলবে খুঁজতে

   3. সব ফলাফল A-তে এসে Aggregation হবে

   4. তারপর A তোমাকে Final Result পাঠাবে

---

💡 মূল টেকঅওয়ে:

1. Node = সার্ভার যা ডেটা রাখে ও সার্চ করে

2. Cluster = একাধিক Node এর গ্রুপ

3. Cluster Manager Node = Cluster পরিচালনার জন্য নির্বাচিত প্রধান Node

4. Multi-node Cluster হলে কাজ ভাগ হয় → স্কেলিং এবং পারফরম্যান্স উন্নত হয়

---

Shards কি?

Shards = Index কে ছোট ছোট ভাগে ভাগ করা।

1. OpenSearch এ এক Index অনেক Document থাকে।

2. যদি Index বড় হয়, একসাথে সব Document এক Node-এ রাখা সম্ভব নয়।

3. তাই OpenSearch Index কে ছোট ছোট অংশে ভাগ করে, যেগুলোকে Shards বলা হয়।

উদাহরণ:

1. ধরো তোমার students Index এ ১০০,০০০ ডকুমেন্ট আছে।

2. OpenSearch এই Index কে ৫টা Shard এ ভাগ করবে → প্রতি Shard এ ২০,০০০ ডকুমেন্ট।

3. Cluster এ ৫টা Node থাকলে, প্রতিটি Node এ ১টি Shard যেতে পারে।

---

Shards কেন দরকার?

1. ডেটা ভাগ করে রাখা:

   1. বড় Index এক Node এ রাখতে গেলে সমস্যা হতে পারে।

   2. Shards Node গুলোর মধ্যে ভাগ করলে বড় ডেটাও Manage করা যায়।

2. Parallel Processing:

   1. প্রতিটি Shard স্বাধীনভাবে কাজ করতে পারে।

   2. সার্চ হলে প্রতিটি Shard আলাদাভাবে খুঁজে পরে ফলাফল Aggregate হয়।

3. Scalability:

   1. ভবিষ্যতে যদি Node বাড়াও, Shards সহজে নতুন Node-এ স্থানান্তর করা যায়।

---

উদাহরণ: Shard Distribution

ধরা যাক Cluster-এ ২টা Node আছে, এবং ২টা Index:

Index	Shards	Distribution
index_1	2	Node 1 = 1 Shard, Node 2 = 1 Shard
index_2	4	Node 1 = 2 Shard, Node 2 = 2 Shard

💡 অর্থাৎ, Index বড় হলেও Shards ভাগ করে রাখা হলে সব Node সমানভাবে কাজ করতে পারে।

---

প্রতিটি Shard = Lucene Index

1. OpenSearch প্রতিটি Shard কে Lucene Index হিসেবে ধরে।

2. Lucene Index রান হলে CPU ও Memory খায়।

মনে রাখার বিষয়:

1. বেশি Shards মানে ভালো না।

2. যদি ৪০০ GB Index কে ১০০০ Shard এ ভাগ করো → Cluster overstrain হবে।

সাধারণ নিয়ম:

1. প্রতিটি Shard এর আকার = ১০–৫০ GB

উদাহরণ:

1. ৪০০ GB Index → ১০ Shard (প্রতি Shard ৪০ GB) → ভালো।

2. ৪০০ GB Index → ১০০০ Shard (প্রতি Shard 0.4 GB) → খারাপ।

---

মূল ধারণা

1. Shard = Index-এর ছোট ভাগ

2. Shards Node-এ বিতরণ করে বড় Index ম্যানেজ করা যায়

3. প্রতিটি Shard CPU & RAM ব্যবহার করে → বেশি Shard ঠিক নয়

4. Ideal Shard size = 10–50 GB