
כשכמה מחשבים שומרים שוב ושוב אותם מסמכים, קובצי מערכת או גרסאות כמעט זהות, נפח האחסון מתחיל לגדול מהר יותר מערימת כביסה של צוות IT אחרי יום התקנות. דה־דופליקציה (Deduplication) מצמצמת את הכפילויות האלה: שומרים פעם אחת את המידע הזהה, ומפנים אליו במקום לשמור עוד עותק מלא.
מה דה־דופליקציה עושה — ומה היא לא עושה?
דה־דופליקציה מזהה נתונים זהים ומונעת שמירה חוזרת שלהם. היא אינה זהה לדחיסה כמו ZIP: דחיסה מייצגת את הנתונים בצורה חסכונית יותר, ואילו דה־דופליקציה מחפשת עותקים שכבר קיימים ומפנה אליהם. אפשר לשלב בין השיטות, אם הפתרון תומך בכך.
החיסכון יכול להקטין את שטח האחסון וגם את כמות הנתונים שעוברת בין אתרים או לענן. התוצאה בפועל תלויה בסוג הקבצים, ברמת השינוי שלהם, בגודל הבלוקים ובהגדרות המערכת. אין יחס קסם שמתאים לכל סביבה — גם אם מצגת מכירות מבטיחה אחד.
דה־דופליקציה ברמת קובץ
בשיטה הזו המערכת משווה קבצים שלמים. היא מחשבת לכל קובץ טביעת אצבע דיגיטלית, לרוב באמצעות hash או מאפיינים אחרים, ומשווה אותה לאינדקס של המידע שכבר נשמר. אם נמצא קובץ זהה, נשמרת הפניה לעותק הקיים במקום עותק נוסף.
- יתרון: המנגנון פשוט יותר לניהול, האינדקס קטן יחסית והחישוב עשוי להיות מהיר יותר.
- מגבלה: שינוי קטן בקובץ עלול לגרום למערכת להתייחס אליו כאל קובץ חדש, ולכן גם לשמור אותו מחדש. זו פחות מתאימה לקבצים שמשתנים לעיתים קרובות.
- מתאים במיוחד: מאגרי קבצים משותפים, תיקיות ארכיון, NAS וסביבות שבהן יש הרבה עותקים זהים של אותם קבצים.
מאמר מקצועי משנת 2018 ציין יחס חיסכון של עד 5:1 לדה־דופליקציה ברמת קובץ. זהו נתון לדוגמה מאותו מקור, ולא הבטחה או מדד כללי לכל מערכת. קובצי תמונה ואודיו ייחודיים לרוב מרוויחים פחות; מסמכים, תבניות וקובצי מערכת שחוזרים במחשבים רבים עשויים להרוויח יותר.
דה־דופליקציה ברמת בלוק
כאן המערכת מפרקת קובץ לחלקים קטנים יותר (בלוקים או chunks) ובודקת אילו מהם כבר קיימים. אם קובץ השתנה, אפשר לשמור רק את הבלוקים החדשים או שהשתנו, ולהפנות אל הבלוקים הזהים שכבר נשמרו.
- יתרון: שינוי קטן אינו מחייב בהכרח שמירה חוזרת של כל הקובץ. לכן השיטה עשויה לחסוך יותר בקבצים שמשתנים לעיתים קרובות, בגיבויים ובארכיונים.
- מחיר: יש יותר יחידות לעבד ולנהל, ולכן נדרשים יותר חישוב ומטא־נתונים. שחזור של מידע שעבר דה־דופליקציה עשוי להיות איטי יותר, בהתאם לפתרון ולתכנון האחסון.
- גודל הבלוק: בלוקים קטנים מעלים את הסיכוי למצוא התאמות וחיסכון, אך מגדילים את האינדקס ועלולים להאט עיבוד. בלוקים גדולים עשויים לעבד מהר יותר, אבל למצוא פחות חפיפות.
במאמר המקורי מ־2018 מופיע טווח של 8–64 KB כדוגמה לטווח שהיה נפוץ בחלק מהפתרונות שנידונו אז. גודל הבלוק הזמין וההשפעה שלו משתנים בין מוצרים; בודקים את תיעוד הספק ואת התוצאות בסביבה שלכם לפני בחירה.
אותו מאמר מציין יחס חיסכון אפשרי של עד 20:1 לדה־דופליקציה ברמת בלוק. גם זה נתון דוגמה שמושפע מאוד מסוג המידע, ולא יעד שאפשר להניח מראש.
ומה עם דה־דופליקציה ברמת בתים?
אפשר להשוות גם יחידות קטנות יותר, עד לרמת הבתים שמהם מורכבים הבלוקים. ככל שהיחידות קטנות, אפשר לזהות התאמות זעירות יותר — אבל צריך לעקוב אחרי הרבה יותר פריטים. העלות של האינדקס והעיבוד עלולה להיות גבוהה מדי למערכות אחסון מעשיות, ולכן חשוב לבדוק אם הפתרון הספציפי בכלל תומך בכך ומה המחיר התפעולי.
הבדל חשוב: מעקב אחר שינויים אינו דה־דופליקציה
גיבוי ברמת בלוק שעוקב אחרי שינויים (changed-block tracking) מזהה אילו חלקים השתנו מאז הגיבוי הקודם. דה־דופליקציה בודקת בנוסף אם אותם נתונים כבר קיימים במקום אחר באינדקס. אלה יכולות שונות: מעקב שינויים עשוי לצמצם את מה שנשלח בגיבוי מצטבר, אך לבדו אינו מבטיח שבלוק זהה יישמר רק פעם אחת לאורך כל מאגר הגיבויים.
איך לבחור גישה לגיבוי?
- אחסון איטי או הרבה קבצים דומים: בדקו תחילה דה־דופליקציה ברמת קובץ, אם היא מתאימה לפתרון שלכם.
- קבצים שמשתנים לעיתים קרובות, גיבויים וארכיונים ארוכי טווח: דה־דופליקציה ברמת בלוק עשויה להשיג חיסכון טוב יותר, במחיר של עיבוד ושחזור מורכבים יותר.
- נדרשת התאוששות מהירה של המידע העדכני: אפשר לשקול לשמור את הגיבויים האחרונים וה״חמים״ באחסון רגיל ומהיר, ולהעביר ארכיונים ותיקים יותר לאחסון חסכוני. יש לבדוק שהמבנה תואם למדיניות השחזור וליעדי ההתאוששות של הארגון.
- אחסון בענן או העברת נתונים בין אתרים: בדקו אם הספק מבצע דה־דופליקציה, אם היא כלולה במחיר, באיזו שכבה היא פועלת, והאם התוכנה שולחת נתונים שכבר קיימים או רק מפחיתה את האחסון לאחר ההעברה.
שומרים גם על המטא־נתונים
מערכת דה־דופליקציה נשענת על מטא־נתונים ואינדקס שממפים בין הקבצים לבלוקים שנשמרו. אם מאבדים אותם, ייתכן שלא יהיה אפשר להרכיב מחדש את המידע המגובה. לכן צריך לגבות גם את רכיבי הקטלוג והמטא־נתונים, להגן עליהם, ולבדוק בפועל שחזור מלא מתוך המאגר.
הערה על הפתרון ההיסטורי שמוזכר במקור
המקור המקושר פורסם ב־15 במאי 2018 ומתאר גם שרת Dedup היסטורי של ספק הגיבוי, שעבד לאחר השלמת הגיבוי, עיבד נתונים ברמת בלוק והעביר בלוקים ייחודיים לאזור המתנה להעלאה. באותו מאמר צוין חיסכון של עד 90% באחסון ענן, לצד הודעה שהשרת הוצא משימוש באותה עת. אלה פרטים היסטוריים ומוצריים, לא הבטחה לגבי מוצר זמין כיום. לפני בחירת פתרון או הסתמכות על תכונה, בדקו את התיעוד העדכני של הספק.
בקצרה
דה־דופליקציה יכולה לצמצם נפח ועלויות, אבל בוחרים אותה לפי סוג המידע, קצב השינויים, זמני הגיבוי והשחזור, והיכולת להגן על האינדקס ולשחזר ממנו. מודדים בסביבתכם, מגבים את המטא־נתונים, ומוודאים שהחיסכון באחסון לא הופך את יום השחזור ליום ארוך במיוחד.

