תיעוד 269

קטלוג Basin

Basin Catalog הוא קטלוג נתונים מנוהל של Apache Iceberg ↗︎ הבנוי ישירות לתוך ה-bucket שלך ב-R2. הוא חושף ממשק קטלוג Iceberg REST סטנדרטי, כך שתוכל לחבר את המנועים שאתה כבר משתמש בהם, כמו Spark, Snowflake, ו-PyIceberg.

קטלוג Basin זמין כעת באופן כללי (Generally Available)

Basin Catalog, שנודע בעבר בשם R2 Data Catalog, זמין כעת באופן כללי (Generally Available). הגדרות ו-APIs קיימים ממשיכים לעבוד ויוצאו משימוש בעתיד.

כדי לדווח על באגים או לתת משוב, עבור אל ערוץ ה-Discord של #basin-catalog ↗︎. אם אתה נתקל בבעיות עם Wrangler, דווח על בעיות ב-מאגר ה-GitHub של Wrangler ↗︎.

Basin Catalog מקל על הפיכת bucket של R2 למחסן נתונים (data warehouse) או lakehouse עבור מגוון עומסי עבודה אנליטיים כולל ניתוח יומנים (log analytics), בינה עסקית (business intelligence), וצינורות נתונים (data pipelines). מודל אפס עלויות תעבורה יוצאת (zero-egress fee) של R2 אומר שמשתמשי נתונים וצרכנים יכולים לגשת ולנתח נתונים מעננים שונים, פלטפורמות נתונים, או אזורים ללא עלויות העברה.

כדי להתחיל עם Basin Catalog, עיין ב-קטלוג Basin: תחילת העבודה.

#מה זה Apache Iceberg?

Apache Iceberg ↗︎ הוא פורמט טבלאות פתוח שתוכנן להתמודד עם מערכי נתונים אנליטיים בהיקף גדול המאוחסנים באחסון אובייקטים. תכונות עיקריות כוללות:

עסקאות ACID: מבטיח קריאות וכתיבות מקבילות ואמינות עם שלמות נתונים מלאה.
מטא-דאטה מותאם: מונע סריקות מלאות ויקרות של הטבלה על ידי שימוש במטא-דאטה ממופתח לשאילתות מהירות יותר.
התפתחות סכמה מלאה: מאפשר הוספה, שינוי שם ומחיקה של עמודות מבלי לכתוב מחדש את הנתונים.

Iceberg כבר נתמך באופן נרחב ↗︎ על ידי מנועים כמו Apache Spark, Trino, Snowflake, DuckDB, ו-ClickHouse, עם קהילה שצומחת במהירות מאחוריו.

#למה אתה צריך קטלוג נתונים?

למרות שקובצי הנתונים והמטא-דאטה של Iceberg עצמם יושבים ישירות באחסון אובייקטים (כמו R2), רשימת הטבלאות והמצביעים למטא-דאטה הנוכחי צריכים להיות במעקב מרכזי על ידי קטלוג נתונים.

חשוב על קטלוג נתונים כמו על מערכת אינדקס של ספרייה. בעוד שספרים (הנתונים שלך) מפוזרים פיזית על פני מדפים (אחסון אובייקטים), האינדקס מספק מקור אמת יחיד לגבי אילו ספרים קיימים, המיקומים שלהם, והמהדורות העדכניות ביותר שלהם. ללא אינדקס זה, קוראים (מנועי שאילתות) יבזבזו זמן בחיפוש ספרים, עשויים לגשת לגרסאות לא מעודכנות, או עלולים בטעות להניח ספרים חדשים על המדף בדרכים שהופכות אותם לבלתי ניתנים לאיתור.

באופן דומה, קטלוגי נתונים מבטיחים גישה עקבית ומתואמת, מה שמאפשר למספר מנועי שאילתות לקרוא ולכתוב בבטחה לאותן טבלאות ללא התנגשויות או השחתת נתונים.

קטלוג Basin

#מה זה Apache Iceberg?

#למה אתה צריך קטלוג נתונים?

#מידע נוסף

#תחילת העבודה

#ניהול קטלוגים

#התחברות למנועי Iceberg