תיעוד 116

שערי LLM אחרים

ניתוב של Claude Code דרך שער LLM שהארגון כבר מפעיל. מכסה חיבור של Claude Code לשער, פריסה לארגון, ומה Claude Code שולח לשער.

הסעיף הזה עוסק בשימוש במוצר שער שהארגון כבר מפעיל, במקום שער יישומי Claude. למהות של שער, לאופן שבו הוא יושב בין Claude Code לספק, ולבחירה בין שער יישומי Claude למוצר אחר, ראו את סקירת השערים.

[!NOTE]

אם אתם מפתחים שמתחברים לשער קיים: חיבור Claude Code לשער

אם אתם מנהלים שמפיצים שער לארגון: פריסה והפצה של שער

אם אתם מגדירים מוצר שער: מדריך התאימות לשער

כל שער שחושף פורמט API נתמך עובד. Anthropic לא ממליצה על מוצרי שער של צד שלישי, לא מתחזקת אותם ולא מבקרת אותם, ולא תומכת בניתוב של Claude Code למודלים שאינם Claude דרך שום שער. פרסו את השער לפי התיעוד שלו, ואז השלימו את הצד של Claude Code לפי שלבי הפריסה בהמשך.

#מה שער מספק

שער נותן לארגון מקום אחד לניהול של:

פרטי גישה: מפתח הספק נשאר בצד השרת, והמפתחים מחזיקים בפרטי גישה של השער
מעקב שימוש: שיוך השימוש למפתח או לצוות, בלי תלות באיזה ספק משרת את הבקשה
בקרות עלות: אכיפת תקציבים ומגבלות קצב במקום אחד
יומן ביקורת: תיעוד של כל בקשת מודל לצורך תאימות
החלפת ספק: שינוי הספק בהגדרת השער, בלי לגעת במחשבי המפתחים

כל אלה, מלבד החלפת ספק, חלים בין שהמקור במעלה הזרם הוא ה-API של Anthropic ובין שהוא ספק ענן. החלפת ספק בלי הגדרה מחדש של מחשבי המפתחים תלויה גם בכך שהשער חושף נקודת קצה יחידה בפורמט Anthropic בלי תלות במקור במעלה הזרם. שער שחושף את הפורמט העצמי של הספק קושר את הגדרת הלקוח לאותו ספק, ומשנה את מה ש-Claude Code שולח ואילו ברירות מחדל הוא מחיל.

הפשרה היא שהשער הופך לתשתית שהארגון מפעיל. Claude Code מוסיף יכולות בכל גרסה, ושער שלא מעביר אותן שובר את התכונות המתאימות, ולכן יש לעדכן את מוצר השער ככל ש-Claude Code מתפתח. מדריך התאימות לשער מכסה מה להעביר.

#פריסת שער

כשאתם מוכנים לפרוס שער LLM לארגון, הרצף זהה בכל מוצר שער שתבחרו:

פרסו את השער ותנו לו את פרטי הגישה של הספק, כדי שיוכל לאמת את הבקשות שהוא מעביר.
הנפיקו לכל מפתח פרטי גישה של השער, כדי שהשימוש ישויך למפתח וסיום העסקה יבטל פרט גישה אחד.
הפיצו את ההגדרה דרך קובץ הגדרות מנוהלות וכלי הסודות שלכם, כדי שכל מכונה תקבל את כתובת הבסיס ופרט גישה. כששניהם מופצים, המפתחים לא מגדירים דבר. אם אין אצלכם הפצת הגדרות, המפתחים פועלים לפי דף החיבור ומגדירים את המשתנים בעצמם.
בקשו מכל מפתח לבדוק את ההגדרה ב-Claude Code, כדי שבעיות הפצה יתגלו לפני שהם תלויים בשער.

פריסת שער LLM לארגון מפרטת כל שלב ומראה את קובצי ההגדרה להפצה בכל אחד מהם. השער הוא חלק אחד מהגדרת הארגון. לאכיפת מדיניות, נראות שימוש, והחלטות על טיפול בנתונים, ראו הגדרת Claude Code לארגון.

כדי להפוך שער שמגיעים אליו דרך ANTHROPIC_BASE_URL ליעד היחיד שמכונה מנוהלת רשאית להשתמש בו, הגדירו את allowedProviders ל-["customEndpoint"] באותו קובץ הגדרות מנוהלות, ושימו את ANTHROPIC_BASE_URL של השער בבלוק env של הקובץ. Claude Code מסרב אז לסשן שמופנה לכל מקום אחר, כולל ל-Anthropic ישירות או לפרוקסי של המפתח עצמו, ומקבל את ANTHROPIC_BASE_URL רק עם הערך שהגדרתם שם. עבור שער שמגיעים אליו דרך משתנה נקודת קצה ייעודי לספק, כגון ANTHROPIC_BEDROCK_BASE_URL, הרשומה ב-allowedProviders מציינת איזה משתנה לקבע. נדרש Claude Code v2.1.285 או חדש יותר.

#מנויים ושערים

כל עוד משתנה פרטי גישה של שער או apiKeyHelper פעילים, הבקשות נושאות את פרטי הגישה האלה במקום התחברות המנוי של המפתח ל-claude.ai, ומגבלות השימוש של המנוי לא חלות עליהן. Claude Code שומר התחברות claude.ai שמורה במכונה, אבל לא שולח אותה עם הבקשות האלה. התעבורה הזו מחויבת לפי טוקן למי שבבעלותו פרטי הגישה שהשער מעביר, למשל חשבון Anthropic Console של הארגון, או חשבון Amazon Bedrock, Agent Platform של Google Cloud, או Microsoft Foundry, כשהשער מנתב לשם.

ANTHROPIC_BASE_URL הוא המשתנה שמפנה את Claude Code לשער. הגדרה של המשתנה הזה בלבד, בלי פרטי גישה של שער, לא מחליפה את המנוי. הבקשות עדיין מנותבות דרך השער, אבל התחברות claude.ai שמורה נשארת פרטי הגישה הפעילים, ולכן מגבלות השימוש והחיוב שלה חלים. שערים שמעבירים את התעבורה הזו הלאה ל-Anthropic חייבים להעביר את יכולת ה-OAuth ב-anthropic-beta. ראו את הפניה לכותרות הבקשה.

#דפים קשורים

סקירת שערים: איך שער עובד ואיך לבחור בין שער יישומי Claude למוצר אחר
שער יישומי Claude: השער באירוח עצמי של Anthropic, עם כניסת SSO וטלמטריית OTLP
חיבור Claude Code לשער LLM: הגדרת כתובת הבסיס ופרטי הגישה במכונה שלכם, עם הגדרה לפי משטח וטבלת פתרון בעיות
פריסת שער LLM לארגון: רשימת הבדיקה למנהלים לפריסת שער, הנפקת פרטי גישה למפתחים, והפצת הגדרות מנוהלות
מדריך התאימות לשער: מה Claude Code שולח לשער, למפעילים שמגדירים שער, כולל נקודות קצה, כותרות להעברה, והעברת תכונות