torchtext. vocab¶

Token - نشانه ای که برای بررسی عضویت برای آن است.

این که آیا توکن عضو Vocab است یا نه.

__getItem__ (توکن: str) → int [منبع] ¶ پارامترها

توکن - نشانه ای که برای جستجوی شاخص مربوطه استفاده می شود.

شاخص مربوط به نشانه مرتبط.

حالت ماژول داخلی را آغاز می کند ، که توسط . module و scriptmodule به اشتراک گذاشته شده است.

طول واژگان.

یک واژگان jitable را برگردانید.

adpend_token (token: str) → None [منبع] ¶ پارامترها

توکن - نشانه ای که برای جستجوی شاخص مربوطه استفاده می شود.

RuntimeError - اگر توکن از قبل در واژگان وجود داشته باشد

به جلو (TOKENS: LIST [STR]) → لیست [int] [منبع]

روش LookUp_indices را فراخوانی می کند

توکن ها - لیستی از نشانه های مورد استفاده برای جستجوی شاخص های مربوطه.

شاخص های مرتبط با لیستی از نشانه ها.

get_default_index () → اختیاری [int] [منبع] ¶ برمی گردد

مقدار شاخص پیش فرض در صورت تنظیم.

get_itos () → لیست [str] [منبع] ¶ بازگشت

فهرست فهرست ها را به نشانه ها لیست کنید.

get_stoi () → dict [str ، int] [منبع] ¶ بازگشت

توک های نقشه برداری فرهنگ لغت به شاخص ها.

• توکن - نشانه ای که برای جستجوی شاخص مربوطه استفاده می شود.
• فهرست - شاخص مربوط به نشانه مرتبط.

RuntimeError - اگر شاخص در محدوده [0 ، Vocab. Size ()] نیست یا اگر توکن قبلاً در واژگان وجود دارد.

lookup_indices (نشانه ها: لیست [str]) → لیست [int] [منبع] ¶ پارامترها

توکن ها - نشانه هایی که برای جستجوی شاخص های مربوطه خود استفاده می شدند.

شاخص های مرتبط با نشانه ها.

lookup_token (فهرست: int) → str [منبع] ¶ پارامترها

فهرست - شاخص مربوط به نشانه مرتبط.

نشانه ای که برای جستجوی شاخص مربوطه استفاده می شود.

lookup_tokens (شاخص ها: لیست [int]) → لیست [str] [منبع] ¶ پارامترها

شاخص ها - شاخص هایی که برای جستجوی مربوط به آنها استفاده می شود.

نشانه های مرتبط با شاخص ها.

RuntimeError - اگر یک شاخص در شاخص ها محدوده INT باشد [0 ، itos. size ()).

set_default_index (فهرست: اختیاری [int]) → هیچکدام [منبع] ¶ پارامترها

فهرست - مقدار شاخص پیش فرض. این شاخص هنگام پرس و جو OOV بازگردانده می شود.

واژگان

torchtext. vocab. VOCAB (سفارش داده شده: DICT ، min_freq: int = 1 ، ویژه: اختیاری [لیست [str]] = هیچ ، ویژه_فیرست: bool = true) → torchtext. vocab. vocab. vocab [منبع] ¶

روش کارخانه برای ایجاد یک شیء واژگان که نشانه ها را به شاخص ها می رساند.

توجه داشته باشید که سفارش که در آن جفت های مقدار کلیدی در سفارش داده شده در هنگام ساخت واژگان درج شده اند ، رعایت می شوند. بنابراین اگر مرتب سازی بر اساس فرکانس توکن برای کاربر مهم باشد ، باید ordered_dict به گونه ای ایجاد شود تا این موضوع را منعکس کند.

• ordered_dict - توکن های نقشه برداری دیکشنری سفارش داده شده به فرکانس های مربوط به وقوع آنها.
• min_freq - حداقل فرکانس لازم برای شامل یک نشانه در واژگان.
• ویژه - نمادهای ویژه برای افزودن. ترتیب نشانه های عرضه شده حفظ خواهد شد.
• Special_first - نشان می دهد که آیا در ابتدا یا در پایان نمادها را وارد کنید.

>>> از جانب torchtext. vocab وارد كردن واژگانی >>> از جانب مجموعه ها وارد كردن پیشخوان, دستور العمل >>> پیشخوان = پیشخوان(["آ", "آ", "ب", "ب", "ب"]) >>> sorted_by_freq_tuples = مرتب(پیشخوان.موارد(), کلید=لامبدا x: x[1], معکوس=درست است، واقعی) >>> سفارش داده شده_ = دستور العمل(sorted_by_freq_tuples) >>> v1 = واژگانی(سفارش داده شده_) >>> چاپ(v1['آ']) #چاپ 1 >>> چاپ(v1["خارج از واژگان"]) #Raise RuntimeError از آنجا که شاخص پیش فرض تنظیم نشده است >>> توکن = ['e', 'D', 'ج', "ب", 'آ'] >>> #نشانه گذاری و شاخص پیش فرض >>> UNK_TOKEN = '' >>> Default_index = -1 >>> v2 = واژگانی(دستور العمل([(نشانه, 1) برای نشانه in توکن]), ویژه=[UNK_TOKEN]) >>> v2.set_default_index(Default_index) >>> چاپ(v2['']) #چاپ 0 >>> چاپ(v2["خارج از واژگان"]) #چا پ-1 >>> #فهرست پیش فرض مانند فهرست unk_token >>> v2.set_default_index(v2[UNK_TOKEN]) >>> v2["خارج از واژگان"] is v2[UNK_TOKEN] #چاپ درست است 

build_vocab_from_iterator

torchtext. vocab. BUILD_VOCAB_FROM_ITERATOR (تکرار کننده: تکرار کننده ، min_freq: int = 1 ، ویژه: اختیاری [لیست [str]] = هیچ ، special_first: bool = true ، max_tokens: max_tokens: int [int] = none) → torchtext. vocab. vocab. vocab [منبع]¶

یک واژگان از یک تکرار ایجاد کنید.

• Iterator - تکثیر که برای ساخت واژگان استفاده می شود. باید لیست عملکرد یا تکرار توکن ها را داشته باشد.
• min_freq - حداقل فرکانس لازم برای شامل یک نشانه در واژگان.
• ویژه - نمادهای ویژه برای افزودن. ترتیب نشانه های عرضه شده حفظ خواهد شد.
• Special_first - نشان می دهد که آیا در ابتدا یا در پایان نمادها را وارد کنید.
• max_tokens - در صورت ارائه ، واژگان را از max_tokens - len (ویژه) متداول ایجاد می کند.

>>> #تولید واژگان از پرونده متنی >>> وارد كردن io >>> از جانب torchtext. vocab وارد كردن build_vocab_from_iterator >>> دنباله بازده_توکنس(مسیر فایل): >>> با io.باز کن(مسیر فایل, رمز = "UTF-8") as f: >>> برای خط in f: >>> بازده خط.نوار().شکاف() >>> واژگانی = build_vocab_from_iterator(بازده_توکنس(مسیر فایل), ویژه=[""]) 

بردارها

• نام - نام پرونده ای که حاوی بردارها است
• حافظه پنهان - دایرکتوری برای بردارهای ذخیره شده
• URL - URL برای بارگیری در صورتی که بردارهایی در حافظه پنهان یافت نشدند
• UNK_INIT (پاسخ به تماس)-به طور پیش فرض ، بردارهای کلمه ای خارج از فوکولری را به بردارهای صفر بردارید. می تواند هر عملکردی باشد که یک تانسور را به خود اختصاص دهد و یک تانسور با همان اندازه را برگرداند
• max_vectors (int)-این می تواند برای محدود کردن تعداد بردارهای از پیش آموزش دیده بارگذاری شده استفاده شود. بیشتر مجموعه های بردار از قبل آموزش دیده به ترتیب نزولی فرکانس کلمه طبقه بندی می شوند. بنابراین ، در شرایطی که کل مجموعه در حافظه جای نمی گیرد ، یا به دلایل دیگری نیازی به آن نیست ، عبور از max_vectors می تواند اندازه مجموعه بارگذاری شده را محدود کند.

بردارهای تعبیه شده از نشانه ها را جستجو کنید.

• توکن ها - نشانه یا لیستی از نشانه ها. اگر توکن ها یک رشته است ، یک تانسور 1 بعدی از شکل خود را برمی گرداند. اگر توکن ها لیستی از رشته ها است ، یک تانسور 2 بعدی از شکل = (لن (توکن) ، self. dim) را برمی گرداند.
• LATLE_CASE_BACKUP - آیا در مورد پایین به نشانه نگاه کنید. در صورت دروغ بودن ، هر نشانه در مورد اصلی مورد بررسی قرار می گیرد. اگر درست باشد ، هر نشانه در مورد اصلی ابتدا مورد بررسی قرار می گیرد ، اگر در کلیدهای خاصیت Stoi یافت نشود ، نشانه در مورد پایین مورد بررسی قرار می گیرد. پیش فرض: نادرست.

>>> مثال ها = ["چیپ", 'عزیزم', 'زیبا'] >>> وکت = متن.واژگانی.دستکش(نام='6b', کم نور=50) >>> با استفاده از = وکت.get_vecs_by_tokens(مثال ها, LAME_CASE_BACKUP=درست است، واقعی)