Huggingface笔记

Tools AI

Word count: 261Reading time: 1 min

 2021/11/03   Share

需求1: 自定义tokenizer

官方文档给出了很好的说明。
但都是要训练的tokenizer，如果想要实现一个完全自定义的，
需要参考这里。

如果无法魔改，那么可以先用自己的方法分完词，用分好词之后的预料训练一个huggingface的WhiteSpace pretokenizer。

wsf：直接自己把token转成id，把id序列给bert即可。(这样不能用huggingface了)

要用huggingface的话，传一个vocab_file给BertTokenizerFast。

或者参考
# Loading from a JSON file

1 2	from transformers import PreTrainedTokenizerFast fast_tokenizer = PreTrainedTokenizerFast(tokenizer_file="tokenizer.json")

需求2: 自定义mask

需要修改DataCollatorForLanguageModeling类
源码
的torch_mask_tokens方法，官方代码利用伯努利分布随机采样得到mask:

...
probability_matrix.masked_fill_(special_tokens_mask, value=0.0)
masked_indices = torch.bernoulli(probability_matrix).bool()
labels[~masked_indices] = -100  # We only compute loss on masked tokens; ~表示按位取反

# 80% of the time, we replace masked input tokens with tokenizer.mask_token ([MASK])
indices_replaced = torch.bernoulli(torch.full(labels.shape, 0.8)).bool() & masked_indices
inputs[indices_replaced] = self.tokenizer.convert_tokens_to_ids(self.tokenizer.mask_token)
...

注：huggingface的attention mask是用来处理多序列的padding的情况。
参考：
https://cloud.tencent.com/developer/article/1885829
https://huggingface.co/transformers/glossary.html

Author：Learner0x5a

原文链接：https://learner0x5a.github.io/2021/11/03/huggingface/

发表日期：November 3rd 2021, 2:26:01 pm

更新日期：November 4th 2021, 9:21:10 pm

Next Post

修复ubuntu16.04 Unity图形界面
Previous Post

二进制代码相似性文献调研

CATALOG

1. 需求1: 自定义tokenizer
2. 需求2: 自定义mask



缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是archer根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：

jsonContent:
  meta: false
  pages: false
  posts:
    title: true
    date: true
    path: true
    text: false
    raw: false
    content: false
    slug: false
    updated: false
    comments: false
    link: false
    permalink: false
    excerpt: false
    categories: true
    tags: true