代码拉取完成,页面将自动刷新
同步操作将从 zck/nlpOption 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
import json
from tqdm import tqdm
def is_target_first(text, target, word):
return text.find(target) <= text.find(word)
def load_dict(dict_path):
with open(dict_path, "r", encoding="utf-8") as f:
words = [word.strip() for word in f.readlines()]
word2id = dict(zip(words, range(len(words))))
id2word = dict((v, k) for k, v in word2id.items())
return word2id, id2word
def read(data_path):
with open(data_path, "r", encoding="utf-8") as f:
for line in f.readlines():
items = line.strip().split("\t")
assert len(items) == 3
example = {"label": int(items[0]), "target_text": items[1], "text": items[2]}
yield example
def convert_example_to_feature(example, tokenizer, label2id, max_seq_len=512, is_test=False):
encoded_inputs = tokenizer(example["target_text"], text_pair=example["text"], max_seq_len=max_seq_len,
return_length=True)
if not is_test:
label = example["label"]
return encoded_inputs["input_ids"], encoded_inputs["token_type_ids"], encoded_inputs["seq_len"], label
return encoded_inputs["input_ids"], encoded_inputs["token_type_ids"], encoded_inputs["seq_len"]
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。