bert参数-max_seq_length的含义解释

bert里面有个max_seq_length。就是字数的个数

在bert里面的函数 _truncate_seq_pair增加了 tokens_a 和 tokens_b的length函数

发现：

1.当len(tokens_a) + len(tokens_b)> max_seq_length：会循环：把长度大的那个截断一个字符，指导小于。

2.汉字算一个，英文的话，一个单词算一个，一个标点符号算一个

譬如：鸡蛋蛋花汤怎么做 的长度是8 

           如何删除我的iphone 的长度是7

3.所以可以测试一下，训练数据的分布，然后把max_seq_length从128修改为低一点数字，譬如：64 来节省内存。