解决es查询只能查一万条数据问题

在使用es写日志系统的时候发现es只能获取一万条日志数据, 而实际有38万多条.
使用的分页查询工具是es自带的PageRequest

 Query query = new CriteriaQuery(criteria);
        query.setTrackTotalHits(true);
        //先根据criteria条件中的from和to  筛选出时间范围内的数据,然后根据日期降序,
        query.setPageable(PageRequest.of((int) documentDto.getCurrPage()-1,(int) documentDto.getPageSize(), Sort.by(Sort.Direction.DESC,"@timestamp")));
      

这里有两个步骤处理:
1.修改索引配置中的max_result_window

由于在logstash中配置索引的时候使用es的默认的索引模板,
默认的索引模板配置信息中的from+size最大值为10000,

原因见官网描述:

因此可以首先修改索引配置文件中max_result_window的值:

通过请求:
put http://ip:9200/index/_settings

{ “index” : { “max_result_window” : 10000000}}

得到结果:
{
“acknowledged”: true
}

说明配置成功.

查看索引信息:
http://ip:9200/index
可以在结果中看到该参数已经变成了一千万

2.修改
我发现改了上述的配置之后查询还是只有一万条, 经过查询发现还需要配置track_total_hits=true才能返回真实数据.

http://ip:port/index/_search?track_total_hits=true