Elasticsearch1.3.5 升级到Elasticsearch6.3.0

飞熊 • 2023年8月20日下午4:34 • 技术随笔 • 阅读 167

Elasticsearch1.3.5 一个古老级的版本，Elasticsearch6.3.0一个较为新的版本

说一下为啥升级：主要是因为1.3.5的多级排序不满足我的要求，最简单的需求：

水泥价格10 2018-10-01

水泥价格12 2018-11-01

水泥价格11 2019-02-18

超找关键字：水泥【默认只能做】文档相关性排序，没法做综合排序【我想既有文档相关性然后还兼容时间，或者价格】

这是我最基本的需求，也是往高版本不断寻找的一个原因：终于在6.0版本上发现了，这个版本能兼容。于是先安装一个版本试试再说，如果真的jian兼容需求，则准备shen升级至6.3.0。

因此本地装6.3.0 并且从数据库，使用Logstash 加载数据至Elasticsearch6.3.0:

Logstash 6.3.0加载数据库数据至Elasticsearch6.3.0

logstash: https://artifacts.elastic.co/downloads/logstash/logstash-6.3.0.zip
elasticsearch：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.0.zip

head组件自己安装，我没用Kibana。

启动Elasticsearch 应该不复杂，就当大家都会了。

第一步：解压Logstash ,然后进入bin目录

第二步：我们创建一个mysql的配置文件：mysqlconf.conf

input {
    stdin {
    }
    jdbc {
      # mysql 数据库链接,cdy为数据库名
      jdbc_connection_string => "jdbc:mysql://www.mysql.rds.aliyuncs.com:3306/gs_dev"
      # 用户名和密码
      jdbc_user => "dev"
      jdbc_password => "DEV2019"
      # 驱动
      jdbc_driver_library => "D:/elasticsearch-6.3.0-logstash-6.3.0/logstash-6.3.0/bin/mysql-connector-java-5.1.46.jar"
      # 驱动类名
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "5000"
      # 执行的sql
      statement => "select * from market_price "
      # 设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
      #schedule => "* * * * *"
      # 索引类型
      #type => "content"
    }
}
 
filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}
 
output {
    elasticsearch {
        hosts => ["192.168.2.232:9200"]
        #索引名称
        index => "market"
		document_type => "market_price"
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

第三步：我们将我们的MySQL驱动包放到解压的位置