elasticsearch のサンプルデモデータが登録で、@shakespeare.jsonのみが入らなった件

2018.03.21 Wednesday 13:58
0
    elasticsearch のサンプルデモデータが登録で、@shakespeare.jsonのみが入らなった件

    他のデータ(@accounts.json @logs.jsonl)は入ったのだが、@shakespeare.json のデータだけはいらなった
    結論を先に書くと、jsonファイル内の 一部文字を削除したらうまくいった

    ★試してエラーだったのがこのコマンド
    curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/shakespeare/_bulk?pretty' --data-binary @shakespeare.json

    ★試してエラーだったのjsonの中身
    {"index":{"_index":"shakespeare","_id":0}}
    {"type":"act","line_id":1,"play_name":"Henry IV", "speech_number":"","line_number":"","speaker":"","text_entry":"ACT I"}
    {"index":{"_index":"shakespeare","_id":1}}
    {"type":"scene","line_id":2,"play_name":"Henry IV","speech_number":"","line_number":"","speaker":"","text_entry":"SCENE I. London. The palace."}

    ★エラー内容
    "error" : {
    "root_cause" : [
    {
    "type" : "action_request_validation_exception",
    "reason" : "Validation Failed: 1: type is missing;"
    }
    ],
    "type" : "action_request_validation_exception",
    "reason" : "Validation Failed: 1: type is missing;"
    },
    "status" : 400


    この、type is missing がでまくる

    ★解決策として
    これをコマンド実行時に、typeも指定し、jsonファイル内部の "_index":"shakespeare", を削除するとデータがはいった

    ★コマンド実行を以下に修正
    curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/shakespeare/_bulk?pretty' --data-binary @shakespeare.json

    ★修正後のjsonの中身 "_index":"shakespeare", の箇所を一括で削除した
    {"index":{"_id":0}}
    {"type":"act","line_id":1,"play_name":"Henry IV", "speech_number":"","line_number":"","speaker":"","text_entry":"ACT I"}
    {"index":{"_id":1}}
    {"type":"scene","line_id":2,"play_name":"Henry IV","speech_number":"","line_number":"","speaker":"","text_entry":"SCENE I. London. The palace."}
    {"index":{"_id":2}}


    OK ようやくはいったよ!
    ★確認内容

    $ curl 'localhost:9200/_cat/indices?v'
    % Total % Received % Xferd Average Speed Time Time Time Current
    Dload Upload Total Spent Left Speed
    100 1331 100 1331 0 0 1039 0 0:00:01 0:00:01 --:--:-- 1064health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
    yellow open logstash-2015.05.18 b8h8hhFyR6GdJD4b8uSnGg 5 1 4631 0 21.8mb 21.8mb
    yellow open weight izljdv__TVi6kNjsJrKLSQ 5 1 1 0 4.5kb 4.5kb
    yellow open .kibana iIYDyX9zTqGXPeZkwcGK4A 1 1 2 0 6.4kb 6.4kb
    yellow open sample_service-2014.04.27 cQlQT7EZQjWXB-v9arE-iQ 5 1 28452 0 16mb 16mb
    yellow open bank Ke_jUtNtQyO7UdVZUw68MQ 5 1 1000 0 482.4kb 482.4kb
    yellow open logstash-2015.05.20 rViMuAJzSFSa5Cf6A0M-Cw 5 1 4750 0 21.1mb 21.1mb
    green open classmethod OoavFxsjQZagx0-KcjGk_w 5 0 0 0 1.2kb 1.2kb
    yellow open shakespeare DjIg60taQSO00h1JjStfXA 5 1 111395 0 22.3mb 22.3mb
    yellow open logstash-2015.05.19 t_zABeHTSMa_OmDnlalW1Q 5 1 4624 0 21.5mb 21.5mb
    yellow open sample_service-2014.04.28 buOpyJMJSNmKg3O_rHv0-g 5 1 26405 0 14.9mb 14.9mb
    category:elasticsearch | by:ittoocomments(0)trackbacks(0) | -

    kibanaからelasticsearchに接続できなかったけどいつの間にかつながった。[elasticsearch] Unable to revive connection: http://localhost:9200/ No living connections

    2018.03.21 Wednesday 12:16
    0
      windows10 64bit の環境に elasticsearch+kibanaをいれたのだが時々
      kibanaからelasticsearchに接続できない
      以下のエラーがでる。

      log [22:40:02.123] [warning][admin][elasticsearch] Unable to revive connection: http://localhost:9200/
      log [22:40:02.123] [warning][admin][elasticsearch] No living connections

      解決策としては何もしない。
      何度も起動するといつの間にかつながる
      何も変更していないのに。なんだこれは。不安定か!

      log [03:08:03.153] [info][status][plugin:elasticsearch@6.1.1] Status changed from red to green - Ready

      インターネットにつながっていない環境だと接続できなかったけど、
      インターネットにつながっている環境だと接続できたりするんだけど関係あるんかね?

      [error][admin][elasticsearch] Request error, retrying HEAD http://localhost:9200/ => getaddrinfo ENOENT localhost:9200

      category:elasticsearch | by:ittoocomments(0)trackbacks(0) | -

      elasticsearch 起動時に 「'findstr' は、内部コマンドまたは外部コマンド、操作可能なプログラムまたはバッチ ファイルとして認識されていません。」というエラーがでたので対処した

      2018.03.18 Sunday 16:25
      0
        elasticsearch 起動時に 「'findstr' は、内部コマンドまたは外部コマンド、操作可能なプログラムまたはバッチ ファイルとして認識されていません。」というエラーがでたので対処した。

        とりあえず、C:¥Windows¥System32¥findstr.exe を ¥elasticsearch-6.1.1¥bin 配下にコピーしたら
        このエラーはでなくなったよ

        C:¥elasticsearch-6.1.1¥bin>elasticsearch.bat
        'findstr' は、内部コマンドまたは外部コマンド、
        操作可能なプログラムまたはバッチ ファイルとして認識されていません。
        2018-03-18 15:46:42,891 main ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")
        at java.security.AccessControlContext.checkPermission(AccessControlContext.java:472)
        at java.lang.SecurityManager.checkPermission(SecurityManager.java:585)
        at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.checkMBeanTrustPermission(DefaultMBeanServerInterceptor.java:1848)
        at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.registerMBean(DefaultMBeanServerInterceptor.java:322)
        at com.sun.jmx.mbeanserver.JmxMBeanServer.registerMBean(JmxMBeanServer.java:522)
        at org.apache.logging.log4j.core.jmx.Server.register(Server.java:389)
        at org.apache.logging.log4j.core.jmx.Server.reregisterMBeansAfterReconfigure(Server.java:167)
        at org.apache.logging.log4j.core.jmx.Server.reregisterMBeansAfterReconfigure(Server.java:140)
        at org.apache.logging.log4j.core.LoggerContext.setConfiguration(LoggerContext.java:556)
        at org.apache.logging.log4j.core.LoggerContext.start(LoggerContext.java:261)
        at org.apache.logging.log4j.core.impl.Log4jContextFactory.getContext(Log4jContextFactory.java:206)
        at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:220)
        at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:197)
        at org.elasticsearch.common.logging.LogConfigurator.configureStatusLogger(LogConfigurator.java:171)
        at org.elasticsearch.common.logging.LogConfigurator.configure(LogConfigurator.java:140)
        at org.elasticsearch.common.logging.LogConfigurator.configure(LogConfigurator.java:119)
        at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:290)
        at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121)
        at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112)
        at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86)
        at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124)
        at org.elasticsearch.cli.Command.main(Command.java:90)
        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92)
        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85)
        category:elasticsearch | by:ittoocomments(0)trackbacks(0) | -

        elasticsearch 起動時に flood stage disk watermark 〜exceeded on 〜 all indices on this node will marked read-only というメッセージがでて read-only という状態になってしまう

        2018.03.17 Saturday 20:39
        0
          elasticsearch 起動時に flood stage disk watermark 〜exceeded on 〜 all indices on this node will marked read-only というメッセージがでて read-only とう状態になってしまう

          elasticsearch 起動時に
          flood stage disk watermark [95%] exceeded on [][][] free: 8.3gb[3.7%], all indices on this node will marked read-only
          というエラーメッセージがでる。どうやら空き容量が8.3GByteしか空いてなくこれは全体の3.7%で
          95%以上が使用中で容量がないんだよーということらしい。
          対策としてディスクの容量をあけるとこのメッセージがでなくなった。

          [2018-03-17T11:13:00,082][WARN ][o.e.c.r.a.DiskThresholdMonitor] [FzxdjOk] flood stage disk watermark [95%] exceeded on [FzxdjOkURMKK7E2s0UeWCw][FzxdjOk][C:¥elasticsearch-6.1.1¥data¥nodes¥0] free: 8.3gb[3.7%], all indices on this node will marked read-only
          [2018-03-17T11:13:30,671][WARN ][o.e.c.r.a.DiskThresholdMonitor] [FzxdjOk] flood stage disk watermark [95%] exceeded on [FzxdjOkURMKK7E2s0UeWCw][FzxdjOk][C:¥elasticsearch-6.1.1¥data¥nodes¥0] free: 8.3gb[3.7%], all indices on this node will marked read-only
          [2018-03-17T11:14:00,682][WARN ][o.e.e.NodeEnvironment ] [FzxdjOk] lock assertion failed
          java.nio.file.NoSuchFileException: ¥elasticsearch-6.1.1¥data¥nodes¥0¥node.lock
          at sun.nio.fs.WindowsException.translateToIOException(WindowsException.java:79) ~[?:?]
          at sun.nio.fs.WindowsException.reth
          category:elasticsearch | by:ittoocomments(0)trackbacks(0) | -

          elasticsearch起動時にエラーになった(kibanaで画面が真っ白)→文字コードが原因だった

          2018.01.31 Wednesday 21:07
          0
            ■elasticsearch起動時にエラーになった(kibanaで画面が真っ白)
            ・原因 config/elasticsearch.yml ファイルを修正した際に sjis形式で保存したみたい。
            文字コードutf8に修正して再起動したら無事起動できた

            ・以下のエラーが発生
            C:¥¥elasticsearch-6.1.1¥bin>elasticsearch.bat
            Exception in thread "main" 2018-01-31 19:38:16,281 main ERROR No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system property 'log4j2.debug' to show Log4j2 internal initialization logging.
            SettingsException[Failed to load settings from [elasticsearch.yml]]; nested: YAMLException[java.io.CharConversionException: Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)
            at [Source: sun.nio.ch.ChannelInputStream@40a4337a; line: 1, column: 1]]; nested: YAMLException[java.io.CharConversionException: Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)]; nested: CharConversionException[Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)];
            at org.elasticsearch.common.settings.Settings$Builder.loadFromStream(Settings.java:1186)
            at org.elasticsearch.common.settings.Settings$Builder.loadFromPath(Settings.java:1161)
            at org.elasticsearch.node.InternalSettingsPreparer.prepareEnvironment(InternalSettingsPreparer.java:99)
            at org.elasticsearch.cli.EnvironmentAwareCommand.createEnv(EnvironmentAwareCommand.java:95)
            at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86)
            at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124)
            at org.elasticsearch.cli.Command.main(Command.java:90)
            at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92)
            at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85)
            Caused by: com.fasterxml.jackson.dataformat.yaml.snakeyaml.error.YAMLException: java.io.CharConversionException: Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)
            at [Source: sun.nio.ch.ChannelInputStream@40a4337a; line: 1, column: 1]
            at com.fasterxml.jackson.dataformat.yaml.snakeyaml.error.YAMLException.from(YAMLException.java:25)
            at com.fasterxml.jackson.dataformat.yaml.YAMLParser.nextToken(YAMLParser.java:346)
            at org.elasticsearch.common.xcontent.json.JsonXContentParser.nextToken(JsonXContentParser.java:52)
            at org.elasticsearch.common.settings.Settings$Builder.loadFromStream(Settings.java:1178)
            ... 8 more
            Caused by: org.yaml.snakeyaml.error.YAMLException: java.io.CharConversionException: Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)
            at org.yaml.snakeyaml.reader.StreamReader.update(StreamReader.java:200)
            at org.yaml.snakeyaml.reader.StreamReader.peek(StreamReader.java:146)
            at org.yaml.snakeyaml.scanner.ScannerImpl.scanToNextToken(ScannerImpl.java:1199)
            at org.yaml.snakeyaml.scanner.ScannerImpl.fetchMoreTokens(ScannerImpl.java:289)
            at org.yaml.snakeyaml.scanner.ScannerImpl.checkToken(ScannerImpl.java:226)
            at org.yaml.snakeyaml.parser.ParserImpl$ParseImplicitDocumentStart.produce(ParserImpl.java:194)
            at org.yaml.snakeyaml.parser.ParserImpl.peekEvent(ParserImpl.java:157)
            at org.yaml.snakeyaml.parser.ParserImpl.getEvent(ParserImpl.java:167)
            at com.fasterxml.jackson.dataformat.yaml.YAMLParser.nextToken(YAMLParser.java:340)
            ... 10 more
            Caused by: java.io.CharConversionException: Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)
            at com.fasterxml.jackson.dataformat.yaml.UTF8Reader.reportInvalidInitial(UTF8Reader.java:384)
            at com.fasterxml.jackson.dataformat.yaml.UTF8Reader.read(UTF8Reader.java:237)
            at com.fasterxml.jackson.dataformat.yaml.UTF8Reader.read(UTF8Reader.java:148)
            at org.yaml.snakeyaml.reader.StreamReader.update(StreamReader.java:184)
            ... 18 more

            category:elasticsearch | by:ittoocomments(0)trackbacks(0) | -

            ad
            Calender
                  1
            2345678
            9101112131415
            16171819202122
            23242526272829
            30      
            << September 2018 >>
            Selected entry
            PR
            Category
            Archives
            Recent comment
            • 円マークが自動変換されてる
              aaaaaa
            • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
              66hills
            • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
              ssd
            • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
              max
            • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
              DOM
            • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
              DOM
            • コンピュータ業界の根本的な変化
              cloud
            • コンピュータ業界の根本的な変化
              Dellの仮想化
            • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
              えちごや
            • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
              touch
            Recent trackback
            • スマートフォンの法人活用例
              無線LANネットのブログ
            • Yahoo!オークションからのアフィリエイト収入が一気に70%減になってしまい涙目になってる話
              特選情報
            Recommend
            Link
            Profile
            Search
            Others
            Mobile
            qrcode
            Powered
            無料ブログ作成サービス JUGEM