スポンサーサイト

2018.04.09 Monday
0

    一定期間更新がないため広告を表示しています

    category:- | by:スポンサードリンク | - | - | -

    elasticsearch のサンプルデモデータが登録で、@shakespeare.jsonのみが入らなった件

    2018.03.21 Wednesday 13:58
    0
      elasticsearch のサンプルデモデータが登録で、@shakespeare.jsonのみが入らなった件

      他のデータ(@accounts.json @logs.jsonl)は入ったのだが、@shakespeare.json のデータだけはいらなった
      結論を先に書くと、jsonファイル内の 一部文字を削除したらうまくいった

      ★試してエラーだったのがこのコマンド
      curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/shakespeare/_bulk?pretty' --data-binary @shakespeare.json

      ★試してエラーだったのjsonの中身
      {"index":{"_index":"shakespeare","_id":0}}
      {"type":"act","line_id":1,"play_name":"Henry IV", "speech_number":"","line_number":"","speaker":"","text_entry":"ACT I"}
      {"index":{"_index":"shakespeare","_id":1}}
      {"type":"scene","line_id":2,"play_name":"Henry IV","speech_number":"","line_number":"","speaker":"","text_entry":"SCENE I. London. The palace."}

      ★エラー内容
      "error" : {
      "root_cause" : [
      {
      "type" : "action_request_validation_exception",
      "reason" : "Validation Failed: 1: type is missing;"
      }
      ],
      "type" : "action_request_validation_exception",
      "reason" : "Validation Failed: 1: type is missing;"
      },
      "status" : 400


      この、type is missing がでまくる

      ★解決策として
      これをコマンド実行時に、typeも指定し、jsonファイル内部の "_index":"shakespeare", を削除するとデータがはいった

      ★コマンド実行を以下に修正
      curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/shakespeare/_bulk?pretty' --data-binary @shakespeare.json

      ★修正後のjsonの中身 "_index":"shakespeare", の箇所を一括で削除した
      {"index":{"_id":0}}
      {"type":"act","line_id":1,"play_name":"Henry IV", "speech_number":"","line_number":"","speaker":"","text_entry":"ACT I"}
      {"index":{"_id":1}}
      {"type":"scene","line_id":2,"play_name":"Henry IV","speech_number":"","line_number":"","speaker":"","text_entry":"SCENE I. London. The palace."}
      {"index":{"_id":2}}


      OK ようやくはいったよ!
      ★確認内容

      $ curl 'localhost:9200/_cat/indices?v'
      % Total % Received % Xferd Average Speed Time Time Time Current
      Dload Upload Total Spent Left Speed
      100 1331 100 1331 0 0 1039 0 0:00:01 0:00:01 --:--:-- 1064health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
      yellow open logstash-2015.05.18 b8h8hhFyR6GdJD4b8uSnGg 5 1 4631 0 21.8mb 21.8mb
      yellow open weight izljdv__TVi6kNjsJrKLSQ 5 1 1 0 4.5kb 4.5kb
      yellow open .kibana iIYDyX9zTqGXPeZkwcGK4A 1 1 2 0 6.4kb 6.4kb
      yellow open sample_service-2014.04.27 cQlQT7EZQjWXB-v9arE-iQ 5 1 28452 0 16mb 16mb
      yellow open bank Ke_jUtNtQyO7UdVZUw68MQ 5 1 1000 0 482.4kb 482.4kb
      yellow open logstash-2015.05.20 rViMuAJzSFSa5Cf6A0M-Cw 5 1 4750 0 21.1mb 21.1mb
      green open classmethod OoavFxsjQZagx0-KcjGk_w 5 0 0 0 1.2kb 1.2kb
      yellow open shakespeare DjIg60taQSO00h1JjStfXA 5 1 111395 0 22.3mb 22.3mb
      yellow open logstash-2015.05.19 t_zABeHTSMa_OmDnlalW1Q 5 1 4624 0 21.5mb 21.5mb
      yellow open sample_service-2014.04.28 buOpyJMJSNmKg3O_rHv0-g 5 1 26405 0 14.9mb 14.9mb
      category:elasticsearch | by:ittoocomments(0)trackbacks(0) | -

      kibanaからelasticsearchに接続できなかったけどいつの間にかつながった。[elasticsearch] Unable to revive connection: http://localhost:9200/ No living connections

      2018.03.21 Wednesday 12:16
      0
        windows10 64bit の環境に elasticsearch+kibanaをいれたのだが時々
        kibanaからelasticsearchに接続できない
        以下のエラーがでる。

        log [22:40:02.123] [warning][admin][elasticsearch] Unable to revive connection: http://localhost:9200/
        log [22:40:02.123] [warning][admin][elasticsearch] No living connections

        解決策としては何もしない。
        何度も起動するといつの間にかつながる
        何も変更していないのに。なんだこれは。不安定か!

        log [03:08:03.153] [info][status][plugin:elasticsearch@6.1.1] Status changed from red to green - Ready

        インターネットにつながっていない環境だと接続できなかったけど、
        インターネットにつながっている環境だと接続できたりするんだけど関係あるんかね?

        [error][admin][elasticsearch] Request error, retrying HEAD http://localhost:9200/ => getaddrinfo ENOENT localhost:9200

        category:elasticsearch | by:ittoocomments(0)trackbacks(0) | -

        elasticsearch 起動時に 「'findstr' は、内部コマンドまたは外部コマンド、操作可能なプログラムまたはバッチ ファイルとして認識されていません。」というエラーがでたので対処した

        2018.03.18 Sunday 16:25
        0
          elasticsearch 起動時に 「'findstr' は、内部コマンドまたは外部コマンド、操作可能なプログラムまたはバッチ ファイルとして認識されていません。」というエラーがでたので対処した。

          とりあえず、C:¥Windows¥System32¥findstr.exe を ¥elasticsearch-6.1.1¥bin 配下にコピーしたら
          このエラーはでなくなったよ

          C:¥elasticsearch-6.1.1¥bin>elasticsearch.bat
          'findstr' は、内部コマンドまたは外部コマンド、
          操作可能なプログラムまたはバッチ ファイルとして認識されていません。
          2018-03-18 15:46:42,891 main ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")
          at java.security.AccessControlContext.checkPermission(AccessControlContext.java:472)
          at java.lang.SecurityManager.checkPermission(SecurityManager.java:585)
          at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.checkMBeanTrustPermission(DefaultMBeanServerInterceptor.java:1848)
          at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.registerMBean(DefaultMBeanServerInterceptor.java:322)
          at com.sun.jmx.mbeanserver.JmxMBeanServer.registerMBean(JmxMBeanServer.java:522)
          at org.apache.logging.log4j.core.jmx.Server.register(Server.java:389)
          at org.apache.logging.log4j.core.jmx.Server.reregisterMBeansAfterReconfigure(Server.java:167)
          at org.apache.logging.log4j.core.jmx.Server.reregisterMBeansAfterReconfigure(Server.java:140)
          at org.apache.logging.log4j.core.LoggerContext.setConfiguration(LoggerContext.java:556)
          at org.apache.logging.log4j.core.LoggerContext.start(LoggerContext.java:261)
          at org.apache.logging.log4j.core.impl.Log4jContextFactory.getContext(Log4jContextFactory.java:206)
          at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:220)
          at org.apache.logging.log4j.core.config.Configurator.initialize(Configurator.java:197)
          at org.elasticsearch.common.logging.LogConfigurator.configureStatusLogger(LogConfigurator.java:171)
          at org.elasticsearch.common.logging.LogConfigurator.configure(LogConfigurator.java:140)
          at org.elasticsearch.common.logging.LogConfigurator.configure(LogConfigurator.java:119)
          at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:290)
          at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121)
          at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112)
          at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86)
          at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124)
          at org.elasticsearch.cli.Command.main(Command.java:90)
          at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92)
          at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85)
          category:elasticsearch | by:ittoocomments(0)trackbacks(0) | -

          elasticsearch 起動時に flood stage disk watermark 〜exceeded on 〜 all indices on this node will marked read-only というメッセージがでて read-only という状態になってしまう

          2018.03.17 Saturday 20:39
          0
            elasticsearch 起動時に flood stage disk watermark 〜exceeded on 〜 all indices on this node will marked read-only というメッセージがでて read-only とう状態になってしまう

            elasticsearch 起動時に
            flood stage disk watermark [95%] exceeded on [][][] free: 8.3gb[3.7%], all indices on this node will marked read-only
            というエラーメッセージがでる。どうやら空き容量が8.3GByteしか空いてなくこれは全体の3.7%で
            95%以上が使用中で容量がないんだよーということらしい。
            対策としてディスクの容量をあけるとこのメッセージがでなくなった。

            [2018-03-17T11:13:00,082][WARN ][o.e.c.r.a.DiskThresholdMonitor] [FzxdjOk] flood stage disk watermark [95%] exceeded on [FzxdjOkURMKK7E2s0UeWCw][FzxdjOk][C:¥elasticsearch-6.1.1¥data¥nodes¥0] free: 8.3gb[3.7%], all indices on this node will marked read-only
            [2018-03-17T11:13:30,671][WARN ][o.e.c.r.a.DiskThresholdMonitor] [FzxdjOk] flood stage disk watermark [95%] exceeded on [FzxdjOkURMKK7E2s0UeWCw][FzxdjOk][C:¥elasticsearch-6.1.1¥data¥nodes¥0] free: 8.3gb[3.7%], all indices on this node will marked read-only
            [2018-03-17T11:14:00,682][WARN ][o.e.e.NodeEnvironment ] [FzxdjOk] lock assertion failed
            java.nio.file.NoSuchFileException: ¥elasticsearch-6.1.1¥data¥nodes¥0¥node.lock
            at sun.nio.fs.WindowsException.translateToIOException(WindowsException.java:79) ~[?:?]
            at sun.nio.fs.WindowsException.reth
            category:elasticsearch | by:ittoocomments(0)trackbacks(0) | -

            elasticsearch起動時にエラーになった(kibanaで画面が真っ白)→文字コードが原因だった

            2018.01.31 Wednesday 21:07
            0
              ■elasticsearch起動時にエラーになった(kibanaで画面が真っ白)
              ・原因 config/elasticsearch.yml ファイルを修正した際に sjis形式で保存したみたい。
              文字コードutf8に修正して再起動したら無事起動できた

              ・以下のエラーが発生
              C:¥¥elasticsearch-6.1.1¥bin>elasticsearch.bat
              Exception in thread "main" 2018-01-31 19:38:16,281 main ERROR No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system property 'log4j2.debug' to show Log4j2 internal initialization logging.
              SettingsException[Failed to load settings from [elasticsearch.yml]]; nested: YAMLException[java.io.CharConversionException: Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)
              at [Source: sun.nio.ch.ChannelInputStream@40a4337a; line: 1, column: 1]]; nested: YAMLException[java.io.CharConversionException: Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)]; nested: CharConversionException[Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)];
              at org.elasticsearch.common.settings.Settings$Builder.loadFromStream(Settings.java:1186)
              at org.elasticsearch.common.settings.Settings$Builder.loadFromPath(Settings.java:1161)
              at org.elasticsearch.node.InternalSettingsPreparer.prepareEnvironment(InternalSettingsPreparer.java:99)
              at org.elasticsearch.cli.EnvironmentAwareCommand.createEnv(EnvironmentAwareCommand.java:95)
              at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86)
              at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124)
              at org.elasticsearch.cli.Command.main(Command.java:90)
              at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92)
              at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85)
              Caused by: com.fasterxml.jackson.dataformat.yaml.snakeyaml.error.YAMLException: java.io.CharConversionException: Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)
              at [Source: sun.nio.ch.ChannelInputStream@40a4337a; line: 1, column: 1]
              at com.fasterxml.jackson.dataformat.yaml.snakeyaml.error.YAMLException.from(YAMLException.java:25)
              at com.fasterxml.jackson.dataformat.yaml.YAMLParser.nextToken(YAMLParser.java:346)
              at org.elasticsearch.common.xcontent.json.JsonXContentParser.nextToken(JsonXContentParser.java:52)
              at org.elasticsearch.common.settings.Settings$Builder.loadFromStream(Settings.java:1178)
              ... 8 more
              Caused by: org.yaml.snakeyaml.error.YAMLException: java.io.CharConversionException: Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)
              at org.yaml.snakeyaml.reader.StreamReader.update(StreamReader.java:200)
              at org.yaml.snakeyaml.reader.StreamReader.peek(StreamReader.java:146)
              at org.yaml.snakeyaml.scanner.ScannerImpl.scanToNextToken(ScannerImpl.java:1199)
              at org.yaml.snakeyaml.scanner.ScannerImpl.fetchMoreTokens(ScannerImpl.java:289)
              at org.yaml.snakeyaml.scanner.ScannerImpl.checkToken(ScannerImpl.java:226)
              at org.yaml.snakeyaml.parser.ParserImpl$ParseImplicitDocumentStart.produce(ParserImpl.java:194)
              at org.yaml.snakeyaml.parser.ParserImpl.peekEvent(ParserImpl.java:157)
              at org.yaml.snakeyaml.parser.ParserImpl.getEvent(ParserImpl.java:167)
              at com.fasterxml.jackson.dataformat.yaml.YAMLParser.nextToken(YAMLParser.java:340)
              ... 10 more
              Caused by: java.io.CharConversionException: Invalid UTF-8 start byte 0x90 (at char #1802, byte #1023)
              at com.fasterxml.jackson.dataformat.yaml.UTF8Reader.reportInvalidInitial(UTF8Reader.java:384)
              at com.fasterxml.jackson.dataformat.yaml.UTF8Reader.read(UTF8Reader.java:237)
              at com.fasterxml.jackson.dataformat.yaml.UTF8Reader.read(UTF8Reader.java:148)
              at org.yaml.snakeyaml.reader.StreamReader.update(StreamReader.java:184)
              ... 18 more

              category:elasticsearch | by:ittoocomments(0)trackbacks(0) | -

              ad
              Calender
                12345
              6789101112
              13141516171819
              20212223242526
              2728293031  
              << May 2018 >>
              Selected entry
              PR
              Category
              Archives
              Recent comment
              • 円マークが自動変換されてる
                aaaaaa
              • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
                66hills
              • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
                ssd
              • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
                max
              • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
                DOM
              • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
                DOM
              • コンピュータ業界の根本的な変化
                cloud
              • コンピュータ業界の根本的な変化
                Dellの仮想化
              • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
                えちごや
              • マクドナルドでYahoo BBモバイルポイント 公衆無線LANサービスがつながらない
                touch
              Recent trackback
              • スマートフォンの法人活用例
                無線LANネットのブログ
              • Yahoo!オークションからのアフィリエイト収入が一気に70%減になってしまい涙目になってる話
                特選情報
              Recommend
              Link
              Profile
              Search
              Others
              Mobile
              qrcode
              Powered
              無料ブログ作成サービス JUGEM