Changes between Version 13 and Version 14 of linux/Fluentd

Timestamp:

2015/11/09 12:36:16 (9 years ago)

Author:

yuna

Comment:

--

linux/Fluentd

@@ -55 +55 @@
   pos_file /var/log/td-agent/nova-api.log.pos
   tag nova-api.log
-  format /^(?<date>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}.\d{3} \d{4}) (?<level>[^ ]*) (?<class>[^ ]*) \[(?<req-id>[^ ]*)] (?<message>.*)$/
+  format /^(?<date>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}.\d{3} \d+) (?<level>[^ ]*) (?<class>[^ ]*) \[(?<req-id>[^]]*)] (?<message>.*)$/
 </source>
 
@@ -75 +75 @@
   tag nova-api.log
   format multiline
-  format_firstline /\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}.\d{3} \d{4}/
-  format1 /^(?<date>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}.\d{3} \d{4}) (?<level>[^ ]*) (?<class>[^ ]*) \[(?<req-id>[^ ]*)] (?<message>.*)/
+  format_firstline /\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}.\d{3} \d+/
+  format1 /^(?<date>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}.\d{3} \d+) (?<level>[^ ]*) (?<class>[^ ]*) \[(?<req-id>[^]]*)] (?<message>.*)/
 </source>
 }}}
@@ -88 +88 @@
   host logserver
 </match>
+}}}
+
+色々なホストから送信されたログがごちゃごちゃになると嫌なので、host属性にホスト名を入れてどのホストのログか識別できるようにする。
+
+{{{
+<filter openstack>
+  type record_transformer
+  <record>
+    host ${hostname}
+  </record>
+</filter>
 }}}
 
@@ -182 +193 @@
 > db.log.find({"message":/940f3b2f-bd74-45ad-bee7-eb0a7318aa84/});
 }}}
+
+mongoコマンドの出力は、古いログから○件と決まっている。最新のログ100件を例えば出力するには、次のようにする。
+
+{{{
+> db.log.find().sort({$natural:-1}).limit(100)
+}}}