中小项目用ELK做日志？我准备玩点新花样

项目做正规了，日志系统是少不了的。目前大部分日志平台推荐基于ELK构建，不过ELK算是比较重了，架构太大，中小项目不太好Hold住，希望找一款简单一些的，如果实在找不到再上ELK。之前储备了一些技术候选库，翻了翻果然有一款名叫Loki的日志系统，可百度大部分都是电影里的这货，不靠谱?

网站建设哪家好，找创新互联建站！专注于网页设计、网站建设、微信开发、微信平台小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了运城免费建站欢迎大家使用！

Loki

事实上日志系统的开发团队靠谱的很，就是监控领域大名鼎鼎的Grafana Labs，为人所熟知的有开源数据可视化工具Grafana、监控系统Prometheus等等。

Loki是他们受 Prometheus 启发打造的开源项目，是一款可扩展，高可用，支持多租户的日志聚合系统。设计的理念就是为了让日志聚合更简单，它被设计为非常经济高效且易于操作。它不索引日志的内容，而是为每个日志流设置一组标签。它主要由三部分组成：

  • Promtail是日志收集器，负责收集应用的日志并发送给Loki。
  • Loki用于日志的存储和解析，并提供查询API给下游展示。
  • Grafana负责将Loki的日志可视化。

Loki流程图

看上去挺不错的，我要试一试。

简单上手

遇到新东西先跑个小DEMO，说实话目前国内介绍这个的都没有详细的上手DEMO，尤其是和Spring Boot对接这一块。我照着原版文档，花了小半天终于跑成功了。

Loki安装

首先是安装，现在跑DEMO我优先选择快捷方便的Docker。下面是我修改过的Docker Compose脚本，根据你自己的需要改改就能一键启动Loki。

 
 
 
 
    
  
  
  
  
  1. version: "3" 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. networks: 
    4.   
  
  
  
  4.   loki: 
    5.   
  
  
  
  5.  
    6.   
  
  
  
  6. services: 
    7.   
  
  
  
  7.   loki: 
    8.   
  
  
  
  8.     image: grafana/loki:2.2.1 
    9.   
  
  
  
  9.     container_name: loki-service 
    10.   
  
  
  
  10.     volumes: 
    11.   
  
  
  
  11. #    将loki的配置文件挂载到本地 c:/docker/loki 目录 
    12.   
  
  
  
  12.       - c:/docker/loki:/etc/loki/ 
    13.   
  
  
  
  13.     ports: 
    14.   
  
  
  
  14.       - "3100:3100" 
    15.   
  
  
  
  15.     command: -config.file=/etc/loki/loki.yml 
    16.   
  
  
  
  16.     networks: 
    17.   
  
  
  
  17.       - loki 
    18.   
  
  
  
  18.  
    19.   
  
  
  
  19.   promtail: 
    20.   
  
  
  
  20.     image: grafana/promtail:2.2.1 
    21.   
  
  
  
  21.     container_name: promtail-service 
    22.   
  
  
  
  22.     volumes:   
    23.   
  
  
  
  23.     #  为了读取本地的日志目录，这个是个默认配置目的就是为跑起来，生产肯定不是这样的。    
    24.   
  
  
  
  24.       - c:/docker/log:/var/log/ 
    25.   
  
  
  
  25.     #  promtail  的配置文件也挂载到本地 c:/docker/promtail目录   
    26.   
  
  
  
  26.       - c:/docker/promtail:/etc/promtail/ 
    27.   
  
  
  
  27.     command: -config.file=/etc/promtail/promtail.yml 
    28.   
  
  
  
  28.     networks: 
    29.   
  
  
  
  29.       - loki 
    30.   
  
  
  
  30.  
    31.   
  
  
  
  31.   grafana: 
    32.   
  
  
  
  32.     image: grafana/grafana:latest 
    33.   
  
  
  
  33.     container_name: grafana-service 
    34.   
  
  
  
  34.     ports: 
    35.   
  
  
  
  35.       - "3000:3000" 
    36.   
  
  
  
  36.     networks: 
    37.   
  
  
  
  37.       - loki 
    38.

上面的挂载目录c:/docker/loki和c:/docker/promtail你根据自己的情况调整位置。

Loki的配置

上面文件中的-config.file=/etc/loki/loki.yml是Loki的配置文件，我们需要将配置文件loki.yml提前放在c:/docker/loki下，我使用默认配置：

 
 
 
 
    
  
  
  
  
  1. auth_enabled: false 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. server: 
    4.   
  
  
  
  4.   http_listen_port: 3100 
    5.   
  
  
  
  5.  
    6.   
  
  
  
  6. ingester: 
    7.   
  
  
  
  7.   lifecycler: 
    8.   
  
  
  
  8.     address: 127.0.0.1 
    9.   
  
  
  
  9.     ring: 
    10.   
  
  
  
  10.       kvstore: 
    11.   
  
  
  
  11.         store: inmemory 
    12.   
  
  
  
  12.       replication_factor: 1 
    13.   
  
  
  
  13.     final_sleep: 0s 
    14.   
  
  
  
  14.   chunk_idle_period: 1h       # Any chunk not receiving new logs in this time will be flushed 
    15.   
  
  
  
  15.   max_chunk_age: 1h           # All chunks will be flushed when they hit this age, default is 1h 
    16.   
  
  
  
  16.   chunk_target_size: 1048576  # Loki will attempt to build chunks up to 1.5MB, flushing first if chunk_idle_period or max_chunk_age is reached first 
    17.   
  
  
  
  17.   chunk_retain_period: 30s    # Must be greater than index read cache TTL if using an index cache (Default index read cache TTL is 5m) 
    18.   
  
  
  
  18.   max_transfer_retries: 0     # Chunk transfers disabled 
    19.   
  
  
  
  19.  
    20.   
  
  
  
  20. schema_config: 
    21.   
  
  
  
  21.   configs: 
    22.   
  
  
  
  22.     - from: 2020-10-24 
    23.   
  
  
  
  23.       store: boltdb-shipper 
    24.   
  
  
  
  24.       object_store: filesystem 
    25.   
  
  
  
  25.       schema: v11 
    26.   
  
  
  
  26.       index: 
    27.   
  
  
  
  27.         prefix: index_ 
    28.   
  
  
  
  28.         period: 24h 
    29.   
  
  
  
  29.  
    30.   
  
  
  
  30. storage_config: 
    31.   
  
  
  
  31.   boltdb_shipper: 
    32.   
  
  
  
  32.     active_index_directory: /loki/boltdb-shipper-active 
    33.   
  
  
  
  33.     cache_location: /loki/boltdb-shipper-cache 
    34.   
  
  
  
  34.     cache_ttl: 24h         # Can be increased for faster performance over longer query periods, uses more disk space 
    35.   
  
  
  
  35.     shared_store: filesystem 
    36.   
  
  
  
  36.   filesystem: 
    37.   
  
  
  
  37.     directory: /loki/chunks 
    38.   
  
  
  
  38.  
    39.   
  
  
  
  39. compactor: 
    40.   
  
  
  
  40.   working_directory: /loki/boltdb-shipper-compactor 
    41.   
  
  
  
  41.   shared_store: filesystem 
    42.   
  
  
  
  42.  
    43.   
  
  
  
  43. limits_config: 
    44.   
  
  
  
  44.   reject_old_samples: true 
    45.   
  
  
  
  45.   reject_old_samples_max_age: 168h 
    46.   
  
  
  
  46.  
    47.   
  
  
  
  47. chunk_store_config: 
    48.   
  
  
  
  48.   max_look_back_period: 0s 
    49.   
  
  
  
  49.  
    50.   
  
  
  
  50. table_manager: 
    51.   
  
  
  
  51.   retention_deletes_enabled: false 
    52.   
  
  
  
  52.   retention_period: 0s 
    53.   
  
  
  
  53.  
    54.   
  
  
  
  54. ruler: 
    55.   
  
  
  
  55.   storage: 
    56.   
  
  
  
  56.     type: local 
    57.   
  
  
  
  57.     local: 
    58.   
  
  
  
  58.       directory: /loki/rules 
    59.   
  
  
  
  59.   rule_path: /loki/rules-temp 
    60.   
  
  
  
  60.   alertmanager_url: http://localhost:9093 
    61.   
  
  
  
  61.   ring: 
    62.   
  
  
  
  62.     kvstore: 
    63.   
  
  
  
  63.       store: inmemory 
    64.   
  
  
  
  64.   enable_api: true 
    65.

不要纠结这些配置项是干什么的，先跑起来再说，用到了去查文档，要有的放矢。

Promtail的配置

和Loki类似，Promtail也要在本地挂载的c:/docker/promtail目录下配置promtail.yml,这里也使用默认配置：

 
 
 
 
    
  
  
  
  
  1. server: 
    2.   
  
  
  
  2.   http_listen_port: 9080 
    3.   
  
  
  
  3.   grpc_listen_port: 0 
    4.   
  
  
  
  4.  
    5.   
  
  
  
  5. positions: 
    6.   
  
  
  
  6.   filename: /tmp/positions.yaml 
    7.   
  
  
  
  7.  
    8.   
  
  
  
  8. clients: 
    9.   
  
  
  
  9.   - url: http://loki:3100/loki/api/v1/push 
    10.   
  
  
  
  10.  
    11.   
  
  
  
  11. scrape_configs: 
    12.   
  
  
  
  12.   - job_name: system 
    13.   
  
  
  
  13.     static_configs: 
    14.   
  
  
  
  14.       - targets: 
    15.   
  
  
  
  15.           - localhost 
    16.   
  
  
  
  16.         labels: 
    17.   
  
  
  
  17.           job: varlogs 
    18.   
  
  
  
  18.           # 这个跟挂载的位置有点关系，你可以猜猜 
    19.   
  
  
  
  19.           __path__: /var/log/*log 
    20.

我猜测/var/log/*log就是读取日志的位置，所以我把它挂载到本地c:/docker/log，等下弄点日志到本地这个目录下，看看能读取出来不。

启动Loki

配置完毕后执行docker-compose -f up命令，会先下载镜像然后启动三个Docker容器。成功后打开http://localhost:3000/登录Grafana，默认账号密码是admin/admin。然后在侧边栏添加数据源为Loki:

点击图中的Add data source

然后配置Loki的URL为http://loki:3100，然后点确定和测试，有绿色提示就表示成功了。

我们使用的是Docker Compose，因此hostname是服务名称loki。

然后点击侧边栏一个指南针形状的图标Explore，就进入日志的UI了，这时候啥也没有。

得造点日志，搞一个Spring Boot应用，然后在application.yml中配置日志选项，然后启动应用生成一些日志。

 
 
 
 
    
  
  
  
  
  1. logging: 
    2.   
  
  
  
  2.   file: 
    3.   
  
  
  
  3.   # 弄到疑似Promtail的日志读取路径试试 
    4.   
  
  
  
  4.     path: c:/docker/log 
    5.   
  
  
  
  5.   level: 
    6.   
  
  
  
  6.     org: debug 
    7.

然后我输入了一个从文档中找到的查询日志的表达式(Loki query){filename="/var/log/spring.log"}, 文件名称去c:/docker/log下看，有了有了!Nice!

Loki中查询展示Spring Boot日志

总结 

今天从零演示了Spring Boot对接日志新贵Loki，看上去还真不错。学习新东西，要清楚它的场景，要清楚自己每一步的目标，先跑起来DEMO，再去研究定制化，最后才是底层原理。你学得越多就越熟练，你学得越多就越知道自己的短板，才能有目标和方向，不要盲目学，更不要过于追求底层原理。

本文转载自微信公众号「码农小胖哥」，可以通过以下二维码关注。转载本文请联系码农小胖哥公众号。

新闻标题：中小项目用ELK做日志？我准备玩点新花样
网站链接：http://www.csdahua.cn/qtweb/news24/87224.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网

成都快上网为您推荐相关内容

网站维护知识

同城分类信息

成都网站建设　　 　快照排名　　 　成都网站推广　　 　成都广告招牌制作　　 　成都网络推广公司　　 　广汉锦华　　 　成都免费网站建设　　 　绵阳主机托管　　 　成都酒店服定制　　 　网站ssl证书　　 　成都门窗定制　　 　网站seo优化　　 　php主机　　 　成都包装设计公司　　 　普能电气　　 　成都网站设计　　 　乐山服务器托管　　 　成都发电机维修保养公司　　 　电信机房托管服务器　　 　成都商城app开发