开源库数据分析（一个支持多数据源轻量级的基于浏览器的日志分析和查询平台）
开源库数据分析（一个支持多数据源轻量级的基于浏览器的日志分析和查询平台）或访问一飞开源：https://code.exmay.com/私信回复：日志分析和查询平台因为没有创建索引，所有字段的背景色都是灰色的，这种方式下是可以搜索的，是用的模糊搜索，性能不是很好，所以我们需要按照下图创建索引。创建完索引后，我们在访问几次http://127.0.0.1:19003，增加下数据后，就可以根据索引查看日志使用MIT开源协议
一、开源项目简介Mogo 是一个轻量级的基于浏览器的日志分析和查询平台，可以配合 ClickHouse、MySQL 等多种数据源使用。
二、界面展示日志查询界面
- 提供了可视化的查询面板，可查询命中条数直方图和原始日志
- 配置好需要计算比率的字段后，可查看字段不同值占比
- 提供了可视化的 VS Code 风格配置中心，可以便捷地将 fluent-bit 配置同步到 Kubernetes 集群 ConfigMap 中
- 支持 GitHub 和 GitLab 授权登录
- docker 方式运行
# 进入源码目录
docker-compose up
# 打开浏览器访问 http://localhost:19001
# 默认登录用户名: shimo
# 默认登录密码: shimo
- 本地运行
# 下载二进制
# 获取最新版本
# 解压 tar.gz 包到 ./mogo 目录
mkdir -p ./mogo-${latest} && tar -zxvf mogo-${latest}.tar.gz -C ./mogo-${latest}
# 修改 config/default.toml 配置文件
# 执行 scripts/migration 下迁移脚本，创建数据库和表
# 启动 mogo
cd ./mogo-${latest} && ./mogo -config config/default.toml
# 打开浏览器访问 http://localhost:19001
# 默认登录用户名: shimo
# 默认登录密码: shimo日志采集组件需要的组件
- fluent-bit：日志采集工具
- kafka：日志收集消息队列
- clickhouse：日志存储数据源
- mogo: 日志ui展示界面
- mysql: mogo需要用到的数据库
- redis: mogo需要用到的缓存
- 浏览器输入http://127.0.0.1:19001 查看mogo ui的情况，账号：shimo，密码：shimo
- 浏览器输入http://127.0.0.1:19002 查看kafka数据的情况
- 浏览器输入http://127.0.0.1:19003 模拟用户访问访问nginx写入access日志
- 13306为mysql的连接端口，账号：root，密码：shimo
- 8123为clickhouse的连接端口，账号：root，密码：shimo
- 克隆mogo项目
- 在mogo项目的根目录下执行：docker-compose up
- 在浏览器里输入http://127.0.0.1:19001 ，进入到mogo登录页面，输入账号：shimo，密码：shimo
- 选择docker中已有的clickhouse实例：default-ch
- 创建数据库名：logger
- 创建数据表：ingress_stdout (这里分隔符只允许下划线，因为clickhouse只识别下划线)
- 选择采集日志的时间类型，采集日志的标示必须位_time_，类型可以是string或者float
- 日志保存时间：7天
- Brokers：填入docker中的kafka配置，kafka:9092
- Topic：kafka中采集日志的ingress-stdout (这里分隔符只允许中划线，因为kafka只识别中划线)
我们在浏览器中输入http://127.0.0.1:19003，可以看到hello，i'm mogo。这个时候说明nginx已经写入到一条日志。
我们在浏览器中输入http://localhost:19002/topics/ingress-stdout?o=-1&p=-1&q&s=50#messages，如果可以查看到kafka中日志内容，说明已经采集成功。然后再查看consumers，可以看到logger_ingress_stdout，说明clickhouse正在消费。
2.5 查看日志http://localhost:19001/query ，这个时候我们可以看到日志内容了。
因为没有创建索引，所有字段的背景色都是灰色的，这种方式下是可以搜索的，是用的模糊搜索，性能不是很好，所以我们需要按照下图创建索引。
创建完索引后，我们在访问几次http://127.0.0.1:19003，增加下数据后，就可以根据索引查看日志
使用MIT开源协议
六、源码地址私信回复：日志分析和查询平台
或访问一飞开源：https://code.exmay.com/
