Products
96SEO 2026-02-19 20:02 0
视频地址尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili
03、ads_traffic_stats_by_source.json文件
最近天数,1:最近1天,7:最近7天,30:最近30天,source_id
最近天数,1:最近1天,7:最近7天,30:最近30天,source
ads_traffic_sale_stats_by_source;
ads_traffic_sale_stats_by_source
最近天数,1:最近1天,7:最近7天,30:最近30天,source_id
最近n日,1:最近1日,7:最近7日,30:最近30日,new_user_count
最近天数,1:最近1天,7:最近7天,30:最近30天,home_count
最近天数,1:最近1天,7:最近7天,30:最近30天,new_order_user_count
ads_user_order_user_count_by_age_group;
ads_user_order_user_count_by_age_group
最近天数,1:最近1天,7:最近7天,30:最近30天,age_group
年龄段,18岁及以下、19-24岁、25-29岁、30-34岁、35-39岁、40-49岁、50岁及以上,order_user_count
ads_course_trade_stats_by_category;
ads_course_trade_stats_by_category
最近天数,1:最近1天,7:最近7天,30:最近30天,category_id
ads_course_trade_stats_by_subject;
ads_course_trade_stats_by_subject
最近天数,1:最近1天,7:最近7天,30:最近30天,subject_id
ads_course_trade_stats_by_course;
ads_course_trade_stats_by_course
ads_course_review_stats_by_course;
ads_course_review_stats_by_course
ads_sample_retention_stats_by_category;
ads_sample_retention_stats_by_category
ads_sample_retention_stats_by_subject;
ads_sample_retention_stats_by_subject
ads_sample_retention_stats_by_course;
ads_sample_retention_stats_by_course
最近天数,1:最近1日,7:最近7天,30:最近30天,order_total_amount
最近天数,1:最近1天,7:最近7天,30:最近30天,province_id
ads_examination_paper_avg_stats;
ads_examination_paper_avg_stats
最近天数,1:最近1天,7:最近7天,30:最近30天,paper_id
ads_examination_course_avg_stats;
ads_examination_course_avg_stats
最近天数,1:最近1天,7:最近7天,30:最近30天,course_id
ads_examination_user_count_by_score_duration;
ads_examination_user_count_by_score_duration
最近天数,1:最近1天,7:最近7天,30:最近30天,paper_id
ads_examination_question_accuracy;
ads_examination_question_accuracy
最近天数,1:最近1天,7:最近7天,30:最近30天,question_id
ads_learn_play_stats_by_chapter;
ads_learn_play_stats_by_chapter
最近天数,1:最近1天,7:最近7天,30:最近30天,chapter_id
ads_learn_play_stats_by_course;
最近天数,1:最近1天,7:最近7天,30:最近30天,course_id
ads_complete_complete_user_count_per_course;
ads_complete_complete_user_count_per_course
最近天数,1:最近1天,7:最近7天,30:最近30天,course_id
最近天数,1:最近1天,7:最近7天,30:最近30天,user_complete_count
完课人数,user_course_complete_count
ads_complete_complete_chapter_count_per_course;
ads_complete_complete_chapter_count_per_course
最近天数,1:最近1天,7:最近7天,30:最近30天,course_id
DataX是阿里云DataWorks数据集成的开源版本。
https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.mdhttps://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.md
-p-Dexportdir/warehouse/edu/ads/ads_traffic_stats_by_source/
job/ads_traffic_stats_by_source.json
即将尝试执行第1次重试.本次重试计划等待[1000]ms,实际等待[1001]ms,
异常Msg:[Code:[DBUtilErrorCode-10],
具体错误信息为com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException:
即将尝试执行第2次重试.本次重试计划等待[2000]ms,实际等待[2000]ms,
异常Msg:[Code:[DBUtilErrorCode-10],
具体错误信息为com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException:
即将尝试执行第3次重试.本次重试计划等待[4000]ms,实际等待[4000]ms,
异常Msg:[Code:[DBUtilErrorCode-10],
具体错误信息为com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException:
解决办法已检查N遍账号密码没有问题将/opt/module/datax/plugin/writer/mysqlwriter/libs与/opt/module/datax/plugin/reader/mysqlreader/libs等两个lib目录下的mysql-connector-java-5.1.34.jar包替换为mysql-connector-java-8.0.29.jar。
03、ads_traffic_stats_by_source.json文件
com.alibaba.datax.common.exception.DataXException:
获取表:ads_traffic_stats_by_source
java.sql.SQLSyntaxErrorException:
com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:120)
com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:122)
com.mysql.cj.jdbc.StatementImpl.executeQuery(StatementImpl.java:1201)
com.alibaba.datax.plugin.rdbms.util.DBUtil.getColumnMetaData(DBUtil.java:563)
com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil.dealColumnConf(OriginalConfPretreatmentUtil.java:125)
com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil.dealColumnConf(OriginalConfPretreatmentUtil.java:140)
com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil.doPretreatment(OriginalConfPretreatmentUtil.java:35)
com.alibaba.datax.plugin.rdbms.writer.CommonRdbmsWriter$Job.init(CommonRdbmsWriter.java:41)
com.alibaba.datax.plugin.writer.mysqlwriter.MysqlWriter$Job.init(MysqlWriter.java:31)
com.alibaba.datax.core.job.JobContainer.initJobWriter(JobContainer.java:704)
com.alibaba.datax.core.job.JobContainer.init(JobContainer.java:304)
com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:113)
com.alibaba.datax.core.Engine.start(Engine.java:92)
com.alibaba.datax.core.Engine.entry(Engine.java:171)
com.alibaba.datax.core.Engine.main(Engine.java:204)
com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:33)
com.alibaba.datax.plugin.rdbms.util.DBUtil.getColumnMetaData(DBUtil.java:575)
com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil.dealColumnConf(OriginalConfPretreatmentUtil.java:125)
com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil.dealColumnConf(OriginalConfPretreatmentUtil.java:140)
com.alibaba.datax.plugin.rdbms.writer.util.OriginalConfPretreatmentUtil.doPretreatment(OriginalConfPretreatmentUtil.java:35)
com.alibaba.datax.plugin.rdbms.writer.CommonRdbmsWriter$Job.init(CommonRdbmsWriter.java:41)
com.alibaba.datax.plugin.writer.mysqlwriter.MysqlWriter$Job.init(MysqlWriter.java:31)
com.alibaba.datax.core.job.JobContainer.initJobWriter(JobContainer.java:704)
com.alibaba.datax.core.job.JobContainer.init(JobContainer.java:304)
com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:113)
com.alibaba.datax.core.Engine.start(Engine.java:92)
com.alibaba.datax.core.Engine.entry(Engine.java:171)
com.alibaba.datax.core.Engine.main(Engine.java:204)
/opt/module/datax/job/ads_traffic_stats_by_source.json{job:
[dt,recent_days,source_id,source_site,uv_count,avg_duration_sec,avg_page_count,sv_count,bounce_rate],connection:
jdbc:mysql://node001:3306/edu_report?useUnicodetruecharacterEncodingutf-8,table:
[ads_traffic_stats_by_source]}],username:
DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。
致力于解决数据处理流程中错综复杂的依赖关系使调度系统在数据处理流程中开箱即用。
apache-dolphinscheduler-2.0.3-bin]$
apache-dolphinscheduler-2.0.3-bin]$
apache-dolphinscheduler-2.0.3-bin]$
/opt/module/dolphinScheduler/ds-2.0.3/
node003没有运行WorkerServer资源不够将资源改为8g就能运行了但没必要。
启动hadoop、zookeeper、hive、hive-service2、ds。
/opt/module/hive/hive-3.1.2/bin/hive
/opt/module/hive/hive-3.1.2/bin/hive
/opt/module/dolphinScheduler/ds-2.0.3/bin/start-all.sh
/opt/module/zookeeper/zookeeper-3.5.7/bin/../conf/zoo.cfg
/opt/module/zookeeper/zookeeper-3.5.7/bin/../conf/zoo.cfg
/opt/module/zookeeper/zookeeper-3.5.7/bin/../conf/zoo.cfg
/opt/module/hive/hive-3.1.2/bin/hive
忽略输入并把输出追加到nohup.out[atguigunode001
/opt/module/hive/hive-3.1.2/bin/hive
忽略输入并把输出追加到nohup.out[atguigunode001
/opt/module/dolphinScheduler/ds-2.0.3/bin/start-all.sh
DolphinScheduler工作流运行之后在工作流实例中查不到是什么原因将node001的运行内存从4G调为8G即可。
DolphinScheduler支持对任务节点进行灵活的传参任务节点可通过${参数名}引用参数值。
2多个上游节点均传递同名参数时下游节点会优先使用值为非空的参数
3如果存在多个值为非空的参数则按照上游任务的完成时间排序选择完成时间最早的上游任务对应的参数。
启动hadoop、zookeeper、kafka、maxwell、f1、f2、f3。
kafka.common.StateChangeFailedException:
OfflinePartitionLeaderElectionStrategy(false)
kafka.controller.ZkPartitionStateMachine.$anonfun$doElectLeaderForPartitions$7(PartitionStateMachine.scala:424)
scala.collection.mutable.ResizableArray.foreach(ResizableArray.scala:62)
scala.collection.mutable.ResizableArray.foreach$(ResizableArray.scala:55)
scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:49)
kafka.controller.ZkPartitionStateMachine.doElectLeaderForPartitions(PartitionStateMachine.scala:421)
kafka.controller.ZkPartitionStateMachine.electLeaderForPartitions(PartitionStateMachine.scala:332)
kafka.controller.ZkPartitionStateMachine.doHandleStateChanges(PartitionStateMachine.scala:238)
kafka.controller.ZkPartitionStateMachine.handleStateChanges(PartitionStateMachine.scala:158)
kafka.controller.PartitionStateMachine.triggerOnlineStateChangeForPartitions(PartitionStateMachine.scala:74)
kafka.controller.PartitionStateMachine.triggerOnlinePartitionStateChange(PartitionStateMachine.scala:59)
kafka.controller.KafkaController.onBrokerStartup(KafkaController.scala:536)
kafka.controller.KafkaController.processBrokerChange(KafkaController.scala:1594)
kafka.controller.KafkaController.process(KafkaController.scala:2484)
kafka.controller.QueuedEvent.process(ControllerEventManager.scala:52)
kafka.controller.ControllerEventManager$ControllerEventThread.process$1(ControllerEventManager.scala:130)
kafka.controller.ControllerEventManager$ControllerEventThread.$anonfun$doWork$1(ControllerEventManager.scala:133)
scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
kafka.metrics.KafkaTimer.time(KafkaTimer.scala:31)
kafka.controller.ControllerEventManager$ControllerEventThread.doWork(ControllerEventManager.scala:133)
kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:96)
‘utf8mb3‘_你的482的博客-CSDN博客Maxwell安装使用
4最多占用4个字节。
而原来的utf8则被utf8mb3则代替。
解压打开找到有问题的类com.zendesk.maxwell.schema.columndef.StringColumnDef加上能识别utf8mb3的语句,重新打包。
打包好的maxwell-1.19.0.jar替换maxwell/lib/maxwell-1.19.0.jar重启即可。
启动hadoop、zookeeper、kafka、maxwell、f1.sh、f2.sh、f3.sh。
关闭采集的相关组件kafka、flume(f1、f2、f3)、maxwell启动hadoop、hive、zookeeper、dolphinscheduler
org.springframework.boot.SpringApplication:[843]
org.springframework.beans.factory.UnsatisfiedDependencyException:
org.springframework.beans.factory.BeanCreationException:
org.apache.dolphinscheduler.registry.api.RegistryException:
datax将数据同步至hdfs里面mysql_to_hdfs_full.sh
HADOOP_HOME/opt/module/hadoop/hadoop-3.1.3
HADOOP_CONF_DIR/opt/module/hadoop/hadoop-3.1.3/etc/hadoop
SPARK_HOME/opt/module/spark/spark-3.0.0-bin-hadoop3.2
JAVA_HOME/opt/module/jdk/jdk1.8.0_212
HIVE_HOME/opt/module/hive/hive-3.1.2
PATH$HADOOP_HOME/bin:$SPARK_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$DATAX_HOME/bin:$PATH
作为专业的SEO优化服务提供商，我们致力于通过科学、系统的搜索引擎优化策略，帮助企业在百度、Google等搜索引擎中获得更高的排名和流量。我们的服务涵盖网站结构优化、内容优化、技术SEO和链接建设等多个维度。
| 服务项目 | 基础套餐 | 标准套餐 | 高级定制 |
|---|---|---|---|
| 关键词优化数量 | 10-20个核心词 | 30-50个核心词+长尾词 | 80-150个全方位覆盖 |
| 内容优化 | 基础页面优化 | 全站内容优化+每月5篇原创 | 个性化内容策略+每月15篇原创 |
| 技术SEO | 基本技术检查 | 全面技术优化+移动适配 | 深度技术重构+性能优化 |
| 外链建设 | 每月5-10条 | 每月20-30条高质量外链 | 每月50+条多渠道外链 |
| 数据报告 | 月度基础报告 | 双周详细报告+分析 | 每周深度报告+策略调整 |
| 效果保障 | 3-6个月见效 | 2-4个月见效 | 1-3个月快速见效 |
我们的SEO优化服务遵循科学严谨的流程，确保每一步都基于数据分析和行业最佳实践：
全面检测网站技术问题、内容质量、竞争对手情况，制定个性化优化方案。
基于用户搜索意图和商业目标，制定全面的关键词矩阵和布局策略。
解决网站技术问题，优化网站结构，提升页面速度和移动端体验。
创作高质量原创内容，优化现有页面，建立内容更新机制。
获取高质量外部链接，建立品牌在线影响力，提升网站权威度。
持续监控排名、流量和转化数据，根据效果调整优化策略。
基于我们服务的客户数据统计，平均优化效果如下：
我们坚信，真正的SEO优化不仅仅是追求排名，而是通过提供优质内容、优化用户体验、建立网站权威，最终实现可持续的业务增长。我们的目标是与客户建立长期合作关系，共同成长。
Demand feedback
