大数据课程————HDFS
HDFS基本概念 是一个文件系统，用于存储文件，通过目录树来定位文件；是分布式的，由多个服务器联合起来实现其功。 适合场景：一次写入，多次读出，不可更改。文件写入后就不需要再改变 HDFS特征 优点 高容错，文件报错多个副本 适合处理大数据，数据规模到GB、TB甚至TP；文件数量多到百万级以上均可处理 可建构廉价机器上 缺点 不适合低延迟数据访问，实时场景不合适 无法高效对大量小文件进行存
大数据课程————MapReduce
MapReduce 一个分布式运算程序的编程框架，用户开发“基于Hadoop的数据分析应用”的核心框架。 优点： 易于编程，用户只关心业务逻辑，实现框架的接口 良好的扩展性。可动态增加服务器，解决计算资源不够的问题 高容错性。任意节点挂掉可以将任务转移至其他节点 适合海量数据计算。（TB/PB级别）几千台服务器共同计算 缺点： 不擅长实时计算。（mysql毫秒级别的） 不擅长流式计算 不擅
IDEA运行测试错误Failed to resolve org.junit.platform:junit-platform-launcher
问题原因： 这里的问题是IntelliJ试图在不使用IDE中配置的Maven“用户设置文件”(settings.xml)的情况下解决所需的工件本身。它将直接连接到Maven Central，但被我的雇主屏蔽了 解决方案在pom文件添加： 123456<dependency> <!-- this is needed or IntelliJ gives junit.jar or j
MySql索引基本原理
前置概念： 磁盘预读：内存跟磁盘在发生数据交互的时候，一般情况下有一个最小的逻辑单元，即"页"/“datapage”，页一般由操作系统决定是多大，一般是4k或8k。而进行数据交互的时候，可以取页的整数倍来读取。如innodb引擎每次读取数据都是16k B+树 每个关键字对应一棵子树 每个结点关键字个数n的范围是[m/2]<=n<=m 叶节点是包含信息
SpringBoot配置mybatis使用的两种方式
目前在SpringBoot中的使用Mybatis的pom文件是 12345<dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>
Java实现读取本地txt文件(行政区划制作层级标记表格)
首先接到的是一个网址，地址是http://www.zxinc.org/gb2260.html 但这个网址后来就没用了，服务器那边应该出问题了，不过还好我保存到本地了。 再放一个云盘 链接：https://pan.baidu.com/s/1Hkf2PtRGK3dLQ50tJ1mk4g 提取码：unon 这里我是将那个页面打开查看源码然后复制下来的，所以前面带了一个,这里的每行是由区划代码、区划
Springboot 测试类没有找到bean注入
其他乱七八糟配置就不扯了，先上项目结构图 配置好参数后我再src/test/java类测试访问数据库时发现bean没有正确的注入。值得注意的是，这个项目的启动类是叫App.java 所以我们必须在这个测试类上面加上注解： 12@RunWith(SpringRunner.class)@SpringBootTest(classes = App.class) 注意：SpringBoot(class
Eclipse配置Maven的本地仓库和阿里云镜像
先确定自己电脑是否安装了Maven和安装位置，具体查询方法直接win+R键打开运行窗口，输入cmd打开dos窗口，再输入mvn -v即可查询安装的位置 拿到安装位置 D:\Applications\Work\apache-maven-3.6.1 后打开该位置下的conf文件夹，找到一个叫settings.xml的文件。 将以下代码粘贴至标签内（注：没修改之前，这个标签里的内容是完全注释掉的，将
