风景园林硕士考研官方网站（2015年03月23日）

2023-05-18 697阅读 0评论
小熊猫权益

温馨提示：这篇文章已超过338天没有更新，请注意相关的内容是否还可用！

注意事项

此处测试主要是调用拉取上拉取的脚本，并存储到本地。

脚本包含两部分

1、开发的odps脚本(借助获取)2、建表语句脚本(借助信息去连接获得建立语句)

阿里云的分页查询限制，一次最多查询100条。我们拉取脚本应该分多页查询

该项目使用到了的SDK/JDBC方式连接，操作SDK/JDBC连接

整合实现

实现主要是编写软件类，如果必须则可以配置成，注入容器即可使用

依赖引入


    1.8
    
    0.40.8-public
    
    3.0.1
    
    3.4.2
    4.5.20



    org.springframework.boot
    spring-boot-starter-web


    org.springframework.boot
    spring-boot-configuration-processor
    true


    org.projectlombok
    lombok
    true


    com.aliyun.odps
    odps-sdk-core
    ${max-compute-sdk.version}


    com.aliyun.odps
    odps-jdbc
    ${max-compute-jdbc.version}
    jar-with-dependencies


    com.aliyun
    aliyun-java-sdk-core
    ${aliyun-java-sdk.version}


    com.aliyun
    aliyun-java-sdk-dataworks-public
    ${dataworks-sdk.version}

登录后复制

请求参数类编写

php源码分析工具_php短链接生成器源码_友情链接查询工具 php源码

/**
 * @Description
 * @Author itdl
 * @Date 2022/08/09 15:12
 */
@Data
public class DataWorksOpenApiConnParam {
    /**
     * 区域 eg. cn-shanghai
     */
    private String region;
    /**
     * 访问keyId
     */
    private String aliyunAccessId;
    /**
     * 密钥
     */
    private String aliyunAccessKey;
    /**
     * 访问端点  就是API的URL前缀
     */
    private String endPoint;
    /**
     * 数据库类型 如odps
     */
    private String datasourceType;
    /**
     * 所属项目
     */
    private String project;
    /**
     * 项目环境 dev  prod
     */
    private String projectEnv;
}

登录后复制

登录后复制

工具类编写

基础类准备，拉取脚本之后的回调函数

为什么还要回调函数，因为拉取的是所有脚本，如果合并每次分页结果的话，会造成内存溢出，而使用回调函数也是经常循环增加处理函数

/**
 * @Description
 * @Author itdl
 * @Date 2022/08/09 15:12
 */
@Data
public class DataWorksOpenApiConnParam {
    /**
     * 区域 eg. cn-shanghai
     */
    private String region;
    /**
     * 访问keyId
     */
    private String aliyunAccessId;
    /**
     * 密钥
     */
    private String aliyunAccessKey;
    /**
     * 访问端点  就是API的URL前缀
     */
    private String endPoint;
    /**
     * 数据库类型 如odps
     */
    private String datasourceType;
    /**
     * 所属项目
     */
    private String project;
    /**
     * 项目环境 dev  prod
     */
    private String projectEnv;
}

登录后复制

登录后复制

初始化操作

主要是例子化接口的用户端信息，连接的软件类初始化(包含JDBC,SDK方式)

private static final String MAX_COMPUTE_JDBC_URL_FORMAT = "http://service.%s.maxcompute.aliyun.com/api";
/**默认的odps接口地址 在Odps中也可以看到该变量*/
private static final String defaultEndpoint = "http://service.odps.aliyun.com/api";
/**
 * dataworks连接参数
 *
 */
private final DataWorksOpenApiConnParam connParam;
/**
 * 可以使用dataworks去连接maxCompute 如果连接的引擎是maxCompute的话
 */
private final MaxComputeJdbcUtil maxComputeJdbcUtil;
private final MaxComputeSdkUtil maxComputeSdkUtil;
private final boolean odpsSdk;
/**
 * 客户端
 */
private final IAcsClient client;
public DataWorksOpenApiUtil(DataWorksOpenApiConnParam connParam, boolean odpsSdk) {
    this.connParam = connParam;
    this.client = buildClient();
    this.odpsSdk = odpsSdk;
    if (odpsSdk){
        this.maxComputeJdbcUtil = null;
        this.maxComputeSdkUtil = buildMaxComputeSdkUtil();
    }else {
        this.maxComputeJdbcUtil = buildMaxComputeJdbcUtil();
        this.maxComputeSdkUtil = null;
    }
}
private MaxComputeSdkUtil buildMaxComputeSdkUtil() {
    final MaxComputeSdkConnParam param = new MaxComputeSdkConnParam();
    // 设置账号密码
    param.setAliyunAccessId(connParam.getAliyunAccessId());
    param.setAliyunAccessKey(connParam.getAliyunAccessKey());
    // 设置endpoint
    param.setMaxComputeEndpoint(defaultEndpoint);
    // 目前只处理odps的引擎
    final String datasourceType = connParam.getDatasourceType();
    if (!"odps".equals(datasourceType)){
        throw new BizException(ResultCode.DATA_WORKS_ENGINE_SUPPORT_ERR);
    }
    // 获取项目环境，根据项目环境连接不同的maxCompute
    final String projectEnv = connParam.getProjectEnv();
    if ("dev".equals(projectEnv)){
        // 开发环境dataworks + _dev就是maxCompute的项目名
        param.setProjectName(String.join("_", connParam.getProject(), projectEnv));
    }else {
        // 生产环境dataworks的项目名和maxCompute一致
        param.setProjectName(connParam.getProject());
    }
    return new MaxComputeSdkUtil(param);
}
private MaxComputeJdbcUtil buildMaxComputeJdbcUtil() {
    final MaxComputeJdbcConnParam param = new MaxComputeJdbcConnParam();
    // 设置账号密码
    param.setAliyunAccessId(connParam.getAliyunAccessId());
    param.setAliyunAccessKey(connParam.getAliyunAccessKey());
    // 设置endpoint
    param.setEndpoint(String.format(MAX_COMPUTE_JDBC_URL_FORMAT, connParam.getRegion()));
    // 目前只处理odps的引擎
    final String datasourceType = connParam.getDatasourceType();
    if (!"odps".equals(datasourceType)){
        throw new BizException(ResultCode.DATA_WORKS_ENGINE_SUPPORT_ERR);
    }
    // 获取项目环境，根据项目环境连接不同的maxCompute
    final String projectEnv = connParam.getProjectEnv();
    if ("dev".equals(projectEnv)){
        // 开发环境dataworks + _dev就是maxCompute的项目名
        param.setProjectName(String.join("_", connParam.getProject(), projectEnv));
    }else {
        // 生产环境dataworks的项目名和maxCompute一致
        param.setProjectName(connParam.getProject());
    }
    return new MaxComputeJdbcUtil(param);
}

登录后复制

调用拉取所有脚本

/**
 * 根据文件夹路径分页查询该路径下的文件（脚本）
 * @param pageSize 每页查询多少数据
 * @param folderPath 文件所在目录
 * @param userType 文件所属功能模块 可不传
 * @param fileTypes 设置文件代码类型 逗号分割 可不传
 */
public void listAllFiles(Integer pageSize, String folderPath, String userType, String fileTypes, CallBack.FileCallBack callBack) throws ClientException {
    pageSize = setPageSize(pageSize);
    // 创建请求
    final ListFilesRequest request = new ListFilesRequest();
    // 设置分页参数
    request.setPageNumber(1);
    request.setPageSize(pageSize);
    // 设置上级文件夹
    request.setFileFolderPath(folderPath);
    // 设置区域和项目名称
    request.setSysRegionId(connParam.getRegion());
    request.setProjectIdentifier(connParam.getProject());
    // 设置文件所属功能模块
    if (!ObjectUtils.isEmpty(userType)){
        request.setUseType(userType);
    }
    // 设置文件代码类型
    if (!ObjectUtils.isEmpty(fileTypes)){
        request.setFileTypes(fileTypes);
    }
    // 发起请求
    ListFilesResponse res = client.getAcsResponse(request);
    // 获取分页总数
    final Integer totalCount = res.getData().getTotalCount();
    // 返回结果
    final List resultList = res.getData().getFiles();
    // 计算能分几页
    long pages = totalCount % pageSize == 0 ? (totalCount / pageSize) : (totalCount / pageSize) + 1;
    // 只有1页 直接返回
    if (pages <= 1){
        callBack.handle(resultList);
        return;
    }
    // 第一页执行回调
    callBack.handle(resultList);
    // 分页数据 从第二页开始查询 同步拉取，可以优化为多线程拉取
    for (int i = 2; i <= pages; i++) {
        //第1页
        request.setPageNumber(i);
        //每页大小
        request.setPageSize(pageSize);
        // 发起请求
        res = client.getAcsResponse(request);
        final List tableEntityList = res.getData().getFiles();
        if (!ObjectUtils.isEmpty(tableEntityList)){
            // 执行回调函数
            callBack.handle(tableEntityList);
        }
    }
}

登录后复制

内部连接拉取所有DDL脚本内容

工具类代码，通过回调函数处理

    /**
     * 获取所有的DDL脚本
     * @param callBack 回调处理函数
     */
    public void listAllDdl(CallBack.DdlCallBack callBack){
        if (odpsSdk){
            final List tableInfos = maxComputeSdkUtil.getTableInfos();
            for (TableMetaInfo tableInfo : tableInfos) {
                final String tableName = tableInfo.getTableName();
                final String sqlCreateDesc = maxComputeSdkUtil.getSqlCreateDesc(tableName);
                callBack.handle(tableName, sqlCreateDesc);
            }
        }
    }

登录后复制

php源码分析工具_友情链接查询工具 php源码_php短链接生成器源码

工具类代码，根据表名获得建表语句,以SDK为例，JDBC直接执行showtable即可拿到建表语句

/**
 * 根据表名获取建表语句
 * @param tableName 表名
 * @return
 */
public String getSqlCreateDesc(String tableName) {
    final Table table = odps.tables().get(tableName);
    // 建表语句
    StringBuilder mssqlDDL = new StringBuilder();
    // 获取表结构
    TableSchema tableSchema = table.getSchema();
    // 获取表名表注释
    String tableComment = table.getComment();
    //获取列名列注释
    List columns = tableSchema.getColumns();
    /*组装成mssql的DDL*/
    // 表名
    mssqlDDL.append("CREATE TABLE IF NOT EXISTS ");
    mssqlDDL.append(tableName).append("\n");
    mssqlDDL.append(" (\n");
    //列字段
    int index = 1;
    for (Column column : columns) {
        mssqlDDL.append("  ").append(column.getName()).append("\t\t").append(column.getTypeInfo().getTypeName());
        if (!ObjectUtils.isEmpty(column.getComment())) {
            mssqlDDL.append(" COMMENT '").append(column.getComment()).append("'");
        }
        if (index == columns.size()) {
            mssqlDDL.append("\n");
        } else {
            mssqlDDL.append(",\n");
        }
        index++;
    }
    mssqlDDL.append(" )\n");
    //获取分区
    List partitionColumns = tableSchema.getPartitionColumns();
    int partitionIndex = 1;
    if (!ObjectUtils.isEmpty(partitionColumns)) {
        mssqlDDL.append("PARTITIONED BY (");
    }
    for (Column partitionColumn : partitionColumns) {
        final String format = String.format("%s %s COMMENT '%s'", partitionColumn.getName(), partitionColumn.getTypeInfo().getTypeName(), partitionColumn.getComment());
        mssqlDDL.append(format);
        if (partitionIndex == partitionColumns.size()) {
            mssqlDDL.append("\n");
        } else {
            mssqlDDL.append(",\n");
        }
        partitionIndex++;
    }
    if (!ObjectUtils.isEmpty(partitionColumns)) {
        mssqlDDL.append(")\n");
    }
//        mssqlDDL.append("STORED AS ALIORC  \n");
//        mssqlDDL.append("TBLPROPERTIES ('comment'='").append(tableComment).append("');");
    mssqlDDL.append(";");
    return mssqlDDL.toString();
}

登录后复制

测试代码

public static void main(String[] args) throws ClientException {
    final DataWorksOpenApiConnParam connParam = new DataWorksOpenApiConnParam();
    connParam.setAliyunAccessId("您的阿里云账号accessId");
    connParam.setAliyunAccessKey("您的阿里云账号accessKey");
    // dataworks所在区域
    connParam.setRegion("cn-chengdu");
    // dataworks所属项目
    connParam.setProject("dataworks所属项目");
    // dataworks所属项目环境 如果不分环境的话设置为生产即可
    connParam.setProjectEnv("dev");
    // 数据引擎类型 odps
    connParam.setDatasourceType("odps");
    // ddataworks接口地址
    connParam.setEndPoint("dataworks.cn-chengdu.aliyuncs.com");
    final DataWorksOpenApiUtil dataWorksOpenApiUtil = new DataWorksOpenApiUtil(connParam, true);
    // 拉取所有ODPS脚本
    dataWorksOpenApiUtil.listAllFiles(100, "", "", "10", files -> {
        // 处理文件
        for (ListFilesResponse.Data.File file : files) {
            final String fileName = file.getFileName();
            System.out.println(fileName);
        }
    });
    // 拉取所有表的建表语句
    dataWorksOpenApiUtil.listAllDdl((tableName, tableDdlContent) -> {
        System.out.println("=======================================");
        System.out.println("表名：" + tableName + "内容如下：\n");
        System.out.println(tableDdlContent);
        System.out.println("=======================================");
    });
}

登录后复制

测试结果

脚本

脚本

脚本

php短链接生成器源码_php源码分析工具_友情链接查询工具 php源码

脚本

脚本

=======================================

表名：内容如下：

TABLEIFNOT

(

'字段1',

'字段2',

'字段3',

'字段4',

'字段5',

'字段6',

'字段7',

'字段8'

)

BY('数据日期'

)

;

=======================================

fromtheVM,:'127.0.0.1:59509',:''

以上就是如何整合的具体内容友情链接查询工具 php源码友情链接查询工具 php源码，更多请关注php中文网其他相关文章！

声明：本文转载于：亿速云，如有侵犯，请联系删除

相关标签：

本文来自网络，如有侵权请联系网站客服进行删除

风景园林硕士考研官方网站（2015年03月23日）  您阅读本篇文章共花了： 

  • 1.注意：本站资源多为网络收集，如涉及版权问题请及时与站长联系，我们会在第一时间内删除资源。
  • 2.您购买的只是资源，不提供解答疑问和安装服务。免费源码里的接口不保证一直可以用
  • 3.本站用户发帖仅代表本站用户个人观点，并不代表本站赞同其观点和对其真实性负责。
  • 4.本站资源大多存储在云盘，如发现链接失效，请及时与站长联系，我们会第一时间更新。
  • 5.转载本网站任何内容，请按照转载方式正确书写本站原文地址
  • 6.如果发现侵权可以联系站长删除站长QQ3326096692或者邮箱通知3326096692@qq.com

    • 相关阅读

    小熊猫权益

    发表评论

    快捷回复： 表情：
    评论列表 （暂无评论，697人围观）

    还没有评论，来说两句吧...

    目录[+]

    取消
    微信二维码
    微信二维码
    支付宝二维码
    请先 登录 再评论，若不是会员请先 注册！