Tự động AWS DynamoDB xuất S3 không thành công với "vai trò/DataPipelineDefaultRole không hợp lệ"

Question

Chính xác theo hướng dẫn từng bước trên this page Tôi đang cố xuất nội dung của một trong các bảng DynamoDB của tôi sang thùng S3. Tôi tạo một đường ống chính xác theo hướng dẫn nhưng nó không chạy được. Dường như nó gặp sự cố khi xác định/chạy tài nguyên EC2 để thực hiện xuất. Khi tôi truy cập EMR thông qua AWS Console, tôi thấy các mục như sau:

Cluster: df-0..._@EmrClusterForBackup_2015-03-06T00:33:04Terminated with errorsEMR service role arn:aws:iam::...:role/DataPipelineDefaultRole is invalid 

Tại sao tôi nhận được thông báo này? Tôi có cần thiết lập/định cấu hình cái gì khác để chạy đường ống không?

UPDATE: Dưới IAM->Roles trong AWS console Tôi thấy điều này cho DataPipelineDefaultResourceRole:

{ 
    "Version": "2012-10-17", 
    "Statement": [{ 
    "Effect": "Allow", 
    "Action": [ 
     "s3:List*", 
     "s3:Put*", 
     "s3:Get*", 
     "s3:DeleteObject", 
     "dynamodb:DescribeTable", 
     "dynamodb:Scan", 
     "dynamodb:Query", 
     "dynamodb:GetItem", 
     "dynamodb:BatchGetItem", 
     "dynamodb:UpdateTable", 
     "rds:DescribeDBInstances", 
     "rds:DescribeDBSecurityGroups", 
     "redshift:DescribeClusters", 
     "redshift:DescribeClusterSecurityGroups", 
     "cloudwatch:PutMetricData", 
     "datapipeline:PollForTask", 
     "datapipeline:ReportTaskProgress", 
     "datapipeline:SetTaskStatus", 
     "datapipeline:PollForTask", 
     "datapipeline:ReportTaskRunnerHeartbeat" 
    ], 
    "Resource": ["*"] 
    }] 
} 

Và điều này cho DataPipelineDefaultRole:

{ 
    "Version": "2012-10-17", 
    "Statement": [{ 
    "Effect": "Allow", 
    "Action": [ 
     "s3:List*", 
     "s3:Put*", 
     "s3:Get*", 
     "s3:DeleteObject", 
     "dynamodb:DescribeTable", 
     "dynamodb:Scan", 
     "dynamodb:Query", 
     "dynamodb:GetItem", 
     "dynamodb:BatchGetItem", 
     "dynamodb:UpdateTable", 
     "ec2:DescribeInstances", 
     "ec2:DescribeSecurityGroups", 
     "ec2:RunInstances", 
     "ec2:CreateTags", 
     "ec2:StartInstances", 
     "ec2:StopInstances", 
     "ec2:TerminateInstances", 
     "elasticmapreduce:*", 
     "rds:DescribeDBInstances", 
     "rds:DescribeDBSecurityGroups", 
     "redshift:DescribeClusters", 
     "redshift:DescribeClusterSecurityGroups", 
     "sns:GetTopicAttributes", 
     "sns:ListTopics", 
     "sns:Publish", 
     "sns:Subscribe", 
     "sns:Unsubscribe", 
     "iam:PassRole", 
     "iam:ListRolePolicies", 
     "iam:GetRole", 
     "iam:GetRolePolicy", 
     "iam:ListInstanceProfiles", 
     "cloudwatch:*", 
     "datapipeline:DescribeObjects", 
     "datapipeline:EvaluateExpression" 
    ], 
    "Resource": ["*"] 
    }] 
} 

Do những cần phải được sửa đổi bằng cách nào đó?

Answer 1

Có một câu hỏi tương tự trong AWS diễn đàn và có vẻ như nó có liên quan đến một vấn đề với chính sách quản lý

https://forums.aws.amazon.com/message.jspa?messageID=606756

Trong câu hỏi đó, họ khuyên bạn nên sử dụng chính sách inline cụ thể đối với khả năng tiếp cận và tin tưởng chính sách xác định các vai trò đó thay đổi một số quyền. Lạ lùng thay, chính sách cụ thể nội tuyến có thể được tìm thấy tại

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-iam-roles.html

Answer 2

Tôi chạy vào cùng một lỗi.

Trong IAM, đính kèm các chính sách AWSDataPipelineRole quản lý để DataPipelineDefaultRole

Tôi cũng đã phải cập nhật các mối quan hệ tin cậy như sau (EC2 cần thiết mà không phải là trong tài liệu):

{ 
    "Version": "2012-10-17", 
    "Statement": [ 
    { 
     "Effect": "Allow", 
     "Principal": { 
     "Service": [ 
      "ec2.amazonaws.com", 
      "elasticmapreduce.amazonaws.com", 
      "datapipeline.amazonaws.com" 
     ] 
     }, 
     "Action": "sts:AssumeRole" 
    } 
    ] 
} 

Answer 3

tôi đã có cùng một vấn đề. Các chính sách được quản lý là chính xác trong trường hợp của tôi, nhưng tôi phải cập nhật các mối quan hệ tin cậy cho cả hai vai trò DataPipelineDefaultRole và DataPipelineDefaultResourceRole bằng cách sử dụng tài liệu Gonfva được liên kết ở trên vì chúng đã lỗi thời.